🤖 AI

Building Agent Harnesses for Scientific Curation from Multimodal Sources

Dit artikel introduceert Beaver, een agent harness die is ontworpen om wetenschappelijke curatie uit multimodale bronnen te verbeteren door frontier-agents te integreren met taakscaffolding, multimodale bewijsvoeringstools en herkomsttracking om een GRAS-score van 81,0 te bereiken, waarmee bestaande agents significant wordt overtroffen door het mogelijk maken van auditeerbare, iteratieve verfijning van gestructureerde data-extractie.

Oorspronkelijke auteurs: Sheng Zhang, Qin Liu, Renqian Luo, Shufang Xie, Reuben Tan, Sean Hayes, Gregory Bryman, Wendong Ge, Roxy Zhang, Oluwaseun Egbelowo, Kelly Yee, Hoifung Poon

Gepubliceerd 2026-06-23

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Sheng Zhang, Qin Liu, Renqian Luo, Shufang Xie, Reuben Tan, Sean Hayes, Gregory Bryman, Wendong Ge, Roxy Zhang, Oluwaseun Egbelowo, Kelly Yee, Hoifung Poon

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een bibliothecaris bent die probeert een enorme, rommelige bibliotheek met wetenschappelijke boeken te veranderen in een nette, doorzoekbare spreadsheet. Maar dit zijn geen normale boeken. Ze zitten vol met lange tekstparagrafen, dichte tabellen met cijfers en complexe grafieken.

Het probleem is dat de informatie die je nodig hebt niet op één plek staat. Om één regel in je spreadsheet in te vullen, moet je misschien een zin in de inleiding lezen, naar een getal in een tabel op pagina 10 kijken, en een trendlijn in een grafiek op pagina 15 controleren. Daarna moet je wiskunde doen om te controleren of de eenheden overeenkomen (zoals het omzetten van "milligrammen" naar "grammen") voordat je het opschrijft.

Het Probleem: De "Slimme" Robot Raakt Verdwaald
Wetenschappers hebben zeer slimme AI-robots gebouwd (genaamd "frontier agents") die kunnen lezen en schrijven. Echter, wanneer je hen deze rommelige bibliotheektaak geeft, falen ze vaak. Ze begrijpen misschien de algemene essentie van het verhaal, maar missen de specische getallen in de grafieken. Ze hebben de neiging om de verkeerde tekst te kopiëren of raken in de war van de lay-out. Het is alsof je een briljante student een toets geeft waarbij de antwoorden verborgen zijn in verschillende hoofdstukken, en de student dan het antwoord gokt op basis van de eerste pagina die hij ziet.

De Oplossing: Beaver, de "Agent Harness"
De onderzoekers hebben een systeem gebouwd genaamd Beaver. In plaats van alleen te vertrouwen op het brein van de slimme robot, fungeert Beaver als een gespecialiseerde werkbank of een constructie-harnas voor de robot.

Denk hierover op deze manier:

De Robot is de arbeider.
Beaver is de steiger, de gereedschappen en de voorman die de arbeider begeleidt.

Beaver zegt niet alleen: "Ga dit artikel lezen en vul het formulier in." Het breekt de taak af in een strikte, stapsgewijze assemblageband:

Voorbereiding: Het zet de rommelige PDF om in een schone, gemakkelijk leesbare digitale opzet.
Zoeken: Het vertelt de robot precies waar het naar specifieke aanwijzingen moet zoeken.
Lezen: Het geeft de robot speciale "brillen" (gereedschappen) waarmee de robot kan inzoomen op grafieken en tabellen om de cijfers nauwkeurig te lezen, in plaats van te gokken wat de kronkelige lijnen betekenen.
Controleren & Traceren: Elke keer dat de robot een getal opschrijft, dwingt Beaver de robot om exact aan te wijzen waar hij dat getal heeft gevonden (zoals een citatie).
Normaliseren: Het zorgt ervoor dat alle eenheden consistent zijn (bijvoorbeeld door te zorgen dat alles in "jaren" is en niet een mix van "maanden" en "jaren").

De "Zelfverbeterende" Lus
Het slimme gedeelte is dit: Beaver draait niet slechts één keer en stopt dan. Het heeft een zelfverbeterende lus.

Beaver voert de taak uit.
Het kijkt naar zijn eigen fouten (de "artefacten" of logs van wat er misging).
Het zegt: "Hé, de robot bleef de fout in gaan bij de grafieken. Laten we het gereedschap dat het gebruikt om grafieken te lezen, veranderen."
Het werkt zijn eigen instructies bij en probeert het opnieuw.
Het blijft dit doen, waarbij het zijn eigen workflow stap voor stap verbetert, totdat het echt goed wordt in de taak.

De Resultaten
De paper testte Beaver tegen andere topniveau AI-systemen.

Andere Systemen: Zij scoorden rond de 58% (alsof ze een D+ haalden voor een toets). Ze hadden moeite met de grafieken en de complexe redeneringen.
Beaver: Het scoorde 81% (een A-).

De onderzoekers ontdekten dat het "brein" (het AI-model) niet het belangrijkste deel was. Het belangrijkste deel was het harnas—de manier waarop de taak werd georganiseerd, de tools die werden aangeboden, en het vermogen om te leren van fouten. Zelfs toen Beaver hetzelfde "brein" gebruikte als de andere systemen, presteerde het veel beter omdat het een beter systeem had voor het uitvoeren van het werk.

Waarom dit Belangrijk Is
In de wereld van medicijnontwikkeling en wetenschap is het cruciaal om deze getallen juist te krijgen. Als een wetenschapper een getal in een grafiek mist, kan dat later leiden tot slechte beslissingen. Beaver bewijst dat als je een slim, gestructureerd en zelfcorrigerend systeem rondom een AI bouwt, je een chaotische stapel wetenschappelijke papers veel beter kunt veranderen in betrouwbare, georganiseerde data dan wanneer je de AI gewoon het werk laat "improviseren".

In een Notendop:
Beaver is niet alleen een slimmere robot; het is een betere manager voor de robot. Het biedt de juiste tools, breekt de grote taak af in kleine stappen en leert de robot hoe hij zijn eigen fouten kan herstellen, waardoor een chaotische onderzoeksopdracht wordt veranderd in een schoon en accuraat proces.

Technische Samenvatting: Building Agent Harnesses for Scientific Curation from Multimodal Sources

Probleemdefinitie

Wetenschappelijke ontdekkingsworkflows vertrouwen steeds vaker op het omzetten van ongestructureerde literatuur naar genormaliseerde, gestructureerde records voor downstream-analyse, met name in bewijsintensieve domeinen zoals medicijnontwikkeling. De huidige geautomatiseerde benaderingen worstelen echter met wetenschappelijke curatie uit multimodale bronnen. De kernuitdaging is dat cruciaal bewijs verspreid is over lange teksten, dichte tabellen en figuren. In tegen tegenstelling tot standaard documentvraagbeantwoordingstaken vereist het construeren van een enkel gecureerd record vaak:

Cross-modale redenering: Het koppelen van interventies beschreven in tekstmethoden aan uitkomsten gerapporteerd in tabellen of plots.
Normalisatie: Het standaardiseren van eindpunten, eenheden, waarden en steekproefomvang naar een doel-schema.
Herkomsttracking (Provenance tracking): Het auditeren van elke geëxtraheerde waarde terug naar specifieke bronbewijzen.

Bestaande benchmarks richten zich vaak op lichte extractie (bijv. tabeldetectie of bewijsverificatie) of single-modality taken, waardoor ze de complexiteit van volledige paper-curatie naar rijke, productie-waardige schema's missen. Bovendien vertonen frontier-agents alleen vaak broosheid in deze settings; ze halen vaak hoogwaardige metadata op, maar falen op hoogwaardige kwantitatieve attributen afgeleid van complexe visuele bewijslast.

Methodologie: De Beaver Harness

De auteurs introduceren Beaver, een agent harness die is ontworpen om gestructureerde informatie uit wetenschappelijke papers te extraheren terwijl de herkomst behouden blijft. In plaats van uitsluitend te vertrouwen op verbeteringen van het basismodel, behandelt Beaver de harness zelf als het object van iteratieve optimalisatie. Het systeem integreert drie interagerende componenten:

1. Multimodale Bewizstools

Beaver rust de basisagent uit met een aanvullende set tools ( $U$ ) om de toegang tot wetenschappelijk bewijs te verbeteren:

Paper-naar-Markdown Transformatie: Converteert artikelen naar outlines en sectie-niveau markdown-bestanden om navigatie door lange documenten te vergemakkelijken.
Parsed Table Viewer: Stelt de agent in staat om gestructureerde tabelgegevens te lezen.
Gekalibreerde Gridline Overlay: Een tool om kwantitatieve waarden uit plots te lezen door middel van het overlappen van rasterlijnen, waardoor de agent precieze numerieke gegevens uit figuren kan herstellen.

2. Taak Scaffolding

In plaats van een single-pass extractie, deelt Beaver de curatietaak op in sequentiële, controleerbare stadia ( $k \in \{1, \dots, K\}$ ). Elk stadium voorspelt een cumulatieve tabel $\hat{Y}^{(k)}$ die de attributen van voorgaande stadia uitbreidt. De workflow voor elk stadium omvat:

Preprocessing van relevante documenten, tabellen en figuren.
Navigeren naar kandidaat-bewijs.
Het uitvoeren van multimodale redenering en annotatie.
Het extraheren van waarden met herkomstsporen (provenance traces).
Het normaliseren van entiteiten en eenheden.
Het beoordelen en verfijnen van de output.

Deze decompositie vermindert ambiguïteit, verkleint de zoekruimte voor elke stap en maakt stage-gelokaliseerde foutdiagnose mogelijk.

3. Artifact-Grounded Autoresearch

Beaver hanteert een twee-niveau optimalisatielus (Algoritme 1) om de harness ( $H_t$ ) iteratief te verbeteren met behulp van persistente filesystem-artefacten:

Outer Loop: Evalueert de huidige harness op een ontwikkelset, decomponeert de prestaties per stadium en identificeert het zwakst presterende stadium ( $k^*$ ).
Inner Loop: Initialiseert een stadium-specifieke werkruimte met logs, trajecten en herkomstsporen. Het stelt gerichte patches voor (wijzigingen aan scaffolds, tools of prompts), past deze toe en voert het specifieke stadium opnieuw uit.
Selectie: Op basis van de nieuwe artefacten en prestatie-metrieken wordt de revisie ofwel geaccepteerd als de nieuwe beste harness, ofwel verworpen. Dit proces zorgt ervoor dat verbeteringen geworteld zijn in bewijs en dat mislukte patches niet accumuleren.

Belangrijkste Bijdragen

Een Nieuwe Benchmark: De auteurs hebben een benchmark geconstrueerd voor volledige multimodale wetenschappelijke curatie met behulp van een professioneel gecureerde corpus van 425 PubMed-artikelen over de ziekte van Alzheimer. De benchmark bevat een rijk schema (400+ attributen), expert-gecureerde referentiedata en vereist long-horizon extractie over tekst, tabellen en figuren.
De Beaver Harness: Een nieuwe architectuur die multimodale tooling, taak scaffolding en artifact-grounded autoresearch combineert.
Empirisch Bewijs over Harness Design: De studie toont aan dat voor complexe wetenschappelijke curatie de organisatie van de agent harness een centrale determinant van prestaties is, die vaak zwaarder weegt dan de keuze van het onderliggende frontier model.

Resultaten

Experimenten werden uitgevoerd op een set van 23 volledige papers met behulp van de Gold-Referenced Attribute Score (GRAS), een op attribuutniveau gemeten overeenkomst met de 'gold' gecureerde records.

Prestaties: Beaver behaalde een GRAS van 81,0%, waarmee het de sterkste frontier-agent baselines (Codex, Claude Code, Copilot CLI, Meta-Harness) met meer dan 23 absolute punten versloeg (bijv. Codex scoorde 58,6%).
Ablatie-studies: Het verwijderen van sleutelcomponenten leidde tot een significante degradatie van de prestaties:
- Geen Taak Scaffolding: 60,5% (grootste daling, wat de noodzaak van staged workflows aangeeft).
- Geen Multimodale Bewijstools: 66,1% (wat de moeilijkheid van ruwe visuele redenering benadrukt).
- Geen Herkomstsporen: 70,7% (wat aantoont dat sporen helpen bij de autoresearch-lus voor debugging en verfijning).
Compute-Performance Afweging: Beaver bevindt zich op de empirische Pareto-front, waarbij de hoogste nauwkeurigheid wordt bereikt met een tokenbudget dat vergelijkbaar is met andere autoresearch-varianten. Varianten zonder taak scaffolding verbruikten aanzienlijke rekenkracht maar bereikten geen vergelijkbare prestaties, wat suggereert dat ongestructureerde agent-inspanning inefficiënt is.
Attribuut-niveau Analyse: De grootste winsten werden waargenomen bij hoogwaardige attributen die cross-modale redenering vereisen (bijv. endpoint.unit, value, percentchange), wat bevestigt dat de harness effectief de specifieke knelpunten van multimodale extractie aanpakt.

Betekenis en Claims

Het paper claimt dat harness design een centrale determinant is van agent-prestaties voor wetenschappelijke curatie uit multimodale bronnen. De auteurs stellen dat:

Wetenschappelijke curatie een "long-horizon" agent-taak is die documentnavigatie, bewijs-alignement en controleerbaarheid vereist, zaken die standaard frontier-agents niet betrouwbaar in één enkele pass kunnen uitvoeren.
De omliggende harness — specifiek de voorziening van multimodale tools, de decompositie van taken in stadia en het gebruik van artifact-grounded feedbackloops — een sterke basisagent kan transformeren tot een zeer effectief curatiesysteem.
Controleerbaarheid (Auditability) is cruciaal: de inclusie van herkomstsporen en de mogelijkheid om stage-gelokaliseerde fouten te diagnosticeren zijn niet slechts optionele functies, maar essentiële kenmerken voor verantwoorde agentische curatie, aangezien fouten in genormaliseerde records kunnen doorwerken in downstream wetenschappelijke beslissingen.

Het werk suggereert dat toekomstige verbeteringen in wetenschappelijke AI minder zullen afhangen van het simpelweg schalen van basismodellen, en meer van het ontwikkelen van gespecialiseerde, iteratieve harnesses die complexe, multimodale bewijslast kunnen beheren en zichzelf kunnen corrigeren via gefundeerde diagnose.