🤖 AI

BioMedArena: An Open-source Toolkit for Building and Evaluating Biomedical Deep Research Agents

BioMedArena is een open-source toolkit die is ontworpen om de uitdagingen op het gebied van reproduceerbaarheid bij biomedische deep research agents aan te pakken door evaluatielagen te ontkoppelen, een uitgebreide bibliotheek van benchmarks en tools te bieden, en modulaire componenten aan te bieden die de prestaties van modellen aanzienlijk verbeteren ten opzichte van de huidige state-of-the-art resultaten.

Oorspronkelijke auteurs: Jinge Wu, Hongjian Zhou, Mingde Zeng, Jiayuan Zhu, Junde Wu, Jiazhen Pan, Ayush Noori, Sean Wu, Honghan Wu, Fenglin Liu, David A. Clifton

Gepubliceerd 2026-06-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jinge Wu, Hongjian Zhou, Mingde Zeng, Jiayuan Zhu, Junde Wu, Jiazhen Pan, Ayush Noori, Sean Wu, Honghan Wu, Fenglin Liu, David A. Clifton

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de vaardigheden van verschillende chefs probeert te vergelijken om te zien wie het beste een complex gerecht kan bereiden. Op dit moment, als je Chef A vraagt om een gerecht te maken, gebruikt deze zijn eigen keuken, zijn eigen set messen en zijn eigen receptenboek. Als je Chef B vraagt om exact hetzelfde gerecht te maken, gebruikt deze een compleet andere keuken, een andere set gereedschappen en een andere manier om het eten te proeven.

Omdat de keukens en gereedschappen zo verschillend zijn, is het onmogelijk om te zeggen of Chef A eigenlijk beter is, of dat hij gewoon een betere set messen had. Dit is het probleem waar de auteurs van dit artikel een oplossing voor bieden voor AI-onderzoekers.

Hier is een eenvoudige analyse van wat zij hebben gebouwd, gebruikmakend van de eigen beweringen uit het artikel:

1. Het Probleem: Een Rommelige Keuken

Momenteel, als een onderzoeker een nieuwe AI "onderzoeker" (een agent die tools gebruikt om antwoorden te vinden) wil testen, moet hij vanaf nul een aangepaste testomgeving bouwen.

Verschillende Keukens: Elk AI-systeem gebruikt een andere "harness" (de lus van denken en handelen).
Verschillende Tools: Het ene systeem heeft misschien toegang tot een medische database, terwijl een ander een andere heeft.
Verschillende Rechters: Het ene systeem beoordeelt zijn eigen werk met een simpele regel, terwijl een ander systeem een andere AI gebruikt om te beoordelen.

Dit betekent dat het vergelijken van twee AI's vergelijkbaar is met het vergelijken van een racewagenchauffeur op een onverhard circuit met een chauffeur op een Formule 1-circuit. De resultaten zijn oneerlijk, en het bouwen van een nieuwe test kost weken aan engineeringwerk.

2. De Oplossing: BioMedArena (De Universele Keuken)

De auteurs hebben BioMedArena gebouwd, een open-source toolkit die fungeert als een universele, gestandaardiseerde keuken.

Eén Standaard Werkblad: Welke AI (de "backbone") je ook aansluit, deze krijgt exact dezelfde set van 166 biomedische tests (zoals medische quizzen of chemieproblemen).
Eén Gereedschapskist: Elke AI krijgt toegang tot dezelfde 75 tools (zoals het doorzoeken van medische literatuur, het analyseren van genen of het controleren van interacties tussen medicijnen).
Eén Rechter: Elk antwoord wordt beoordeeld door dezelfde strikte regels of door dezelfde AI-rechter, zodat de scores eerlijk zijn.

Nu hoeven onderzoekers, in plaats van voor elke nieuwe AI een nieuwe keuken te bouvn, hun AI simpelweg met een kleine adapter (enkele regels code) in BioMedArena te pluggen. Het is alsof je een nieuwe chef aansluit op een standaard keuken om te zien hoe hij presteert.

3. Het Geheimwapen: "Mutual-Evolve"

Het artikel introduceert een speciale manier waarop de AI denkt, genaamd MUTUAL-EVOLVE. Stel je een team van vier detectives voor die werken aan een cold case.

De Oude Manier: Elke detective werkt alleen in een aparte kamer om eigen ideeën te bedenken zonder beïnvloed te worden door anderen. Aan het einde roepen ze allemaal hun definitieve gok, en de groep kiest de meest populaire optie. Als één detective vroeg in het proces een cruciale aanwijzing vond maar deze niet hardop riep, mist de groep dit.
De Mutual-Evolve Manier:
1. Private Fase: De detectives werken een tijdje alleen om hun eigen ideeën te formulere_n zonder beïnvloed te worden door anderen.
2. Het Gedeelde Schoolbord: Ze gaan naar een gedeelde ruimte met een groot whiteboard dat is verdeeld in vier secties: Fouten, Vaardigheden, Gebruikte Tools en Feiten.
3. Delen: Ze wisselen elkaar af om hun bevindingen op het bord te schrijven. Als Detective A beseft dat een bepaald pad een doodlopende weg is, schrijft deze "Fout" op het bord. Als Detective B een belangrijk feit vindt, schrijft deze dit onder "Feiten".
4. De Definitieve Stemming: Voordat ze het definitieve antwoord geven, lezen ze allemaal het volledige whiteboard door. De definitieve stemming is niet zomaar een simpele telling; detectives die meer nuttige informatie aan het bord hebben bijgedragen, krijgen een iets zwaardere stem.

Deze methode stelt het AI-team in staat om te leren van elkaars fouten en ontdekkingen, in plaats van alleen te stemmen op het eindresultaat.

4. De Resultaten: Een Grote Boost

De auteurs hebben 12 verschillende AI-modellen (zowel open-source als bekende commerciële modellen) getest met behulp van deze nieuwe toolkit.

De Magie: Wanneer ze deze AI's de standaard tools en de "Mutual-Evolve" denkstijl gaven, steeg hun prestatie aanzienlijk.
De Score: Gemiddeld verbeterden de AI's met 15 procentpunten over 8 verschillende medische en wetenschappelijke benchmarks.
Het Record: In elke enkele test versloeg de AI die uitgerust was met BioMedArena het vorige "best in class" record. Bijvoorbeeld, op een zeer moeilijk medisch examen ging een AI van ongeveer 46% goed naar 56% goed, waarmee het vorige beste record werd verbroken.

Samenvatting

Het artikel beweert niet dat deze AI's nu ziekten genezen of patiënten diagnosticeren in ziekenhuizen. In plaats daarvan beweren ze de eerste eerlijke speelveld te hebben gebouwd waar we eindelijk kunnen vergelijken hoe goed verschillende AI-onderzoekers zijn in het oplossen van biomedische problemen. Ze hebben ook aangetoond dat het geven van een betere manier om samen te werken (Mutual-Evolve) en een betere set tools deze AI's aanzienlijk slimmer maakt bij deze specifieke taken.

Technische Samenvatting: BioMedArena

Probleemstelling

Het vakgebied van biomedische deep research agents staat voor een kritieke reproduceerbaarheidscrisis. Hoewel deep research agents gebruikmaken van toolgebruik, langetermijnplanning en multi-agent orchestratie om complexe taken aan te pakken, wordt de vergelijking van hun prestaties momenteel gehinderd door gefragmenteerde evaluatieomgevingen. Wanneer hetzelfde backbone-model op dezelfde benchmark wordt geëvalueerd in verschillende papers, wijken de gerapporteerde accuratessen vaak significant van elkaar af. Deze inconsistentie komt voort uit drie primaire technische assen:

Niet-vergelijkbare Harnesses: Verschillende systemen implementeren unieke executielussen (bijv. ReAct-stijl, plan-execute, self-consistency), waardoor hetzelfde model anders presteert op basis van enkel de logica van de harness.
Niet-gedeelde Tool Registries: Systemen bundelen propriëtaire tool-schema's en implementaties, wat het hergebruik van tools over verschillende modellen of benchmarks heen verhindert.
Niet-uniforme Scoring: Evaluatiemetrieken mengen deterministische matching, LLM-als-judge en code-executie inconsistent, waarbij de keuze van het judge-model zelf variantie introduceert.

Gevolgelijk vereist het integreren van een nieuw model in een vergelijkbaar evaluatieoppervlak weken aan modelspecifieke engineering om harnesses, tool-integraties en scoringlogica opnieuw te implementeren, wat een barrière vormt voor eerlijke, head-to-head vergelijkingen.

Methodologie: De BioMedArena Toolkit

Om deze problemen aan te pakken, introduceren de auteurs BioMedArena, een open-source toolkit die ontworpen is om biomedische agent-evaluatie te ontkoppelen in zes uitwisselbare lagen: benchmark loading, tool exposure, tool selection, harness mode, context management en scoring.

Kernarchitectuur

Unified Task Interface: De toolkit normaliseert 166 biomedische benchmarks (variërend van geneeskunde, biologie, genomics tot chemie en multidisciplinaire redenering) naar een gemeenschappelijk task-object. Deze normalisatie is programmatisch, waarbij rule-driven loaders ruwe datasetvelden mappen naar een standaard schema, waardoor handmatige per-sample engineering overbodig wordt.
Typed Tool Registry: BioMedArena stelt 75 biomedische tools beschikbaar over 9 functionele families (bijv. literatuuronderzoek, klinische besluitvorming, genomics, eiwitstructuur). Tools worden geregistreerd met gestructureerde parameter-signatures en return types, waardoor elke agent er uniform toegang toe heeft.
Agent Harnesses: De toolkit implementeert zes verschillende agent harnesses om de interactie met het model te sturen:
1. Function-Calling: Een enkele forward pass met één ronde van toolgebruik.
2. ReAct-Stijl: Een Thought-Action-Observation loop.
3. OpenSeeker-Stijl: Een zoekgeoriënteerde loop die taken deelt in sub-queries.
4. Self-Consistency: Meerdere onafhankelijke trajecten die worden geaggregeerd via meerderheidsstemming.
5. Light Mutual-Evolve: Een voorgestelde lichtgewicht loop voor typische taken.
6. Heavy Mutual-Evolve: Een volwaardige loop met diepe research-beperkingen.
Context Management: Om de token overflow aan te pakken die gebruikelijk is bij lange biomedische traces, biedt de toolkit zes samenstelbare strategieën: planning, summarization, clearing, truncation, memory en rollback. Deze beheren de input-context door de historie te comprimeren, relevante feiten te persistent te maken of verouderde payloads te verwijderen.
Scoring Router: Een benchmark-bewuste router selecteert de passende scoring policy. Het geeft prioriteit aan deterministische scoring voor gestructureerde taken (exact match, regex) en roept een LLM judge aan voor open-ended taken of wanneer deterministische scoring faalt om semantische correctheid te vatten (bijv. formateringsvariaties).

Voorgestelde Component: MUTUAL-EVOLVE

Een belangrijke bijdrage is de MUTUAL-EVOLVE harness, ontworpen om de trade-off tussen trajectdiversiteit en informatie-uitwisseling in multi-agent systemen op te lossen. In tegenstelling tot standaard self-consistency waar rollouts geïsoleerd zijn, gebruikt MUTUAL-EVOLVE:

Private Phase: $N$ parallelle solvers verkennen onafhankelijk gedurende $T$ rondes met verschillende sampling temperatures om diverse initiële trajecten te garanderen.
Typed Global Workspace: Na de private fase delen solvers tussenliggende bevindingen via een gestructureerde workspace die is verdeeld in vier banken: Errors (uitgesloten paden), Skills (heuristieken), Tools (invocaties/resultaten) en Guides (feiten/beperkingen). Deze typering voorkomt het ongeremd dumpen van de interne monoloog.
Contribution-Weighted Voting: Eindantwoorden worden niet alleen geaggregeerd via meerderheidsstemming, maar door stemmen te wegen op basis van het aantal geldige entries dat een solver heeft bijgedragen aan de gedeelde workspace ( $w_i = 1 + \beta H_i$ ).
Final Confirmation: Voordat er gestemd wordt, voert elke solver een tekstuele review uit van de gehele workspace om het antwoord te verfijnen op basis van het collectieve bewijs.

Belangrijkste Resultaten

De auteurs evalueerden BioMedArena met 12 backbone modellen (5 open-source, 7 closed-source) over 8 representatieve biomedische benchmarks.

Prestatiewinst: Het uitrusten van backbones met de componenten van BioMedArena (specifiek de standaard Light Mutual-Evolve harness en geoptimaliseerd context management) verbeterde de prestaties aanzienlijk. Gemiddeld overtrof de best uitgeruste backbone de eerdere SOTA-resultaten met +15,01 procentpunt over de 8 benchmarks.
Specifieke Benchmarks:
- HLE-Gold: Claude Opus 4.6 uitgerust met BioMedArena bereikte 56,4%, waarmee de eerdere SOTA van 46,8% werd overtroffen.
- BixBench: Gemini 3.1 Pro + Ours bereikte 85,9%, waarmee de GPT-5.5 SOTA van 80,5% werd verslagen.
- SuperChem: Claude Opus 4.6 + Ours behaalde 72,8% op de text-only subset, een lift van +9,6 pp ten opzien van de eerdere SOTA.
- LAB-Bench 2: Het framework zorgde voor significante verbeteringen in retrieval-grounded subsets (bijv. SuppQA2, DBQA2), waar de lifts meer dan +40 procentpunten bedroegen, wat de effectiviteit van toolgebruik voor toegang tot gestructureerd extern bewijs aantoont.
Ablatie-inzichten: De studie bevestigde dat de Private Phase in MUTUAL-EVOLVE cruciaal is; het verminderen hiervan leidde tot lagere prestaties, wat suggereert dat vroege isolatie voorkomt dat kwalitatief lage bevindingen andere agents misleiden. Verder werd de combinatie van Planning en Summarization geïdentificeerd als de meest robuuste context management strategie.

Betekenis en Claims

Het paper positioneert BioMedArena als de eerste regelmatig vergelijkbare, grootschalige evaluatie-infrastructuur voor biomedische deep research agents. De primaire betekenis ligt in het transformeren van agent-evaluatie van een herhaalde, systeemspecifieke engineering-last naar een gedeelde, reproduceerbare infrastructuur.

Reproduceerbaarheid: Door de evaluatielagen te ontkoppelen, stelt BioMedArena onderzoekers in staat om een nieuw model toe te voegen met een minimale provider adapter (vaak <100 regels code), wat directe vergelijking mogelijk maakt met bestaande agents onder identieke tool registries, harnesses en scoring policies.
Componentkwaliteit: De referentiecomponenten van de toolkit zijn niet louter infrastructuur; het zijn sterke prestatie-enhancers. De auteurs demonstreren dat de harnesses en context strategieën zelf de prestatiewinsten drijven, waardoor standaard backbones effectief worden getransformeerd in competitieve deep research agents.
Standaardisatie: Het werk vestigt een uniforme omgeving waarin verschillende deep research agents head-to-head vergeleken kunnen worden, waarmee de "reproduceerbaarheidscrisis" wordt aangepakt waarbij divergente engineering-keuzes voorheen de werkelijke modelcapaciteiten vertroebelden.

De auteurs concluderen dat BioMedArena een fundament biedt voor toekomstige biomedische deep research agents om vanaf dag één eerlijk vergeleken te kunnen worden, waardoor de focus verschuift van het engineeren van evaluatiepipelines naar het bevorderen van de kernonderzoeksvaardigheden van de agents.