From Voting to Agent Collaboration: Answer-Type-Aware LLM Pipelines for BioASQ 14b

Technische Samenvatting: Van Stemmen naar Agent-Collaboratie: Antwoordtype-bewuste LLM-pipelines voor BioASQ 14b

Probleemstelling
Biomedische vraag-en-antwoordbehandeling (QA) staat voor aanzienlijke uitdagingen door de snelle expansie van de wetenschappelijke literatuur, waarbij kritieke bewijslast vaak verspreid is over meerdere documenten, wordt uitgedrukt in heterogene terminologie, of wordt gepresenteerd in tegenstrijdige contexten. Hoewel Large Language Models (LLMs) veelbelovend zijn gebleken in retrieval-augmented settings, wordt hun toepassing op biomedische QA gehinderd door specifieke beperkingen: gevoeligheid voor de volgorde van opgehaalde fragmenten (snippets), moeilijkheid bij het oplossen van tegenstrijdig bewijs, de noodzaak voor precieze entiteitsnormalisatie en het risico op hallucinaties. Bovendien omvat de BioASQ Task B challenge verschillende antwoordformaten—ja/nee, factoid en lijst—die elk unieke vereisten hebben voor redenering en evaluatie. De auteurs stellen dat een enkele, uniforme inferentiestrategie onvoldoend is om de diverse redeneer- en evaluatiecriteria per type vraag aan te pakken.

Methodologie
Het artikel presenteert ku_dmis, een vraagtype-specifiek LLM-framework ontworpen voor BioASQ 14b Task B. Het systeem maakt gebruik van een modulaire architectuur die vragen naar gespecialiseerde inferentie-pipelines routeert op basis van hun type, waarbij meerdere LLMs en ensemble-strategieën worden ingezet om de robuustheid te vergroten.

1. Systeemarchitectuur:

   • Input: Het systeem neemt een vraag, het type daarvan en goudstandaard relevante fragmenten aan.
   • Routing: Een router stuurt de input naar een van de drie gespecialiseerde takken: Ja/Nee, Factoid of Lijst.
   • Ensemble-aanpak: Meerdere LLMs (waaronder GPT-4o, GPT-5 varianten, Claude Sonnet/Opus en Gemini-modellen) worden gebruikt als complementaire redeneerders. Hun outputs worden geaggregeerd om modelspecifieke biases te mitigeren.

2. Vraagtype-specifieke strategieën:

   • Ja/Nee-vragen: Om gevoeligheid voor de volgorde van bewijslast en tegenstrijdige signalen aan te pakken, gebruikt het systeem snippet shuffling gecombineerd met zelfreflectie. Elk model bevraagt de gehusselde fragmenten vier keer. Een meerderheidsstem bepaalt het initiële antwoord. Als de outputs inconsistent zijn, grijpt een verificatie-agent in door bewijslast te structureren in positieve, negatieve en onzekere categorieën om een definitieve binaire beslissing (Ja, Nee of Geen) te nemen.
   • Factoid-vragen: Deze vereisen de precieze identificatie van biomedische entiteiten (bijv. medicijnen, genen). De pipeline gebruikt volledige snippet-input gecombineerd met retrieval-gebaseerde Chain-of-Thought (CoT) in-context learning (ICL). Semantisch vergelijkbare trainingsvragen worden opgehaald om demonstraties te bieden die het model begeleiden in de redenering van bewijs naar antwoord. Outputs van meerdere modellen worden genormaliseerd en geaggregeerd via consensus-filtering, waarbij kandidaten worden behouden die in ten minste drie modeloutputs voorkomen, gerangschikt op stemmenaantal.
   • Lijstvragen: Om een balans te vinden tussen hoge recall en precisie, wordt een multi-agent collaboratie-architectuur gebruikt. Dit omvat vier opeenvolgende agents:
     • Evidence Analyst: Scant fragmenten, scoort relevantie en extraheert kandidaten zonder zich vast te leggen op een definitief antwoord.
     • Reasoning Agent: Genereert een kandidaat-lijst terwijl de bewijslast opnieuw wordt gelezen om weglatingen te voorkomen.
     • Verification Agent: Controleert de lijst op gronding, volledigheid, formattering en duplicaten.
     • Supervisor Agent: Beoordeelt tussenliggende rapporten en feedback om de lijst te finaliseren, waarbij deze ofwel wordt overgenomen of wordt herzien op basis van de originele fragmenten.

3. Ontwikkeling en Evaluatie:

   • Strategieën werden geselecteerd op basis van voorlopige experimenten op de BioASQ 13b testset.
     • Het definitieve systeem werd geëvalueerd op de officiële BioASQ 14b Task B challenge over vier batches.
   • Inzendingen (ku_dmis1–5) werden getest om prompting, normalisatie en aggregatie-drempelwaarden te optimaliseren.

Belangrijkste Bijdragen

• Verenigd Framework: Het artikel verenigt twee voorheen onderscheiden benaderingen—LLM-gebaseerde ensembles en agentic QA-frameworks—in één type-bewust systeem.
• Type-specifieke Inferentie: Het toont aan dat onderscheidende inferentieprocedures (shuffling/stemmen voor binair, CoT/consensus voor factoid, en multi-agent verificatie voor lijsten) noodzakelijk zijn om de specifieke redeneer- en evaluatiebeperkingen van elk BioASQ-vraagtype aan te pakken.
• Robuustheidsmechanismen: De introductie van snippet shuffling, selectieve verificatie-agents en retrieval-gebaseerde ICL richt zich specifelijk op de instabiliteit en hallucinatieproblemen die veel voorkomen bij biomedische LLM-toepassingen.

Resultaten
In de officiële BioASQ 14b evaluatie toonde het ku_dmis systeem concurrerende prestaties over alle batches en vraagtypen:

• Ja/Nee: Bereikte een stabiele prestatie met een gemiddelde macro F1-score van 0,9110 over vier batches. Het systeem behield een hoge nauwkeurigheid, zelfs in latere, uitdagendere batches.
• Factoid: Bereikte een gemiddelde Mean Reciprocal Rank (MRR) van 0,4626. Opvallend genoeg behaalde het systeem de eerste plaats in de factoid subtaak van Batch 4. De prestaties varieerden per batch, waarbij de sterkste resultaten werden waargenomen in de laatste batch, wat wijst op de effectiviteit van full-snippet redenering en consensus-filtering.
• Lijst: Toonde een significante verbetering over de batches, waarbij de gemiddelde F-maat steeg van 0,2734 in Batch 1 naar 0,5652 in Batch 4, wat resulteerde in een algemeen gemiddelde van 0,4439. Deze verbetering wordt toegeschreven aan de collaboratieve agent-pipeline die zowel over-generatie als onder-generatie van entiteiten vermindert.

Betekenis en Claims
De auteurs claimen dat hun resultaten de effectiviteit valideren van het combineren van vraagtype-specifieke inferentie, ensemble-voorspelling en expliciete verificatiemechanismen voor betrouwbare biomedische QA. Het artikel benadrukt dat een "one-size-fits-all" prompting-strategie suboptimaal is voor de diverse vereisten van de biomedische literatuur. Door de inferentieprocedure af te stemmen op het antwoordformaat—door middel van stemmen voor stabiliteit in binaire beslissingen, consensus voor entiteitsprecisie, en agent-collaboratie voor lijstdekking—bereikt het systeem een robuuste prestatie.

Het artikel erkent bescheiden beperkingen, zoals het feit dat het systeem afhankelijk is van propriëtaire modellen (wat reproduceerbaarheid beperkt), zich richt op exacte antwoorden in plaats van ideale paragraafgeneratie, en dat prestatievariabiliteit wijst op een behoefte aan betere biomedische synoniemnormalisatie en adaptieve drempelwaarden. De primaire bijdrage blijft echter de demonstratie dat gespecialiseerde, type-bewuste pipelines de betrouwbaarheid en nauwkeurigheid van LLMs in complexe biomedische domeinen aanzienlijk verbeteren.