Retrieval Augmented Biomedical Question Answering with Weak Question Recovery and Neural Reranking for BioASQ Task 14b

Technische Samenvatting: Retrieval-Augmented Biomedical Question Answering met Weak-Question Recovery en Neural Reranking

Probleemstelling
Biomedische vraag-en-antwoordsystemen (QA) worden geconfronteerd met aanzienlijke uitdagingen door de snelle groei van literatuur, domeinspecifieke terminologie, variabiliteit in synoniemen en de noodzaak voor multi-hop redeneren. Hoewel Large Language Models (LLM's) de tekstgeneratie hebben verbeterd, blijft de kwaliteit van retrieval een bottleneck; de opgehaalde documenten bevatten vaak ruis, zijn incompleet of bevatten zwak gerelateerd bewijs, wat leidt tot hallucinaties of onjuiste antwoorden. Specifiek falen standaard retrieval-pipelines vaak bij "zwakke" queries die betrekking hebben op zeldzame ziekten of complexe entiteitsrelaties, waarbij de lexicale overlap laag is. De BioASQ Task 14b benchmark benadrukt deze moeilijkheden, waarbij systemen niet alleen relevante documenten en fragmenten moeten ophalen, maar ook exacte antwoorden en ideale samenvattingen moeten genereren voor vier vraagtypen (ja/nee, factoid, lijst, samenvatting).

Methodologie
De auteurs presenteren een verenigde pipeline ontwikkeld door het DS@GT ARC BioASQ team, die multi-source query-expansie, neurale reranking, een conditioneel weak-question recovery mechanisme en OpenBioLLM-ondersteunde generatie integreert.

1. Retrieval en Reranking Pipeline:

   • Query-expansie: Het systeem breidt queries uit met drie strategieën: training-memory expansie (gebaseerd op vergelijkbare BioASQ-vragen), biomedische synoniem-expansie via OpenBioLLM, en relatie-bewuste augmentatie (het vastleggen van ziekte-behandeling of gen-pathway links).
   • Initiële Retrieval: Uitgebreide queries worden ingediend bij de PubMed API (NCBI E-utilities) om kandidaat-documenten te extraheren (60–100 per vraag).
   • Neurale Reranking: Een gefinetuned MiniLM-gebaseerd SentenceTransformer-model rangschikt kandidaten opnieuw op basis van semantische gelijkenis. Dit wordt gecombineerd met heuristische signalen (titeloverlap, sleutelwoordmatching, entiteitsuitlijning).
   • Fusie: Resultaten van meerdere query-expansies worden samengevoegd met behulp van Reciprocal Rank Fusion (RFF) om de robuustheid te verbeteren.

2. Weak-Question Recovery:

   • Een conditioneel mechanisme identificeert slecht presterende queries op basis van de kwaliteit van de fragmenten (lexicale relevantiescores < 0,35) en retrieval-signalen (lage unieke artikelcount, hoge redundantie).
   • Voor deze specifieke gevallen past het systeem gerichte semantische expansie en relatie-bewuste augmentatie toe om relevant bewijs te herstellen, waarbij verbeterde resultaten selectief worden samengevoegd in plaats van de volledige output te vervangen.

3. Fragment Selectie en Pruning:

   • Analyse van de trainingsset toonde aan dat er afnemende meeropbrengsten zijn in vocabulaire-dekking voorbij twee fragmenten per vraag. Daarom hanteert de pipeline gecontroleerde pruning om redundante of laag-relevante fragmenten te verwijderen, waarbij een balans wordt gevonden tussen precisie en recall om de prompt-efficiëntie voor downstream generatie te optimaliseren.

4. Antwoordgeneratie:

   • Model: Het systeem gebruikt aaditya/Llama3-OpenBioLLM-70B als de generatieve backbone. Om dit 70B-model op een enkele NVIDIA A100 (40 GB) te laten draaien, wordt Activation-aware Weight Quantization (AWQ) toegepast, waarbij gewichten worden gecomprimeerd naar 4-bit precisie terwijl cruciale kanalen worden beschermd.
   • Inference: Het model wordt geserveerd via vLLM met PagedAttention om geheugenfragmentatie te beheren.
   • Prompting: Gestructureerde prompts worden gebruikt met type-specifieke formateringsinstructies (bijv. "EXACT: yes/no" voor factoids, pipe-gescheiden entiteiten voor lijsten) om naleving van de BioASQ-schema's te garanderen.
   • Fases: Fase A+ gebruikt opgehaald bewijsmateriaal voor generatie, terwijl Fase B de door organisatoren verstrekte gecureerde "gold evidence" gebruikt, wat de ablatie van de effecten van retrieval-kwaliteit mogelijk maakt.

Belangrijkste Resultaten

• Retrieval (Fase A): De voorgestelde pipeline behaalde een Mean Average Precision (MAP) van 0,0956 op Batch 4. Lokale ablatie-studies toonden aan dat het volledige framework (inclusief weak-question recovery en cleanup) de MAP@10 verbeterde van 0,0745 (baseline) naar 0,0955, een relatieve verbetering van ~28%. Het systeem presteerde consistent beter dan alternatieve reranking-configuraties met grotere MPNet bi-encoders of generieke MS MARCO cross-encoders, wat suggereert dat domeinspecifieke fine-tuning gecombineerd met recovery-strategieën effectiever is dan simpelweg de modelgrootte vergroten.
• Exacte Antwoorden (Fase A+ & B): Prestaties varieerden per batch en vraagtype. In Fase B (met gebruik van gold evidence) behaalde het systeem een yes/no macro-F1 van 0,8952 (Batch 3) en een factoid strict accuracy van 0,4118. Dit geeft aan dat wanneer hoogwaardig bewijsmateriaal wordt verstrekt, het OpenBioLLM-framework betrouwbare exacte antwoorden genereert.
• Ideale Antwoorden: ROUGE-scores voor ideale samenvattingen waren lager dan de exacte antwoord-metrieken (bijv. ROUGE-2 F1 ~0,1758 in Batch 3), wat suggereert dat hoewel retrieval-verfijning aanzienlijk helpt bij de voorspelling van exacte antwoorden, abstractieve samenvatting-generatie een uitdaging blijft die verdere instructie-tuning vereist.

Betekenis en Claims
Het artikel claimt dat de primaire bijdrage ligt in het aantonen dat retrieval-bewuste verfijning en gecontroleerde bewijsselectie cruciaal zijn voor robuuste biomedische QA. Specifiek:

• Gerichte Recovery: Een conditionele weak-question recovery strategie adresseert moeilijke queries effectief zonder dat globale wijzigingen aan de kern van de retrieval-architectuur nodig zijn.
• Efficiëntie vs. Grootte: Lichtgewicht reranking (MiniLM) gecombineerd met strategische retrieval-verfijning levert betere trade-offs op tussen effectiviteit en computationele efficiëntie dan grotere, generieke modellen.
• Bewijs Gronding: De resultaten onderstrepen dat de kwaliteit van antwoorden sterk afhankelijk is van de kwaliteit van het bewijs; retrieval-fouten correleren direct met generatiefouten, vooral voor factoid- en lijstvragen waar het missen van één enkele entiteit de metrieken beïnvloedt.
• Systeem Engineering: Het werk benadrukt dat robuuste formattering, post-processing en snippet-pruning even essentieel zijn als de retrieval- en generatiemodellen zelf voor het waarborgen van de validiteit van inzendingen en de stabiliteit van de evaluatie in benchmark-omgevingen.

De auteurs concluderen dat hoewel hun systeem niet het absolute topniveau van alle BioASQ-inzendingen heeft bereikt, het voorgestelde framework aantoont dat de integratie van adaptieve retrieval, bewijs-gefocusseerde generatie en rigoureuze post-processing betrouwbare, computationeel efficiënte biomedische QA-systemen produceert.