Retrieval Augmented Biomedical Question Answering with Weak Question Recovery and Neural Reranking for BioASQ Task 14b

Technisches Resümee: Retrieval-Augmented Biomedical Question Answering mit Weak-Question Recovery und Neural Reranking

Problemstellung
Die biomedizinische Fragebeantwortung (Question Answering, QA) steht vor erheblichen Herausforderungen aufgrund des rasanten Wachstums der Literatur, domänenspezifischer Terminologie, Synonymvariabilität und der Notwendigkeit von Multi-Hop-Reasoning. Während Large Language Models (LLMs) die Textgenerierung verbessert haben, bleibt die Retrieval-Qualität ein Flaschenhals; die abgerufenen Dokumente enthalten oft verrauschte, unvollständige oder nur schwach verwandte Belege, was zu Halluzinationen oder falschen nachgeschalteten Antworten führt. Insbesondere scheitern Standard-Retrieval-Pipelines häufig bei „schwachen“ Abfragen (weak queries), die sich auf seltene Krankheiten oder komplexe Entitätsbeziehungen beziehen, bei denen die lexikalische Überlappung gering ist. Das BioASQ Task 14b Benchmark unterstreicht diese Schwierigkeiten, da Systeme nicht nur relevante Dokumente und Snippets abrufen, sondern auch exakte Antworten und ideale Zusammenfassungen für vier Fragetypen (Ja/Nein, Faktoid, Liste, Zusammenfassung) generieren müssen.

Methodik
Die Autoren präsentieren eine vereinheitlichte Pipeline, die vom DS@GT ARC BioASQ Team entwickelt wurde und Multi-Source-Query-Expansion, Neural Reranking, einen bedingten Weak-Question-Recovery-Mechanismus sowie OpenBioLLM-gestützte Generierung integriert.

1. Retrieval- und Reranking-Pipeline:

   • Query Expansion: Das System erweitert Abfragen mittels drei Strategien: Training-Memory-Expansion (basierend auf ähnlichen BioASQ-Fragen), biomedizinische Synonym-Expansion via OpenBioLLM und beziehungsbewusste Augmentierung (Erfassung von Krankheit-Behandlung- oder Gen-Pfadweg-Verknüpfungen).
   • Initial Retrieval: Erweiterte Abfragen werden an die PubMed API (NCBI E-utilities) übermittelt, um Kandidatendokumente (60–100 pro Frage) abzurufen.
   • Neural Reranking: Ein fein abgestimmtes, auf MiniLM basierendes SentenceTransformer-Modell ordnet die Kandidaten basierend auf semantischer Ähnlichkeit neu. Dies wird mit heuristischen Signalen (Titelüberlappung, Schlüsselwort-Matching, Entitäten-Abgleich) kombiniert.
   • Fusion: Die Ergebnisse aus mehreren Query-Expansionen werden mittels Reciprocal Rank Fusion (RRF) zusammengeführt, um die Robustheit zu verbessern.

2. Weak-Question Recovery:

   • Ein bedingter Mechanismus identifiziert schlecht performende Abfragen basierend auf der Qualität der Snippets (lexikalische Relevanzwerte < 0,35) und Retrieval-Signalen (geringe Anzahl eindeutiger Artikel, hohe Redundanz).
   • Für diese spezifischen Fälle wendet das System gezielte semantische Expansion und beziehungsbewusste Augmentierung an, um relevante Belege wiederherzustellen, wobei verbesserte Ergebnisse selektiv zusammengeführt statt den gesamten Output zu ersetzen.

3. Snippet-Selektion und Pruning:

   • Eine Analyse des Trainingsdatensatzes ergab ab zwei Snippets pro Frage abnehmende Grenzerträge bei der Vokabularabdeckung. Folglich setzt die Pipeline ein kontrolliertes Pruning ein, um redundante oder irrelevante Snippets zu entfernen, wodurch ein Gleichgewicht zwischen Präzision und Recall zur Optimierung der Prompt-Effizienz für die nachgeschaltete Generierung hergestellt wird.

4. Antwortgenerierung:

   • Modell: Das System nutzt aadilya/Llama3-OpenBioLLM-70B als generatives Rückgrat. Um dieses 70B-Modell auf einer einzelnen NVIDIA A100 (40 GB) unterzubringen, wird Activation-aware Weight Quantization (AWQ) angewendet, welche die Gewichte auf 4-Bit-Präzision komprimiert und gleichzeitig die salienten Kanäle schützt.
   • Inferenz: Das Modell wird via vLLM mit PagedAttention bereitgestellt, um die Speicherfragmentierung zu verwalten.
   • Prompting: Es werden strukturierte Prompts mit typspezifischen Formatierungsanweisungen verwendet (z. B. „EXACT: yes/no“ für Faktoids, Pipe-getrennte Entitäten für Listen), um die Konformität mit den BioASQ-Schemata sicherzustellen.
   • Phasen: Phase A+ nutzt abgerufene Belege für die Generierung, während Phase B die von den Organisatoren bereitgestellten kuratierten Gold-Belege nutzt, was eine Ablationsstudie der Auswirkungen der Retrieval-Qualität ermöglicht.

Wichtigste Ergebnisse

• Retrieval (Phase A): Die vorgeschlagene Pipeline erreichte eine Mean Average Precision (MAP) von 0,0956 in Batch 4. Lokale Ablationsstudien zeigten, dass das vollständige Framework (einschließlich Weak-Question-Recovery und Cleanup) die MAP@10 von 0,0745 (Baseline) auf 0,0955 verbesserte, was einer relativen Steigerung von ~28 % entspricht. Das System übertraf konsistent alternative Reranking-Konfigurationen unter Verwendung größerer MPNet Bi-Encoder oder generischer MS MARCO Cross-Encoder, was darauf hindeutet, dass domänenspezifisches Fine-Tuning in Kombination mit Recovery-Strategien effektiver ist als eine bloße Erhöhung der Modellgröße.
• Exakte Antworten (Phase A+ & B): Die Leistung variierte je nach Batch und Fragetyp. In Phase B (unter Verwendung von Gold-Belegen) erreichte das System ein Yes/No Macro-F1 von 0,8952 (Batch 3) und eine Faktoid-Strict-Accuracy von 0,4118. Dies zeigt, dass das OpenBioLLM-Framework zuverlässige exakte Antworten generiert, wenn qualitativ hochwertige Belege bereitgestellt werden.
• Ideale Antworten: Die ROUGE-Scores für ideale Zusammenfassungen waren niedriger als die Metriken für exakte Antworten (z. B. ROUGE-2 F1 ~0,1758 in Batch 3), was darauf hindeutet, dass die Verfeinerung des Retrievals zwar die Vorhersage exakter Antworten signifikant unterstützt, die abstrakte Zusammenfassungserstellung jedoch weiterhin eine Herausforderung darstellt, die weiteres Instruction-Tuning erfordert.

Bedeutung und Ansprüche
Das Paper behauptet, dass der primäre Beitrag darin liegt, zu demonstrieren, dass retrieval-bewusste Verfeinerung und kontrollierte Evidenzauswahl entscheidend für ein robustes biomedizinisches QA sind. Speziell:

• Gezielte Wiederherstellung (Targeted Recovery): Eine bedingte Weak-Question-Recovery-Strategie adressiert schwierige Abfragen effektiv, ohne globale Änderungen an der Kernarchitektur des Retrievals zu erfordern.
• Effizienz vs. Größe: Leichtgewichtiges Reranking (MiniLM) in Kombination mit strategischer Retrieval-Verfeinerung liefert bessere Trade-offs zwischen Effektivität und Recheneffizienz als größere, generische Modelle.
• Evidenz-Grundierung (Evidence Grounding): Die Ergebnisse unterstreichen, dass die Antwortqualität hochgradig von der Qualität der Belege abhängt; Retrieval-Fehler korrelieren direkt mit Generierungsfehlern, insbesondere bei Faktoid- und Listenfragen, bei denen das Fehlen einer einzigen Entität die Metriken beeinflusst.
• System Engineering: Die Arbeit hebt hervor, dass robustes Formatting, Post-Processing und Snippet-Pruning ebenso wichtig sind wie die Retrieval- und Generationsmodelle selbst, um die Validität der Einreichungen und die Stabilität der Evaluierung in Benchmark-Settings zu gewährleisten.

Die Autoren kommen zu dem Schluss, dass ihr System zwar nicht die absolute Spitzengruppe aller BioASQ-Einreichungen erreichte, das vorgeschlagene Framework jedoch zeigt, dass die Integration von adaptivem Retrieval, evidenzfokussierter Generierung und strengem Post-Processing zuverlässige, recheneffiziente biomedizinische QA-Systeme hervorbringt.