HypothesisMed: Inference-Time Answer Fusion and Structured Hypothesis-Space Reporting for Biomedical Question Answering

Technisches Resümee von HypothesisMed

Problemstellung
Aktuelle Evaluierungen von Large Language Models (LLMs) für die biomedizinische Beantwortung von Fragen (Question Answering, QA) stützen sich stark auf die Genauigkeit der Endantwort. Das Paper argumentiert jedoch, dass Genauigkeit allein für zuverlässigkeitskritische biomedizinische Arbeitsabläufe nicht ausreicht. Ein Modell kann zwar die korrekte Option auswählen, aber dennoch daran scheitern, maschinenlesbare Ausgaben zu erzeugen, strukturierte Anweisungen zu ignorieren oder mit hoher Zuversicht falsche Antworten zu geben, wenn der verfügbare Antwortraum unvollständig, dupliziert oder widersprüchlich ist. Bestehende Benchmarks wie MedQA, MedMCQA und PubMedQA bewerten typischerweise nicht, ob ein Modell in der Lage ist, solche „schwachen“ Antworträume zu erkennen oder neben seinen Vorhersagen metadaten zur Zuverlässigkeit bereitstellt, die auditierbar sind.

Methodik: Die HypothesisMed-Pipeline
Das Paper führt HypothesisMed ein, eine Pipeline zur Zuverlässigkeit während der Inferenz, die darauf ausgelegt ist, die Antwortwahl von der strukturierten Berichterstattung über die Zuverlässigkeit zu trennen. Das System arbeitet durch die folgenden Komponenten:

• Prompting-Strategien: Die Pipeline evaluiert vier Inferenzmethoden:
  1. Direktes Prompting (Direct Prompting): Minimales Reasoning, direkte Antwortwahl.
  2. Chain-of-Thought (CoT): Explizite Denkschritte vor der Auswahl.
  3. HypothesisMed-v3 Prompting: Ein strukturierter Prompt, der darauf ausgelegt ist, spezifische Metadaten auszugeben.
  4. Vorgeschlagene Fusion (Proposed Fusion): Eine Kombination der oben genannten Methoden.
• Strukturierte SPACE-Labels: Eine Kerninnovation ist das SPACE-Feld (ein Label-Name, kein Modell), welches HypothesisMed-v3 verwendet, um den Status des Antwortraums in drei Kategorien zu klassifizieren:
  • VALID (Gültig): Es existiert eine medizinisch unterstützte beste Antwort.
  • INCOMPLETE (Unvollständig): Die korrekte Antwort scheint zu fehlen oder unzureichend repräsentiert zu sein.
  • CONTRADICTED (Widersprüchlich): Die Optionen sind intern inkonsistent, dupliziert oder medizinisch widersprüchlich.
• Antwort-Fusion (Answer Fusion): Die endgültige Antwort wird mittels Mehrheitsentscheidung (Majority Voting) über die parsbaren Kandidaten ausgewählt, die durch die Direct-, CoT- und HypothesisMed-v3-Prompts generiert wurden. Falls keine strikte Mehrheit besteht, wird eine deterministische Fallback-Reihenfolge (Direct $\to$ CoT $\to$ HypothesisMed-v3) angewendet.
• Evaluationsmetriken: Über die Standard-Antwortgenauigkeit (Answer Accuracy) hinaus misst die Studie:
  • Parse-Abdeckung (Parse Coverage): Der Anteil der Ausgaben, die erfolgreich in eine gültige Option geparst werden konnten.
  • SPACE-Abdeckung (SPACE Coverage): Der Anteil der Ausgaben, die ein gültiges SPACE-Label enthalten.
  • SPACE-Genauigkeit (SPACE Accuracy): Die Korrektheit des SPACE-Labels (z. B. die korrekte Identifizierung eines VALID-Raums gegenüber der falschen Behauptung, er sei INCOMPLETE).
  • Falsches Commitment (False Commitment): Die Rate von hochkonfidenten (Konfidenz $\ge$ 0,5) falschen Antworten.

Experimenteller Aufbau
Die Studie evaluiert vier Open-Weight-Modelle: Qwen2.5-7B-Instruct, Phi-4-mini-instruct, DeepSeek-R1-Distill-Qwen-32B und BioMistral-7B.

• Primäre Evaluation: 1.000 Beispiele pro Datensatz (MedQA, MedMCQA, PubMedQA) für alle vier Modelle.
• Skalierte Evaluation: 10.183 Beispiele pro Modell für Qwen2.5-7B und Phi-4-mini.
• SPACE-Stresstest: Ein erweiterter Test mit 12.000 Beispielen pro Modell, bei dem Antworträume künstlich verändert wurden (Entfernen korrekter Antworten zur Erzeugung von INCOMPLETE-Sets, Duplizieren von Antworten zur Erzeugung von CONTRADICTED-Sets), um die Fähigkeit der Modelle zur Erkennung von Defekten zu testen.

Wichtigste Ergebnisse

1. Genauigkeits- und Zuverlässigkeits-Trade-offs: In der primären Vier-Modell-Evaluation verbesserte die vorgeschlagene Answer Fusion + HypothesisMed-v3 Pipeline die gewichtete Antwortgenauigkeit gegenüber den besten Direct- oder CoT-Baselines für alle Modelle und steigerte gleichzeitig die Parse-Abdeckung sowie die SPACE-Abdeckung.
   • Qwen2.5-7B: Erreichte eine Genauigkeit von 0,6367 (gegenüber 0,6003 beim CoT-Baseline) mit 100 % Parse-Abdeckung und 99,97 % SPACE-Abdeckung.
   • Phi-4-mini: Zeigte erhebliche Gewinne, mit einer Verbesserung von 0,4817 (CoT) auf 0,5767 (Vorgeschlagen) und einer massiven Reduktion der False Commitments (von 0,9838 auf 0,4054).
2. Modellspezifische Verhaltensweisen:
   • DeepSeek-R1-32B: Zeigte eine verbesserte Genauigkeit durch Fusion (0,1690 auf 0,3877), wobei die Autoren anmerken, dass dies primär eine verbesserte Formatierung/Anwendbarkeit widerspiegelt und kein reiner Reasoning-Gewinn ist, da die Baselines eine sehr geringe Parse-Abdeckung aufwiesen.
   • BioMistral-7B: Demonstrierte eine schlechte Einhaltung strukturierter Ausgaben (nahezu Null-SPACE-Abdeckung), was darauf hindeutet, dass Domänenspezialisierung die Einhaltung strukturierter Ausgabe-Constraints nicht garantiert.
3. Skalierte Evaluation: In dem Test mit 10.183 Beispielen verbesserte die Fusion die Genauigkeit von Phi-4-mini erheblich (0,4296 auf 0,5192). Für Qwen2.5-7B blieb CoT in der Rohgenauigkeit leicht über der Fusion, aber die Fusionsmethode lieferte eine vollständige Parse/SPACE-Abdeckung und ein signifikant niedrigeres False Commitment.
4. SPACE-Stresstest: Die Fähigkeit, Defekte im Antwortraum zu diagnostizieren, blieb schwierig. Im Stresstest erreichte Qwen2.5-7B eine SPACE-Genauigkeit von 0,3074 und Phi-4-mini eine von 0,4168, was darauf hindeutet, dass die reine Prompt-basierte strukturierte Inferenz Schwierigkeiten hat, subtile Anomalien im Antwortraum zuverlässig zu erkennen.

Bedeutung und Ansprüche
Das Paper stellt explizit klar, dass sein Hauptbeitrag nicht der Anspruch auf eine universelle State-of-the-Art-Genauigkeit für die biomedizinische QA ist. Stattdessen liegt die Bedeutung in:

• Trennbarkeit der Fähigkeiten: Der Demonstration, dass Antwortgenauigkeit, Parsbarkeit, strukturierte Berichterstattung über die Zuverlässigkeit, Kalibrierung und das False-Commitment-Verhalten distinkte, trennbare Fähigkeiten sind, die unabhängig voneinander evaluiert werden müssen.
• Auditierbare Workflow-Komponenten: Bereitstellung eines reproduzierbaren Inferenz-Frameworks, um biomedizinische LLMs als auditierbare Workflow-Komponenten unter strukturierten Zuverlässigkeitsbeschränkungen zu evaluieren, statt sie lediglich als Antwortgeneratoren zu betrachten.
• Strukturierte Berichterstattung über die Zuverlässigkeit: Einführung einer Methode zur Generierung maschinenlesbarer Metadaten (SPACE-Labels), die es nachgeschalteten Systemen ermöglicht, zu erkennen, wann ein Modell auf einem unvollständigen oder widersprüchlichen Antwortraum operiert, wodurch das Risiko von sicher auftretenden, aber falschen Zusagen (False Commitments) gemindert wird.

Die Autoren kommen zu dem Schluss, dass die Diagnose des Antwortraums zwar weiterhin eine Herausforderung für aktuelle Modelle darstellt, die HypothesisMed-Pipeline jedoch einen notwendigen Schritt darstellt, um biomedizinische LLMs mit der für einen sicheren, automatisierten Einsatz erforderlichen Strenge zu evaluieren.