From Attribution to Abstention: Training-Free Attention-Based Auditing for Clinical Summarization

1. Problemstellung

Der Einsatz von multimodalen Large Language Models (MLLMs) für die klinische Zusammenfassung (z. B. von Arzt-Patienten-Gesprächen oder Radiologieberichten) birgt ein kritisches Risiko: Halluzinationen. Modelle generieren oft flüssige, aber faktisch nicht belegte Aussagen, was in hochriskanten medizinischen Kontexten zu verzögerten Diagnosen oder unnötigen Tests führen kann.

Bestehende Ansätze zur Transparenz und Halluzinationsvermeidung haben folgende Mängel:

• Nachträgliche Attribution (Post-hoc): Methoden wie Gradienten-basierte Saliency oder Attention Rollout wurden für Klassifizierungsaufgaben entwickelt und lassen sich nicht nahtlos auf offene Textgenerierung übertragen.
• Trainingsbasierte Ansätze: Methoden wie RLHF oder Contrastive Decoding erfordern teures Nachtrainieren, liefern keine Satz-für-Satz-Herkunftsnachweise und bieten keinen Mechanismus, um warum eine Aussage generiert wurde, zu verifizieren.
• Fehlende Echtzeit-Überwachung: Es fehlt an einem System, das während der Generierung sofort signalisiert, ob eine Aussage evidenzbasiert ist oder ob das Modell unsicher ist (Abstention).

Das Ziel ist es, eine kostenlose, trainingsfreie Audit-Schicht zu schaffen, die zwei Dinge liefert: (1) eine genaue Zuordnung jeder Aussage zu ihrer Quelle (Attribution) und (2) eine Bewertung der Zuverlässigkeit jeder Aussage (Groundedness), um Halluzinationen zu markieren.

2. Methodik: ClinTrace

Die Autoren stellen ClinTrace vor, ein Framework, das die Decoder-Attention-Gewichte nutzt, die jedes Transformer-basierte MLLM während der Generierung ohnehin berechnet. Es erfordert kein Nachtrainieren, keine zusätzlichen Modelle und keine zusätzlichen Inferenzkosten (außer dem Ausgeben der Attention-Daten).

Der Prozess läuft in drei Stufen ab:

1. Quell-Chunking: Der Eingabetext (und bei Multimodalität Bild-Patches) wird in satzweise Einheiten unterteilt.
2. Attention Pooling: Für jedes generierte Token werden die Attention-Gewichte über alle Schichten und Köpfe hinweg gemittelt, um ein robustes Repräsentationsvektor für die Quellenrelevanz zu erhalten. Dies dient als Rauschunterdrückung.
3. Attribution & Groundedness (Satz-Ebene):
   • Attribution: Ein generierter Satz wird den Quell-Sätzen zugeordnet, zu denen die meisten Tokens des generierten Satzes die höchste Attention aufweisen (basierend auf einem Schwellenwert $\tau$).
   • Groundedness Score ($\phi$): Dieser Score misst, wie konzentriert die Attention der Tokens eines Satzes auf spezifische Quell-Evidenz ist.
     • Hoher Score: Die Attention ist fokussiert auf eine klare Quelle $\rightarrow$ hohe Zuverlässigkeit.
     • Niedriger Score: Die Attention ist diffus $\rightarrow$ potenzielle Halluzination.

Abstention-Mechanismus: Sätze mit einem Groundedness-Score unter einem Schwellenwert $\phi_{min}$ werden zurückgehalten und zur manuellen Überprüfung durch einen Arzt markiert, anstatt sie als verlässliche Ausgabe zu präsentieren.

3. Wichtige Beiträge

• Training-freie Audit-Schicht: Demonstration, dass Attention-Gewichte allein ausreichen, um sowohl Quellenangaben als auch Halluzinationsrisiken zu detektieren, ohne das Modell zu verändern.
• Duale Nutzung des Signals: Der gleiche Attention-Signalstrom wird für zwei klinisch kritische Aufgaben genutzt: Quellenverfolgung (Attribution) und Vertrauenswürdigkeitsbewertung (Groundedness).
• Einfluss des Domain-Finetunings: Der Nachweis, dass medizinisch feinabgestimmte Modelle (Medical-Finetuning) deutlich strukturiertere und interpretierbarere Attention-Muster aufweisen als allgemeine Modelle.
• Abstention als Sicherheitsmechanismus: Ein praktischer Ansatz, der Unsicherheit offenlegt, statt sie zu ignorieren, und so die Zuverlässigkeit der verbleibenden Ausgabe erhöht.

4. Ergebnisse

Die Evaluation erfolgte auf zwei Datensätzen (CliConSummation für Dialoge, MIMIC-CXR für Radiologie) mit zwei Modellen: einem allgemeinen Modell (Qwen3-8B) und einem medizinisch feinabgestimmten Modell (HuatuoGPT-Vision-7B).

• Quellen-Attribution (Attribution):

  • ClinTrace übertrifft alle Baselines (Selbst-Attribution, Embedding-basierte Methoden) signifikant.
  • Radiologie: Qwen3-8B erreicht 92,15 % Text F1, HuatuoGPT sogar 97,22 %.
  • Dialoge: Qwen3-8B erreicht 88,48 %, HuatuoGPT 94,09 %.
  • Bei multimodalen Eingaben (Bilder) erreicht ClinTrace ebenfalls hohe Image-F1-Werte (>80 %).

• Halluzinationsdetektion (Groundedness):

  • Der Groundedness-Score korreliert stark mit der faktischen Richtigkeit (Faithfulness).
  • Medizinisches Modell (HuatuoGPT): Erreicht eine AUROC von 0,77, was mit Embedding-basierten Vertrauenswerten konkurrierbar ist, aber ohne Zusatzkosten.
  • Allgemeines Modell (Qwen3): Die AUROC liegt bei 0,59, was schwächer ist, aber dennoch eine gewisse Unterscheidungsfähigkeit zeigt. Dies unterstreicht, dass medizinisches Finetuning die Attention-Muster für die Selbstüberwachung verbessert.

• Abstention-Effekt (Vertrauenswürdigkeit vs. Abdeckung):

  • Durch das Zurückhalten der 20 % am wenigsten fundierten Sätze (Abstention) steigt die Faithfulness (faktische Richtigkeit) bei HuatuoGPT von 61,7 % auf 72,6 %.
  • Dies zeigt, dass ein klinisches System durch selektive Zurückhaltung von unsicheren Aussagen die Gesamtzuverlässigkeit drastisch steigern kann.

• Korrelation: Es wurde bestätigt, dass korrekt attribuierte Sätze systematisch höhere Groundedness-Scores und höhere Faithfulness-Raten aufweisen als falsch attribuierte.

5. Bedeutung und Implikationen

• Klinische Sicherheit: ClinTrace bietet einen Weg, um MLLMs in der klinischen Praxis sicherer zu machen, indem es Ärzten hilft, schnell zu verifizieren, woher Informationen stammen und welche Aussagen unsicher sind.
• Rolle des Finetunings: Die Studie zeigt, dass medizinisches Finetuning nicht nur die Leistung bei der Aufgabe verbessert, sondern auch die Interpretierbarkeit und Selbstüberwachungsfähigkeit des Modells erhöht. Für den klinischen Einsatz sind domain-adaptierte Modelle daher vorzuziehen.
• Ressourceneffizienz: Da keine zusätzlichen Modelle oder Trainingszyklen benötigt werden, ist dieser Ansatz leicht in bestehende MLLM-Pipelines integrierbar.
• Design-Prinzip: Der Ansatz „Abstention over Silent Failure" (Unsicherheit offenlegen statt Fehler stillschweigend zu korrigieren) wird als essenzielles Designprinzip für medizinische KI hervorgehoben.

Zusammenfassend demonstriert das Paper, dass die internen Mechanismen von Transformer-Modellen (Attention) bereits einen starken, kostenlosen Signalgeber für Transparenz und Sicherheit in der klinischen KI darstellen, sofern das Modell angemessen auf den medizinischen Kontext trainiert wurde.