Show Your Work: Verbatim Evidence Requirements and Automated Assessment for Large Language Models in Biomedical Text Processing

Die Studie zeigt, dass die Anforderung von wortwörtlichen Belegen für Large Language Models in der biomedizinischen Textverarbeitung zwar eine automatische Überprüfbarkeit und höhere Zuverlässigkeit bei der Klassifizierung von Studienzulassungskriterien ermöglicht, jedoch zu einem modellabhängigen Kompromiss zwischen Abdeckung und Verifizierbarkeit führt.

Das Wesentliche

Das große Problem: Der „glänzende Lügner"

Stell dir vor, du hast einen extrem intelligenten, aber manchmal etwas eingebildeten Assistenten (eine Künstliche Intelligenz, kurz KI), der medizinische Texte liest. Dieser Assistent ist super schnell und kann oft raten, ob ein Patient für eine bestimmte Krebsstudie geeignet ist oder nicht.

Das Problem: Manchmal ist der Assistent zu selbstbewusst. Er gibt dir eine Antwort, die zwar zufällig richtig ist, aber er hat sie sich eigentlich nur aus dem Kopf ausgedacht. Er sagt: „Der Patient passt!", aber er kann dir nicht sagen, warum. Das ist wie bei einem Schüler, der die richtige Antwort auf eine Matheaufgabe hinschreibt, aber keine Rechenschritte zeigt. Wenn der Lehrer (oder in diesem Fall ein Arzt) nicht nachschauen kann, ob die Antwort stimmt, traut man ihr nicht ganz.

Die Lösung: „Zeig mir deine Arbeit!"

Die Forscher aus der Schweiz haben sich gedacht: „Lass uns den Assistenten zwingen, seine Arbeit zu zeigen."

Sie haben drei verschiedene KI-Modelle getestet (von OpenAI, Google und Anthropic). Sie gaben ihnen 200 medizinische Abstracts (Zusammenfassungen von Studien) und fragten: „Ist dieser Patient für die Studie geeignet?"

Sie haben zwei Szenarien durchgespielt:

1. Der normale Modus: Die KI gibt nur das Ergebnis (Ja/Nein) aus.
2. Der „Zeig-mir-die-Arbeit"-Modus: Die KI muss das Ergebnis nennen UND einen wörtlichen Satz aus dem Text zitieren, der beweist, warum sie zu diesem Ergebnis kommt.

Was ist passiert? (Die Ergebnisse)

Hier kommen die interessanten Vergleiche:

1. Der „Zitier-Zwang" macht die KI vorsichtiger
Wenn die KI gezwungen wurde, einen Beweis aus dem Text zu liefern, gab sie öfter zu: „Ich weiß es nicht genau" (sie zog sich zurück).

• Vergleich: Stell dir einen Detektiv vor. Wenn er nur das Ergebnis nennen muss, sagt er vielleicht schnell „Der Dieb ist der Butler". Wenn er aber gezwungen ist, den Fingerabdruck auf dem Messer zu zeigen, sagt er vielleicht: „Ich bin mir nicht sicher, ich brauche mehr Beweise."
• Ergebnis: Die KI wurde etwas langsamer und gab weniger Antworten, aber die, die sie gab, waren oft besser durchdacht.

2. Nicht jede Antwort ist ein echter Beweis
Das war die große Überraschung. Die KI war gut darin, einen Satz aus dem Text zu kopieren (das nennt man „mechanisch gültig"). Aber manchmal war der kopierte Satz nicht wirklich ein Beweis für die Antwort.

• Vergleich: Stell dir vor, du fragst jemanden: „Warum ist der Himmel blau?" und er antwortet: „Weil das Wetter heute schön ist." Der Satz ist ein echter Satz aus einem Buch (mechanisch korrekt), aber er beweist nichts.
• Ergebnis: Die KI konnte oft einen passenden Satz finden, aber ein zweiter KI-Richter (ein „Gutachter") sagte in vielen Fällen: „Nein, dieser Satz beweist deine Antwort nicht wirklich."

3. Jeder Assistent ist anders
Die drei getesteten KIs (GPT, Gemini, Claude) haben sich ganz unterschiedlich verhalten.

• Gemini war sehr schnell und gab fast immer eine Antwort, aber die Zitate waren oft sehr unterschiedlich, wenn man die Frage dreimal stellte (wie ein unruhiger Schüler, der jedes Mal eine andere Begründung erfindet).
• Claude wurde unter dem „Zitier-Zwang" etwas ungenauer.
• GPT wurde etwas besser, wenn es Beweise liefern musste.

Das Fazit: Ein Filter für Vertrauen

Die Studie zeigt uns einen neuen Weg, wie wir KI in der Medizin nutzen können, ohne blind zu vertrauen.

Stell dir die KI nicht als einen Alleswisser vor, sondern als einen Praktikanten.

• Ohne Beweis ist der Praktikant wie ein Junge, der behauptet, er habe den Garten gefegt, aber man sieht keine Spuren.
• Mit dem „Zeig-mir-die-Arbeit"-Modus muss er dir die leeren Eimer und den Besen zeigen.

Der Clou: Wenn die KI einen Beweis liefert, können wir einen zweiten Schritt einbauen (einen „Gutachter"). Wenn der Gutachter sagt: „Ja, dieser Satz beweist die Antwort", dann können wir die Antwort automatisch nutzen. Wenn der Gutachter sagt: „Nein, das ist Quatsch", dann schicken wir die Aufgabe an einen echten Menschen zur Überprüfung.

Zusammengefasst:
Das „Zeig-mir-die-Arbeit"-Prinzip macht die KI nicht perfekt, aber es schafft eine Sicherheitslücke. Es zwingt die KI, ehrlicher zu sein, und erlaubt uns, nur die Antworten zu automatisieren, die wirklich bewiesen sind. Alles andere wird an den Menschen weitergeleitet. Das ist der Schlüssel, um KI sicher in der Medizin einzusetzen.

Technische Zusammenfassung

Titel: Show Your Work: Verbatim Evidence Requirements and Automated Assessment for Large Language Models in Biomedical Text Processing

Autoren: Paul Windisch et al. (Departments of Radiation Oncology, Kantonsspital Winterthur & Inselspital Bern; Faculty of Medicine, Universität Bern)

---

1. Problemstellung

Große Sprachmodelle (LLMs) werden zunehmend für die Verarbeitung biomedizinischer Texte eingesetzt, z. B. zur Klassifizierung von klinischen Studien und zur Prüfung von Einschlusskriterien. Ein zentrales Problem ist jedoch die mangelnde Nachvollziehbarkeit einzelner Entscheidungen.

• Transparenzdefizit: Herkömmliche Evaluierungen konzentrieren sich oft nur auf die Endgenauigkeit (Accuracy), ohne zu prüfen, ob eine Entscheidung tatsächlich durch den Eingabetext begründet ist oder ob das Modell „halluziniert".
• Vertrauenswürdigkeit: In hochriskanten klinischen Szenarien (z. B. Patientenselektion für Studien) ist es kritisch zu wissen, ob eine Vorhersage auf einer echten Evidenz aus dem Text basiert oder nur zufällig korrekt ist.
• Forschungslücke: Es fehlt an empirischen Daten darüber, wie sich eine strikte Anforderung, eine wörtliche Zitation (Verbatim-Quote) aus dem Eingabetext zu liefern, auf das Verhalten, die Genauigkeit und die Auditierbarkeit von LLMs auswirkt.

2. Methodik

Die Studie untersuchte die Klassifizierung des Einschlussbereichs (Eligibility Scope) von onkologischen randomisierten kontrollierten Studien (RCTs).

• Datensatz: 200 onkologische RCTs (2005–2023) aus sechs führenden medizinischen Journals. Nur Titel und Abstract wurden verwendet; Volltexte waren den Modellen nicht zugänglich.
• Aufgabe: Klassifizierung, ob Patienten mit lokalisierten und/oder metastasierten Erkrankungen in die Studie aufgenommen werden können. Die Klassen waren: LOCALIZED, METASTATIC, BOTH, NEITHER (bzw. UNCLEAR als Verzicht).
• Modelle: Drei führende Modelle wurden unter Standard-API-Einstellungen getestet:
  • GPT-5.2 (OpenAI)
  • Gemini 3 Flash (Google)
  • Claude Opus 4.5 (Anthropic)
• Versuchsdesign: Jeder Abstract wurde unter zwei Bedingungen dreimal verarbeitet:
  1. Baseline: Nur Ausgabe des Labels.
  2. Evidence-Required: Ausgabe des Labels plus einer wörtlichen, verbatim-Zitat aus dem Abstract.
• Validierung:
  • Mechanische Prüfung: Das Zitat wurde algorithmisch auf exakte Teilstring-Übereinstimmung (nach Whitespace-Normalisierung) im Originaltext geprüft.
  • Semantische Prüfung: Ein zweites LLM („Judge") bewertete, ob das Zitat das Label semantisch stützt.
• Stabilität: Durch dreifache Wiederholung pro Trial wurde die Konsistenz von Labels und Zitat-Auswahl (Fleiss' Kappa, Jaccard-Similarität) gemessen.

3. Wichtige Beiträge

• Operationalisierung von „Show Your Work": Einführung eines leichtgewichtigen, maschinenprüfbaren Mechanismus (Substring-Verifikation), der eine Audit-Trail ohne manuelle Annotation ermöglicht.
• Unterscheidung von Validität und Semantik: Die Studie trennt strikt zwischen mechanisch gültigen Zitaten (korrekter String) und semantisch fundierten Zitaten (inhaltlich stützend).
• Stabilitätsanalyse: Quantifizierung der Reproduzierbarkeit von Begründungen (Zitaten) über mehrere Läufe hinweg, was oft vernachlässigt wird.
• Selektive Vorhersage (Selective Prediction): Demonstration, wie ein „Judge"-Schritt genutzt werden kann, um nur hochvertrauenswürdige Vorhersagen zu automatisieren und den Rest zur manuellen Prüfung zu leiten.

4. Ergebnisse

• Abdeckung (Coverage) vs. Verifizierbarkeit:
  • Die Anforderung eines Zitats reduzierte die Abdeckung (Anteil nicht-unclear/ungültiger Ausgaben) leicht, da Modelle öfter „UNCLEAR" (Verzicht) wählten oder ungültige Formate lieferten.
  • Beispiel: Bei Gemini 3 Flash sank die Abdeckung von 98,3 % auf 92,8 %; bei GPT-5.2 von 86,2 % auf 84,3 %.
• Genauigkeit (Conditional Performance):
  • Der Einfluss auf die Macro-F1 war modellabhängig:
    • GPT-5.2 & Gemini 3 Flash: Leichte Steigerung der F1 bei Zitatspflicht (GPT: 0,910 → 0,916; Gemini: 0,933 → 0,945).
    • Claude Opus 4.5: Deutlicher Rückgang der F1 (0,828 → 0,777) und signifikant schlechtere Accuracy.
• Mechanische Validität:
  • Die meisten Zitate waren mechanisch korrekt (Substring-Validität: 83,3 % bis 91,2 %).
  • Dennoch waren nur 48,0 % bis 78,8 % der Zitate semantisch fundiert (vom Judge-LLM als stützend bewertet).
• Stabilität:
  • Die Labels waren sehr stabil (Fleiss' Kappa > 0,82).
  • Die Zitat-Auswahl war jedoch weniger stabil, insbesondere bei Gemini 3 Flash (niedrige Jaccard-Similarität von 0,664), was bedeutet, dass das Modell bei gleichen Labels unterschiedliche Textstellen als Begründung wählte.
• Selektive Filterung:
  • Wenn man nur die semantisch fundierten Vorhersagen betrachtete, stieg die Macro-F1 signifikant an (z. B. bei Claude von 0,78 auf 0,88), jedoch auf Kosten einer weiteren Reduktion der Abdeckung.

5. Bedeutung und Fazit

• Auditierbarkeit: Die Anforderung verbatim-Zitate schafft einen automatisierten Prüfpfad, der es ermöglicht, Entscheidungen im biomedizinischen Kontext nachzuvollziehen, ohne auf fehleranfällige bibliografische Zitationen angewiesen zu sein.
• Trade-off: Es gibt einen klaren Zielkonflikt zwischen Abdeckung (Coverage) und Verifizierbarkeit. Durch die Forderung nach Evidenz werden Modelle konservativer; sie geben seltener eine Antwort, aber wenn sie es tun, ist diese oft besser begründet.
• Modellabhängigkeit: Nicht alle Modelle profitieren gleich von der „Show Your Work"-Anforderung. Während einige Modelle (GPT, Gemini) stabiler oder genauer wurden, litt die Leistung von Claude unter der zusätzlichen Komplexität.
• Praktische Anwendung: Die Kombination aus mechanischer Validierung und semantischer Bewertung durch ein „Judge"-Modell ermöglicht ein selektives Vorhersagesystem. Dies ist besonders für Hochrisiko-Anwendungen geeignet, bei denen ein Teil der Daten automatisch mit hohem Vertrauen verarbeitet werden kann, während unsichere Fälle zur manuellen Überprüfung weitergeleitet werden.
• Limitationen: Die Studie basierte nur auf Abstracts (Volltexte waren für Ground Truth nötig, aber nicht für die Modelle verfügbar), was zu „Fehlern" führen kann, die eigentlich korrektes Verhalten bei unvollständigen Informationen sind. Zudem ist die „LLM-as-a-Judge"-Methode selbst nicht fehlerfrei.

Zusammenfassend zeigt die Arbeit, dass die Forderung nach maschinenprüfbaren, wörtlichen Belegen die Auditierbarkeit von LLMs in der Biomedizin signifikant verbessert und eine Brücke zwischen reiner Genauigkeit und nachvollziehbarer Zuverlässigkeit schlägt, jedoch mit einem gewissen Verlust an Abdeckung und modellabhängigen Effekten einhergeht.