Multi-LLM Disagreement as a Scalable Detector of Human Annotation Errors in Structured Data from Clinical Free-Text

Diese Studie zeigt, dass Uneinigkeit zwischen mehreren lokal gehosteten großen Sprachmodellen als hochpräzises, skalierbares und DSGVO-konformes Signal dient, um die menschliche Überprüfung von klinischen Annotationsfehlern zu priorisieren und dabei effektiv die kleine Teilmenge von Fällen mit geringer Übereinstimmung zu identifizieren, die die Mehrheit der Fehler enthalten.

Das Wesentliche

Stellen Sie sich vor, Sie leiten eine riesige Bibliothek, in der Tausende von Büchern (medizinische Berichte) katalogisiert werden müssen. Sie stellen ein Team von studentischen Hilfskräften ein, um jedes Buch zu lesen und eine einfache Karte mit fünf Schlüsselfakten auszufüllen: wo ein bestimmter Befund gefunden wurde, wie groß er war, wie er entfernt wurde und so weiter.

Da es so viele Bücher gibt und die Arbeit repetitiv ist, machen die Studenten manchmal Fehler. Sie könnten eine Zahl falsch lesen, ein Detail überspringen oder durch unleserliche Handschrift verwirrt werden. Jede einzelne Karte manuell zu überprüfen, würde ewig dauern und ein Vermögen kosten.

Diese Arbeit schlägt einen cleveren, automatisierten Weg vor, um die Karten zu identifizieren, die am wahrscheinlichsten falsch sind, sodass Sie nur die relevanten überprüfen müssen.

Die Analogie vom „Komitee von Experten"

Anstatt sich nur auf die studentische Hilfskraft zu verlassen, holten die Forscher vier verschiedene „KI-Experten" (Large Language Models) hinzu, um dieselben Bücher zu lesen und dieselben Karten auszufüllen. Diese KI-Experten sind wie vier verschiedene Spezialisten, die Millionen medizinischer Berichte gelesen haben.

Hier ist die Kernidee: Wenn die studentische Hilfskraft und alle vier KI-Experten bei der Antwort übereinstimmen, ist sie wahrscheinlich richtig. Aber wenn die Hilfskraft „Rot" sagt und alle vier KI-Experten „Blau" sagen, stimmt wahrscheinlich etwas nicht.

Die Forscher schauten nicht nur auf eine KI; sie betrachteten die Meinungsverschiedenheit zwischen den vier KIs und der menschlichen Hilfskraft. Sie erstellten einen „Meinungsverschiedenheits-Score":

• Score 4: Alle vier KIs stimmen mit dem Menschen überein. (Kann ignoriert werden).
• Score 0: Keine der KIs stimmt mit dem Menschen überein. (Hochgradig verdächtig!).

Die Entdeckung der „Nadel im Heuhaufen"

Das aufregendste Ergebnis ist, dass Sie nicht den gesamten Heuhaufen durchsuchen müssen.

• Die Forscher stellten fest, dass die Fälle mit „geringer Übereinstimmung" (wo KIs und Mensch nicht übereinstimmten) nur 6,5 % der gesamten Arbeit ausmachten.
• Dieser winzige Anteil enthielt jedoch etwa 80 % aller tatsächlichen Fehler.

Es ist wie ein Metalldetektor, der nur piept, wenn Sie auf einem Haufen Goldmünzen stehen, und Tausende leere Stellen im Sand ignoriert. Indem sie ihre menschliche Überprüfung nur auf diese kleinen 6,5 % konzentrierten, bei denen KIs und Mensch nicht übereinstimmten, konnten sie fast alle Fehler finden, ohne die schwere Arbeit zu leisten, alles zu überprüfen.

Die Ergebnisse in einfacher Sprache

• Genauigkeit: Wenn KIs und Mensch nicht übereinstimmten, lag der Mensch etwa 76 % der Zeit falsch. Wenn alle übereinstimmten, lag der Mensch fast nie falsch.
• Effizienz: Die Verwendung dieses „Meinungsverschiedenheits-Scores" ermöglichte es ihnen, die sicheren Fälle herauszufiltern und sich auf die riskanten zu konzentrieren. Das System war unglaublich gut darin, Fehler vorherzusagen, mit einem Score von 0,99 von 1,0 (wobei 1,0 perfekt ist).
• Datenschutz: Alle diese KI-Experten liefen auf den eigenen Computern des Krankenhauses (lokal), nicht im öffentlichen Internet. Das bedeutet, dass Patientendaten das Gebäude nie verließen und somit sicher und privat blieben.
• Sprache: Die Studie wurde an deutschen medizinischen Berichten durchgeführt. Dies beweist, dass die Methode funktioniert, selbst wenn die Sprache anders als Englisch ist, was der Ort ist, an dem die meisten KI-Forschungen normalerweise stattfinden.

Warum das wichtig ist

Traditionell müssten Sie zur Sicherstellung der Qualität jede einzelne Karte doppelt überprüfen (was langsam ist) oder einfach nur zufällig einige auswählen, um sie zu prüfen (was die schlechten übersehen könnte).

Diese Arbeit schlägt einen klügeren Ansatz vor: Lassen Sie das KI-Komitee mit dem Menschen streiten. Wenn alle übereinstimmen, fahren Sie fort. Wenn sie streiten, senden Sie diesen spezifischen Fall einem erfahrenen Experten zur endgültigen Prüfung. Dies spart Zeit, spart Geld und stellt sicher, dass die für medizinische Forschung verwendeten Daten viel sauberer und zuverlässiger sind.

Kurz gesagt zeigt die Arbeit, dass die Verwendung einer Gruppe von KI-Modellen, um die Arbeit des Menschen zu „vibeprüfen", eine leistungsstarke, skalierbare und datenschutzfreundliche Methode ist, um Fehler zu erkennen, bevor sie zu einem Problem werden.

Technische Zusammenfassung

Technische Zusammenfassung: Multi-LLM-Diskrepanzen als skalierbarer Detektor für menschliche Annotationsfehler in strukturierten Daten aus klinischen Freitexten

Problemstellung
Die Generierung hochwertiger strukturierter Datensätze aus klinischen Freitexten ist grundlegend für die medizinische Forschung und das maschinelle Lernen, hängt jedoch stark von menschlichen Annotatoren ab. Dieser Prozess ist anfällig für zwei primäre Fehlerquellen: wiederholte Ermüdung, die zu Lapsen oder Übersehen führt, sowie die Delegation von Aufgaben an weniger erfahrene Annotatoren (z. B. Medizinstudenten), die möglicherweise spezifische klinische Kontexte nicht ausreichend beherrschen. Traditionelle Qualitätskontrollmethoden wie doppelte Annotation oder umfassende Expertenprüfungen sind aufgrund des hohen Arbeitsaufwands und der Kosten oft nicht skalierbar. Während Large Language Models (LLMs) als Ersatz für menschliche Annotatoren untersucht wurden, konzentrierte sich die vorherige Forschung weitgehend auf den Vergleich der Genauigkeit einzelner Modelle mit menschlichen Labels oder auf die Verwendung von LLMs zur Korrektur menschlicher Fehler. Diese Arbeit schließt die Lücke bei skalierbaren, datenschutzkonformen Qualitätskontrollmechanismen, die die menschliche Überprüfung für die annotations mit dem höchsten Risiko priorisieren können, ohne auf cloudbasierte Inferenz zurückzugreifen oder den menschlichen Annotator vollständig zu ersetzen.

Methodik
Die Studie nutzte einen retrospektiven Datensatz von 910 deutschsprachigen Koloskopie-Berichten des Universitätsklinikums Mannheim (2010–2014), die endoskopische mukosale Resektionen beschreiben. Der Arbeitsablauf umfasste folgende Schritte:

1. Menschliche Annotation: Ein Medizinstudent extrahierte fünf strukturierte Variablen für das größte Polyp in jedem Bericht: anatomische Lokalisation, primärer Durchmesser, sekundärer Durchmesser, Resektionstechnik (en-bloc vs. stückweise) und das Vorhandensein mehrerer Polypen.
2. Multi-LLM-Extraktion: Vier lokal gehostete, Open-Weight-LLMs (Gemma 3 27B, DeepSeek-R1 70B, GPT-OSS 120B und Mistral Large 3) extrahierten unabhängig voneinander dieselben fünf Variablen aus den Berichten. Alle Modelle wurden auf institutionellen GPU-Servern bereitgestellt, um die DSGVO-Konformität und den Datenschutz zu gewährleisten.
3. Übereinstimmungsbewertung: Für jede Annotation wurde ein Übereinstimmungsscore (0–4) basierend auf der Anzahl der LLMs berechnet, die mit dem menschlichen Label übereinstimmten.
4. Stratifizierte Stichprobenziehung und Adjudikation: Um den prädiktiven Wert der Diskrepanz zu bewerten, wurde eine stratifizierte Stichprobe gezogen, wobei Schichten mit geringer Übereinstimmung (Scores 0–2) überrepräsentiert und Schichten mit hoher Übereinstimmung (Scores 3–4) unterrepräsentiert wurden. Ein geblendeter, erfahrener medizinischer Gutachter adjudizierte diese Fälle, indem er die menschliche Annotation mit der Ausgabe eines einzelnen Referenz-LLMs (Gemma 3 27B, ausgewählt aufgrund seiner hohen Genauigkeit auf dem Prompt-Entwicklungssatz) verglich.
5. Statistische Analyse: Fehlerquoten wurden unter zwei Definitionen berechnet: „streng" (eindeutig falsch) und „breit" (einschließlich unbestimmter Fälle). Prävalenz-adjustierte Receiver-Operating-Characteristic-Kurven (ROC) und Precision-Recall-Kurven (PR) wurden generiert, um die Fähigkeit des Multi-LLM-Diskrepanz-Scores zur Erkennung menschlicher Fehler zu bewerten.

Hauptergebnisse

• Fehlerkonzentration: Die menschlichen Fehlerraten waren stark invers mit der LLM-Übereinstimmung korreliert. Bei einem Übereinstimmungsscore von 0 (keines der LLMs stimmte mit dem Menschen überein) betrug die menschliche Fehlerrate 76,3 %. Umgekehrt sanken die menschlichen Fehlerraten bei Scores von 3 und 4 auf 0 %.
• Effizienz der gezielten Überprüfung: Die Schicht mit der geringsten Übereinstimmung (Score 0) machte nur 6,5 % der insgesamt 4.550 Annotationen aus, konzentrierte jedoch geschätzt 80 % aller Fehler.
• Prädiktive Leistung: Der Multi-LLM-Diskrepanz-Score erreichte einen prävalenz-adjustierten AUC-ROC von 0,991 (95 % KI 0,987–0,994) und einen AUC-PR von 0,893 (95 % KI 0,851–0,929) für die Erkennung menschlicher Fehler unter der breiten Definition. Dies schnitt deutlich besser ab als ein binärer Ein-Modell-Klassifikator (nur Gemma 3 27B), der einen AUC-ROC von 0,944 erreichte.
• Modellskalierung: Experimente mit kleineren Modellvarianten (z. B. Gemma 3 1B bis 27B) zeigten, dass die Übereinstimmungsraten mit der Modellgröße erheblich stiegen, insbesondere zwischen 1B und 4B Parametern, wobei ab 12B–14B Parametern abnehmende Grenzerträge beobachtet wurden.
• Fehlertypen: Die qualitative Analyse von LLM-Fehlern identifizierte vier primäre Fehlermodi: falsche Größenidentifikation (z. B. Missinterpretation von Bereichen), Fehlklassifizierung von Rezidiv-Resektionen als neue Polypen, Versäumnis, Polypen zu erkennen, die reseziert, aber nicht entnommen wurden, und falsche Lokalisationsidentifikation.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass Multi-LLM-Diskrepanzen ein robustes, skalierbares und datenschutzkonformes Signal zur Priorisierung der menschlichen Annotationsüberprüfung darstellen. Durch den Wechsel von einer einheitlichen Qualitätskontrolle zu einer risikogestaffelten Überprüfung ermöglicht das Framework Forschern, ihre Expertenressourcen auf die kleine Teilmenge von Fällen (ca. 6,5 %) zu konzentrieren, bei denen Fehler am wahrscheinlichsten sind, während die Mehrheit der hoch übereinstimmenden Annotationen sicher akzeptiert werden kann.

Die von den Autoren hervorgehobenen Hauptbeiträge umfassen:

1. Validierung in der realen Welt: Der Schritt über kuratierte Benchmarks hinaus zu realen, deutschsprachigen elektronischen Patientenakten, der die Nützlichkeit der Methode in einem komplexen, nicht-englischen klinischen Setting demonstriert.
2. Datenschutzkonformität: Der Nachweis, dass lokal gehostete Open-Weight-Modelle für eine effektive Fehlererkennung ausreichen, wodurch die Notwendigkeit cloudbasierter APIs vermieden und sichergestellt wird, dass Patientendaten innerhalb der institutionellen Infrastruktur verbleiben.
3. Gestufte Betriebspunkte: Im Gegensatz zu binären Ein-Modell-Checks liefert der Multi-LLM-Übereinstimmungsscore ein gestuftes Signal (0–4), das es Institutionen ermöglicht, die Sensitivität und den positiven prädiktiven Wert ihrer Überprüfungsprozesse je nach verfügbaren Ressourcen anzupassen.
4. Generalisierbarkeit: Die Autoren gehen davon aus, dass das Framework sprach- und aufgabenagnostisch ist, was es auf verschiedene klinische Domänen jenseits der Gastroenterologie anwendbar macht, sofern mehrere unabhängige LLMs bereitgestellt werden können.

Die Studie kommt zu dem Schluss, dass dieser Ansatz die Erstellung großer, hochwertiger klinischer Datensätze mit erheblich reduziertem Überprüfungsbedarf ermöglicht und eine praktische Lösung für den Engpass der manuellen Datenabstraktion in der medizinischen Forschung bietet.