💻 computer science

ChainTrust-LLM: Secure and Auditable Hallucination Mitigation in Medical LLMs Using Blockchain and Expert Feedback

Dieses Paper stellt ChainTrust-LLM vor, ein neuartiges Framework, das Expertenfeedback mit einem DAG-basierten Blockchain-Ledger integriert, um Halluzinationen in medizinischen Large Language Models zu erkennen und zu mildern, wobei eine Reduktion der Fehlerraten um 64,8 % bei gleichzeitiger Gewährleistung sicherer, auditierbarer Interaktionen mit minimaler Latenz erreicht wird.

Ursprüngliche Autoren: Muhammad Ismail Mohamand

Veröffentlicht 2026-07-29

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Muhammad Ismail Mohamand

Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Welt vor, in der Sie mit einem superintelligenten Roboter-Bibliothekar sprechen können, der jedes jemals geschriebene medizinische Lehrbuch gelesen hat. Dieser Roboter, bekannt als Large Language Model (LLM), ist fantastisch darin zu chatten, Fragen zu beantworten und sogar Ärzten dabei zu helfen, Dinge an Patienten zu erklären. Aber hier ist der Haken: Manchmal wird dieser Roboter ein wenig zu selbstbewusst und erfindet Dinge dazu. Er könnte Ihnen sagen, dass ein bestimmtes Medikament eine Krankheit heilt, die es gar nicht heilt, oder dass ein Symptom etwas bedeutet, das es nicht ist. In der Welt der Medizin werden diese erfundenen Fakten als „Halluzinationen“ bezeichnet, und sie sind gefährlich, weil sie zu schlechten Entscheidungen führen können.

Um dies zu beheben, versuchen Wissenschaftler, ein System zu bauen, das wie ein strenger Lektor fungiert. Sie wollen einen Weg finden, die Arbeit des Roboters zu überprüfen, jede Korrektur dauerhaft festzuhalten und sicherzustellen, dass der Roboter aus seinen Fehlern lernt, ohne sie zu vergessen. Hier kommt die Idee des „Vertrauens“ ins Spiel. Wenn der Roboter eine Frage richtig beantwortet, vertrauen wir ihm mehr; wenn er sie falsch beantwortet, vertrauen wir ihm weniger. Aber all dieses Vertrauen zu verfolgen und sicherzustellen, dass niemand die Aufzeichnungen heimlich ändern kann, ist eine riesige Herausforderung. Deshalb untersuchen Forscher die Kombination von menschlichen Experten mit einer speziellen Art von digitalem Kontobuch namens „Blockchain“, das wie ein öffentliches Notizbuch ist, in das niemand einmal Geschriebenes löschen oder verändern kann.

Genau darum geht es in der Arbeit „ChainTrust-LLM“. Die Forscher, angeführt von Muhammad Ismail Mohmand und seinem Team, wollten das Problem medizinischer Halluzinationen lösen, speziell für eine Erkrankung namens Hypothyreose (eine Störung der Schilddrüse). Sie bemerkten, dass Roboter oft falsche Details liefern, wenn sie über Symptome wie Müdigkeit, Gewichtszunahme oder Probleme mit dem Menstruationszyklus sprechen. Um dies zu beheben, entwickelten sie ein neues Framework namens ChainTrust-LLM. Betrachten Sie es als ein hochtechnologisches Sicherheitsnetz, das die Fehler und Korrekturen des Roboters sicher protokolliert und so einen prüfbaren Pfad schafft, um die zukünftige Leistung zu verbessern.

So funktioniert ihr System, erklärt anhand einer einfachen Geschichte: Stellen Sie sich vor, der medizinische Roboter ist ein Schüler, der eine Prüfung ablegt. Jedes Mal, wenn er eine Frage beantwortet, prüfen drei echte Ärzte (Experten) die Antwort. Wenn der Schüler richtig liegt, geben sie ein „Daumen hoch“; wenn er falsch liegt, geben sie ein „Daumen runter“ und schreiben die richtige Antwort auf. Aber anstatt diese Notizen einfach in einem unordentlichen Papierstapel aufzubewahren, schreibt ChainTrust-LLM jede einzelne Note und Korrektur in ein „digitales Tagebuch“, das eine Blockchain verwendet. Dieses Tagebuch ist unveränderlich, was bedeutet, dass einmal festgehaltene Fehler für immer als Beweis bestehen bleiben.

Das System hat auch eine spezielle Regel bezüglich der Zeit. Wenn der Roboter heute eine Frage richtig beantwortet, steigt sein „Vertrauenswert“ (Trust Score). Wenn er jedoch lange Zeit nicht überprüft wird, sinkt dieser Vertrauenswert langsam ab, wie eine Batterie, deren Ladung zur Neige geht. Dies stellt sicher, dass das System aktuell bleibt und nicht auf alten, potenziell veralteten Informationen basiert. Wenn der Roboter einen Fehler macht, nutzt das System einen „Risiko-Detektor“, um die Lüge basierend darauf zu erkennen, wie stark sich die Antwort von der Wahrheit unterscheidet, und protokolliert das gesamte Ereignis sicher.

Das Team testete diese Idee an drei berühmten medizinischen Robotern: GPT-4, MedPaLM und Claude. Sie stellten ihnen 300 verschiedene Fragen zu Hypothyreose-Symptomen, Behandlungen und Labortests. Vor der Anwendung von ChainTrust-LLM machten diese Roboter recht häufig Fehler. Zum Beispiel halluzinierte GPT-4 in 23,1 % der Fälle (erfand also Dinge dazu). Nachdem das neue System angewendet wurde, sank diese Zahl drastisch auf 8,5 %. Das ist eine Reduktion um etwa 63 %. Bei den anderen Robotern waren die Verbesserungen ebenso groß, wobei die Fehlerraten um bis zu 64,8 % sanken.

Nicht nur machten die Roboter weniger Fehler, sondern das System wurde auch viel besser darin, zu wissen, wann es richtig oder falsch lag. Die „Vertrauens-Kalibrierungsgenauigkeit“ – was im Gru

Technisches Resümee: ChainTrust-LLM

1. Problemstellung

Große Sprachmodelle (LLMs) wie GPT-4, Med-PaLM und Claude haben ein signifikantes Potenzial in der klinischen Texterstellung, diagnostischen Unterstützung und Patientenaufklärung demonstriert. Ihre Integration in reale medizinische Umgebungen wird jedoch durch das Phänomen der Halluzination behindert – die Generierung von faktisch falschen, erfundenen oder irreführenden Ausgaben, die mit hoher Konfidenz präsentiert werden. In der medizinischen Domäne stellen diese Fehler ein schwerwiegendes Risiko für die Patientensicherheit und die klinische Zuverlässigkeit dar.

Bestehende Minderungsverfahren, einschließlich Retrieval-Augmented Generation (RAG), strukturierter Wissenseinspeisung und Reinforcement Learning from Human Feedback (RLHF), lassen oft Transparenz, Rückverfolgbarkeit und domänenspezifische Robustheit vermissen. Darüber hinaus behandelt die aktuelle Literatur Halluzination häufig als ein universelles Problem, anstatt ihre spezifischen Auswirkungen auf bestimmte Krankheiten zu adressieren. Dieses Paper identifiziert eine kritische Lücke bei der Erkennung und Minderung von Halluzinationen im Zusammenhang mit Hypothyreose (Schilddrüsenunterfunktion), wobei der Fokus speziell auf subtilen und leicht zu verwechselnden Symptomen wie Müdigkeit, Gewichtszunahme und Störungen des Menstruationszyklus liegt. Fehlinformationen in diesen Bereichen können zu Fehldiagnosen oder übersehenen Behandlungen führen, doch es gibt kaum Systeme, die eine domänenspezifische Symptomerkennung mit sicherer Auditierbarkeit adressieren.

2. Methodik: Das ChainTrust-LLM-Framework

Die Autoren schlagen ChainTrust-LLM vor, ein neuartiges Framework, das Human-in-the-Loop-Vertrauenskalibrierung mit Blockchain-basierter Auditierbarkeit zur Erkennung und Minderung von Halluzinationen integriert. Das System ist um vier Kernmodule herum konzipiert:

2.1 Datensatzkonstruktion

Ein krankheitsspezifischer Datensatz wurde entwickelt, der aus 300 kuratierten medizinischen Prompts besteht, unterteilt in drei Kategorien: Symptome (mit Fokus auf Müdigkeit, Gewichtszunahme und Menstruationsgesundheit), Medikation/Behandlung sowie Laboruntersuchung/Diagnose. Die Grundwahrheiten (Ground Truths) wurden mithilfe autoritativer Quellen (NIDDK, CDC, ATA, MedlinePlus, DailyMed) erstellt und von drei erfahrenen Endokrinologen verifiziert. Der Datensatz enthält binäre Halluzinationslabels, Schweregrad-Scores und Vertrauenswürdigkeits-Scores.

2.2 Systemarchitektur

Das Framework verarbeitet Eingaben durch den folgenden Pipeline-Prozess:

Prompt-Encoder-Modul: Verwendet einen domänenspezifisch fein abgestimmten Sprach-Encoder (z. B. BioBERT oder ClinicalBERT), um klinische Abfragen in strukturierte semantische Embeddings zu transformieren. Ein Softmax-Klassifikator leitet Prompts in spezifische Domänen (Symptom, Medikation oder Labor) weiter, um die Halluzinationsschwellenwerte entsprechend anzupassen.
Halluzinations-Erkennungsmodul: Implementiert einen binären Risiko-Klassifikator $R(x)$ , der halluzinierte Antworten identifiziert. Es nutzt die semantische Kontradiktionsbewertung ( $C_i = 1 - \text{Sim}(y_i, y^*_i)$ ), um die faktische Ähnlichkeit zwischen der LLM-Ausgabe und den verifizierten Referenzantworten zu messen. Zu den Merkmalen gehören linguistische Überlappung, Negationserkennung und klinisches Entitätsmatching (ICD-10, Arzneimittelnennungen).
Vertrauens-Scoring-Modell: Führt einen zeitgewichteten Vertrauensaktualisierungsmechanismus ein, der sich an Expertenfeedback anpasst. Der Vertrauenswert $T(y, t)$ wird basierend auf neuem menschlichem Feedback $f_t(y)$ und einem vorherigen Vertrauenswert $T_{prev}(y)$ aktualisiert, ausbalanciert durch einen Gedächtnisparameter $\alpha$ . Entscheidend ist, dass das Modell eine exponentielle Vertrauensabnahme ( $e^{-\lambda \Delta t}$ ) beinhaltet, um Vertrauenswerte in Abwesenheit von aktuellem Feedback zu reduzieren, was eine domänenspezifische Zuverlässigkeitsbewertung gewährleistet.
Blockchain-Auditing-Layer: Um eine manipulationssichere Verfolgung zu gewährleisten, werden alle Antwort-Feedback-Paare gehasht und in einer privaten, berechtigungsbasierten DAG-basierten Blockchain (implementiert auf einem berechtigungsbasierten Ethereum-Netzwerk mittels geth) gespeichert. Jeder Blockeintrag enthält den Vertrauenswert, das Feedback-Label und den Zeitstempel, verknüpft über kryptografische Hash-Pointer, um Integrität und Rückverfolgbarkeit zu garantieren.

2.3 Sicherheit und Formalisierung

Das Paper formalisiert die Robustheit der Halluzinationserkennung gegenüber adversen Perturbationen und definiert die Integrität der Vertrauenskette mittels DAG-basierter Hash-Pointer. Die Zugriffskontrolle wird durch digitale Signaturen autorisierter Experten-Nutzer erzwungen, und Replay-Angriffe werden durch Nonces verhindert.

3. Wichtigste Beiträge

Das Paper skizziert drei primäre Beiträge:

Human-in-the-Loop Vertrauenskalibrierung: Ein Framework zur Halluzinationserkennung, das speziell auf Hypothyreose-bezogene Antworten zugeschnitten ist und iteratives Expertenfeedback nutzt, um Vertrauenswerte zu aktualisieren.
Blockchain-auditierte Feedbackschleife: Ein sicherer Protokollierungsmechanismus, der die Rückverfolgbarkeit und Unveränderlichkeit von Halluzinationskorrekturen und Vertrauenseinschätzungen sicherstellt.
Zeitgewichtetes Vertrauensabnahme-Modell: Ein neuartiger Ansatz zur Bewertung der Zuverlässigkeit von LLM-Antworten im Zeitverlauf, der die Abnahme des Vertrauens in Abwesenheit kontinuierlicher Expertenvalidierung berücksichtigt.

4. Experimentelle Ergebnisse

Das Framework wurde unter Verwendung von GPT-4, Med-PaLM und Claude über den 300-Prompt-Datensatz evaluiert. Die wichtigsten Leistungsmetriken sind:

Reduktion der Halluzinationsrate: ChainTrust-LLM reduzierte die Halluzinationsraten über alle Modelle hinweg signifikant:
- GPT-4: Senkung von 23,1 % auf 8,5 % (63,2 % Reduktion).
- Med-PaLM: Senkung von 28,7 % auf 10,1 % (64,8 % Reduktion).
- Claude: Senkung von 31,9 % auf 12,4 % (61,1 % Reduktion).
Vertrauenskalibrierungsgenauigkeit (TCA): Die Übereinstimmung zwischen Modell-Vertrauensprognosen und Expertenbewertungen verbesserte sich erheblich:
- GPT-4: 75,4 % $\rightarrow$ 91,2 %
- Med-PaLM: 70,3 % $\rightarrow$ 89,5 %
- Claude: 67,8 % $\rightarrow$ 87,1 %
Inter-Rater-Übereinstimmung: Das Fleiss' Kappa ( $\kappa$ ) verbesserte sich vom durchschnittlichen Baseline-Wert 0,65 auf 0,87, was auf eine starke Übereinstimmung der Experten bezüglich der korrigierten Ausgaben hindeutet.
Symptomspezifische Erkennung: Die Genauigkeit bei der Erkennung von Halluzinationen für spezifische Symptome verbesserte sich signifikant:
- Müdigkeit: 68 % $\rightarrow$ 92 %
- Gewichtszunahme: 64 % $\rightarrow$ 89 %
- Menstruationsgesundheit: 61 % $\rightarrow$ 87 %
Klassifikator-Leistung: Der Halluzinationsrisiko-Klassifikator erreichte einen AUC von 0,934, was eine hohe Sensitivität und Spezifität belegt.
Blockchain-Overhead: Das System behielt eine niedrige Latenz bei, mit einer durchschnittlichen Transaktionslatenz von 211 ms und minimalen Gas-Kosten, was die Echtzeit-Protokollierung unterstützt.

5. Bedeutung und Ansprüche

Die Autoren behaupten, dass ChainTrust-LLM eine robuste, erklärbare und sichere Lösung für den Einsatz von medizinischen Sprachmodellen bietet. Im Gegensatz zu bisherigen Post-hoc-Detektoren operiert dieses Framework als Echtzeit-, feedbackbasierte Minderungskreislauf. Durch die Kombination von formaler Vertrauensmodellierung mit Blockchain-Transparenz adressiert das System die kritische Notwendigkeit der Auditierbarkeit in hochsensiblen medizinischen Bereichen.

Die Studie betont, dass während die allgemeine Halluzinationserkennung ein aktives Forschungsfeld ist, die gezielte Aufmerksamkeit auf untererforschte klinische Domänen wie Hypothyreose-Symptome unerlässlich ist. Die Integration eines zeitgewichteten Vertrauensabnahme-Modells und unveränderlicher Audit-Trails bietet einen Mechanismus, um sicherzustellen, dass LLMs über die Zeit zuverlässig bleiben, auch wenn sich medizinisches Wissen entwickelt oder Feedback-Muster ändern. Die Autoren kommen zu dem Schluss, dass das Framework ein bedeutender Schritt in Richtung vertrauenswürdiger KI im Gesundheitswesen ist, wobei zukünftige Arbeiten geplant sind, um das System auf andere Symptome auszuweiten und Federated Learning für eine breitere Anwendbarkeit zu nutzen.