Claim-Level Confidence Calibration for Reliable Decision Making with Large Language Models

In der sich rasant entwickelnden Landschaft der künstlichen Intelligenz sind große Sprachmodelle zu leistungsstarken Werkzeugen für die Generierung von Texten, das Beantworten von Fragen und die Unterstützung bei komplexen Aufgaben geworden. Eine beständige Herausforderung bleibt jedoch bestehen: Diese Systeme liefern manchmal klangvoll überzeugend formulierte Antworten, die faktisch falsch sind – ein Phänomen, das als Halluzination bekannt ist. Für Nutzer, die sich bei kritischen Entscheidungen auf diese Modelle verlassen, liegt die Gefahr nicht nur darin, falsch zu liegen, sondern darin, mit absoluter Gewissheit falsch zu liegen. Um dies zu adressieren, suchen Forscher seit langem nach Wegen, die Unsicherheit eines Modells zu messen, indem sie das System im Grunde fragen, wie sicher es sich seiner eigenen Ausgabe ist. Traditionelle Methoden liefern oft einen einzigen Konfidenzwert für eine gesamte Antwort, ähnlich wie eine Wettervorhersage eine einzige Wahrscheinlichkeit für einen ganzen Tag angibt. Doch eine einzelne Antwort kann eine Mischung aus korrekten Fakten und subtilen Fehlern enthalten, was einen einzigen Gesamtwert zu grob macht, um für jemanden nützlich zu sein, der spezifische Details verifizieren muss, bevor er handelt.

Eine neue Studie von Toghrul Abbasli und Kollegen von der Tsinghua-Universität und anderen Institutionen schlägt einen feinkörnigeren Ansatz für dieses Problem vor. Anstatt eine Antwort als einen einzigen Textblock zu behandeln, haben die Forscher eine Methode entwickelt, um jede Antwort in ihre kleinsten, unabhängigen Informationseinheiten zu zerlegen, die sie „atomare Behauptungen“ (atomic claims) nennen. Sie weisen dann jeder dieser einzelnen Behauptungen einen spezifischen Konfidenzwert zu. Das Team testete diese Technik an mehreren modernen Sprachmodellen, einschließlich Systemen führender Entwickler, unter Verwendung zweier unterschiedlicher Arten von Frage-Sets: eines, das auf allgemeines Faktenwissen fokussiert war, und ein anderes, das darauf ausgelegt war, Modelle dazu zu bringen, falsche Prämissen zu akzeptieren. Ihre Ergebnisse legen nahe, dass es durch die Isolierung und Kalibrierung der Konfidenz auf der Ebene der einzelnen Behauptung möglich ist, ein wesentlich zuverlässigeres Signal für Entscheidungsträger zu schaffen. Dieser Ansatz ermöglicht es Nutzern, die Teile einer Antwort zu akzeptieren, die höchstwahrscheinlich wahr sind, während sie spezifische Sätze zur weiteren Überprüfung oder Ablehnung markieren – ein praktischer Weg hin zu sichererer und vertrauenswürdigerer künstlicher Intelligenz in Hochrisikoumgebungen.

Der Kern der Arbeit der Forscher umfasst eine mehrstufige Pipeline, die arbeitet, ohne die internen Abläufe der Sprachmodelle selbst modifizieren zu müssen. Zuerst generiert das System eine Antwort auf die Frage des Nutzers. Als Nächstes zerlegt ein Hilfswerkzeug diese Antwort in kurze, in sich geschlossene Aussagen, wie zum Beispiel „Einstein schlug die Relativitätstheorie vor“ oder „Dies geschah im Jahr 1905“. Sobald die Antwort dekomponiert wurde, bewertet das System jede Aussage einzeln. Es nutzt zwei primäre Signale, um zu bestimmen, wie sicher sich das Modell bei jeder Behauptung sein sollte. Das erste Signal stammt aus der Selbstbewertung oder der verbalisierten Konfidenz des Modells selbst, wobei das Modell aufgefordert wird, anzugeben, wie sicher es sich ist. Das zweite Signal stützt sich auf die Konsistenz; das System generiert mehrere Variationen der Antwort und prüft, ob dieselbe Behauptung in all diesen Fällen erscheint. Wenn eine Behauptung über verschiedene Versuche hinweg wiederholt wird, wird sie als zuverlässiger eingestuft. Diese beiden Signale werden dann kombiniert, um einen finalen Konfidenzwert für jede spezifische Behauptung zu erstellen.

Um sicherzustellen, dass diese Werte aussagekräftig sind, wandten die Forscher einen statistischen Prozess namens Post-hoc-Kalibrierung an. Dieser Schritt passt die rohen Konfidenzzahlen an, damit sie mit der Realität übereinstimmen. Wenn das System beispielsweise eine Konfidenz von 90 Prozent für eine Gruppe von Behauptungen zuweist, stellt die Kalibrierung sicher, dass etwa 90 Prozent dieser Behauptungen tatsächlich korrekt sind. Die Studie testete dieses Framework an sechs verschiedenen Sprachmodellen, die von Open-Source-Systemen bis hin zu proprietären kommerziellen Modellen reichten, über tausende von Fragen hinweg. Die Ergebnisse zeigten, dass dieser Ansatz auf Ebene der einzelnen Behauptungen die Fehlerrate bei der Schätzung der Konfidenz im Vergleich zu Methoden, die nur die gesamte Antwort betrachteten, signifikant reduzierte. Bei Faktenfragen wurden die kalibrierten Werte wesentlich genauer, was bedeutet, dass das System, wenn es sich zu 90 Prozent sicher war, tatsächlich in 90 Prozent der Fälle auch richtig lag. Diese Präzision ermöglicht es einem menschlichen Nutzer, eine konkrete Entscheidung zu treffen: Er kann die hochkonfidenten Behauptungen sofort akzeptieren und seine Aufmerksamkeit auf die mit geringer Konfidenz versehenen Teile richten, um diese zu verifizieren.

Die Studie identifizierte jedoch auch eine klare Grenze, an der diese Methode an ihre Grenzen stößt. Wenn die Fragen mit falschen Prämissen gestaltet wurden – Fallen, die davon ausgehen, dass etwas Unwahres ein Fakt ist – generierten die Modelle oft flüssige, selbstbewusst klingende, aber völlig falsche Behauptungen. In diesen adversen Szenarien versagten die Konfidenzwerte auf Ebene der Behauptungen manchmal dabei, den Fehler zu erkennen, da das Modell in seinem Irrtum intern konsistent war. Die Forscher fanden heraus, dass ihre Methode zwar exzellent darin war, gemischte Antworten zu sortieren, die sowohl richtige als auch falsche Informationen enthielten, sie aber nicht immer ein Modell überwinden konnte, das in Bezug auf einen grundlegenden Fakt selbstbewusst falsch lag. In solchen Fällen legt die Studie nahe, dass Konfidenzwerte allein unzureichend sind; eine externe Prüfung, wie etwa eine Suche nach Beweisen oder eine Kreuzvernehmung durch ein anderes System, ist notwendig, um diese tief verwurzelten Fehler zu erfassen.

Die praktische Implikation dieser Arbeit ist ein Wandel in der Art und Weise, wie wir in professionellen Kontexten mit künstlicher Intelligenz interagieren könnten. Anstatt eine gesamte Antwort basierend auf einem vagen Gefühl des Vertrauens zu akzeptieren oder abzulehnen, können Entscheidungsträger nun auf eine detaillierte Zuverlässigkeitskarte zurückgreifen. Ein von einer KI generierter medizinischer Bericht könnte beispielsweise in seiner allgemeinen Struktur akzeptiert werden, während spezifische Medikamentendosierungen oder Patientenhistorien basierend auf ihren individuellen Konfidenzwerten zur menschlichen Überprüfung markiert werden. Die Forscher betonen, dass diese Technik auch mit „Closed-Box“-Modellen funktioniert, bei denen die internen Mechanismen verborgen sind, was sie für die derzeit gebräuchlichsten fortgeschrittenen kommerziellen Systeme anwendbar macht. Obwohl die Methode das Problem der Halluzination nicht vollständig löst, insbesondere wenn Modelle durch falsche Annahmen getäuscht werden, bietet sie ein robustes Werkzeug zur Steuerung von Unsicherheit. Indem sie die Black Box der Ausgabe eines Sprachmodells in verifizierbare Teile zerlegt, bietet die Studie einen Weg, Hochrisikoentscheidungen mit einem klareren Verständnis darüber zu treffen, was vertrauenswürdig ist und was weiterer Untersuchung bedarf.