💬 NLP

Disentangling Ambiguity from Instability in Large Language Models: A Clinical Text-to-SQL Case Study

Dieses Paper führt CLUES ein, ein Framework, das die Eingabeambiguität von der Modellinstabilität in der klinischen Text-to-SQL-Aufgabe entkoppelt, indem es semantische Unsicherheit in distinkte Scores zerlegt und dadurch gezielte Interventionen sowie ein effizienteres Error-Triage im Vergleich zu bestehenden Methoden ermöglicht.

Ursprüngliche Autoren: Angelo Ziletti, Leonardo D'Ambrosi

Veröffentlicht 2026-07-09

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Angelo Ziletti, Leonardo D'Ambrosi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel mithilfe eines superintelligenten KI-Assistenten zu lösen. Sie stellen dem Assistenten eine Frage über eine riesige Bibliothek medizinischer Unterlagen, wie zum Beispiel: „Wie viele Patienten über 18 haben eine atopische Dermatitis?“ Die KI antwortet Ihnen vielleicht mit einer SQL-Abfrage (einer speziellen Sprache, um die Datenbank abzufragen) und einer Antwort. Aber hier ist der Haken: Manchmal liegt die KI daneben, und manchmal liegt sie aus zwei sehr unterschiedlichen Gründen falsch.

Das Papier „Disentangling Ambiguity from Instability in Large Language Models“ stellt ein neues Detektiv-Werkzeug namens CLUES vor. Seine Hauptaufgabe ist es, herauszufinden, warum die KI verwirrt ist. Ist die Frage selbst ein Rätsel mit mehreren Bedeutungen (Ambiguity / Mehrdeutigkeit)? Oder ist die KI einfach nur an einem schlechten Tag und reagiert zittrig (Instability / Instabilität)?

Die zwei Arten der Verwirrung

Stellen Sie sich das Gehirn der KI wie eine Küche vor.

1. Das Problem der Mehrdeutigkeit (Das Rätsel)
Stellen Sie sich vor, Sie sagen dem Koch: „Mach mir ein Sandwich.“

Interpretation A: „Mach mir ein Truthahn-Sandwich ohne Mayo.“
Interpretation B: „Mach mir ein Schinken-Sandwich mit extra Käse.“
Wenn der Koch beide macht und Sie zwei verschiedene Sandwiches bekommen, dann ist das Mehrdeutigkeit. Das Problem war nicht das Kochgeschick des Chefs; es war Ihre vage Bestellung. In der medizinischen Welt ist die Frage „Wie viele Patienten über 18?“ knifflig. Bedeutet „über 18“, dass sie jetzt über 18 sind, oder in dem Alter, als sie erstmals diagnostiziert wurden? Wenn die KI die falsche Bedeutung errät, liefert sie die falsche Antwort. Das Papier schlägt vor, dass die Lösung hier darin besteht, den Menschen zu fragen: „Hey, meinten Sie das Alter jetzt oder das Alter bei der Diagnose?“

2. Das Problem der Instabilität (Der zittrige Koch)
Stellen Sie sich nun vor, Sie geben dem Koch eine kristallklare Bestellung: „Mach mir ein Truthahn-Sandwich ohne Mayo.“

Versuch 1: Ein perfektes Truthahn-Sandwich.
Versuch 2: Ein verbranntes Truthahn-Sandwich.
Versuch 3: Ein Truthahn-Sandwich mit Mayo (Ups!).
Hier war die Bestellung perfekt, aber der Koch ist instabil. Dies ist Instabilität. Die KI ist verwirrt über ihre eigenen internen Regeln oder hat einfach einen Glitch. Das Papier schlägt vor, dass man in diesem Fall den Menschen nicht um Klärung bitten sollte, sondern die Antwort für eine menschliche Überprüfung oder zur Korrektur des KI-Trainings markieren sollte.

Der alte Weg vs. der CLUES-Weg

Vor diesem Papier verwendeten Forscher einen einzelnen Wert (genannt Kernel Language Entropy oder KLE), um zu messen, wie „verwirbelt“ die Antworten der KI waren.

Der alte Weg: Wenn die KI fünf verschiedene Antworten gab, stieg der Wert an. Aber der alte Wert konnte Ihnen nicht sagen, warum. War es, weil die Frage ein Rätsel war, oder weil die KI einen Glitch hatte? Es war wie ein Feuermelder, der einfach nur schreit „Feuer!“, ohne zu sagen, ob es ein echter Brand oder nur verbranntes Toast ist.
Das Argument des Papiers: Die Autoren argumentieren ausdrücklich gegen die Verwendung eines einzigen Wertes. Sie sagen, man muss die zwei Arten der Verwirrung trennen, um zu wissen, was als Nächstes zu tun ist.

Wie CLUES funktioniert: Der magische Graph

Die Autoren bauten ein Framework namens CLUES (Conditional Language Uncertainty via Entropy and Schur). Sie behandeln den Denkprozess der KI als eine zweistufige Show:

Stufe 1 (Die Interpretation): Die KI rät, was die Frage bedeuten könnte. Sie schreibt ein paar verschiedene Versionen der Frage auf.
Stufe 2 (Die Antwort): Für jede dieser Versionen der Frage versucht die KI mehrfach, eine Antwort zu geben.

Um die Verwirrung zu messen, zeichnen sie eine riesige Karte (einen „bipartiten semantischen Graphen“).

Eine Seite der Karte enthält die Fragen (Interpretationen).
Die andere Seite enthält die Antworten.
Sie verbinden diese mit Linien. Wenn zwei Fragen ähnlich sind, ist die Linie dick. Wenn zwei Antworten ähnlich sind, ist die Linie dick.

Dann wenden sie einen ausgeklügelten mathematischen Trick an – die Schur-Komplement (stellen Sie es sich als einen mathematischen Filter vor, der die „Fragen-Verwirrung“ von der „Gesamtverwirrung“ subtrahiert).

Das Ergebnis: Sie erhalten zwei separate Zahlen:
- $H_I$ (Ambiguity Score): Wie stark die Fragen voneinander abweichen.
- $H_{R|I}$ (Instability Score): Wie stark die Antworten voneinander abweichen, selbst wenn die Frage fixiert ist.

Was die Zahlen aussagen

Das Team testete dies an zwei Arten von Rätseln:

Allgemeine Trivia: Sie verwendeten 300 Fragen aus AmbigQA und 300 aus SituatedQA.
- Sie fanden heraus, dass der neue Instability Score ( $H_{R|I}$ ) viel besser vorhersagte, wann die KI scheitern würde, als der alte Einzelwert.
- Beispielsweise erreichte der alte Score beim KimiK2-Modell eine Vorhersagegenauigkeit (AUROC) von 0,663, während der neue CLUES-Score auf 0,770 sprang.
- Sie bemerkten auch, dass, wenn sie einfach nur versucht hätten, die Werte voneinander abzuziehen (eine „naive“ Methode), dies kläglich scheiterte und in 37 % bis 60 % der Fälle negative Zahlen lieferte. Dies bewies, dass ihr komplexer mathematischer Trick notwendig war.
Medizinische Unterlagen (Der Ernstfall): Sie testeten dies auf einem klinischen Text-to-SQL-Datensatz mit 2.180 Fragen.
- Hier war der neue Score sogar noch besser. Der alte Score hatte eine Genauigkeit von 0,600, während CLUES 0,762 erreichte.
- Sie fanden heraus, dass der „Instability“-Score besonders gut darin war, zu erkennen, wenn die KI einfach nur zittrig war.

Die „Regime“-Strategie: Das Chaos sortieren

Das Papier schlägt vor, jede Frage basierend auf den zwei Scores in eines von vier „Regimes“ zu sortieren:

Regime I (Selbstbewusst): Niedrige Mehrdeutigkeit, niedrige Instabilität. -> Automatisch beantworten.
Regime II (Mehrdeutigkeit): Hohe Mehrdeutigkeit, niedrige Instabilität. -> Den Menschen um Klärung bitten.
Regime III (Instabilität): Niedrige Mehrdeutigkeit, hohe Instabilität. -> Zur menschlichen Überprüfung markieren.
Regime IV (Kombiniert): Hohe Mehrdeutigkeit, hohe Instabilität. -> Beides tun!

Dieses Sortieren ist ein Game-Changer für die Effizienz. In ihrem Einsatztest fanden sie heraus, dass Regime IV (die chaotische, hochriskante Zone) 51 % aller Fehler enthielt, obwohl es nur 25 % der gesamten Fragen ausmachte.

Das Fazament: Wenn Sie nur die chaotischen 25 % der Fragen an einen Menschen zur Überprüfung senden, fangen Sie die Hälfte aller Fehler ab! Das ist doppelt so effizient wie das zufällige Überprüfen von Fragen.

Wie sicher sind sie sich?

Die Autoren sind sehr zuversichtlich in ihre Ergebnisse, sind aber vorsichtig, die Natur ihrer Erkenntnisse nicht zu übertreiben.

Sie haben die Wirksamkeit des Frameworks durch empirische Beweise auf spezifischen Datensätzen (AmbigQA, SituatedQA und ihrem klinischen Benchmark) demonstriert und validiert, anstatt einen theoretischen mathematischen Beweis für die zugrunde liegenden Gleichungen zu liefern.
Sie haben die Verbesserung in realitätsnahen Umgebungen gemessen und gezeigt, dass der neue Score konsistent besser darin ist, Ausfälle zu erkennen.
Sie geben jedoch zu, dass das System in einem realen Einsatz, in dem Fehler selten sind (nur etwa 4,4 % der Fragen waren in ihrem Test falsch), noch nicht perfekt ist. Es ist ein großartiges Werkzeug für die „Triage“ (Sortierung), aber es löst noch nicht jedes Problem automatisch.
Sie merken auch an, dass eine Einschränkung besteht: Das System muss zuerst mehrere Interpretationen generieren, was mehr Rechenleistung kostet. Wenn die KI, die die Interpretationen generiert, schlecht ist, könnte das gesamte System verwirrt werden.

Das Fazit

Das Papier behauptet nicht, die Unsicherheit der KI „gelöst“ zu haben. Stattdessen schlägt es vor, dass wir durch einen zweistufigen Prozess und einen speziellen mathematischen Filter (die Schur-Komplement) endlich den Unterschied zwischen einer verwirrenden Frage und einer glitchigen KI feststellen können. Dies ermöglicht es uns, aufzuhören zu raten und statっsen die richtige Maßnahme zu ergreifen: Hilfe anzufordern, wenn die Frage vage ist, oder die Arbeit zu überprüfen, wenn die KI unruhig agiert. Dies ist ein Schritt in Richtung sichererer und zuverlässigerer KI-Ärzte und -Forscher.

Technisches Resümee: Entkopplung von Ambiguität und Instabilität in Large Language Models

Problemstellung

Der Einsatz von Large Language Models (LLMs) für klinische Text-to-SQL-Anwendungen steht vor einer kritischen Barriere: dem Risiko, syntaktisch korrekte, aber semantisch fehlerhafte Abfragen zu generieren. Eine primäre Herausforderung ist die latente Ambiguität, bei der Eingabeabfragen implizite Unsicherheiten enthalten (z. B. „Patienten über 18“, was sich auf das Alter bei der Diagnose oder das aktuelle Alter beziehen kann), die das Ergebnis erheblich verändern können, aber für den Nutzer nicht offensichtlich sind.

Aktuelle Methoden zur Quantifizierung von Unsicherheit, wie etwa die Kernel Language Entropy (KLE), liefern einen einzelnen Score zur Messung der Output-Diversität. Dieser Ansatz führt jedoch zwei grundlegend verschiedene Quellen der Unsicherheit zusammen:

Input-Ambiguität (Aleatorisch-ähnlich): Diversität, die aus der inhärenten Mehrdeutigkeit der Nutzerabfrage resultiert, welche legitim mehrere gültige Interpretationen zulässt.
Modell-Instabilität (Epistemisch-ähnlich): Diversität, die aus der internen Inkonsistenz oder dem mangelnden Wissen des Modells bei der Verarbeitung einer einzelnen, klaren Interpretation resultiert.

Diese Zusammenführung behindert den effektiven Systembetrieb. Hohe Ambiguität sollte einen Klärungsdialog mit dem Nutzer auslösen, während hohe Instabilität die Abfrage zur menschlichen Überprüfung kennzeichnen sollte. Bestehende Methoden können diese Regime nicht unterscheiden, was gezielte Interventionen verhindert.

Methodik: Das CLUES-Framework

Die Autoren schlagen CLUES (Conditional Language Uncertainty via Entropy and Schur) vor, ein Framework, das Text-to-SQL als zweistufigen generativen Prozess modelliert, um die semantische Unsicherheit zu dekomponieren.

1. Zweistufiger generativer Prozess

Das System wird formalisiert als:

Interpretationsphase: Das System generiert $N$ distinkte semantische Interpretationen ( $I = \{I_1, ..., I_N\}$ ), die plausible Lesarten der ursprünglichen Abfrage repräsentieren.
Generationsphase: Für jede Interpretation $I_n$ generiert das System $M$ Kandidat-SQL-Abfragen und die dazugehörigen Antworten ( $R_n = \{R_{n,1}, ..., R_{n,M}\}$ ).
Diese Struktur erzeugt eine bipartite Beziehung, bei der die Diversität über Interpretationen hinweg Ambiguität repräsentiert und die Diversität innerhalb einer einzelnen Interpretation Instabilität darstellt.

2. Konstruktion eines bipartiten semantischen Graphen

Eine Ähnlichkeitsfunktion $k(\cdot, \cdot)$ wird verwendet, um eine gewichtete Adjazenzmatrix $W$ für das gesamte System zu konstruieren, die als bipartiter Graph strukturiert ist:
$W = \begin{pmatrix} W_{II} & W_{IR} \\ W_{RI} & W_{RR} \end{pmatrix}$

$W_{II}$ : Kodiert die semantische Ähnlichkeit zwischen den Interpretationen.
$W_{RR}$ : Kodiert die semantische Ähnlichkeit zwischen allen generierten Antworten.
$W_{IR}/W_{RI}$ : Binäre Zuweisungsmatrizen, die Antworten mit ihren Eltern-Interpretationen verknüpfen.

Ein Heat-Diffusion-Kernel ( $K_\tau = e^{-\tau L}$ ) wird angewendet, um diese Ähnlichkeiten zu glätten, wobei $\tau$ die Granularität des Clusterings steuert.

3. Dekomposition via Schur-Komplement

Die Kerninnovation ist die Dekomposition der Gesamtunsicherheit in einen Ambiguitäts-Score ( $H_I$ ) und einen Instabilitäts-Score ( $H_{R|I}$ ).

Ambiguität ( $H_I$ ): Wird als Entropie der Interpretationsmatrix $W_{II}$ unter Verwendung des KLE-Frameworks berechnet.
Instabilität ( $H_{R|I}$ ): Definiert als die bedingte Entropie der Ergebnisse gegeben die Interpretationen. Die Autoren lehnen den naiven Subtraktionsansatz ( $H_{R,I} - H_I$ ) ab, da dieser die Kettenregel für die von Neumann-Entropie auf Heat-Kernel-Dichtematrizen verletzt und häufig negative Werte liefert.
Schur-Komplement-Lösung: Statt Subtraktion berechnet das Framework die bedingte Ähnlichkeitsstruktur direkt:
$S = W_{RR} - W_{RI}(W_{II} + \epsilon I)^{-1}W_{IR}$
Die Matrix $S$ repräsentiert die residuelle Ähnlichkeit in den Antworten, die nicht durch die Interpretationsstruktur erklärt werden kann. Die Entropie von $S$ liefert $H_{R|I}$ . Dieser Ansatz garantiert nicht-negative Scores und isoliert mathematisch die interne Inkonsistenz des Systems.

4. Unsicherheitsregime

Das Framework definiert vier operative Regime basierend auf Schwellenwerten für $H_I$ und $H_{R|I}$ :

Regime I (Konfident): Niedrige Ambiguität, niedrige Instabilität $\rightarrow$ Automatische Antwort.
Regime II (Ambiguität): Hohe Ambiguität, niedrige Instabilität $\rightarrow$ Auslösen eines Klärungsdialogs.
Regime III (Instabilität): Niedrige Ambiguität, hohe Instabilität $\rightarrow$ Kennzeichnung zur menschlichen Überprüfung.
Regime IV (Kombiniert): Hohe Ambiguität, hohe Instabilität $\rightarrow$ Klärung + Überprüfung.

Wichtigste Beiträge

CLUES-Framework: Eine modellagnostische Methode zur Dekomposition der semantischen Unsicherheit in Ambiguität und bedingte Instabilität mittels des Schur-Komplements eines bipartiten semantischen Graphen.
Klinischer Datensatz & Prozedur: Eine Interpretations-Generations-Prozedur für epidemiologische Fragen und ein klinisches Text-to-SQL-Benchmark, das mehrere valide Interpretationen für bekannte Abfragen enthält.
Empirische Validierung: Belege dafür, dass $H_{R|I}$ die Fehlerprognose gegenüber dem State-of-the-Art KLE ( $H_R$ ) verbessert (AUROC-Steigerungen von +0,074 bis +0,077 auf gepoolten Daten) und eine effektive Fehler-Triage durch Regime-basiertes Routing ermöglicht.

Experimentelle Ergebnisse

Open-Domain QA (AmbigQA & SituatedQA)

Unter Verwendung von Gold-Standard-Interpretationen wurde CLUES über fünf Frontier-LLMs evaluiert.

Fehlervorhersage: Der Instabilitäts-Score $H_{R|I}$ übertraf konsistent den Baseline-Score $H_R$ bei der Vorhersage von Fehlern (AUROC-Verbesserungen von +0,074 bis +0,077 auf gepoolten Daten).
Regime-Diskriminierung: Unter den Abfragen mit hoher Output-Diversität (hohes $H_R$ ) wiesen jene mit niedriger Instabilität ( $H_{R|I}$ ) eine signifikant höhere Genauigkeit auf als jene mit hoher Instabilität. Beispielsweise sank die Genauigkeit in SituatedQA von 46,8 % (Regime A) auf 13,3 % (Regime B), was einen statistisch signifikanten Unterschied (Odds Ratio ~5,7) darstellt.
Versagen der naiven Subtraktion: Der naive Subtraktionsansatz ( $\tilde{H}_{R|I}$ ) lieferte in 37–60 % der Fälle negative Werte und performte nahe an der Zufallsschwelle, was die Notwendigkeit des Schur-Komplements validiert.

Klinisches Text-to-SQL (Bekannte Interpretationen)

Evaluiert auf einem Datensatz, der aus EHRSQL und EpiAskKB abgeleitet wurde, mit 2.180 Query-Modell-Instanzen.

Performance: $H_{R|I}$ erreichte einen gepoolten AUROC von 0,762 im Vergleich zu 0,600 für $H_R$ (p < $10^{-10}$ ).
Robustheit: Der Instabilitäts-Score blieb über verschiedene Heat-Kernel-Parameter ( $\tau \in [2, 20]$ ) stabil, während der Baseline-Score $H_R$ bei höheren $\tau$ -Werten signifikant degradierte.
Temperatur-Sensitivität: Moderate Sampling-Temperaturen (T=1,0–1,5) lieferten die stärksten Instabilitäts-Signale, was darauf hindeutet, dass höhere Diversität latente Modellinstabilität exponiert.

Deployment-Setting (Generierte Interpretationen)

In einem produktionsähnlichen Setting, in dem Interpretationen on-the-fly generiert werden (nicht durch Gold-Labels vorgegeben):

Genauigkeit: Modelle erreichten eine hohe Genauigkeit (84–100 %), was zu spärlichen Fehlern führte (Fehlerrate von 4,4 %).
Regime-Effizienz: Während der Single-Score-AUROC in diesem spärlichen Regime keinen signifikanten Unterschied zwischen $H_R$ und $H_{R|I}$ aufwies, erwies sich die Regime-Analyse als wertvoll. Regime IV (Hohe Ambiguität + Hohe Instabilität) enthielt 51 % aller Fehler, deckte aber nur 25 % der Abfragen ab.
Routing: Eine Strategie, die nur Regime IV zur menschlichen Überprüfung leitet, würde die Hälfte aller Fehler abfangen, indem sie nur ein Viertel der Abfragen überprüft – dies verdoppelt die Effizienz gegenüber einer Zufallsauswahl.

Bedeutung und Ansprüche

Das Paper behauptet, dass CLUS eine diagnostische Dekomposition bietet, die durch Single-Score-Metriken nicht verfügbar ist. Durch die Unterscheidung zwischen Input-Ambiguität und Modell-Instabilität ermöglicht das Framework gezielte Interventionen:

Klärung für Abfragen mit hoher Ambiguität.
Menschliche Überprüfung für Abfragen mit hoher Instabilität.

Die Autoren betonen, dass diese Unterscheidung für sicherheitskritische Bereiche wie den klinischen EHR-Zugriff operativ entscheidend ist, in denen „plausible, aber falsche“ Ergebnisse erhebliche Risiken bergen. Das Framework ist darauf ausgelegt, modellagnostisch zu sein und erfordert lediglich Output-Sampling sowie einen prinzipienbasierten mathematischen Ansatz zur Unsicherheit, der die Fallstricke naiver Entropie-Subtraktion vermeidet.

Die Autoren merken bescheiden an, dass Einschränkungen bestehen, darunter der Rechenaufwand für multiple LLM-Aufrufe pro Abfrage und die Abhängigkeit von der Qualität der generierten Interpretationen. Sie räumen auch ein, dass in Settings mit hoher Genauigkeit die geringe Fehlerrate die diskriminative Kraft feiner Abstufungen einschränkt, wenngleich das Regime-basierte Routing dennoch Effizienzgewinne bietet.