🤖 machine learning

When Can Conformal Risk Control Certify LLM Outputs? Bounds, Impossibility, and Adaptation for Structured Generation

Dieses Paper etabliert die theoretische Machbarkeit und die praktischen Grenzen der Conformal Risk Control zur Zertifizierung strukturierter LLM-Ausgaben, indem es eine Unmöglichkeitsgrenze für Hochrisikoszenarien beweist, signifikante Gewinne durch adaptive Schranken und Inferenz unter Verteilungswandel nachweist und ein Deployment-Framework bereitstellt, das identifiziert, wann eine Zertifizierung über verschiedene Modelle und Aufgaben hinweg erreichbar ist.

Ursprüngliche Autoren: Varun Kotte

Veröffentlicht 2026-06-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Varun Kotte

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr intelligenten, aber manchmal übermütigen Roboter-Assistenten (ein Large Language Model, oder LLM), der Ihnen hilft, Dokumente zu organisieren, Namen aus Texten zu extrahieren oder Fragen zu beantworten. Sie möchten diesen Roboter nutzen, aber Sie sind besorgt, dass er Fehler machen könnte. Sie wollen eine Garantie: „Wenn der Roboter mir eine Antwort gibt, möchte ich sicher sein, dass er mindestens 90 % der Zeit richtig liegt.“

Dieses Paper ist wie eine Bedienungsanleitung für den Bau eines Sicherheitsinspektors für diesen Roboter. Es fragt: Können wir mathematisch beweisen, dass der Roboter sicher genug ist, um ihm zu vertrauen? Und wenn nicht, warum nicht?

Hier ist die Aufschlüsselung ihrer Ergebnisse unter Verwendung einfacher Analogien:

1. Der „unmögliche“ Boden (Die unvermeidliche Wahrheit)

Die wichtigste Erkenntnis ist eine „harte Grenze“. Stellen Sie sich vor, der Roboter hat eine natürliche Fehlerrate (nennen wir sie die Basis-Risiko).

Das Szenario: Wenn der Roboter von Natur aus 40 % der Zeit Fehler macht (Basis-Risiko = 40 %) und Sie verlangen, dass er nur 10 % der Zeit Fehler macht (Zielwert = 10 %), kann kein magischer Trick das beheben.
Die Analogie: Denken Sie an den Roboter als einen Dartwerfer, der von Natur aus schlecht darin ist, die Zielscheibe zu treffen. Wenn Sie ihm sagen: „Ich möchte nur, dass du wirfst, wenn du sicher bist, dass du die Mitte triffst“, muss er fast alle seine Darts wegwerfen.
Die Regel des Papers: Die Autoren haben eine Formel bewiesen: Wenn die natürliche Fehlerrate des Roboters höher ist als Ihr Zielwert, muss der Roboter auf einem bestimmten, unvermeidbaren Prozentsatz von Fragen verzichten (sich enthalten). Sie können den Roboter nicht als „sicher zertifizieren“, ohne dass er einen riesigen Teil seiner Arbeit aufgibt.
- Beispiel: Wenn der Roboter zu 40 % falsch liegt und Sie 10 % falsch liegen wollen, muss er etwa 42 % der Antworten verweigern. Wenn Sie versuchen, ihn zu zwingen, mehr Antworten zu geben, bricht die Sicherheitsgarantie zusammen.

2. Die drei Ebenen der Sicherheitsinspektoren

Das Paper testet drei verschiedene „Sicherheitsinspektoren“ (mathematische Methoden), um zu sehen, welcher am besten darin ist, die sicheren Antworten zu finden.

Inspektor A (Hoeffding): Der grundlegende, vorsichtige Inspektor. Er geht immer vom schlimmsten Fall aus. Er ist sicher, aber sehr streng und lehnt oft gute Antworten ab.
Inspektor B (Bernstein): Ein klügerer Inspektor. Er schaut sich an, wie stark die Konfidenz des Roboters variiert. Wenn der Roboter meist konsistent ist, ist dieser Inspektor weniger streng und lässt mehr gute Antworten durch. Dies war die größte Verbesserung, da er etwa 3ert 37 % mehr Konfigurationen durch den Sicherheitstest ließ.
Inspektor C (e-CRC): Der Experten-Zocker. Er nutzt eine „Wettstrategie“. Wenn der Roboter gut performt, wettet er darauf, dass er sicher ist. Dies ist der schärfste Inspektor, besonders wenn man nicht viel Testdaten über den Roboter hat. Er kann Sicherheit zertifizieren, selbst wenn die anderen beiden Inspektoren dies für „unmöglich“ halten.

3. Die Strategie „Zielsetzung lockern“

Das Paper fand heraus, dass der Roboter bei sehr schwierigen Aufgaben (wie der komplexen Extraktion medizinischer Namen) oft einfach zu fehleranfällig ist, um ein striktes 10 % Fehlerrat-Ziel zu erreichen.

Die Lösung: Wenn Sie Ihr Ziel lockern und eine Fehlerrate von 30 % oder 40 % akzeptieren (was für einen ersten Entwurf oder ein Triage-System immer noch nützlich sein kann), wird der Roboter plötzlich zertifizierbar.
Die Erkenntnis: Man kann nicht immer eine „perfekte“ Garantie bekommen. Aber wenn Sie bereit sind, eine „gut genug“ Garantie zu akzeptieren, können Sie ein mathematisch bewiesenes Sicherheitsnetz erhalten.

4. Wenn der Roboter sich verirrt (Adaption)

Was passiert, wenn Sie den Roboten auf Nachrichtenartikeln trainieren, ihn dann aber bitten, Social-Media-Posts zu analysieren? Der Roboter wird verwirrt (dies nennt man „Distribution Shift“).

Das Problem: Ein statischer Sicherheitsinspektor (einer, der eine Regel einmal festlegt und dann vergisst) versagt hier schlecht. Er könnte 70 % der falschen Antworten durchlassen, weil die Regeln nicht auf die neue Umgebung passen.
Die Lösung (ACI): Die Autoren testeten einen „lebendigen“ Inspektor, der seine Regeln in Echtzeit anpasst. Wenn der Roboter anfängt, mehr Fehler zu machen, sagt der Inspektor sofort: „Stopp! Sei vorsichtiger!“ Wenn der Roboter gut abschneidet, lockert er die Regeln. Dies reduzierte die Fehlerraten von 71 % auf 21 %.

5. Signale mischen (Score Fusion)

Der Roboter liefert viele verschiedene Signale darüber, wie sicher er sich ist (z. B. „Ich bin mir bei diesem Wort sicher“ oder „Das habe ich schon einmal gesehen“).

Die Erkenntnis: Anstatt nur auf ein Signal zu hören, schlägt das Paper vor, alle Signale miteinander zu mischen (wie ein Koch, der Gewürze mischt). Dieses „fusionierte“ Signal ist viel besser darin, die Fehler des Roboters zu erkennen als jedes einzelne Signal allein.

Das finale „Rezept“ für den Einsatz

Die Autoren geben einen einfachen Drei-Schritte-Leitfaden für jeden, der diese Roboter sicher nutzen möchte:

Prüfen Sie den Boden: Berechnen Sie vor dem Start die natürliche Fehlerrate des Roboters. Wenn diese höher ist als Ihr Sicherheitsziel, wissen Sie, dass Sie erwarten müssen, dass der Roboter viele Antworten verweigert. Verschwenden Sie keine Zeit mit dem Versuch, eine magische Lösung zu finden.
Wählen Sie den richtigen Inspektor: Verwenden Sie nicht den einfachen. Nutzen Sie die „Bernstein“- oder „e-CRC“-Inspektoren, besonders wenn Sie nicht viel Testdaten haben.
Beobachten und Anpassen: Wenn sich der Roboter von einer Art von Daten zu einer anderen bewegt (wie von Nachrichten zu Social Media), verwenden Sie den „lebendigen“ Inspektor (ACI), der sich im laufenden Betrieb anpasst.

Kurz gesagt: Man kann einen tollpatschigen Roboter nicht dazu zwingen, perfekt zu sein, ohne dass er ständig innehalten muss, um nachzudenken. Aber wenn man seine Grenzen kennt, die richtigen mathematischen Werkzeuge nutzt und ihn sich an neue Situationen anpassen lässt, kann man ein mathematisch garantiertes Sicherheitsnetz für seine Ergebnisse erhalten.

Technisches Resümee: Wann kann Conformal Risk Control die Ausgaben von LLMs zertifizieren?

1. Problemstellung

Große Sprachmodelle (LLMs) werden zunehmend für Aufgaben der strukturierten Generierung eingesetzt – wie Named Entity Recognition (NER), JSON-Extraktion, Question Answering (QA) und Klassifizierung –, bei denen die Ausgaben einem spezifischen Schema entsprechen müssen und gegen eine Ground Truth evaluiert werden können. Diese Modelle lassen jedoch formale Zuverlässigkeitsgarantien vermissen. Standardmethoden zur Unsicherheitsquantifizierung (z. B. Token-Wahrscheinlichkeiten, Entropie-Schwellenwerte) sind für strukturierte Verluste oft schlecht kalibriert, und heuristische Abstentions-Policies verfehlen häufig benutzerdefinierte Risikoziele um 7,5–12,5 %.

Das Kernproblem, das hier adressiert wird, ist die Bestimmung, wann Conformal Risk Control (CRC) formal zertifizieren kann, dass die strukturierten Ausgaben eines LLMs ein benutzerdefiniertes Risikoziel $\alpha$ (z. B. „Fehlerrate $\le 10 \%$ “) einhalten, und wann eine solche Zertifizierung unabhängig von der verwendeten Methode nachweislich unmöglich ist.

2. Methodik

2.1. Problemaufbau

Die Autoren definieren einen selektiven Prädiktor, der eine Vorhersage $\hat{y}$ ausgibt, wenn ein Konfidenzwert $s(x, \hat{y}) \ge \lambda$ gilt, und andernfalls verzichtet (abstains). Das Ziel ist es, einen Schwellenwert $\lambda^*$ zu finden, sodass das bedingte Risiko erfüllt ist:
$E[R_{task}(\hat{Y}, Y) \mid s(X) \ge \lambda^*] \le \alpha$
mit einer Wahrscheinlichkeit $\ge 1-\delta$ , wobei $R_{task}$ ein aufgabenspezifisches Risiko ist (z. B. $1 - F_1$ für NER, $1 - \text{Exact Match}$ für QA).

2.2. Zertifizierungshierarchie

Das Paper analysiert eine Hierarchie von Schranken, die zur Auswahl von $\lambda^*$ verwendet werden:

Hoeffding-Schranke: Die Standard-Upper-Confidence-Bound (UCB), welche die Varianz ignoriert.
Empirische Bernstein-Schranke: Berücksichtigt die empirische Varianz $\hat{\sigma}^2$ und bietet dadurch engere Schranken, wenn die Varianz gering ist ( $\hat{\sigma}^2 < 1/4$ ).
e-CRC (Betting-basiert): Nutzt ein Testing-by-Betting-Framework (e-Werte), um einen Wealth-Prozess zu konstruieren. Dies passt sich über sequentielle Wetten vollständig an die empirische Verteilung an und bietet die engsten Schranken, insbesondere in datenarmen Regimen.

Die Autoren beweisen eine strikte Ordnung der zertifizierten Schwellenwerte: $\Lambda^*_{Hoeff} \subseteq \Lambda^*_{Bern} \subseteq \Lambda^*_{e-CRC}$ .

2.3. Unmöglichkeitsergebnis (Machbarkeitstest)

Ein zentraler theoretischer Beitrag ist eine geschlossene untere Schranke für die Abstention. Die Autoren beweisen, dass, falls das Basisrisiko $\mu = E[R]$ des Modells in der Einsatzpopulation das Ziel $\alpha$ überschreitet, jede distributionsfreie Methode auf mindestens einem Teil der Beispiele verzichten muss:
$\text{Abstention} \ge \frac{\mu - \alpha}{1 - \alpha}$
Dies dient als Machbarkeitstest: Wenn $\mu > \alpha$ , ist eine Zertifizierung nur durch die Ablehnung eines signifikanten Anteils der Eingaben möglich.

2.4. Adaptive Conformal Inference (ACI)

Um die Verteilungsverschiebung (Distribution Shift) zu adressieren (wenn die Testverteilung von der Kalibrierungsmenge abweicht), evaluiert das Paper ACI. Diese Methode aktualisiert den Schwellenwert online basierend auf dem beobachteten Risiko:
$\lambda_{t+1} = \lambda_t + \gamma(r_t - \alpha)$
Dies ermöglicht eine asymptotische Kontrolle unter Shift, bietet jedoch keine Garantien für endliche Stichproben.

2.5. Score-Fusion

Die Autoren schlagen vor, einen fusionierten Konfidenz-Score $\tilde{s}(x)$ mittels logistischer Regression auf disjunkten Kalibrierungsdaten zu lernen, indem sie mehrere Signale (z. B. Self-Consistency, Token Margin, Semantic Entropy) kombinieren. Sie beweisen, dass die CRC-Gültigkeitsgarantie gewahrt bleibt, sofern die Fusionsfunktion fix ist und unabhängig von der CRC-Kalibrierungsprobe existiert.

3. Zentrale Beiträge

Unmöglichkeitsergebnis und Charakterisierung der Machbarkeit: Das Paper etabliert, dass bei $\mu > \alpha$ keine distributionsfreie Methode die Ausgaben zertifizieren kann, ohne auf $\ge (\mu - \alpha)/(1 - \alpha)$ der Beispiele zu verzichten. Dies bietet eine Prüfung vor dem Deployment, um zu bestimmen, ob ein Risikoziel erreichbar ist.
Zertifizierungshierarchie: Die Autoren etablieren und verifizieren empirisch die Hierarchie $\Lambda^*_{Hoeff} \subseteq \Lambda^*_{Bern} \subseteq \Lambda^*_{e-CRC}$ . Sie zeigen, dass der Übergang von Hoeffding zu Bernstein den größten Gewinn (+37 % mehr zertifizierte Konfigurationen) in Niedrigvarianz-Regimen liefert, während e-CRC entscheidenden Wert in datenarmen Regimen bietet (10 % Zertifizierung bei 20 % Daten vs. 0 % für Hoeffding).
Anpassung an Shift: Die Studie validiert ACI unter Cross-Dataset-Transfer und zeigt eine Reduktion der Risikoziel-Verletzungen von 71 % (statisches CRC) auf 21 %. Verbleibende Fehler treten genau dort auf, wo das Unmöglichkeitsresultat eine starke Abstention vorhersagt.
Empirischer Benchmark: Eine umfassende Evaluierung über sechs Open-Weight-Modelle (3B–72B Parameter), acht Datensätze, vier Aufgaben und sechs Nichtkonformitäts-Scores. Die Studie stellt fest, dass schwierige NER/QA/CLS-Konfigurationen bei einem strengen $\alpha=0.10$ oft nicht zertifizierbar sind, aber eine Lockerung von $\alpha$ auf 0.30–0.40 die praktische Zertifizierung ermöglicht (47 % NER, 40 % QA, 60 % CLS).

4. Ergebnisse

Fehlkalibrierung: LLMs weisen eine signifikante Fehlkalibrierung für strukturierte Aufgaben auf. Während die durchschnittliche Konfidenz hoch ist (74–97 %), variiert das tatsächliche Risiko stark (3 % für JSON bis 80 % für NQ Open QA).
Machbarkeitsgrenzen: Bei $\alpha=0.10$ liegen die Zertifizierungsraten für NER/QA/CLS nahe Null, da $\mu \gg \alpha$ . Beispielsweise hat NQ Open QA ein $\mu \approx 0.80$ , was eine Abstention von $\ge 78 \%$ erfordert, um ein 10 %-Risikoziel zu erreichen.
Performance der Schranken:
- Hoeffding: Zertifiziert 8,7 % der Konfigurationen.
- Bernstein: Zertifiziert 11,9 % (+37 % Gewinn gegenüber Hoeffding).
- e-CRC: Zertifiziert 12,2 %, mit dem signifikantesten Vorteil in datenarmen Regimen.
- Alle Methoden halten nahezu eine Verletzungsrate von Null unter den zertifizierten Konfigurationen ein.
Modellskalierung: Die Erhöhung der Modellgröße reduziert das Basisrisiko $\mu$ . Für CoNLL NER sinkt $\mu$ von 0,42 (3B) auf 0,24 (72B), was die Zertifizierung bei $\alpha=0,25$ für 72B-Modelle ermöglicht, wo 14B-Modelle scheitern.
Score-Fusion: Kalibrierte Fusion verbessert die AUROC in 89 % der Konfigurationen, mit den größten Gewinnen bei Klassifizierungs- und NER-Aufgaben, in denen einzelne Scores schwächer sind.

5. Bedeutung und Ansprüche

Das Paper beansprucht, eine praxisorientierte Charakterisierung zu liefern, statt nur eine neue konforme Primitive. Seine primäre Bedeutung liegt im Wechsel der Frage für Praktiker von „Welche Schranke ist am engsten?“ zu „Ist Zertifizierung machbar?“.

Machbarkeit zuerst: Die Unmöglichkeits-Schranke erlaubt es Praktikern, die minimale erforderliche Abstention zu berechnen, bevor sie irgendein CRC-Verfahren durchführen. Wenn die erforderliche Abstention inakzeptabel ist, legt das Paper nahe, das Modell zu skalieren, das Risikoziel $\alpha$ zu lockern oder eine starke Abstention zu akzeptieren.
Praktisches Rezept: Die Autoren schlagen ein dreistufiges Deployment-Framework vor:
1. Machbarkeit prüfen: Berechne $\mu$ ; falls $\mu > \alpha$ , berechne die Abstentions-Untergrenze.
2. Schranke und Score wählen: Verwende Bernstein oder e-CRC (niemals Hoeffding) und setze auf Score-Fusion oder Self-Consistency.
3. Shift mildern: Setze ACI ein, falls die Testverteilung von der Kalibrierungsverteilung abweichen kann.
Realistische Erwartungen: Die Arbeit verdeutlicht, dass für schwierige Aufgaben (hohes $\mu$ ) und strikte Ziele (niedriges $\alpha$ ) die Zertifizierung inhärent durch die Basisleistung des Modells begrenzt ist, nicht durch die statistische Methode. Eine Lockerung von $\alpha$ auf realistische Werte (z. B. 0,30–0,40) macht die Zertifizierung für viele strukturierte Aufgaben praktikabel.

Das Paper schließt mit der Feststellung, dass CRC zwar formale Garantien bietet, sein Nutzen jedoch durch den fundamentalen Trade-off zwischen Basisrisiko und Zielrisiko begrenzt ist – eine Einschränkung, der keine statistische Schranke trotzen kann.