🤖 AI

Uncertainty Quantification for LLM-based Code Generation

Dieser Beitrag stellt RisCoSet vor, ein neuartiges Framework, das multiple Hypothesentests nutzt, um risikokontrollierte Vorhersagemengen für die auf LLMs basierende Codegenerierung zu konstruieren und dadurch die Einschränkungen bestehender Methoden wirksam überwindet, indem es mehrere gültige Ausgaben berücksichtigt, die unnötige Entfernung von Code erheblich reduziert und gleichzeitig ein hohes Vertrauen in die Korrektheit bewahrt.

Ursprüngliche Autoren: Senrong Xu, Yuhao Tan, Yanke Zhou, Guangyuan Wu, Zenan Li, Yuan Yao, Taolue Chen, Feng Xu, Xiaoxing Ma

Veröffentlicht 2026-05-13

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Senrong Xu, Yuhao Tan, Yanke Zhou, Guangyuan Wu, Zenan Li, Yuan Yao, Taolue Chen, Feng Xu, Xiaoxing Ma

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bitten eine sehr talentierte, aber gelegentlich übermütige KI, ein Computerprogramm für Sie zu schreiben. Manchmal schreibt die KI perfekten Code. In anderen Fällen „halluziniert" sie und fügt Zeilen ein, die richtig aussehen, das Programm aber tatsächlich zerstören.

Das Problem lautet: Wie wissen Sie, welche Teile des Codes der KI sicher zu behalten sind und welche Teile gefährlich sind?

Diese Arbeit stellt eine neue Methode namens RISCOSET vor, um dieses Problem zu lösen. Denken Sie daran als an ein „Sicherheitsnetz" für KI-generierten Code.

Das Problem mit alten Methoden

Früher versuchten Forscher, eine Methode namens PAC (für „Probably Approximately Correct", also „Wahrscheinlich Annähernd Korrekt") zu verwenden.

Die Analogie: Stellen Sie sich vor, Sie versuchen, einen spezifischen Schlüssel in einer riesigen, unordentlichen Schublade voller Schlüssel zu finden. Die alte Methode (PAC) hatte eine strikte Regel: „Sie dürfen nur Schlüssel betrachten, die kleiner sind als der letzte, den Sie ausgewählt haben."
Der Fehler: Diese Regel war zu starr. Sie zwang die Forscher, zu viele potenziell gute Schlüssel (oder in diesem Fall Codezeilen) wegzuwerfen, nur um die Regel einzuhalten. Zudem ging sie davon aus, dass es nur eine richtige Antwort gibt, aber beim Programmieren gibt es oft viele verschiedene Wege, ein Programm zu schreiben, das exakt dasselbe tut.

Die neue Lösung: RISCOSET

Die Autoren schlagen RISCOSET vor, das einen intelligenteren Ansatz namens LTT (Learn Then Test, also „Lernen, dann Testen") verwendet.

1. Das „Teilprogramm" (Das Skelett)
Anstatt zu versuchen, das gesamte perfekte Programm zu erraten, baut RISCOSET ein „Skelett" oder ein „Teilprogramm".

Die Analogie: Stellen Sie sich vor, die KI schreibt eine Geschichte, aber Sie sind sich beim Ende nicht sicher. RISCOSET löscht nicht die ganze Geschichte. Stattdessen markiert es die unsicheren Sätze und entfernt nur diese spezifischen Teile, sodass Ihnen ein solides Gerüst (eine teilweise Geschichte) bleibt, von dem Sie wissen, dass es sicher ist.
Das Ziel: Dieses Skelett ist (mit hoher statistischer Sicherheit) garantiert ein Teil einer korrekten Lösung. Die fehlenden Teile können Sie später nachfüllen.

2. Der „Multi-Label"-Vorteil
Die alte Methode ging davon aus, dass es nur eine „richtige" Antwort gibt. RISCOSET versteht, dass es beim Programmieren viele gültige Lösungen gibt.

Die Analogie: Wenn Sie nach einem Rezept für einen Kuchen fragen, gibt es nicht nur einen „richtigen" Weg, dies zu tun. Sie können Butter oder Öl verwenden; Sie können ihn in einer runden oder einer quadratischen Form backen. RISCOSET akzeptiert, dass es viele „korrekte" Versionen gibt, und wirft daher guten Code nicht einfach weg, nur weil er etwas anders aussieht als die erste Vermutung.

3. Die „Selektive Ausführung" (Zeit und Geld sparen)
Um sicherzustellen, dass ihre „Skelette" sicher sind, muss das System den Code testen. Aber jeden einzelnen Codeabschnitt zu testen, ist langsam und teuer (wie ein vollständiger Motortest für jeden einzelnen Bolzen).

Die Analogie: RISCOSET verwendet eine Strategie der „Selektiven Ausführung". Es ist wie ein Qualitätsinspektor, der ein Produkt betrachtet. Wenn das Produkt sehr sauber und hochwertig aussieht (geringe Unsicherheit), überspringt der Inspektor den vollständigen Test. Wenn es unordentlich aussieht (hohe Unsicherheit), führt der Inspektor den vollständigen Test durch.
Das Ergebnis: Dies spart eine enorme Menge an Zeit und Rechenleistung, während die Fehlerquote dennoch sehr niedrig bleibt.

Was haben sie herausgefunden?

Die Forscher testeten dies an drei verschiedenen KI-Modellen und drei verschiedenen Datensätzen für Programmierung.

Weniger Verschwendung: Im Vergleich zu den besten bestehenden Methoden entfernte RISCOSET 24,5 % weniger Codezeilen. Das bedeutet, dass Sie mehr von der nützlichen Arbeit der KI behalten können.
Sicherheit zuerst: Obwohl sie mehr Code behielten, behielten sie dennoch das gleiche hohe Maß an Sicherheitsgarantien bei. Das von ihnen gebaute „Skelett" war genauso wahrscheinlich Teil einer korrekten Lösung wie bei den alten Methoden, jedoch mit viel weniger unnötigem Löschen.

Zusammenfassung

RISCOSET ist ein neues Werkzeug, das uns hilft, KI-generiertem Code besser zu vertrauen. Anstatt große Codeblöcke wegzuwerfen, weil wir Angst vor Fehlern haben, schneidet es sorgfältig ein sicheres „Skelett" heraus, das garantiert Teil einer funktionierenden Lösung ist. Es ist intelligenter, weniger verschwenderisch und respektiert die Tatsache, dass es viele Wege gibt, guten Code zu schreiben.

Technische Zusammenfassung: RISCOSET für die Unsicherheitsquantifizierung in LLM-basierter Code-Generierung

Problemstellung

Large Language Models (LLMs) werden zunehmend für die Code-Generierung eingesetzt, leiden jedoch unter Halluzinationen und der Generierung toxischer oder voreingenommener Ausgaben, was ihren Einsatz in hochriskanten Anwendungen einschränkt. Obwohl Konformale Vorhersage (Conformal Prediction, CP) einen Rahmen für die Unsicherheitsquantifizierung mit verteilungsfreien Garantien bietet, ist die Anpassung an strukturierte Generierungsaufgaben wie Code schwierig.

Bestehende Ansätze, wie PAC (Probably Approximately Correct)-Vorhersagemengen für Code (Khakhar et al., 2023), weisen zwei kritische Einschränkungen auf:

Monotonie-Constraints: Sie beruhen auf einer starken Monotonie-Annahme bezüglich Risiko und Größe der Vorhersagemenge. Dies schränkt den Raum zulässiger partieller Programme ein und führt häufig zu suboptimalen Lösungen, die zu viele Code-Knoten entfernen.
Annahme eines einzelnen Labels: Sie sind für die Klassifizierung mit einem einzelnen Label konzipiert. Code-Generierung ist jedoch inhärent ein Problem mit mehreren Labels, bei dem mehrere syntaktisch unterschiedliche Programme identische, korrekte Semantik aufweisen können. Bestehende Methoden können diese Vielfältigkeit nicht berücksichtigen, was den Kandidatenraum stark einschränkt.

Methodik: RISCOSET

Die Autoren schlagen RISCOSET vor, eine Methode, die risikosteuernde Vorhersagemengen für LLM-basierte Code-Generierung konstruiert, indem sie das Problem als Klassifizierungsaufgabe mit mehreren Labels neu formuliert und das Learn Then Test (LTT)-Rahmenwerk (Angelopoulos et al., 2025) nutzt.

Kernkomponenten

Neuformulierung als Mehrfach-Label-Aufgabe & Strukturiertes Risiko:
Anstatt Monotonie zu erzwingen, definiert RISCOSET eine strukturierte Risikofunktion basierend auf semantischer Korrektheit. Für einen gegebenen Eingabewert besteht das Ziel darin, eine Vorhersagemenge (dargestellt als partielles Programm oder AST-Teilbaum) zu erzeugen, die mindestens ein korrektes Programm aus einer erweiterten Labelmenge $\tilde{Y}$ enthält. Das empirische Risiko ist definiert als der Anteil der Kalibrierungsinstanzen, bei denen die Vorhersagemenge keine Schnittmenge mit der Menge der korrekten Programme bildet.
Optimierung für partielle Programme:
Um die Vorhersagemenge zu generieren, löst die Methode ein Optimierungsproblem, um Knoten aus dem Abstract Syntax Tree (AST) des generierten Codes zu beschneiden.
- Ziel: So viele Knoten wie möglich beizubehalten, während sichergestellt wird, dass die gesamte Unsicherheit (negativer Logarithmus der Wahrscheinlichkeit) des verbleibenden partiellen Programms einen Schwellenwert $\lambda$ nicht überschreitet.
- Nebenbedingungen: Die Lösung muss die Baum-Konnektivität erfüllen (wird ein Elternknoten entfernt, müssen auch die Kindknoten entfernt werden) und eine Begrenzung der Anzahl zulässiger Teilbaum-Entfernungen ( $t_{max}$ ) einhalten. Entscheidend ist, dass diese Optimierung die strenge Monotonie-Bedingung entfernt, die bei PAC-Methoden zu finden ist, und somit einen größeren zulässigen Labelraum ermöglicht.
Multiple Hypothesentests (LTT):
RISCOSET nutzt das LTT-Rahmenwerk, um den optimalen Parameter $\hat{\lambda}$ zu wählen, der das Risiko steuert.
- Die Auswahl von $\lambda$ wird als Problem des multiplen Hypothesentests behandelt.
- Für eine Menge von Kandidaten- $\lambda$ -Werten werden $p$ -Werte basierend auf dem empirischen strukturierten Risiko berechnet.
- Mithilfe eines Algorithmus zur Kontrolle der Family-Wise Error Rate (FWER) wird eine gültige Menge von Parametern $\Lambda_{valid}$ identifiziert, die garantiert, dass das Risiko mit hoher Konfidenz ( $1-\delta$ ) unter einer vom Benutzer spezifizierten Toleranz $\alpha$ bleibt.
Selektive Ausführungsstrategie:
Da Code-Generierung ein Mehrfach-Label-Problem ist, erfordert der Kalibrierungsprozess das Sampling mehrerer Kandidatenprogramme und deren Verifizierung durch Testfall-Ausführung, was rechenintensiv ist. Um dies zu mildern, führt RISCOSET eine selektive Ausführungsstrategie ein:
- Es werden Unsicherheitswerte (z. B. Perplexität) verwendet, um zu entscheiden, welche gesampelten Programme einer Testausführung bedürfen.
- Programme mit geringer Unsicherheit werden ohne Ausführung als korrekt akzeptiert, während Programme mit hoher Unsicherheit verifiziert werden.
- Diese Strategie nutzt Importance Sampling und die Hoeffding-Ungleichung, um eine obere Fehlergrenze zu schätzen, und stellt sicher, dass die Label-Fehlerrate innerhalb einer kontrollierten Grenze $\epsilon$ bleibt, während die Rechenkosten erheblich reduziert werden.

Hauptbeiträge

RISCOSET-Rahmenwerk: Die erste Anwendung des LTT-Rahmenwerks auf strukturierte Code-Generierung, bei der der Aufbau von Vorhersagemengen als Problem mit mehreren Labels neu formuliert wird, mit schwächeren Einschränkungen als bei PAC-basierten Ansätzen.
Optimierung strukturierten Risikos: Eine neuartige Optimierungsformulierung zur Generierung partieller Programme (AST-Teilbäume), die die beibehaltene Information maximiert und gleichzeitig Risikosteuerungsgarantien erfüllt, frei von einschränkenden Monotonie-Annahmen.
Effiziente Kalibrierung: Eine selektive Ausführungsstrategie, die den Kompromiss zwischen Risikosteuerung und den Rechenkosten der Label-Verifizierung ausbalanciert, unterstützt durch nicht-asymptotische Fehlergrenzen.
Empirische Validierung: Umfassende Experimente, die die Wirksamkeit der Methode über drei LLMs (Deepseek-Coder, Qwen2.5-Coder, Llama3.1) und drei Datensätze (HumanEval, MBPP, APPS) hinweg demonstrieren.

Experimentelle Ergebnisse

Die Autoren bewerteten RISCOSET gegenüber State-of-the-Art-Baselines, einschließlich des PAC-Vorhersagemengen-Ansatzes und einer gierigen Variante.

Reduktion der Knotenentfernung: RISCOSET reduziert die Anzahl der entfernten AST-Knoten im Vergleich zu Baselines erheblich, während das gleiche Niveau der Risikosteuerung beibehalten wird. Beispielsweise reduzierte die Methode auf dem MBPP-Datensatz mit $\alpha=0.15$ die Code-Entfernung um 24,5 % im Vergleich zum besten Konkurrenten.
Abdeckungsgarantien: Die konstruierten Vorhersagemengen erreichten konsistent Abdeckungsraten, die die Zielgrenze ( $1-\alpha$ ) überschritten, was die theoretischen Risikosteuerungsgarantien validiert.
Modellskalierbarkeit: Die Methode performte sowohl bei auf Code spezialisierten Modellen (Qwen2.5-Coder) als auch bei allgemeinen Modellen (Llama3.1) gut und zeigte, dass die Leistung mit leistungsfähigeren generativen Modellen steigt.
Effizienz der selektiven Ausführung: Die selektive Ausführungsstrategie reduzierte erfolgreich den Anteil der Programme, die eine Testfall-Ausführung erfordern (z. B. Vermeidung der Ausführung für ~30 % der Programme bei einer Label-Fehlerrate von $\epsilon=0.1$ ), während die Abdeckung über der Zielgrenze blieb.

Bedeutung und Behauptungen

Die Arbeit behauptet, die erste Arbeit zu sein, die das LTT-Rahmenwerk in strukturierte Code-Generierungsaufgaben einführt. Ihre primäre Bedeutung liegt in der Adressierung der Einschränkungen bestehender PAC-basierter Methoden durch:

Die Beseitigung des Bedarfs nach starken Monotonie-Annahmen, wodurch der Raum der Kandidatenprogramme erweitert und eine unnötige Code-Entfernung reduziert wird.
Die natürliche Berücksichtigung des Mehrfach-Label-Charakters der Code-Generierung (mehrere gültige Lösungen für eine einzelne Aufgabe).
Die Bereitstellung rigoroser statistischer Garantien für die Korrektheit der generierten Code-Mengen, ohne sich auf Unabhängigkeitsannahmen zu verlassen, die in strukturierten Domänen wie Code versagen.

Die Autoren schließen, dass ihr Fokus zwar auf der Code-Generierung liegt, die vorgeschlagene Methode jedoch auf andere strukturierte Vorhersageprobleme anpassbar ist, bei denen die Unsicherheitsquantifizierung kritisch ist. Sie erkennen den Rechenaufwand der Kalibrierungsphase an, betonen jedoch, dass die selektive Ausführungsstrategie diese Kosten effektiv mildert.