🤖 machine learning

Towards Functional Correctness of Large Code Models with Selective Generation

Dieses Paper schlägt „FuzzEval“ vor, ein Paradigma, das dynamisch generierte Unit-Tests nutzt, um einem selektiven Codegenerator zu ermöglichen, bei unsicheren Ausgaben zu verzichten, wodurch die Falschentdeckungsrate theoretisch kontrolliert und die funktionale Korrektheit großer Codemodelle verbessert wird.

Ursprüngliche Autoren: Jaewoo Jeong, Taesoo Kim, Sangdon Park

Veröffentlicht 2026-06-16

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jaewoo Jeong, Taesoo Kim, Sangdon Park

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen sehr talentierten, aber etwas übermütigen Roboter-Assistenten, dessen Aufgabe es ist, Computercode für Sie zu schreiben. Sie bitten ihn: „Schreibe ein Programm, das eine Liste von Namen sortiert“, und er spuckt erfreut eine Lösung aus. Aber hier ist der Haken: Manchmal halluziniert dieser Roboter. Er schreibt Code, der so aussieht, als würde er funktionieren, aber wenn Sie ihn tatsächlich ausführen, stürzt er ab, liefert das falsche Ergebnis oder tut etwas völlig Unerwartetes.

In der Welt der Software ist das gefährlich. Man kann dem Roboter nicht einfach blind vertrauen.

Dieses Paper stellt ein neues „Sicherheitsinspektor“-System für diese Code-schreibenden Roboter vor. Anstatt einfach den Code zu akzeptieren, den der Roboter generiert, fungiert dieses System wie ein strenger Qualitätskontrolleur, der sagt: „Ich lasse nur den guten Code durch; wenn ich mir nicht sicher bin, gebe ich zu, dass ich es nicht weiß.“

So funktioniert das System, unterteilt in einfache Konzepte:

1. Das Problem: Die „Black Box“ des Codes

Normalerweise prüfen wir, ob ein Stück Code gut ist, indem wir uns auf ein paar vorgefertigte Tests verlassen (wie eine Checkliste). Aber bei komplexen Problemen kann eine Checkliste versteckte Fehler übersehen. Es ist, als würde man prüfen, ob ein Auto sicher ist, indem man sich nur die Reifen ansieht und den Motor ignoriert. Das Paper argumentiert, dass es aufgrund der Komplexität und der Tatsache, dass Code für Menschen „unnatürlich“ zu lesen ist, schwierig ist, allein durch das Ansehen festzustellen, ob zwei Code-Stücke exakt dasselbe tun.

2. Die Lösung: Die „Fuzzing“-Maschine

Um dies zu lösen, verwenden die Autoren ein Werkzeug namens Fuzzing. Stellen Sie sich eine Maschine vor, die ein Stück Code nimmt und Millionen von zufälligen, seltsamen und extremen Eingaben darauf wirft, nur um zu sehen, ob es kaputtgeht.

Die Analogie: Denken Sie an einen Belastungstest für eine Brücke. Anstatt nur ein einzelnes Auto darüber fahren zu lassen, wirft die Maschine Sandsäcke, schwere Lastwagen und sogar Elefanten in zufälligen Mustern über die Brücke, um zu sehen, ob sie hält.
Das Ergebnis: Diese Maschine generiert automatisch tausende von „Unit Tests“ (kleine Szenarien, um den Code zu prüfen), die der Roboter zuvor noch nie gesehen hat.

3. Der „Selektive Generator“: Der ehrliche Roboter

Das Paper schlägt eine neue Art vor, den Code-schreibenden Roboter einzusetzen. Wir fügen einen „Gatekeeper“-Schritt hinzu.

Der Prozess: Der Roboter versucht, Code zu schreiben. Dann testet die „Fuzzing-Maschine“ ihn sofort gegen tausende von zufälligen Szenarien.
Die Entscheidung:
- Wenn der Code die Tests mit hoher Konfidenz besteht, sagt der Gatekeeper: „Nur zu, das ist gut!“ und gibt Ihnen den Code.
- Wenn der Code fehlschlägt oder die Tests zu mehrdeutig sind, sagt der Gatekeeper: „Ich weiß es nicht“ und verweigert die Herausgabe des Codes.

Dies wird Selektive Generierung genannt. Dem Roboter ist es erlaubt, „Ich weiß es nicht“ zu sagen, anstatt zu raten und Ihnen schlechten Code zu liefern.

4. Die Garantie: Die „False Discovery Rate“

Der spannendste Teil des Papers ist die Mathematik hinter dem Gatekeeper. Die Autoren hoffen nicht nur, dass das System funktioniert; sie beweisen es mathematisch.

Sie legen eine Regel fest: „Wir wollen sicherstellen, dass weniger als 30 % (oder welche Zahl auch immer Sie wählen) des Codes, den wir Ihnen tatsächlich geben, schlecht ist.“
Dies nennen sie die False Discovery Rate (FDR).
Das System ist so konzipiert, dass selbst wenn der Roboter furchtbar ist, der Gatekeeper den schlechten Teil so streng herausfiltert, dass die endgültige Charge an Code, die Sie erhalten, garantiert größtenteils korrekt ist.

5. FuzzEval: Ein besseres Zeugnis

Schließlich schlagen die Autoren vor, dieselbe „Fuzzing-Maschine“ in Zukunft auch zur Bewertung von Code-Modellen zu verwenden. Anstatt nur zu prüfen, ob ein Code einige Standardtests besteht (wie eine Schulprüfung mit 5 Fragen), schlagen sie vor, die Fuzzing-Maschine zu nutzen, um hunderte von zufälligen Tests zu generieren. Dies liefert ein viel genaueres und strengeres Zeugnis darüber, wie gut eine Code-schreibende KI wirklich ist. Sie nennen diese neue Bewertungsmethode FuzzEval.

Zusammenfassung

Kurz gesagt lehrt uns dieses Paper, wie man ein Sicherheitsnetz für KI-Code-Generatoren baut. Indem wir eine „Stresstest“-Maschine (Fuzzing) verwenden, um automatisch Millionen von Tests zu erstellen, können wir ein System schaffen, das:

Schlechten Code herausfiltert, bevor er Sie erreicht.
Unwissenheit zugibt („Ich weiß es nicht“), wenn es unsicher ist, anstatt eine falsche Antwort zu halluzinieren.
Mathematisch garantiert, dass der Code, den Sie tatsächlich erhalten, sicher in der Anwendung ist.

Es verwandelt einen „Raten und Hoffen“-Ansatz in einen „Testen und Verifizieren“-Ansatz, was KI-generierten Code für den realen Einsatz viel zuverlässiger macht.

Technisches Resümee: Hin zu funktionaler Korrektheit von Code-Modellen durch selektive Generierung

Problemstellung

Große Sprachmodelle (LLMs) haben eine signifikante Leistung bei der Codegenerierung demonstriert; ihre Anwendbarkeit in sicherheitskritischen Systemen wird jedoch durch „Code-Halluzination“ behindert, bei der generierter Code die gewünschten funktionalen Spezifikationen nicht erfüllt. Ein kritischer Engpass bei der Milderung dieses Problems ist die Schwierigkeit, die funktionale Korrektheit von generiertem Code zu identifizieren. Im Gegensatz zur natürlichen Sprache, in der semantische Implikation (Entailment) durch Menschen annotiert werden kann, besitzt Code eine komplexe, unnatürliche Struktur, die eine manuelle Verifizierung der funktionalen Äquivalenz erschwert. Bestehende Benchmarks verlassen sich oft auf begrenzte, manuell kuratierte Unit-Tests, die möglicherweise nicht ausreichen, um genügend Ausführungspfade abzudecken, um Korrektheit zu garantieren. Darüber hinaus konzentrieren sich aktuelle Methoden zur Kontrolle von Halluzinationen oft auf die Verbesserung der Modellleistung durch Fine-Tuning oder Ranking, wobei es an direkten, theoretisch fundierten Mechanismen mangelt, um die Rate falscher Ausgaben während der Inferenz zu kontrollieren.

Methodik

Die Autoren schlagen ein Framework für selektive Codegenerierung vor, das die Halluzinationsrate unter Verwendung einer Metrik namens False Discovery Rate with Code Entailment (FDR-CE) theoretisch kontrolliert. Die Methodik besteht aus drei Kernkomponenten:

1. $\alpha$ -Code-Entailment und Fuzzing

Um die Schwierigkeit der Definition funktionaler Korrektheit zu adressieren, definiert das Paper Entailment für Code unter Nutzung der ausführbaren Natur von Programmen neu.

$\alpha$ -Code-Entailment: Anstatt exakte Äquivalenz zu fordern, definieren die Autoren ein Code-Snippet $\hat{y}$ als $\alpha$ -entailed durch einen Unit-Test-Generator $F(x)$ , wenn die Wahrscheinlichkeit, dass $\hat{y}$ die Tests besteht, mindestens $1-\alpha$ beträgt. Dies ermöglicht ein probabilistisches Maß für die funktionale Korrektheit.
FuzzEval: Um die notwendigen Unit-Tests automatisch und rigoros zu generieren, setzen die Autoren Fuzzing ein, eine Technik der dynamischen Code-Analyse. Durch das zufällige Sampling und Mutieren von Input-Seeds exploriert Fuzzing eine breite Palette von Ausführungspfaden, um Input-Output-Paare zu generieren. Dieser Prozess, bezeichnet als FuzzEval, dient zwei Zwecken:
- Lernen: Generierung eines großen Satzes von Unit-Tests, um die Entailment-Menge für den selektiven Generator zu schätzen.
- Evaluierung: Bereitstellung eines strengeren Evaluierungs-Benchmarks als statische, manuell kuratierte Tests.

2. Selektives Generierungs-Framework

Das System führt einen selektiven Generator $\hat{S}(x)$ ein, der als Post-Prozessor für einen Basis-Codegenerator $G(x)$ fungiert.

Abstentions-Mechanismus: Für einen gegebenen Prompt $x$ berechnet das System einen Score $f(x, G(x))$ (z. B. längengenormierte Log-Wahrscheinlichkeit). Wenn der Score einen kalibrierten Schwellenwert $\tau$ überschreitet, wird der Code zurückgegeben; andernfalls verzichtet das System (gibt „I don't know“ zurück).
Risikokontrolle: Das Ziel ist es, sicherzustellen, dass die Wahrscheinlichkeit, dass der ausgewählte Code funktional inkorrekt ist (d. h. nicht $\alpha$ -entailed), unter einem gewünschten Niveau $\epsilon_S$ bleibt. Dies wird als Kontrolle der FDR-CE formalisiert:
$R_\alpha(\hat{S}) := P\{ \hat{S}(x) \notin E_\alpha(x) \mid \hat{S}(x) \neq \text{IDK} \}$
wobei $E_\alpha(x)$ die Menge der Code-Snippets ist, die die $\alpha$ -Entailment-Bedingung erfüllen.

3. Theoretische Garantien und Algorithmus (ASCG)

Die Autoren schlagen den ASCG (Algorithm for Selective Code Generation) Lernalgorithmus vor.

Schätzung: Da die wahre Entailment-Menge $E_\alpha$ unbekannt ist, verwendet der Algorithmus eine untere binomiale Tail-Bound $\hat{L}$ , die aus den generierten Unit-Tests abgeleitet wurde, um die Entailment-Menge $\hat{E}_{\alpha, \epsilon_E}$ zu schätzen.
Kalibrierung: Unter Verwendung eines Kalibrierungs-Sets sucht der Algorithmus nach einem optimalen Schwellenwert $\tau$ , der den Schwellenwert minimiert (die Selektionseffizienz maximiert), während er sicherstellt, dass die obere Schranke der FDR-CE den Zielwert $\epsilon_S$ nicht überschreitet.
Garantie: Theorem 4.3 liefert eine theoretische Garantie, dass der gelernte selektive Generator die gewünschte FDR-CE-Beschränkung mit hoher Wahrscheinlichkeit ( $1-\delta_S$ ) erfüllt, selbst ohne menschlich annotierte Entailment-Labels.

Zentrale Beiträge

Selektive Generierung für Code: Das Paper erweitert das Konzept der selektiven Prädiktion (das zuvor auf natürliche Sprache angewendet wurde) auf die Codegenerierung und führt einen Mechanismus zur Kontrolle der Halluzinationsraten via Abstention ein.
FuzzEval-Paradigma: Es schlägt vor, Fuzzing-Tools zu verwenden, um automatisch Unit-Tests sowohl für das Lernen der Selektionsfunktion als auch für die Evaluierung der Code-Korrektheit zu generieren, wodurch die Limitationen kleiner, manueller Test-Suites überwunden werden.
Theoretische Kontrolle der FDR-CE: Die Arbeit liefert einen Lernalgorithmus mit einer PAC-ähnlichen Garantie, die sicherstellt, dass die Rate falsch generierten Codes (unter den nicht-abgestandenen Antworten) durch einen benutzerdefinierten Parameter begrenzt ist.
Definition des $\alpha$ -Code-Entailments: Es formalisiert eine probabilistische Definition der Code-Korrektheit, die für die automatisierte Analyse geeignet ist, und schließt die Lücke zwischen semantischem Entailment in der NLP und funktionaler Äquivalenz in Code.

Experimentelle Ergebnisse

Die Autoren evaluierten ihre Methode in diversen Setups, einschließlich:

Modelle: Vier Codegeneratoren (GPT-4o, Gemini 1.5 Pro, GPT-4.1, CodeLlama 13B, DeepSeek-R1).
Datensätze: Vier Benchmarks (APPS, Mercury, HumanEval, MBPP), die unter Verwendung automatisch generierter Unit-Tests in „Fuzz“-Versionen konvertiert wurden (APPS-f, etc.).
Sprachen: Python, C++, Java, JavaScript und Perl.

Wichtigste Erkenntnisse:

Kontrollierbarkeit: Die vorgeschlagene Methode (SCG) begrenzt die FDR-CE erfolgreich auf das gewünschte Niveau ( $\epsilon_S$ ) über verschiedene Modelle und Datensätze hinweg, während Baseline-Methoden (z. B. SCG-EM, SCG-manual) entweder daran scheitern, das Risiko zu begrenzen, oder eine triviale Effizienz aufweisen (zu häufige Abstention).
Effizienz: SCG erreicht eine angemessene Selektionseffizienz (das Verhältnis der nicht-abgestandenen Antworten), während es die Sicherheitsgarantie aufrechterhält. Beispielsweise hielt SCG bei GPT-4o mit $\epsilon_S=0.3$ die FDR-CE unter dem Zielwert, während es je nach Datensatz etwa 33–50 % der generierten Antworten beibehielt.
Nutzen von Fuzzing: Experimente zeigten, dass die Verwendung von durch Fuzzing generierten Unit-Tests (SCG) die Methoden, die auf begrenzte manuelle Tests (SCG-small) oder gar keine Tests (SCG-EM) zurückgreifen, sowohl in Bezug auf die Risikokontrolle als auch auf die Effizienz signifikant übertrifft.
Erweiterung auf Vorarbeiten: Die Methode fungiert als Post-Prozessor, der auf bestehende fortgeschrittene Modelle (z. B. DeepSeek-R1 mit GRPO Fine-Tuning) oder Ranking-basierte Methoden angewendet werden kann und eine zusätzliche Ebene statistischer Sicherheitsgarantien bietet.

Bedeutung und Ansprüche

Das Paper behauptet, dass sein primärer Beitrag im selektiven Generierungs-Lernalgorithmus liegt, der die Halluzinationsrate von Code-Modellen direkt kontrolliert. Durch die Nutzung der ausführbaren Natur von Code mittels Fuzzing argumentieren die Autoren, dass es möglich ist, über heuristische Leistungsverbesserungen hinaus zu einer theoretisch kontrollierten Sicherheit zu gelangen.

Die Bedeutung der Arbeit wird darin gesehen, eine „Kontrollierbarkeitsgarantie“ für die False Discovery Rate zu bieten, was Code-Generatoren für Systeme mit höheren Sicherheitsstandards vertrauenswürdiger macht. Die Autoren merken bescheiden an, dass die Methode zwar die Hallationsrate kontrolliert, die gesamte Selektionseffizienz jedoch weiterhin von der zugrunde liegenden Qualität des Codegenerators abhängt und die i.i.d.-Annahme für die theoretische Garantie die Anwendbarkeit in Umgebungen mit Verteilungsverschiebungen (Distribution Shift) einschränken kann. Das Werk beansprucht nicht, Halluzinationen vollständig zu eliminieren, sondern bietet vielmehr einen Mechanismus, um diese mit statistischer Strenge zu verwalten und zu begrenzen.