Delulu: A Verified Multi-Lingual Benchmark for Code Hallucination Detection in Fill-in-the-Middle Tasks
Dieser Beitrag stellt Delulu vor, ein streng verifiziertes mehrsprachiges Benchmark mit 1.951 adversarisch kuratierten Stichproben, das die anhaltende Anfälligkeit modernster Code-Generierungsmodelle für die Erzeugung plausibler, jedoch falscher Halluzinationen bei Fill-in-the-Middle-Aufgaben aufzeigt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen einen sehr klugen, aber leicht übermütigen Junior-Programmierer ein, der Ihnen beim Schreiben von Code helfen soll. Dieser Programmierer ist hervorragend darin, zu erraten, was als Nächstes in einem Satz kommt, aber manchmal, wenn er die Antwort nicht kennt, erfindet er einfach etwas, das perfekt klingt.
Dieser Artikel stellt eine neue „Prüfung" namens DELULU vor, die entwickelt wurde, um diese erfundenen Antworten, bekannt als Halluzinationen, aufzudecken – speziell dann, wenn der Programmierer die Mitte eines Code-Snippets ausfüllt (eine Aufgabe, die als „Fill-in-the-Middle" bezeichnet wird).
Hier ist die Aufschlüsselung des Artikels unter Verwendung einfacher Analogien:
1. Das Problem: Der „selbstbewusste Lügner"
In der Welt des KI-gestützten Codings werden Modelle oft daran getestet, ob sie eine ganze Funktion von Grund auf neu schreiben können. Aber in der realen Welt arbeiten KI-Assistenten (wie GitHub Copilot) hauptsächlich, indem sie den Code vor und nach einer Lücke betrachten und die Mitte ausfüllen.
Das Problem ist, dass diese KIs wie selbstbewusste Lügner sind. Sie erfinden möglicherweise eine Bibliothek, die nicht existiert, rufen eine Funktion auf, die nicht real ist, oder verwenden einen Variablennamen, der nicht definiert wurde.
- Die Falle: Der Code sieht für das menschliche Auge perfekt aus (er ist grammatikalisch korrekt). Er liest sich wie ein normaler Satz. Aber wenn Sie versuchen, ihn auszuführen, stürzt er ab, weil die KI eine Tatsache erfunden hat.
- Das Ziel: Die Autoren wollten wissen: Können aktuelle KI-Modelle diese Lügen zuverlässig vermeiden? Und wenn sie lügen, können andere KI-Modelle die Lüge aufspüren?
2. Die Lösung: Die „DELULU"-Prüfung
Die Autoren haben einen Benchmark (einen Testdatensatz) namens DELULU erstellt. Der Name ist ein Wortspiel auf den Internet-Slang für „wahnhaft", da diese KI-Halluzinationen oft sehr überzeugend sind.
Stellen Sie sich DELULU als eine riesige, automatisierte Falle vor, die für KI-Modelle aufgestellt wurde.
- Das Setup: Sie nahmen echten Code aus dem Internet und erstellten 1.951 „Fallen".
- Die Fallen: Für jedes korrekte Code-Stück (die „Goldene" Antwort) nutzten sie eine superkluge KI, um eine „halluzinierte" Version zu erstellen. Diese gefälschte Version änderte nur eine winzige Sache, um sie falsch zu machen, behielt sie aber plausibel aussehen.
- Beispiel: Eine echte Import-Anweisung
from pandas import read_csvin eine gefälschtefrom pandas import read_csvszu ändern.
- Beispiel: Eine echte Import-Anweisung
- Die 4 Arten von Lügen: Die Prüfung konzentriert sich auf vier spezifische Arten, wie KI es falsch macht:
- Methode: Erfinden eines Funktionsnamens (z. B.
df.remove_nulls(), wenn diese Funktion nicht existiert). - Parameter: Hinzufügen einer Einstellung, die nicht existiert (z. B.
print(text, color="blue"), wenn die Funktion keine Farben akzeptiert). - Nicht definierte Variable: Verwendung eines Namens, der nie erstellt wurde.
- Import: Versuchen, ein Softwarepaket zu laden, das nicht existiert.
- Methode: Erfinden eines Funktionsnamens (z. B.
3. Wie sie die Prüfung erstellt haben (Die „adversarielle Pipeline")
Sie haben die Fragen nicht einfach nur erraten; sie bauten eine strenge Fabrik, um sicherzustellen, dass die Fragen schwierig waren und die Antworten echt waren.
- Generierung: Eine KI erstellte den gefälschten, lügenden Code.
- Das „Richter"-Gremium: Vier verschiedene Super-KIs fungierten als Lehrer, um den gefälschten Code zu benoten. Wenn ein Lehrer die Lüge nicht von der Wahrheit unterscheiden konnte, wurde die Frage behalten. Wenn der Lehrer sie leicht aufspürte, wurde die Frage verworfen.
- Der „Realitätscheck" (Docker): Dies ist der wichtigste Teil. Sie vertrauten nicht nur den Lehrern. Sie steckten jedes einzelne Code-Stück in eine virtuelle Sandbox (einen Docker-Container) und versuchten, es auszuführen.
- Wenn der „Goldene" Code erfolgreich lief, blieb er.
- Wenn der „halluzinierte" Code mit dem exakten Fehler abstürzte, nach dem die Prüfung suchte (wie „Datei nicht gefunden" oder „Variable nicht definiert"), blieb er.
- Wenn der gefälschte Code nicht tatsächlich abstürzte, wurde er verworfen.
- Menschliche Überprüfung: Schließlich betrachteten menschliche Experten die verbleibenden Fragen, um sicherzustellen, dass sie nicht zu einfach oder verzerrt waren.
4. Die Ergebnisse: Die KI hat immer noch Schwierigkeiten
Die Autoren testeten 11 verschiedene KI-Modelle (von klein bis sehr groß) an dieser Prüfung.
- Die Punktzahl: Selbst das beste KI-Modell bekam nur etwa 84,5 % der Antworten richtig. Das bedeutet, es fiel immer noch bei ungefähr 1 von 6 Fragen in die Falle.
- Die schwerste Falle: Die „Import"-Lügen (das Erfinden gefälschter Softwarepakete) waren für die KIs am schwersten zu vermeiden. Es ist, als würde man sie bitten, ein Telefonbuch mit jeder Softwarebibliothek, die existiert, auswendig zu lernen; sie raten weiterhin Namen, die echt klingen, aber es nicht sind.
- Das Erkennungsproblem: Sie stellten auch die Frage: „Kann eine KI als Code-Reviewer fungieren und diese Lügen aufspüren?" Selbst die intelligentesten KI-Reviewer fingen die Lügen nur in etwa 92 % der Fälle auf. Das bedeutet, es gibt immer noch eine Lücke, durch die eine Lüge durchrutschen kann.
5. Warum das wichtig ist
Der Artikel kommt zu dem Schluss, dass dies ein grundlegendes Problem ist und nicht nur ein Fehler in einem bestimmten KI-Modell.
- Es geht nicht nur um Größe: Die KI größer zu machen hilft, löst das Problem aber nicht vollständig.
- Es geht nicht nur um Training: Verschiedene Familien von KI-Modellen hatten alle mit den gleichen Arten von Lügen Schwierigkeiten.
- Das Fazit: Wir können uns nicht darauf verlassen, dass KI Code schreibt, ohne ihn zu überprüfen, denn selbst die besten KIs sind immer noch „wahnhaft" genug, um Fakten zu erfinden, die Ihr Programm zum Absturz bringen.
Kurz gesagt: DELULU ist ein strenger, mehrsprachiger Test, der beweist, dass aktuelle KI-Code-Assistenten immer noch dazu neigen, Fakten zu erfinden, die echt aussehen, aber kaputtgehen, wenn Sie versuchen, sie auszuführen. Der Artikel stellt die Werkzeuge (den Test und die „Sandbox"-Container) für Entwickler bereit, um diese spezifische Schwäche zu messen und zu verbessern.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.