🤖 machine learning

Learning the Error Patterns of Language Models

Dieser Beitrag stellt „Prefix-Filter" und den „Palla"-Algorithmus vor, um domänenspezifische Einschränkungen effizient zu erlernen und anzuwenden, die häufige LLM-Fehlermuster erfassen und korrigieren und so die Gültigkeit der Ausgabe, etwa die TypeScript-Kompilierungsraten, erheblich verbessern.

Ursprüngliche Autoren: Jinwoo Kim, Taylor Berg-KirkPatrick, Loris D'Antoni

Veröffentlicht 2026-05-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jinwoo Kim, Taylor Berg-KirkPatrick, Loris D'Antoni

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr talentierten, aber leicht ungeschickten Roboter-Assistenten. Er ist hervorragend darin, Code zu schreiben, Geschichten zusammenzufassen oder chemische Moleküle zu entwerfen, doch er hat ein paar spezifische, sich wiederholende schlechte Gewohnheiten. Manchmal verwendet er ein Wort, das in der Sprache, in der er sprechen soll, gar nicht existiert. Ein anderes Mal gibt er versehentlich den Namen einer Person preis, obwohl er ihn geheim halten sollte.

Die Arbeit „Learning the Error Patterns of Language Models" stellt eine neue Methode vor, um diese Roboter zu reparieren, ohne sie von Grund auf neu trainieren oder einen Menschen einstellen zu müssen, der sie ständig überwacht.

Hier ist die Aufschlüsselung ihrer Lösung unter Verwendung einfacher Analogien:

1. Das Problem: Die „schlechten Gewohnheiten" des Roboters

Wenn diese KI-Modelle versuchen, bestimmte Aufgaben zu erledigen (wie das Schreiben eines Programms, das kompiliert werden muss), scheitern sie nicht zufällig. Sie scheitern in Clustern.

Die Analogie: Stellen Sie sich einen Koch vor, der versucht, einen Kuchen zu backen. Er scheitert nicht jedes Mal auf eine andere Weise. Stattdessen vergisst er immer, Zucker hinzuzufügen, oder er verbrennt immer den Boden, weil er den Ofen zu heiß eingestellt hat. Er hat spezifische „Fehlermodi".
Die Realität: Die Forscher stellten fest, dass, wenn man eine KI auffordert, TypeScript-Code zu schreiben, sie zwar in 50 % der Fälle scheitert, aber 80 % dieser Fehler auf nur drei oder vier spezifische Irrtümer zurückzuführen sind (wie der Versuch, eine konstante Variable neu zuzuweisen oder eine Import-Anweisung an der falschen Stelle zu platzieren).

2. Die Lösung: „Prefix-Filter" (Der Türsteher)

Die Autoren schlagen vor, „Prefix-Filter" zu erstellen. Stellen Sie sich diese wie einen Türsteher in einem Club vor, der jedoch nicht Ausweise prüft, sondern den Anfang dessen, was der Roboter schreibt.

Wie es funktioniert: Sobald der Roboter beginnt, einen Satz oder eine Codezeile zu tippen, betrachtet der Türsteher (der Filter) die ersten paar Wörter.
Die Entscheidung: Wenn der Türsteher ein Muster erkennt, das einer bekannten „schlechten Gewohnheit" entspricht (z. B. „Oh, du beginnst mit import innerhalb des Funktionskörpers? Das ist ein Fehler, den wir schon tausendmal gesehen haben. Halt."), unterbricht er den Roboter sofort.
Das Ergebnis: Der Roboter wird gezwungen, es erneut zu versuchen, muss sich diesmal jedoch anders beginnen. Es ist, als würde ein Lehrer sagen: „Nein, dieser Satz beginnt falsch. Versuch es noch einmal", bevor der Schüler den Absatz überhaupt beendet hat.

3. Der Algorithmus: PALLA (Der Detektiv)

Wie weiß man, was die schlechten Gewohnheiten des Roboters sind? Man muss nicht raten. Die Arbeit stellt einen Algorithmus namens PALLA (Prefix-filters for Learning and Adapting to LLMs) vor.

Der Prozess:
1. Lassen Sie den Roboter wild werden: PALLA lässt die KI Hunderte von Proben ohne Regeln generieren.
2. Fangen Sie die Fehler ein: Es verwendet einen „Richter" (wie einen Compiler für Code oder einen Sicherheitsprüfer für Zusammenfassungen), um die schlechten Ausgaben zu finden.
3. Gruppieren Sie die Fehler: Es stellt fest, dass die Fehler nicht zufällig sind; sie gruppieren sich zusammen.
4. Fragen Sie einen intelligenteren Roboter: PALLA bittet eine größere, intelligentere KI, diese Fehlercluster zu betrachten und eine einfache „Regel" (eine Python-Funktion) zu schreiben, die sie einfängt.
5. Testen Sie die Regel: Es prüft, ob die Regel fair ist. Fängt sie die schlechten Dinge ein? Verhindert sie versehentlich, dass der Roboter gute Dinge schreibt? Wenn sie zu streng ist, wird die Regel angepasst.

4. Die Ergebnisse: Ein massiver Schub

Die Forscher testeten dies an fünf verschiedenen KI-Modellen über vier verschiedene Aufgaben hinweg (Schreiben von MLIR-Code, Entwerfen von Molekülen, Zusammenfassen von HR-Gesprächen und Schreiben von TypeScript).

Die „magische" Zahl: Sie stellten fest, dass für viele Modelle bereits 132 einfache Regeln (Filter) ausreichten, um fast alle schlechten Ausgaben zu stoppen.
Die Analogie: Es ist, als würde man einem Schüler beibringen, die fünf häufigsten Mathefehler zu vermeiden. Plötzlich springen seine Testergebnisse von einer D auf eine A, nicht weil er neue Mathematik gelernt hat, sondern weil er die albernen Fehler, die er immer gemacht hat, nicht mehr macht.
Das Ergebnis:
- Code: Ein kleines KI-Modell (Qwen-1.5B), das normalerweise in 84 % der Fälle scheiterte, Code zu kompilieren, begann plötzlich, in 70 % der Fälle zu kompilieren. Mit diesen Filtern leistete es genauso gut wie ein viel größeres, teureres KI-Modell (Llama-8B), das überhaupt keine Filter hatte.
- Sicherheit: Bei der Zusammenfassung von HR-Gesprächen stoppten die Filter erfolgreich das Durchsickern von Namen und Telefonnummern durch die KI, ohne dass die Zusammenfassungen roboterhaft klangen oder wichtige Details fehlten.

5. Der Haken (Einschränkungen)

Die Arbeit ist ehrlich darüber, wo dies nicht perfekt funktioniert:

Das „Bereits gut"-Problem: Wenn eine KI bereits sehr gut in einer Aufgabe ist (wie Gemma-12B mit TypeScript), gibt es nicht genügend Fehler, aus denen man lernen kann, sodass die Filter nicht viel helfen.
Das „Schwanz"-Problem: Manchmal macht der Roboter einen Fehler am sehr Ende eines langen Satzes. Der Filter fängt nur den Anfang ein. Wenn der Fehler spät auftritt, könnte der Filter ihn übersehen, oder der Roboter könnte viel Zeit verschwenden, um ihn zu beheben.
Übertragbarkeit: Ein Filter, der auf einem KI-Modell trainiert wurde (wie Qwen), funktioniert nicht immer perfekt auf einem anderen (wie Llama). Jeder Roboter hat seine eigenen einzigartigen schlechten Gewohnheiten.

Zusammenfassung

Die Arbeit argumentiert, dass wir statt zu versuchen, KI-Modelle perfekt zu machen (was schwierig ist), einfach ihre spezifischen, sich wiederholenden schlechten Gewohnheiten lernen und einfache „Türsteher" bauen sollten, um sie zu stoppen, bevor sie einen schlechten Satz beenden. Dies ist eine günstige, schnelle und effektive Methode, um KI für bestimmte Aufgaben viel zuverlässiger zu machen.

Technische Zusammenfassung: Erlernen der Fehlermuster von Sprachmodellen

Problemdefinition

Large Language Models (LLMs) erzeugen häufig Ausgaben, die spezifische Gültigkeitsbedingungen verletzen, die für ihre Anwendungsbereiche erforderlich sind, wie etwa Code, der nicht kompiliert, chemisch ungültige Moleküle oder Zusammenfassungen, die private Informationen preisgeben. Während Techniken wie grammatikbeschränktes Decodieren existieren, erfassen sie oft keine komplexen Gültigkeitseigenschaften (z. B. Typsicherheit oder semantische Korrektheit), die sich nicht präzise durch eine Grammatik definieren lassen. Umgekehrt erfordern Fine-Tuning-Ansätze erhebliche Rechenressourcen und Daten.

Die zentrale Beobachtung, die diese Arbeit motiviert, ist, dass LLM-Fehler nicht gleichmäßig über den Raum der ungültigen Ausgaben verteilt sind. Stattdessen neigt ein spezifisches Modell, das in einem spezifischen Bereich operiert, dazu, auf eine kleine Anzahl sich wiederholender, geclusterter Arten zu versagen (z. B. die Verwendung eines nicht existierenden Operators oder das Einfügen von Zeichen an ungültigen Stellen). Die Arbeit fragt, ob diese spezifischen Fehlermuster erlernt und unterdrückt werden können, um die Ausgaben des Modells effektiv einzuschränken.

Methodik

Prefix-Filter

Die Autoren schlagen Prefix-Filter vor, pro Bereich und LLM spezifische symbolische Funktionen (z. B. Python-Funktionen), die das Präfix einer generierten Stichprobe analysieren. Ein Filter löst aus (gibt false zurück), wenn das Präfix darauf hindeutet, dass die Stichprobe bereits fehlerhaft ist oder unabhängig von der zukünftigen Vervollständigung wahrscheinlich scheitern wird.

Korrektheit vs. Verteilungskorrektheit: Idealerweise sollte ein Filter „korrekt" sein (nie eine gültige Vervollständigung ablehnen). Die Durchsetzung strenger Korrektheit ist jedoch oft unentscheidbar. Stattdessen führen die Autoren die Verteilungskorrektheit ein: Ein Filter ist akzeptabel, wenn er bei gültigen Generierungen mit einer Wahrscheinlichkeit unterhalb eines kleinen Schwellenwerts $\epsilon$ fälschlicherweise auslöst. Dies ermöglicht einfachere, lernbare Filter, die die Grenze zwischen gültigen und ungültigen Ausgaben approximieren, indem sie seltene, unwahrscheinliche gültige Fälle opfern.

PALLA-Algorithmus

Die Arbeit stellt PALLA (Pattern Learning for Language Models) vor, einen Algorithmus zum Erlernen dieser Prefix-Filter ohne umfangreiches Domänenwissen oder menschliches Eingreifen. Der Prozess umfasst vier Schritte:

Sampling: Bedingungsloses Sampling des Ziel-LLMs für domänenspezifische Aufgaben zur Generierung eines Satzes von Ausgaben.
Validierung: Verwendung eines externen Orakels (z. B. ein Compiler, ein chemischer Gültigkeitsprüfer oder ein Leckerkennungssystem), um Stichproben als gültig oder ungültig zu klassifizieren.
Clustering: Gruppierung ungültiger Stichproben basierend auf der vom Orakel bereitgestellten spezifischen Fehlerursache.
Synthese: Abfrage eines separaten, größeren „Synthesizer"-LLMs (z. B. GPT-5.4-mini) mit den gruppierten ungültigen Stichproben und gültigen Stichproben, um konkrete Prefix-Filter (Python-Code) zu destillieren, die die Fehlermuster erfassen.
Verifizierung: Validierung von Kandidatenfiltern hinsichtlich Verteilungskorrektheit und Wirksamkeit. Wenn ein Filter die Validierung nicht besteht, wird der Synthesizer mit Feedback zum Versagensgrund erneut abgefragt.

Eingeschränkte Generierung

Sobald eine Reihe von Prefix-Filtern erlernt wurde, setzt die Arbeit während der Inferenz Constrained Adaptive Rejection Sampling (CARS) ein. Während das Modell Token generiert, wird das aktuelle Präfix gegen alle erlernten Filter geprüft. Wenn ein Filter auslöst, wird die Stichprobe sofort verworfen, das Wahrscheinlichkeitstrieb wird aktualisiert, um das fehlerhafte Präfix zu verbieten, und das Sampling wird neu gestartet. Dies ermöglicht es dem Modell, dynamisch geclusterte Fehlermodi zu vermeiden.

Hauptbeiträge

Prefix-Filter: Der Vorschlag pro Bereich und LLM spezifischer symbolischer Funktionen als Mechanismus zur Erfassung und Unterdrückung spezifischer Fehlermodi, der eine Mittelstellung zwischen starren Grammatiken und aufwändigem Fine-Tuning bietet.
PALLA: Ein Algorithmus zum automatischen Erlernen dieser Filter aus unbeschränkten Stichproben unter Verwendung eines externen Synthesizers, der keine manuelle Regelkonstruktion erfordert.
Empirische Evaluation: Eine umfassende Evaluation über 4 Bereiche (MLIR-Code-Generierung, Generierung chemischer Moleküle, Dialog-Zusammenfassung und TypeScript-Generierung) und 5 LLMs (Qwen2.5-Varianten, Llama3.1-8B, Gemma3-12B).

Ergebnisse

Die Evaluation zeigt, dass PALLA aus einer bescheidenen Anzahl unbeschränkter Stichproben effektive Prefix-Filter erlernen kann:

Fehler-Clustering: Die „Cluster-Hypothese" wird bestätigt; eine kleine Anzahl von Filtern (oft die Top 3) erfasst einen signifikanten Anteil der Fehler. Beispielsweise fingen die Top-3-Filter für Qwen-7B bei der MLIR-Generierung 51,7 % aller Fehler ab.
Gewinn an Gültigkeit:
- TypeScript: PALLA erhöhte die Kompilierungsrate für Qwen2.5-1.5B um über 60 %, wodurch das 1,5B-Modell eine Leistung erreichte, die mit dem unbeschränkten 8B-Llama3.1-Modell vergleichbar war.
- MLIR: Grammatikbeschränktes Decodieren versagte darin, weit verbreitete Fehler wie die Verwendung undefinierter Operatoren zu verhindern, während Prefix-Filter die Kompilierungsraten signifikant verbesserten (z. B. verbesserte sich Qwen-14B von 27,5 % auf 71,0 %).
- Zusammenfassungen: Filter reduzierten erfolgreich Informationslecks in Dialogzusammenfassungen, ohne die Einbeziehung nicht-sensibler Informationen signifikant zu verringern.
Übertragbarkeit: Die Übertragbarkeit von Filtern ist domänenabhängig. Filter generalisieren gut über Modelle hinweg für Bereiche mit universellen Fehlermodi (z. B. Namenslecks in Zusammenfassungen), funktionieren jedoch schlecht für Bereiche, in denen Fehlermuster modellspezifisch sind (z. B. MLIR und Moleküle).
Overhead: Die Token-Kosten pro Stichprobe stiegen für die meisten Bereiche moderat an (z. B. ~30 % für Moleküle, ~60 % für MLIR), waren jedoch für TypeScript mit schwächeren Modellen signifikant höher (bis zu 900 % für Qwen-1.5B) aufgrund wiederholter Verwerfungen von Fehlern am Ende der Generierung.

Bedeutung und Einschränkungen

Die Arbeit behauptet, dass Prefix-Filter eine praktische und effiziente Methode bieten, um LLM-Ausgaben einzuschränken, indem sie die spezifischen, sich wiederholenden Versagensmodi eines gegebenen Modells adressieren. Dieser Ansatz liefert quantitative Einblicke darin, wie verschiedene LLMs versagen, und bietet einen Mechanismus zur Verbesserung der Zuverlässigkeit ohne Neukalibrierung.

Von den Autoren anerkannte Einschränkungen:

Kompetenzschwelle: Die Methode ist für Modelle, die in einem Bereich bereits hochkompetent sind, unwirksam, da es zu wenige ungültige Beispiele gibt, um effektive Filter zu erlernen.
Nicht-Präfix-Fehler: Wenn ein Fehler nicht als Präfix-Bedingung ausdrückbar ist (z. B. ein gültiges Präfix, das aufgrund einer globalen Bedingung zu einer ungültigen Suffix führt), kann PALLA keinen Filter dafür erlernen.
Übertragbarkeit: Filter sind oft spezifisch für das Modell, auf dem sie trainiert wurden, und übertragen sich nicht immer auf andere Modelle, insbesondere in komplexen Bereichen wie der Code-Generierung.
Overhead: In Fällen, in denen Modelle häufige Fehler machen oder Fehler spät im Generierungsprozess auftreten, kann der Overhead durch das Verwerfungs-Sampling erheblich werden.

Die Autoren schließen, dass Prefix-Filter zwar nicht alle Probleme der eingeschränkten Generierung lösen, aber ein leistungsfähiges Werkzeug zur Analyse und Minderung spezifischer, geclusterter Fehlermuster in LLMs darstellen.