Training with Pseudo-Code for Instruction Following

Die vorgestellte Studie zeigt, dass das Fine-Tuning von Large Language Models mit Anweisungsdaten, die durch Pseudocode ergänzt wurden, die Fähigkeit zur Befolgung von Anweisungen signifikant verbessert und gleichzeitig die Leistung in mathematischen und gesundheitsbezogenen Schlussfolgerungsaufgaben erhält oder steigert.

Das Wesentliche

Hier ist eine einfache Erklärung der Forschung, als würde man sie einem Freund beim Kaffee erzählen:

Das Problem: Wenn KI den "Fingerabdruck" verliert

Stell dir vor, du hast einen extrem intelligenten Assistenten (eine KI), der alles kann: Mathematik lösen, Geschichten schreiben und Fakten abrufen. Aber es gibt ein Problem: Wenn du ihm eine Aufgabe gibst, die ein paar kleine Regeln enthält (z. B. "Schreibe eine Geschichte, aber benutze keine Kommas und fange mit einem großen Buchstaben an"), dann stolpert der Assistent oft. Er ignoriert die Regeln oder verliert den Faden, besonders wenn die Aufgabe komplex ist.

Es ist, als würdest du einem Koch sagen: "Mach mir einen Salat, aber schneide die Tomaten in Dreiecke und benutze keine Messer." Der Koch (die KI) könnte verwirrt sein und einfach einen normalen Salat machen, weil die Anweisung in "Menschensprache" zu viel Interpretationsspielraum lässt.

Die Idee: Die KI muss erst "Programmieren" lernen

Die Forscher haben eine clevere Lösung gefunden. Sie sagen: "Warum sollen wir die KI direkt auf Deutsch (oder Englisch) antworten lassen? Lass sie zuerst einen Bauplan oder ein Skript schreiben."

Stell dir vor, du willst ein Haus bauen.

1. Der alte Weg (Natürliche Sprache): Du sagst dem Architekten: "Bau mir ein Haus mit einem roten Dach und drei Fenstern." Der Architekt versucht es sofort, macht aber vielleicht einen Fehler, weil er die Details im Kopf verwirrt hat.
2. Der neue Weg (Pseudo-Code): Du sagst dem Architekten: "Schreibe zuerst eine Liste von Schritten auf: 1. Fundament gießen. 2. Wände hochziehen. 3. Dach in Rot streichen. 4. Drei Fenster einbauen." Erst nachdem er diesen genauen Plan (den Pseudo-Code) hat, baut er das Haus.

In diesem Papier nennen sie diesen Plan "Pseudo-Code". Das ist keine echte Programmiersprache, die ein Computer ausführen muss, sondern eine Art "Schritt-für-Schritt-Anleitung", die so aussieht wie Code, aber für die KI gedacht ist, um ihre Gedanken zu ordnen.

Was haben die Forscher gemacht?

Normalerweise müssen Menschen mühsam diese Pläne für die KI schreiben. Das ist langweilig und teuer. Diese Forscher haben einen automatischen Roboter gebaut, der das für sie macht:

1. Generieren: Ein smarter KI-Assistent nimmt eine normale Anweisung (z. B. "Schreibe einen Brief") und verwandelt sie automatisch in einen Pseudo-Code-Plan.
2. Prüfen: Der Roboter testet, ob der Plan funktioniert. Wenn das Ergebnis falsch ist, wird der Plan korrigiert (wie ein Lehrer, der eine Hausaufgabe berichtigt).
3. Lernen: Die KI wird dann trainiert, immer erst diesen Plan zu schreiben, bevor sie die eigentliche Antwort gibt.

Das Tolle ist: Für dich als Nutzer ändert sich nichts. Du gibst immer noch normale Sprache ein, und die KI gibt eine normale Antwort. Aber im Inneren der KI läuft jetzt dieser extra Schritt ab, bei dem sie sich den Plan zurechtlegt.

Die Ergebnisse: Warum ist das so gut?

Die Forscher haben das an 12 verschiedenen Tests ausprobiert, von Matheaufgaben bis hin zu logischen Rätseln.

• Bessere Befehlsbefolgung: Die KIs, die diesen "Plan-Zuerst"-Ansatz gelernt haben, halten sich viel besser an Regeln. Wenn du sagst "keine Kommas", dann gibt es auch keine Kommas. Die Trefferquote stieg um bis zu 21 %.
• Kein Nachteil bei Intelligenz: Man hätte gedacht, dass das Schreiben von Plänen die KI langsamer macht oder sie bei Matheaufgaben verwirrt. Aber das Gegenteil war der Fall! Die KIs wurden nicht nur besser im Befolgen von Regeln, sondern blieben auch in Mathe und Logik genauso schlau oder wurden sogar noch besser.
• Vergleich mit anderen Methoden: Andere Methoden, bei denen man der KI während des Gesprächs hilft (indem man ihr Beispiele zeigt), funktionieren oft nicht so gut wie dieses Training. Es ist, als würde man jemandem nicht nur eine Landkarte zeigen, sondern ihn trainieren, selbst Karten zu lesen.

Die große Metapher: Der Architekt vs. der Maler

Stell dir die KI als einen sehr talentierten, aber etwas chaotischen Maler vor.

• Wenn du ihm sagst "Malt ein Bild vom Sonnenuntergang", malt er ein tolles Bild, aber vielleicht hat er vergessen, dass du gesagt hast "ohne Blau".
• Mit dieser neuen Methode trainieren wir den Maler, vorher einen Bauplan zu zeichnen. Auf dem Plan steht: "Himmel: Orange und Gelb. Kein Blau erlaubt."
• Erst wenn der Plan fertig ist, nimmt er den Pinsel.

Dadurch wird das Endergebnis viel genauer, weil der Maler nicht mehr raten muss, was du wolltest. Er hat den Plan vor sich liegen.

Fazit

Die Forscher haben herausgefunden, dass KI-Modelle viel besser funktionieren, wenn man sie trainiert, ihre Aufgaben erst in eine Art "Schritt-für-Schritt-Code" zu übersetzen, bevor sie antworten. Das macht sie zu besseren Gehilfen, die genau das tun, was man von ihnen erwartet, ohne dabei ihre allgemeine Intelligenz zu verlieren. Es ist ein kleiner Trick im Inneren der KI, der große Verbesserungen bringt.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Training with Pseudo-Code for Instruction Following" auf Deutsch:

Titel: Training mit Pseudo-Code für das Befolgen von Anweisungen

Autoren: Prince Kumar, Rudra Murthy, Riyaz Bhat, Danish Contractor (IBM Research AI)

---

1. Problemstellung

Trotz rascher Fortschritte bei Large Language Models (LLMs) bestehen weiterhin erhebliche Schwierigkeiten beim zuverlässigen Befolgen von Anweisungen, insbesondere bei komplexen, zusammengesetzten (compositional) Strukturen. Modelle scheitern häufig an:

• Kompositionellen Anweisungen: Aufgaben, die mehrere Schritte oder logische Verknüpfungen erfordern.
• Ablenkungen (Distractors): Anweisungen, die irrelevant sind oder das Modell verwirren sollen.
• Formatierungsvorgaben: Strikte Einhaltung von Ausgabeformaten (z. B. JSON, spezifische Länge, keine Großbuchstaben).

Bisherige Ansätze wie Few-Shot-Prompts mit Pseudo-Code oder Inferenzzeit-Code-Prompting (z. B. Chain-of-Code) haben Nachteile: Das manuelle Schreiben von Pseudo-Code ist für Endnutzer umständlich, Few-Shot-Demonstrationen sind oft fragil, und externe Code-Execution-Umgebungen erschweren die Bereitstellung.

2. Methodik

Die Autoren schlagen einen Trainingszeit-Ansatz vor, bei dem LLMs feinabgestimmt (fine-tuned) werden, um Anweisungen intern in eine strukturierte Pseudo-Code-Repräsentation zu übersetzen, bevor sie die eigentliche Antwort generieren.

Datenkonstruktions-Pipeline

Da das manuelle Erstellen von Pseudo-Code zu teuer wäre, entwickelten die Autoren eine automatisierte Pipeline mit drei Stufen, um bestehende Instruction-Tuning-Datensätze (basierend auf Tulu v2) zu erweitern:

1. Generate (Generieren): Ein leistungsstarkes Lehrmodell (Mixtral-8x7B-Instruct) wird mit einem 1-Shot-Prompt verwendet, um für eine natürliche Sprachanweisung (NL) einen entsprechenden Pseudo-Code zu generieren.
2. Evaluate (Bewerten): Der generierte Pseudo-Code wird verwendet, um die Inferenz durchzuführen. Das Ergebnis wird mit dem Ground-Truth-Ergebnis verglichen.
3. Repair (Reparieren): Wenn der Pseudo-Code zu einem falschen Ergebnis führt (während die ursprüngliche NL-Anweisung korrekt war), wird ein LLM-Judge eingesetzt, um Feedback zu geben und den Pseudo-Code zu korrigieren. Dieser Prozess wird iterativ wiederholt, um die Qualität zu sichern.

Trainingsformat

Das Modell lernt eine sequenzielle Ausgabe:

1. Eingabe: Natürlichsprachliche Anweisung.
2. Ausgabe: Zuerst der generierte Pseudo-Code (markiert durch [PSEUDOCODE] und [/PSEUDOCODE]), gefolgt von der eigentlichen Antwort.
   Wichtig: Der Pseudo-Code dient hier nicht als Chain-of-Thought (CoT) für die Lösung des Problems, sondern ausschließlich als strukturierte Repräsentation der Anweisung selbst, um die Auswirkungen der Strukturierung isoliert zu untersuchen.

3. Wichtige Beiträge

1. Strukturierte Zwischenrepräsentation: Einführung einer Trainingsmethode, bei der Modelle lernen, Anweisungen vor der Beantwortung in Pseudo-Code umzuformulieren. Dies verbessert die Ausführung von verschachtelten, eingeschränkten und zusammengesetzten Anweisungen ohne externe Code-Execution zur Laufzeit.
2. Skalierbare Daten-Pipeline: Entwicklung einer „Generate-Evaluate-Repair"-Pipeline, die hochwertige Pseudo-Code-Supervision automatisch für große Datensätze erzeugt.
3. Umfassende Evaluation: Experimente mit sechs verschiedenen Basis-Modellen (Llama 3.1, Mistral, Qwen, Granite, Olmo) über 12 verschiedene Benchmarks hinweg.

4. Ergebnisse

Die Evaluation erfolgte auf Benchmarks für Anweisungsfolgen, mathematisches Denken, Common-Sense-Reasoning und Code-Generierung.

• Anweisungsfolgen (Instruction Following): Modelle, die mit Pseudo-Code trainiert wurden (PC), zeigten signifikante Verbesserungen gegenüber rein mit natürlicher Sprache (NL) trainierten Modellen.
  • Steigerung: Relative Verbesserungen von 8 % bis 21 % auf Instruction-Following-Benchmarks (z. B. IFEval, KCIF, ComplexBench, FollowBench).
  • Komplexe Aufgaben: Besonders starke Verbesserungen bei verschachtelten Anweisungen (Nested Instructions), logischen Verknüpfungen (And, Chain, Selection) und feingranularen Einschränkungen (z. B. Formatierung, Länge).
• Allgemeine Fähigkeiten: Die Leistung in mathematischen und Common-Sense-Aufgaben ging nicht zurück; in vielen Fällen (z. B. Granite 3.1, Mistral) gab es sogar Verbesserungen (durchschnittlicher Gewinn von bis zu 30 % über alle Benchmarks).
• Code-Aufgaben: Überraschenderweise verbesserte sich auch die Code-Generierung (HumanEvalPack), obwohl der Pseudo-Code keine Lösungsschritte enthielt, sondern nur die Anweisungsstruktur. Dies deutet darauf hin, dass die strukturierte Denkweise positiv auf die Code-Generierung übertragbar ist.
• Vergleich mit Inferenz-Methoden: Der Trainingsansatz übertraf deutlich Methoden, die Pseudo-Code nur zur Laufzeit über Few-Shot-Prompts nutzen (Code-Prompting Baselines).

5. Bedeutung und Fazit

Die Studie zeigt, dass die Fähigkeit, Anweisungen in eine strukturierte, code-ähnliche Form zu übersetzen, ein fundamentaler Mechanismus ist, um die Zuverlässigkeit von LLMs zu erhöhen.

• Drop-in-Ersatz: Da das Modell am Ende eine natürliche Sprachantwort liefert, ist es ein nahtloser Ersatz für bestehende Instruction-Tuned-Modelle, ohne dass Endnutzer Pseudo-Code schreiben müssen.
• Robustheit: Die Methode macht Modelle robuster gegen Ablenkungen und komplexere Constraints.
• Zukunftsausblick: Die Autoren sehen Potenzial in hybriden Ansätzen (Kombination von NL und Pseudo-Code) und der Erweiterung dieser Techniken auf das Pre-Training oder die Integration in Agenten-Frameworks mit Code-Execution.

Zusammenfassend demonstriert das Paper, dass das „Denken in Code" (bzw. das Umformulieren von Anweisungen in Pseudo-Code) während des Trainings ein effektiver Weg ist, um die Befolgungsfähigkeit von LLMs zu steigern, ohne dabei andere Fähigkeiten zu beeinträchtigen.