💬 NLP

Can Large Language Models Generalize Procedures Across Representations?

Diese Arbeit zeigt, dass ein zweistufiges Reinforcement-Learning-Curriculum, welches große Sprachmodelle sequenziell auf symbolischen Daten (Code/Graphen) gefolgt von natürlicher Sprache trainiert, eine effektive über Repräsentationen hinweg generalisierende Fähigkeit für prozedurale Aufgaben ermöglicht, wodurch ein kleines 1,5B-Modell die Zero-Shot-Planungsleistung von GPT-4o erreicht.

Ursprüngliche Autoren: Fangru Lin, Valentin Hofmann, Xingchen Wan, Weixing Wang, Zifeng Ding, Anthony G. Cohn, Janet B. Pierrehumbert

Veröffentlicht 2026-06-04

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Fangru Lin, Valentin Hofmann, Xingchen Wan, Weixing Wang, Zifeng Ding, Anthony G. Cohn, Janet B. Pierrehumbert

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter das Backen eines Kuchens bei. Sie haben drei Möglichkeiten, ihm Anweisungen zu geben:

Natürliche Sprache: Ein Rezept in einem Buch („Mische Mehl, dann füge Eier hinzu...“).
Code: Ein Computerprogramm, das die Schritte und die Zeitangaben auflistet.
Graph: Ein Flussdiagramm mit Pfeilen, die zeigen, welcher Schritt vor dem nächsten erfolgen muss.

Die große Frage, die dieses Paper stellt, ist: Wenn man den Roboter mit dem Flussdiagramm (Graph) oder dem Code unterrichtet, weiß er dann automatisch, wie man das geschriebene Rezept (Natürliche Sprache) befolgt?

Die Forscher fanden heraus, dass die Antwort größtenteils nein lautet.

Das Problem: Die „Sprachbarriere“

Die Autoren entdeckten, dass Large Language Models (LLMs) wie Schüler sind, die sehr gut darin sind, das Format der Anweisungen auswendig zu lernen, aber schlecht darin, die dahinterstehende Logik zu verstehen.

Die „Single-Format“-Falle: Wenn man einen Roboter nur mit Flussdiagrammen trainiert, wird er ein Meister der Flussdiagramme. Wenn man ihn dann aber bittet, ein Problem mithilfe eines geschriebenen Rezepts zu lösen, wird er verwirrt. Er erkennt nicht, dass „Schritt A muss vor Schritt B passieren“ in einem Flussdiagramm exakt dieselbe Regel ist wie „Zuerst mache A, dann mache B“ in einem Satz.
Die „faule“ Abkürzung: Wenn der Roboter versucht, die Antwort in einem neuen Format zu erraten, nimmt er oft eine faule Abkürzung. Anstatt die komplexe Reihenfolge der Schritte (den „kritischen Pfad“) zu ermitteln, addiert er einfach alle Zeiten zusammen. Es ist, als würde jemand versuchen, die schnellste Route zur Arbeit zu berechnen, indem er die Zeit jeder möglichen Straße zusammenzählt, anstatt tatsächlich den kürzesten Weg zu finden.

Die Lösung: Ein Zwei-Stufen-Trainingslager

Da der Roboter es nicht einfach von selbst „verstehen“ konnte, entwarfen die Autoren ein spezielles Trainingscurriculum (einen Lehrplan), um dies zu beheben. Denken Sie daran wie beim Erlernen eines Musikinstruments:

Stufe 1: Der Matheunterricht (Symbolisches Training): Zuerst lehren sie den Roboter die „harten“ Formate (Code und Flussdiagramme). Dies zwingt den Roboter, die strengen, logischen Regeln des Ablaufs zu lernen, ohne durch schicke Wörter abgelenkt zu werden. Es ist wie das Erlernen der Musiktheorie, bevor man versucht, ein Lied zu spielen.
Stufe 2: Die Jam-Session (Anpassung an Natürliche Sprache): Sobald der Roboter die Logik versteht, wechseln sie zur Lehre mittels natürlicher Sprache (das Rezept). Da der Roboter bereits die Regeln aus Stufe 1 kennt, kann er diese nun auf die neue Sprache anwenden.

Das Ergebnis: Diese Zwei-Stufen-Methode bewirkte Wunder. Ein kleiner Roboter (1,5 Milliarden Parameter), der auf diese Weise trainiert wurde, schnitt fast so gut ab wie ein massiver, superintelligenter Roboter (GPT-4o), der dieses spezifische Training noch nie zuvor gesehen hatte.

Die Geheimzutat: „Generative Analogie“

Warum funktionierte das? Das Paper legt nahe, dass der Roboter lernte, eine generative Analogie zu nutzen.

Frequenz vs. Analogie:
- Frequenz ist wie das Auswendiglernen, dass „König + Königin = Königlich“ ist, weil man es eine Million Mal gesehen hat.
- Analogie ist das Verständnis der Beziehung zwischen den Wörtern, um sie auf neue Dinge anwenden zu können (z. B. „Arzt + Krankenschwester = Krankenhaus-Team“).
Die Forscher fanden heraus, dass die erfolgreichen Roboter nicht nur Muster auswendig lernten; sie bauten eine mentale Brücke. Sie erkannten: „Oh, diese Flussdiagramm-Struktur ist analog zu dieser Satzstruktur.“ Das Zwei-Stufen-Training zwang sie dazu, diese Brücke zu bauen.

Der Haken: Es ist (noch) keine Magie

Das Paper zieht eine wichtige Unterscheidung zwischen Robotern und Menschen:

Menschen sind wie Genies, die ein Flussdiagramm einmal anschauen können und sofort wissen, wie man das Rezept schreibt. Wir generalisieren sofort.
Roboter sind wie fleißige Schüler, die die Logik lange Zeit in einem Format üben müssen, bevor sie diese erfolgreich auf ein anderes übertragen können. Sie benötigen diese „zusätzliche Hausaufgabe“ (das Zwei-Stufen-Training), um die Verbindung herzustellen.

Zusammenfassung

Das Paper beweist, dass es nicht ausreicht, eine KI einfach nur auf Code oder Graphen zu trainieren, um sie automatisch gut in Aufgaben der natürlichen Sprache zu machen. Wenn man sie jedoch zuerst auf die Logik trainiert (mittels Code/Graphen) und ihr dann die Sprache lehrt, kann sie lernen, diese logischen Regeln in menschliche Sprache zu übersetzen. Dies verwandelt die KI vom bloßen Muster-Memorierer in einen echten Problemlöser, der das „Warum“ hinter den Schritten versteht und nicht nur das „Was“.

Technisches Resümee: Können Large Language Models Verfahren über Repräsentationen hinweg generalisieren?

Problemstellung

Large Language Models (LLMs) werden intensiv auf symbolischen Repräsentationen wie Code und Graphen trainiert, doch die realen Aufgaben der Nutzer sind überwiegend in natürlicher Sprache (NL) spezifiziert. Eine kritische, unteruntersuchte Fähigkeit für robuste LLMs ist die kreuz-repräsentationale Generalisierung: die Fähigkeit, prozedales Wissen, das in einer Repräsentation erlernt wurde (z. B. Code oder Graphen), auf Aufgaben zu übertragen, die in einer anderen Repräsentation spezifiziert sind (z. B. natürliche Sprache).

Die bestehende Forschung vermischt oft oberflächliche repräsentative Faktoren mit tiefer liegenden strukturellen Faktoren und versäumt es daher zu isolieren, ob symbolisches Training das natürliche Sprachverständnis unterstützt oder behindert. Darüber hinaus identifiziert die Kognitionswissenschaft die generative Analogie – die Fähigkeit, gelernte Strukturen über Repräsentationen hinweg durch den Abgleich gemeinsam liegender zugrunde liegender Strukturen zu übertragen – als einen Kernmechanismus des menschlichen Denkens. LLMs werden jedoch primär auf proportionale Analogien mit hoher Oberflächenähnlichkeit untersucht. Diese Arbeit untersucht, ob LLMs in der Lage sind, Verfahren über isomorphe Aufgaben in natürlicher Sprache, Graphen und Code hinweg zu generalisieren, und falls nicht, wie diese Lücke geschlossen werden kann.

Methodik

Experimentelles Setup

Die Autoren konstruierten ein kontrolliertes experimentelles Setting unter Verwendung von isomorphen Aufgaben, bei denen der zugrunde liegende Algorithmus identisch bleibt, aber die Oberflächenrepräsentation variiert. Die Primäraufgabe ist die asynchrone Planung (das Einplanen von Schritten mit Abhängigkeiten und Zeitdauern), formalisiert als Finden des längsten Pfades (kritischer Pfad) in einem gerichteten azyklischen Graphen (DAG).

Natürliche Sprache (NL): Aufgaben, die als schrittweise Anweisungen mit Abhängigkeiten beschrieben werden (z. B. „Schritt 1 muss Schritt 3 vorausgehen“).
Graph: Aufgaben, die als Adjazenzlisten und Knoten-Gewichte dargestellt werden.
Code: Aufgaben, die als Python-Snippets dargestellt werden, welche DAG-Longest-Path-Algorithmen mit spezifischen Eingaben implementieren.

Die Studie evaluierte drei Modellfamilien (Qwen-2.5, Llama-3, Olmo-2) über verschiedene Skalen hinweg (1,5B bis 7B Parameter) unter Verwendung von vier Post-Training-Strategien:

Vanilla SFT: Fine-Tuning auf Prompt-Antwort-Paaren ohne Chain-of-Thought (CoT).
Distillation: Training auf CoT-Reasoning, das von einem stärkeren Teacher-Modell generiert wurde (DeepSeek-R1-Distill-Qwen-32B).
STaR (Self-Taught Reasoner): Eine Bootstrapping-Methode, bei der das Modell auf seinen eigenen korrekten Generationen trainiert.
GRPO (Group Relative Policy Optimization): Eine Reinforcement Learning Methode unter Verwendung verifizierbarer Ergebnis-Belohnungen.

Vorgeschlagene Lösung: Zwei-Stufen-RL-Curriculum

Um das beobachtete Versagen des einstufigen Repräsentations-Trainings zu adressieren, schlagen die Autoren ein zweistufiges Reinforcement Learning Curriculum vor:

Stufe 1 (Symbolische Induktion): Das Modell wird auf symbolischen Daten (Graph oder Code) trainiert, um abstrakte Verfahren zu erlernen.
Stufe 2 (Anpassung an natürliche Sprache): Das Modell wird kontinuierlich auf Daten in natürlicher Sprache trainiert, um die gelernten Verfahren an die Zielrepräsentation anzupassen.

Dieser Ansatz trennt das Lernen der abstrakten Struktur von der Anpassung der Oberflächenform.

Zentrale Ergebnisse

1. Versagen der naiven kreuz-repräsentationalen Generalisierung

Symbolisch zu NL: Das ausschließliche Training auf Graph- oder Code-Daten führt zu hoher Leistung innerhalb dieser Repräsentationen, scheitert jedoch bei der Generalisierung auf NL-Aufgaben. Die Leistung bricht bei Repräsentationswechseln oft zusammen, selbst wenn die zugrunde liegende Logik identisch ist.
NL zu Symbolisch: Das ausschließliche Training auf NL-Daten führt zu ineffizienten Leistungssteigerungen und überträgt sich nicht zuverlässig auf symbolische Aufgaben.
Methodenvergleich: Während GRPO und Distillation eine starke Leistung innerhalb der eigenen Repräsentation zeigen, lösen sie die kreuz-repräsentationale Lücke nicht inhärent. Die Skalierung der Modellparameter (z. B. von 1,5B auf 7B) ändert das qualitative Muster dieses Versagens nicht; größere Modelle zeigen oft einen schärferen Abfall der Out-of-Distribution-Leistung.

2. Wirksamkeit des Zwei-Stufen-Curriculums

Leistungssteigerungen: Das Graph $\to$ NL Curriculum verbessert die Leistung erheblich. Ein 1,5B Qwen-Modell, das mit diesem Curriculum trainiert wurde, übertrifft seine 7B-Variante, die nur auf NL trainiert wurde, und erreicht die Zero-Shot-Leistung von GPT-4o bei der Aufgabe der asynchronen Planung.
Robustheit: Das Curriculum zeigt Robustheit gegenüber linguistischen Variationen und übertrifft Baselines bei NL-AAVE (African American Vernacular English), einem Dialektvarianten, die Frontier-Modelle vor Herausforderungen stellt.
Ordnungssensitivität: Die Reihenfolge des Trainings ist entscheidend. Ein Umkehren des Curriculums (NL $\to$ Graph) performt schlechter als das Training nur auf NL, was darauf hindeutet, dass die symbolische Induktion notwendig ist, um das strukturelle Fundament vor der Anpassung zu etablieren.
Generalisierung: Die Vorteile des Curriculums erstrecken sich über die Planung hinaus auf Mathematik und Physik Aufgaben und zeigen eine verbesserte Generalisierung über verschiedene Domänen hinweg.

3. Mechanismus der Generalisierung: Generative Analogie

Die Autoren analysieren, ob der Erfolg durch die Häufigkeit der Daten oder die strukturelle Ähnlichkeit (Analogie) getrieben wird.

Korrelationsanalyse: Unter Verwendung der Struktur-Mapping-Theorie quantifizieren sie die „analogische Stärke“ zwischen Trainings- und Testinstanzen. Die Ergebnisse zeigen, dass eine erfolgreiche kreuz-repräsentationale Generalisierung signifikant stärker mit hoher analogischer Stärke (strukturelle Ähnlichkeit) korreliert als mit der Häufigkeit ähnlicher Trainingsinstanzen.
Qualitative Evidenz: Modelle, die mit dem Curriculum trainiert wurden, zeigen ein systematischeres Reasoning (Iterieren durch mehrere Pfade, um den längsten zu finden) im Vergleich zum „faulen Reasoning“ oder einfachen Summieren, das bei Modellen beobachtet wurde, die nur auf NL oder Graph allein trainiert wurden.

Bedeutung und Behauptungen

Das Paper behauptet, dass LLMs zwar die Kapazität besitzen, über Repräsentationen hinweg zu generalisieren, dies jedoch nicht natürlich durch Standard-Post-Training-Methoden geschieht. Stattdessen muss diese Fähigkeit durch spezifische Curricula kultiviert werden.

Generative Analogie: Die Studie interpretiert den Erfolg der kreuz-repräsentationalen Generalisierung als eine Form der generativen Analogie, bei der das Modell gemeinsame zugrunde liegende Strukturen abgleicht, anstatt Oberflächenmuster auswendig zu lernen. Das vorgeschlagene Curriculum fördert dieses analogische Verhalten effektiv.
Trainingsanforderungen: Im Gegensatz zum menschlichen analogischen Denken, das mit minimaler Exposition generalisieren kann, benötigen LLMs eine erweiterte Trainingsphase in den neuen Repräsentationen (via Adaptationsstufe), um die in der symbolischen Phase gelernten abstrakten Verfahren effektiv nutzen zu können.
Limitierungen: Die Autoren merken an, dass trotz der Verbesserungen eine Leistungslücke zwischen Standard-NL und Dialektvarianten (NL-AAVE) bestehen bleibt, was die anhaltenden Herausforderungen hinsichtlich technologischer Fairness unterstreicht. Zudem behauptet das Paper nicht, dass die Skalierung von Repräsentationen zur Trainingszeit allein das Problem lösen wird, da die Skalierung einer einzelnen Repräsentation keinen Transfer erzeugte.

Zusammenfassend lässt sich sagen, dass die Arbeit demonstriert, dass ein strukturiertes, zwei-stufiges RL-Curriculum die Lücke zwischen symbolischem und natürlichem Sprachverständnis schließen kann, wodurch kleinere Modelle eine Leistung erreichen, die mit deutlich größeren Zero-Shot-Modellen bei komplexen prozeduralen Aufgaben vergleichbar ist.