🤖 machine learning

Learning through Internalization

Diese Arbeit untersucht, wie neuronale Netze, insbesondere Transformer, explizite Rechenverfahren wie Chain-of-Thought in ihre Gewichte internalisieren, um das Erlernen komplexer Aufgaben wie Parität und die Simulation von Semiautomaten zu erleichtern, während sie gleichzeitig einen Trade-off aufzeigen, bei dem dieser Prozess zu einer verschlechterten Out-of-Distribution-Performance führt.

Ursprüngliche Autoren: Nikolaos Tsilivis, Nirmit Joshi, Marko Medvedev, Julia Kempe, Nati Srebro

Veröffentlicht 2026-06-23

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nikolaos Tsilivis, Nirmit Joshi, Marko Medvedev, Julia Kempe, Nati Srebro

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Von „Schritt für Schritt“ zu „Instinkt“

Stellen Sie sich vor, Sie lernen Autofahren. Zuerst sagt Ihnen ein Lehrer genau, was Sie tun müssen: „Drücken Sie die Kupplung, legen Sie den ersten Gang ein, lassen Sie die Kupplung langsam kommen, während Sie Gas geben.“ Sie müssen über jeden einzelnen Zwischenschritt intensiv nachdenken. Das ist langsam, aber es hilft Ihnen, die komplexe Aufgabe zu erlernen.

Nach viel Übung müssen Sie schließlich nicht mehr über die Schritte nachdenken. Sie „wissen“ einfach, wie man fährt. Sie haben den Prozess internalisiert. Die komplexe Abfolge von Handlungen wurde in einen einzigen, automatischen Instinkt komprimiert.

Diese Arbeit untersucht, wie Künstliche Intelligenz (speziell eine Art von KI namens Transformer) dasselbe tut. Sie stellt die Frage: Können wir einer KI beibringen, schwierige Probleme zu lösen, indem wir sie zuerst dazu bringen, all ihre Arbeit aufzuschreiben (wie ein Schüler, der seine Hausaufgaben vorrechnet), und sie dann darauf trainieren, die Schritte zu „vergessen“ und die Antwort sofort zu geben?

Die Arbeit stellt fest, dass dies funktioniert und einer KI helfen kann, Dinge zu lernen, die sie ansonsten nicht lernen könnte. Es gibt jedoch einen Haken: Wenn die KI „automatisch“ wird, wird sie manchmal schlechter darin, mit neuen, seltsamen Situationen umzuge-hen.

1. Die zwei Arten des Lernens

Die Forscher vergleichen zwei Wege, wie eine KI eine Aufgabe lernen kann:

Direktes Lernen (Der „schwere Weg“): Sie zeigen der KI ein Problem und die endgültige Antwort und bitten sie, die Verbindung sofort zu finden. Für einige sehr knifflige Logikrätsel (wie das Berechnen einer speziellen Art von Mathematikproblem namens „Parität“) scheitert die KI oft. Es ist, als würde man einem Anfänger beibringen, Auto zu fahren, ohne ihm jemals die einzelnen Schritte zu erklären.
Lernen durch Internalisierung (Der „schlaue Weg“):
1. Phase 1 (Der Lehrer): Sie bringen der KI bei, das Problem zu lösen, indem Sie sie zwingen, jeden einzelnen Schritt aufzuschreiben (genannt „Chain-of-Thought“ oder CoT). Sie generiert eine lange Liste von Zwischenergebnissen vor der endgültigen Antwort. Dank dieser Hilfestellungen lernt sie die Aufgabe leicht.
2. Phase 2 (Die Internalisierung): Sie beginnen langsam, die Hilfestellungen zu entfernen. Zuerst entfernen Sie den letzten Schritt, dann den vorletzten und so weiter. Die KI wird gezwungen, ihr „Gehirn“ (ihre „Gewichte“) neu zu verdrahten, um herauszufinden, wie sie die Antwort ohne die Stützen erhält.
3. Das Ergebnis: Schließlich kann die KI das Problem in einem einzigen Schritt lösen, ohne etwas aufzuschreiben. Sie hat die Logik „internalisiert“.

Die Behauptung der Arbeit: Dieser zweistufige Prozess ermöglicht es der KI, schwierige Aufgaben zu lernen, bei denen sie scheitern würde, wenn man versuchen würde, sie direkt von Anfang an zu lehren.

2. Die Kehrseite: Geschwindigkeit vs. Sicherheit

Die Arbeit entdeckt einen überraschenden Nachteil dieses „automatischen“ Modus.

Die Analogie: Denken Sie an einen Schüler, der eine bestimmte Route zur Schule auswendig lernt. Wenn er diese exakte Route jeden Tag fährt, wird er sehr schnell und effizient. Aber wenn man ihn bittet, in ein neues Viertel zu fahren, das er noch nie gesehen hat, könnte er sich verlaufen, weil er nur den spezifischen Pfad gelernt hat, nicht die allgemeinen Regeln des Autofahrens.
Die Erkenntnis: Wenn eine KI eine Aufgabe internalisiert (schnell und automatisch wird), schneidet sie bei Out-of-Distribution (OOD)-Daten oft schlechter ab. Das bedeutet: Wenn man ihr ein Problem gibt, das etwas anders aussieht als das, was sie geübt hat, macht sie mehr Fehler, als sie es tat, als sie noch ihre Schritte aufgeschrieben hat.
Warum? Die Arbeit legt nahe, dass die KI, wenn sie lernt, schnell zu sein, möglicherweise „Abkürzungen“ oder „Tricks“ findet, die zwar für die Trainingsdaten funktionieren, aber nicht robust genug für neue Situationen sind.

3. Was macht eine Aufgabe leicht oder schwer zu internalisieren?

Die Forscher testeten dies an verschiedenen Arten von Logikrätseln (genannt „Semiautomata“). Sie fanden heraus, dass nicht alle Aufgaben gleichermaßen leicht sind, in einen Instinkt umgewandelt zu werden.

Breite vs. Tiefe: Sie fanden heraus, dass es der KI hilft, Aufgaben besser zu internalisieren, wenn man sie „breiter“ macht (ihr mehr parallele Rechenleistung gibt), als wenn man sie „tiefer“ macht (mehr Denkschichten hinzufügt). Es ist, als wäre eine breitere Autobahn besser für den Verkehr als das Hinzufügen von mehr Mautstellen.
Primzahlen sind knifflig: Sie entdeckten, dass Aufgaben, die Primzahlen betreffen (wie das Zählen in 7er- oder 13er-Gruppen), für die KI viel schwieriger zu internalisieren waren als Aufgaben mit Zahlen, die viele Teiler haben (wie 12 oder 16).
- Die Metapher: Stellen Sie sich vor, Sie versuchen, einen Koffer zu packen. Wenn Sie Gegenstände haben, die perfekt zusammenpassen (wie ein 12-teiliges Set), ist es einfach, sie effizient zu packen. Wenn Sie Gegenstände haben, die sich nicht gleichmäßig aufteilen lassen (wie eine Primzahl), ist es unordentlich und schwer, sie kompakt in einen kleinen Raum zu pressen. Die KI hat Schwierigkeiten, die Logik von Primzahl-Aufgaben in ihr internes Gedächtnis zu „komprimieren“.

4. Der mathematische Beweis: Parität

Um zu beweisen, dass dies nicht nur Glück ist, führten die Autoren einen strengen mathematischen Beweis mit einem speziellen Mathematikproblem namens „Sparse Parity“ durch.

Das Problem: Stellen Sie sich eine lange Liste von 0en und 1en vor, und Sie müssen herausfinden, ob die Gesamtzahl der 1en ungerade oder gerade ist. Aber Sie wissen nicht, welche Zahlen in der Liste wichtig sind; das müssen Sie auch noch herausfinden. Dies ist bekanntlich extrem schwer direkt für Computer zu lernen.
Der Beweis: Sie zeigten, dass, wenn sie der KI zuerst beibrachten, die Antwort Schritt für Schritt aufzuschreiben (die Parität der ersten Zahl, dann der ersten zwei, dann der ersten drei usw.), und dann langsam diese Schritte entfernten, die KI mathematisch garantieren konnte, die Lösung zu lernen.
Die Quintessenz: Dies beweist, dass „Lernen durch Internalisierung“ eine gültige Strategie ist, um Probleme zu lösen, die theoretisch unmöglich direkt zu lernen sind.

5. Eine neue Abkürzung: Die „Mixture“-Methode

Schließlich schlägt die Arbeit einen Weg vor, den langen, langsamen Trainingsprozess zu überspringen.

Der alte Weg: Man muss die KI mit den vollen Schritten trainieren, dann einen Schritt entfernen, wieder trainieren, einen weiteren Schritt entfernen und so weiter. Das ist wie ein strenger Lehrplan.
Die neue Idee (Mixture): Anstatt einer strengen Reihenfolge werfen Sie einfach alle verschiedenen Versionen des Problems gleichzeitig auf die KI. Einige Beispiele haben die vollen Schritte, einige haben halbe Schritte, einige haben gar keine Schritte.
Das Ergebnis: Die Arbeit zeigt, dass das Training mit diesem „gemischten Sack“ an Daten genauso gut funktioniert wie das strikte schrittweise Entfernen. Es ist, als würde man einem Schüler einen Übungstest geben, der einige leichte, einige mittlere und einige schwere Fragen gemischt enthält, anstatt mit leicht beginnend und dann langsam schwieriger zu werden. Dies macht die KI robust genug, um sowohl direkt als auch mit Schritten zu antworten, je nachdem, was man sie fragt.

Zusammenfassung

Internalisierung bedeutet, der KI beizubringen, langsam zu denken (mit Schritten), damit sie schließlich schnell denken kann (instinktiv).
Es funktioniert: Es ermöglicht der KI, schwierige Logikrätsel zu lernen, die sie ansonsten nicht lernen könnte.
Der Preis: Wenn die KI „schnell“ wird, wird sie manchmal „brüchig“, was bedeutet, dass sie bei neuen, seltsamen Beispielen häufiger scheitert.
Das Geheimnis: Die KI „breiter“ zu machen hilft mehr als sie „tiefer“ zu machen, und das Mischen verschiedener Arten von Trainingsdaten ist ein einfacher, effektiver Weg, um dies zu erreichen.

Technisches Resümee: Lernen durch Internalisierung

Problemstellung

Die Arbeit untersucht das Phänomen der Internalisierung in auf neuronalen Netzen basierenden Systemen, wobei der Fokus darauf liegt, wie diese Systeme explizite Berechnungsprozesse (wie Chain-of-Thought, oder CoT) in ihre Gewichte absorbieren, um Aufgaben effizienter zu bewältigen. Während neuronale Netze oft von einer schrittweisen Überwachung profitieren, um komplexe Aufgaben zu erlernen (z. B. die Simulation von Semiautomaten oder das Berechnen von Paritäten), ist das direkte Lernen dieser Aufgaben ohne eine solche Unterstützung für Standardarchitekturen oft rechnerisch schwer oder gar unmöglich.

Das adressierte Kernproblem ist zweifach:

Mechanismus: Wie gehen Transformer vom Generieren expliziter Zwischenschritte des Denkprozesses (CoT) zum direkten Berechnen des Endergebnisses in weniger Schritten (idealerweise in einem einzigen Vorwärtspass) über, während sie gleichzeitig die Genauigkeit beibehalten?
Generalisierungs-Trade-off: Bewahrt dieser Internalisierungsprozess die Robustheit des ursprünglichen Denkprozesses, oder führt er zu „Abkürzungen“ (Shortcuts), die die Out-of-Distribution (OOD)-Leistung verschlechtern?
Theoretische Komplexität: Kann Internalisierung als eine praktikable Strategie dienen, um bekannte rechnerische Untergrenzen für das Lernen bestimmter schwerer Funktionen (wie Paritäten) zu umgehen, die durch direktes End-to-End-Training schwer zu lernen sind?

Methodik

Die Autoren verwenden eine Kombination aus empirischen Studien an autoregressiven Transformern und einer rigorosen theoretischen Analyse vereinfachter Transformer-Architekturen.

1. Empirischer Rahmen: Semiautomaten-Simulation

Die Autoren untersuchen die Simulation von Semiautomaten (speziell modulares Zähler-Semiautomaten $C_n$ und die Permutationsgruppe $S_3$ ) über $T$ Zeitschritte. Sie vergleichen drei Trainingsregime:

End-to-End (E2E): Training ausschließlich auf dem Endzustand.
Chain-of-Thought (CoT): Training, bei dem alle Zwischenzustände explizit bereitgestellt werden.
Internalisierung via Curriculum: Ein zweistufiger Prozess, bei dem das Modell zuerst mit vollständiger CoT-Überwachung trainiert wird, gefolgt von einem Curriculum, das die Zwischen-Token progressiv entfernt (durch Amputation von links, rechts oder induktiv), um das Modell zur Internalisierung der Berechnung zu zwingen.

Sie analysieren den Einfluss architektonischer Entscheidungen (Tiefe vs. Breite) und der spezifischen Eigenschaften der Semiautomaten (z. B. die Ordnung der Gruppe) auf den Erfolg der Internalisierung.

2. Theoretischer Rahmen: Sparse Parity

Um beweisbare Garantien zu liefern, analysieren die Autoren einen vereinfachten einlagigen Transformer mit linearer Attention und einem fixierten nichtlinearen MLP. Sie untersuchen die Aufgabe des Lernens einer verborgenen Paritätsfunktion über eine unbekannte Support-Menge.

Curriculum: Das Modell wird auf einer Sequenz von Eingaben trainiert, bei denen CoT-Token (Teil-Paritäten) progressiv von links entfernt werden.
Algorithmus: Sie definieren einen spezifischen Trainingsalgorithmus (Algorithmus 2), der Gradientenabstieg mit spezifischer Initialisierung und Rundungsschritten beinhaltet, um zu zeigen, dass das Modell zuerst die explizite CoT lernen und dann die Berechnung internalisieren kann, um die Parität direkt auszugeben.

3. Verbindung zu Positive Distribution Shift (PDS)

Die Arbeit rahmt die Internalisierung in den Positive Distribution Shift (PDS)-Rahmen (Medvedev et al., 2026) ein. Sie argumentieren, dass das Lernen eines „langsamen“ Systems (mit CoT) auf einer Verteilung, die Hinweise enthält, und die anschließende Internalisierung einen PDS darstellt. Dies ermöglicht es dem Modell, eine „schwere“ Zielverteilung zu lernen, indem es zuerst eine „leichtere“ verschobene Verteilung lernt. Sie untersuchen weiter, ob ein sequenzielles Curriculum durch eine einzige Mischverteilung (Mixture Distribution) ersetzt werden kann, die Beispiele mit variierenden CoT-Längen enthält.

Zentrale Beiträge

1. Empirische Befunde zu Semiautomaten

Breite vs. Tiefe: Eine erfolgreiche Internalisierung korreliert stärker mit der Modellbreite als mit der Tiefe. Breitere, flachere Architekturen (z. B. Tiefe 4) schneiden bei festem Parameterbudget besser ab als tiefere Architekturen (z. B. Tiefe 25). Dies deutet darauf hin, dass Internalisierung eher „horizontal“ über die Breite des Modells als „vertikal“ über die Schichten erfolgt.
Schwierigkeit durch Primzahlordnung: Semiautomaten mit Primzahlordnungen (z. B. $C_{13}, C_{17}$ ) sind signifikant schwerer zu internalisieren als solche mit zusammengesetzten Ordnungen (z. B. $C_{14}, C_{15}$ ). Die Autoren vermuten, dass dies mit der Fähigkeit von Transformern zusammenhängt, Zähler-Semiautomaten, deren Ordnungen kleine Primzahlpotenzen besitzen, kompakt darzustellen (Theorem 1).
Der OOD-Trade-off: Internalisierung führt oft zu einer Verschlechterung der Out-of-Distribution (OOD) Leistung. Während CoT-trainierte Modelle gut auf verzerrte Eingangsverteilungen generalisieren, neigen internalisierte Modelle dazu, „Shortcut“-Lösungen zu lernen, die unter OOD-Bedingungen versagen (Abbildung 1, rechts).
Curriculum-Richtung: Ein Links-Curriculum (Entfernen von Token vom Anfang) ist für die Internalisierung im Allgemeinen effektiver als ein Rechts-Curriculum, was wahrscheinlich auf die Stabilität der Positions-Embeddings im Transformer zurückzuführen ist.

2. Theoretische Beweise für Parity

Beweisbare Internalisierung: Die Autoren liefern die erste beweisbare Analyse, die zeigt, dass ein vereinfachter einlagiger Transformer eine verborgene Parität mit expliziter CoT-Überwachung lernen und die Berechnung dann beweisbar internalisieren kann, wenn die CoT-Token entfernt werden (Theorem 2).
Rechnerische Komplexität: Sie demonstrieren, dass das direkte Lernen der Paritätsrepräsentation aus Daten ohne CoT-Internalisierung rechnerisch schwer ist (im Statistical Query Modell), während der Pfad über die Internalisierung handhabbar ist.

3. Mischverteilungen als Alternative

Die Arbeit zeigt, dass für sowohl MLPs als auch autoregressive Transformer das sequenzielle Curriculum für die Internalisierung durch das Training auf einer einzelnen Mischverteilung ersetzt werden kann, die Beispiele mit variierenden CoT-Längen (und Längen-Hinweisen für die Antwort) enthält. Dieser Mischungsansatz erzielt einen ähnlichen Erfolg beim Lernen schwerer Aufgaben und kann – bemerkenswerterweise – eine bessere OOD-Robustheit im vollen-CoT-Regime erreichen als Curriculum-trainierte Modelle.

Ergebnisse

Semiautomaten: Mit CoT trainierte Transformer erreichen eine nahezu perfekte In-Distribution (ID)- und OOD-Genauigkeit. Nach der Internalisierung via Links-Curriculum bleibt die ID-Genauigkeit hoch, aber die OOD-Genauigkeit sinkt signifikant (oft auf das Niveau des Zufalls bei Primzahl-Automaten).
Parity-Aufgabe: Das theoretische Modell lernt erfolgreich die Paritätsfunktion. Nach dem Curriculum gibt das Modell die korrekte Parität in einem einzigen Vorwärtspass aus, nachdem es die mehrstufige Logik internalisiert hat.
Mischungs-Lernen (Mixture Learning): Experimente zeigen, dass das Training auf einer Mischung von CoT-Längen (mit Längen-Hinweisen) einem Modell ermöglicht, sowohl direkt zu antworten als auch den vollen CoT zu generieren, wobei es im Vergleich zu Curriculum-trainierten Modellen oft eine bessere OOD-Robustheit aufweist, sofern der volle CoT zugelassen ist.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Lernen durch Internalisierung eine leistungsstarke Strategie ist, die es neuronalen Netzen ermöglicht, Aufgaben zu lösen, die durch direktes Lernen sonst rechnerisch unpraktikabel wären. Indem ein Modell zuerst ein „langsames“ System mit explizitem Denken lernt und dieses dann in Gewichte komprimiert, kann es Hürden der Komplexität umgehen (wie beim Parity-Task gesehen).

Die Autoren weisen jedoch auch auf eine kritische Einschränkung hin: Internalisierung ist kein Allheilmittel. Der Prozess führt oft zu einem Verlust der Robustheit, wobei das Modell fragile Abkürzungen lernt, die unter Verteilungsverschiebungen versagen. Dies deutet darauf hin, dass Internalisierung zwar die Inferenzkosten senkt und das Lernen ermöglicht, aber möglicherweise die Generalisierungsfähigkeit einschränkt, die explizites Denken bietet.

Schließlich verbindet die Arbeit diese empirischen Beobachtungen mit dem Positive Distribution Shift-Framework und legt nahe, dass der Erfolg von Curriculum-basiertem Lernen und Internalisierung als Nutzung einer Sequenz leichterer Verteilungen zum Lernen einer schweren Zielverteilung verstanden werden kann. Die Erkenntnis, dass eine einzelne Mischverteilung komplexe Curricula ersetzen kann, bietet einen praktischeren und robusteren Weg für das Training von Modellen auf schweren Denkaufgaben.