🤖 machine learning

Skip a Layer or Loop It? Learning Program-of-Layers in LLMs

Dieses Paper stellt „Program-of-Layers“ (PoLar) vor, ein trainingsfreies Framework, das vortrainierte Schichten dynamisch überspringt oder in Schleifen führt, um maßgeschneiderte Ausführungspfade für jeden Input zu erstellen, und demonstriert dabei, dass eine solch flexible Inferenz die Genauigkeit und Effizienz gegenüber der standardmäßigen, festen Tiefenverarbeitung von LLMs signifikant verbessert.

Ursprüngliche Autoren: Ziyue Li, Yang Li, Tianyi Zhou

Veröffentlicht 2026-06-08

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ziyue Li, Yang Li, Tianyi Zhou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr intelligenten, vortrainierten Roboter-Koch (das Large Language Model, oder LLM), der dafür berühmt ist, komplexe Probleme zu lösen. Dieser Koch besitzt ein strenges Rezeptbuch mit einer festen Anzahl von Schritten (Layern), die er immer befolgt, egal welches Gericht er gerade zubereitet.

Wenn der Koch gebeten wird, „ein Ei zu kochen“, geht er trotzdem jeden einzelnen der 100 Schritte seines Master-Rezepts durch – vom Schneiden des Gemüses bis zum Würzen der Suppe –, obwohl das Ei nur einen Topf Wasser benötigt. Wenn er gebeten wird, „eine Burg aus Zucker zu bauen“, folgt er ebenfalls denselben 100 Schritten, selbst wenn er auf halbem Weg stecken bleibt und seinen Ansatz überdenken muss.

Das Problem:
Das Paper argumentiert, dass dieses „Einheitsrezept“ ineffizient ist. Manchmal verschwendet der Koch Zeit mit unnötigen Schritten, und manchmal scheitert er, weil er nicht genug Zeit hatte, über ein schwieriges Problem nachzudenken.

Die Entdeckung (Der „Aha!“-Moment):
Die Forscher fragten sich: Was wäre, wenn der Koch sein eigenes Rezept während des Kochens umschreiben könnte?

Sie entdeckten, dass es für fast jedes Problem nicht nur den einen „richtigen“ Weg gibt, die Fähigkeiten des Kochs einzusetzen. Es gibt viele verschiedene „Programme“ (Abfolgen von Schritten), die funktionieren könnten.

Überspringen: Für einfache Probleme (wie das Kochen eines Eies) könnte der Koch die ersten 50 Schritte überspringen und einfach die letzten 10 ausführen.
Schleifen (Looping): Für schwierige Probleme (wie das Bauen einer Zuckerburg) könnte der Koch bei einem bestimmten Schritt stecken bleiben, diesen ein paar Mal wiederholen, um das Ergebnis zu verfeinern, und dann weitermachen.

Die Forscher nutzten eine „Suchmaschine“ (genannt Monte-Carlo-Tree-Search), um diese verborgenen, besseren Rezepte zu finden. Sie fanden heraus:

Kürzer ist oft besser: Viele Probleme können mit weniger Schritten als dem Standardrezept korrekt gelöst werden.
Wiederholung hilft: Bei schwierigen Problemen hilft das Wiederholen eines bestimmten Teils der Schritte (Looping) oft dabei, Fehler zu korrigieren, die das Standardrezept macht.
Mischen ist der Schlüssel: Die besten Rezepte beinhalten meist eine Mischung aus dem Überspringen einiger Teile und dem Wiederholen anderer.

Die Lösung: POLAR
Das Problem beim Finden dieser perfekten Rezepte ist, dass die Suche nach ihnen zu lange dauert. Man kann den Koch nicht bitten, „1.000 verschiedene Rezepte auszuprobieren“ für jede einzelne Frage; das würde ewig dauhalten.

Deshalb entwickelte das Team einen winzigen, leichtgewichtigen „Rezept-Prädiktor“ (POLAR).

Wie es funktioniert: Bevor der Koch mit dem Kochen beginnt, schaut dieser Prädiktor auf die Frage und errät sofort das beste maßgeschneiderte Rezept. Er sagt: „Überspringe die Schritte 1–10, mache die Schritte 11–20 ganz normal, wiederhole die Schritte 21–25 zweimal und überspringe den Rest.“
Die Magie: Der Hauptkoch (das große LLM) ändert sich überhaupt nicht. Er ist immer noch eingefroren und vortrainiert. Der Prädiktor sagt ihm lediglich, wie er seine vorhandenen Fähigkeiten für diesen spezifischen Moment einsetzen soll.

Die Ergebnisse:
Als sie dies an mathematischen Problemen testeten:

Die Genauigkeit stieg: Der Koch löste mehr Probleme korrekt, indem er sogar Fehler korrigierte, die das Standardrezept gemacht hatte.
Die Geschwindigkeit stieg: Bei einfachen Problemen war der Koch schneller fertig, weil er unnötige Schritte übersprang.
Es funktioniert auch bei Neuem: Selbst als sie den Koch mit mathematischen Problemen testeten, die er noch nie gesehen hatte, wusste der Prädiktor immer noch, wie er das Rezept anpassen muss, um gute Ergebnisse zu erzielen.

Zusammenfassend:
Anstatt ein intelligentes Modell dazu zu zwingen, einem starren, festen Pfad für jede Aufgabe zu folgen, lehrt uns dieses Paper, wie man dem Modell eine „Fernbedienung“ gibt. Diese Fernbedienung ermöglicht es uns, langweilige Teile zu überspringen oder die „Wiederholen“-Taste bei kniffligen Teilen zu drücken, was das Modell smarter, schneller und effizienter macht, ohne dass wir es neu trainieren oder sein Gehirn verändern müssen.

Technisches Resümee: Eine Schicht überspringen oder sie iterieren? Program-of-Layers in LLMs lernen

1. Problemstellung

Große Sprachmodelle (LLMs) führen die Inferenz derzeit über einen festgelegten Tiefen- und Ordnungs-Vorwärtspass aus, wobei alle Transformer-Schichten für jede Eingabe sequenziell durchlaufen werden, unabhängig von der Komplexität der Aufgabe. Diese statische Architektur berücksichtigt nicht die hohe Varianz der Eingabeschwierigkeit, was zu zwei Ineffizienzen führt:

Überberechnung (Over-computation): Einfache Eingaben können möglicherweise mit weniger Schichten korrekt gelöst werden, dennoch führt das Modell den vollen Tiefengang aus.
Unterberechnung (Under-computation): Komplexe Eingaben, die unter dem Standard-Vorwärtspass scheitern könnten, wären eventuell lösbar, wenn das Modell seinen Ausführungspfad dynamisch ändern könnte (z. B. durch Wiederholung bestimmter Schichten zur Verfeinerung oder das Überspringen redundanter Schichten).

Das Paper postuliert, dass der Standard-Vorwärtspass nur eine schmale Teilmenge der latenten Denkkapazität eines LLM erfasst. Die Kernfrage ist, ob ein Generalisten-Modell sein „Programm“ (die Sequenz der Schichtausführungen) für jede spezifische Eingabe optimieren kann, ohne das Basismodell neu zu trainieren.

2. Methodik

2.1. Empirische Entdeckung mittels Monte-Carlo-Baumsuche (MCTS)

Bevor ein lernbasierter Lösungsansatz vorgeschlagen wird, führen die Autoren eine empirische Studie unter Verwendung von MCTS durch, um den Raum der Program-of-Layers (POLAR) zu explorieren.

Definition: Schichten werden als eine Bibliothek atomarer Funktionen ( $f_0, \dots, f_{D-1}$ ) behandelt. Ein Programm $\pi$ ist eine Sequenz von Schichtindizes, die das Überspringen (Auslassen von Schichten) und die Rekurrenz (Wiederholung von Schichten) ermöglicht.
Ergebnisse:
- Gemeinsame Optimierung: Die Kombination aus Skip- und Loop-Operationen liefert signifikant bessere Genauigkeiten als die Verwendung von nur einer der beiden Operationen allein.
- Occam's Razor: Für viele Eingaben (einschließlich solcher, die ursprünglich falsch gelöst wurden) existieren gültige Ausführungsprogramme, die kürzer sind als der Standard-Vorwärtspass.
- Test-Time Scaling: Die Erhöhung des Tiefen-Budgets (durch Rekurrenz) verbessert die Genauigkeit bei schwierigeren Aufgaben systematisch und offenbart ein Kontinuum valider latenter Berechnungen.
- Strukturelle Verzerrung (Structural Bias): Gültige Programme bestehen vorwiegend aus zusammenhängenden Schichtsegmenten und erfordern selten mehr als eine einzige Rekurrenz pro Segment. Weiträumige Sprünge oder tiefgreifende iterative Wiederverwendung sind unüblich.

2.2. Das POLAR-Framework

Motiviert durch die MCTS-Ergebnisse schlagen die Autoren POLAR vor, ein leichtgewichtiges Framework, das auf der Inferenzzeit eingabespezifische Ausführungsprogramme vorhersagt, ohne die Parameter des eingefrorenen vortrainierten Modells zu verändern.

Programmberechnung:
- Segmentierung: Die $D$ Schichten werden in zusammenhängende Segmente $[s_j, s_{j+1})$ unterteilt.
- Operationen: Jedem Segment wird eine von drei Operationen zugewiesen: Skip (Auslassen), Keep (Standardausführung) oder Repeat (zweimal ausführen).
- Beschränkungen: Die Segmentlängen sind begrenzt (empirisch auf $K_{max}=4$ gesetzt), basierend auf der Erkenntnis, dass gültige Programme lokale Strukturen bevorzugen.
Architektur des Vorhersagenetzwerks:
- Input-Kodierung: Die Eingabe $x$ wird mittels eines eingefrorenen Embedding-Modells in Token-Embeddings kodiert.
- Layer-Queries: Lernbare Embeddings repräsentieren jeden Schichtindex und fungieren als Queries.
- Cross-Attention: Ein Cross-Attention-Mechanismus kombiniert Layer-Queries mit Token-Embeddings, um eingabe-konditionierte Repräsentationen für jede Schicht zu generieren.
- Cross-Layer-Encoder: Ein leichtgewichtiger Transformer-Encoder modelliert Abhängigkeiten über die Tiefendimension hinweg, sodass Entscheidungen an einer Schicht von einem globalen Kontext abhängen können.
- Prediction Heads: Zwei Heads sagen (1) die Segmentierungsgrenzen (binäre Maske) und (2) die Operations-Labels (Skip/Keep/Repeat) für den Beginn jedes Segments voraus.
Training & Inferenz:
- Supervision: Das Netzwerk wird auf Ground-Truth-Programmen trainiert, die offline via MCTS entdeckt wurden.
- Inferenz: Das Netzwerk sagt Logits für die Segmentierung und die Operationen voraus. Eine Beam-Suche wird über die Segment-Operationen angewendet, um globale Konsistenz sicherzustellen, bevor das eingefrorene LLM ausgeführt wird.

3. Kernergebnisse

3.1. In-Distribution Performance (DART-Math)

Evaluierung auf mathematischen Reasoning-Benchmarks (DM-1 bis DM-5) über vier Modelle hinweg (LLaMA-3.2-3B, Qwen1.5-MoE, Qwen2.5-3B, Qwen3-8B):

Genauigkeitsgewinne: POLAR übertrifft konsistent die Standard-Inferenz (Base) und bisherige dynamische Tiefen-Methoden (z. B. MindSkip, FlexiDepth, DR.LLM).
- Beispiel: Bei LLaMA-3.2-3B erzielt POLAR einen absoluten Gewinn von +46,8 % bei DM-1 und +32,0 % bei der schwierigsten Aufgabe DM-5 im Vergleich zum Basismodell.
Test-Time Scaling: Die Erhöhung der Anzahl der Kandidatenprogramme ( $k$ ) via Beam-Suche führt zu einer monotonen Verbesserung der Genauigkeit, was weit über die abnehmenden Grenzerträge der Standard-stochastischen Stichprobenziehung (Base sampling) hinausgeht.
Effizienz: POLAR erreicht oft eine höhere Genauigkeit bei gleichzeitig geringerer Ausführung der einzigartigen Schichten im Durchschnitt.

3.2. Out-of-Distribution (OOD) Generalisierung

Trainiert auf DART-Math, wurde POLAR Zero-Shot auf ASDiv, MAWPS und MMLU-Pro (Mathematik, Physik, Chemie, Recht, etc.) evaluiert:

Domänenübergreifender Transfer: POLAR übertrifft konsistent den Basis-Vorwärtspass und andere dynamische Methoden über diverse Domänen hinweg, einschließlich arithmetischer Textaufgaben und allgemeiner Wissensaufgaben.
Mechanismus: Die Autoren führen dies darauf zurück, dass der Prediction Head die Eingaben auf einen gemeinsamen semantischen Raum abbildet und die Beschränkung auf einfache strukturelle Muster die Nutzung wiederverwendbarer Strategien anstelle von datensatzspezifischen Heuristiken fördert.

3.3. Effizienz und Overhead

Latenz: Das Vorhersagenetzwerk führt einen vernachlässigbaren Overhead ein (~0,8 % eines Standard-Vorwärtspasses, was etwa ~0,23 Schichten entspricht).
Netto-Gewinn: Durch das Überspringen von Schichten bei leichteren Eingaben reduziert POLAR die End-to-End-Latenz (z. B. 0,83× Basis-Laufzeit bei leichten Eingaben) und verbessert gleichzeitig die Genauigkeit.
Parameteranzahl: Der Predictor fügt nur etwa 2,1 Mio. Parameter hinzu (0,01 % – 0,06 % der Größe des Basismodells).

4. Bedeutung und Behauptungen

Das Paper behauptet, dass die feste Tiefenausführung suboptimal für generalistische Fundamentmodelle ist. Indem Schichten als eine Bibliothek wiederverwendbarer Funktionen behandelt werden, zeigt POLAR, dass:

Latente Kapazität: LLMs besitzen einen weiten Raum valider, alternativer Berechnungen (Programme), die Fehler korrigieren oder Aufgaben effizienter lösen können als der Standard-Vorwärtspass.
Praktikabilität: Diese latente Kapazität kann durch einen leichtgewichtigen, trainingsfreien (für das Basismodell) Vorhersagemechanismus freigeschaltet werden, der die teure Suche durch eine Single-Shot-Vorhersage ersetzt.
Generalisierung: Die Fähigkeit, die Ausführungstiefe und -reihenfolge dynamisch zu konfigurieren, ist eine transferierbare Fähigkeit, die die Leistung über verschiedene Domänen hinweg verbessert, ohne architektonische Neugestaltung oder Fine-Tuning.

Die Arbeit legt nahe, dass zukünftige Inferenzstrategien über die statische Tiefe hinausgehen sollten, indem sie die Berechnung dynamisch an die Schwierigkeit der Eingabe anpassen, wodurch ein Weg zu effizienteren und expressiveren Fundamentmodell-Deployments eröffnet wird.