💬 NLP

Improving LLM Predictions via Inter-Layer Structural Encoders

Die Arbeit stellt Inter-Layer Structural Encoders (ILSE) vor, eine Methode, die mithilfe eines auf Cayley-Graphen basierenden geometrischen Encoders Informationen aus allen Schichten von Large Language Models kombiniert, um die Vorhersagegenauigkeit und Ähnlichkeitsmetriken signifikant zu verbessern und kleine Modelle wettbewerbsfähig mit größeren zu machen.

Ursprüngliche Autoren: Tom Ulanovski (Tel Aviv University), Eyal Blyachman (Tel Aviv University), Maya Bechler-Speicher (Meta)

Veröffentlicht 2026-03-25

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Tom Ulanovski (Tel Aviv University), Eyal Blyachman (Tel Aviv University), Maya Bechler-Speicher (Meta)

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Der Chef, der nur das letzte Wort hört

Stell dir vor, ein riesiges KI-Modell (ein „Large Language Model" oder LLM) ist wie ein riesiges, mehrstöckiges Bürogebäude.

In den unteren Etagen arbeiten Praktikanten, die nur die Buchstaben und einfachen Wörter erkennen (z. B. „Ist das ein Verb?").
In den mittleren Etagen sitzen Manager, die die Grammatik und den Satzbau verstehen.
In den oberen Etagen arbeiten die Strategen, die die tiefere Bedeutung und den Kontext verstehen.

Bisher war die Regel: Wenn das Gebäude eine Antwort geben soll, fragt man nur den Chef im obersten Stockwerk. Man ignoriert alle Informationen, die in den unteren Etagen gesammelt wurden. Die Forscher haben jedoch festgestellt: Das ist wie ein Chef, der nur das letzte Wort eines Gesprächs hört und den Rest vergisst. Oft steckt die beste Antwort gar nicht beim Chef, sondern in einer der mittleren Etagen, je nachdem, welche Frage gestellt wird.

Die Lösung: ILSE – Der perfekte Vermittler

Die Autoren dieses Papers haben eine neue Methode namens ILSE (Inter-Layer Structural Encoders) entwickelt. Stell dir ILSE als einen super-effizienten Kurierdienst vor, der alle Etagen des Gebäudes miteinander verbindet.

Statt nur den Chef zu fragen, holt ILSE Informationen von jedem Stockwerk, sortiert sie und fasst sie zu einer perfekten Antwort zusammen.

Wie funktioniert das? (Die drei Kuriere)

ILSE nutzt drei verschiedene Strategien, um diese Informationen zu sammeln:

Der „Set-Encoder" (Der einfache Stapler):
Dieser nimmt alle Informationen aus den Etagen, wirft sie in einen Haufen und sagt: „Okay, wir haben alles hier." Er ist schnell, aber er weiß nicht genau, wie die Etagen miteinander zu tun haben.
Der „FC-Encoder" (Der Vollvernetzte):
Dieser baut eine Wendeltreppe, die jede Etage mit jeder anderen Etage verbindet. Jeder kann mit jedem reden. Das ist sehr gründlich, aber auch etwas chaotisch und langsam, weil alle gleichzeitig sprechen.
Der „Cayley-Encoder" (Der geometrische Meister):
Das ist der Star der Show. Dieser nutzt eine spezielle mathematische Struktur (einen sogenannten „Cayley-Graphen"). Stell dir das wie ein perfekt organisiertes U-Bahn-Netz vor.
- In normalen Netzen muss man oft umsteigen oder es gibt Staus (Bottlenecks).
- In diesem U-Bahn-Netz gibt es keine Staus. Jeder Bahnhof (jede Etage) ist so verbunden, dass man von überall schnell überall hinkommt, ohne den Weg zu verstellen.
- Dieser Kurier sorgt dafür, dass Informationen von der untersten Etage blitzschnell und ohne Verlust zur obersten Etage fließen, ohne dass das System „überhitzt" oder verwirrt wird.

Was haben die Forscher herausgefunden?

Sie haben diesen neuen Kurierdienst in 13 verschiedenen Aufgaben getestet (von Emotionen erkennen bis hin zu Bankfragen beantworten) und mit 9 verschiedenen KI-Modellen (von sehr klein bis riesig) verglichen.

Das Ergebnis ist beeindruckend:

Bessere Antworten: ILSE war fast immer besser als die alten Methoden. In manchen Fällen wurde die Genauigkeit um 44 % verbessert. Das ist, als würde ein Schüler, der vorher 60 Punkte hatte, plötzlich 104 Punkte erreichen (in der Theorie, natürlich).
Kleine Modelle werden zu Riesen: Ein kleines KI-Modell (mit nur 14 Millionen Parametern), das normalerweise nicht viel kann, wurde durch ILSE so gut wie ein riesiges Modell (mit 2,8 Milliarden Parametern). Das ist, als würde man einem kleinen Sportwagen einen Turbo einbauen, damit er mit einem Formel-1-Auto mithalten kann.
Sparsamkeit: ILSE braucht sehr wenig Daten, um zu lernen. Mit nur 32 Beispielen pro Aufgabe konnte es schon besser sein als andere Methoden, die Tausende von Beispielen brauchten.
Günstig: Man muss das ganze KI-Gebäude nicht neu bauen. Man fügt nur diesen kleinen Kurierdienst (den Encoder) hinzu, der kaum Platz kostet.

Fazit

Die Botschaft der Forscher ist einfach: Wir haben die ganze Zeit nur die oberste Etage unseres KI-Gebäudes genutzt, dabei war der ganze Rest voller nützlicher Informationen.

Mit ILSE (und besonders dem cleveren „Cayley-Encoder") holen wir endlich das Beste aus allen Etagen heraus. Es ist eine Art „Super-Teamwork", bei dem jeder Mitarbeiter (jede Schicht) gehört wird, um die perfekte Antwort zu finden – und das alles ohne das Gebäude neu zu errichten.

1. Problemstellung

Die Standardpraxis bei Large Language Models (LLMs) besteht darin, Vorhersagen ausschließlich auf Basis der Token-Repräsentationen der letzten Schicht (Final Layer) zu treffen. Diese Annahme geht davon aus, dass tiefere Schichten die relevantesten informationshaltigen Merkmale enthalten.
Forschungsergebnisse der letzten Jahre haben jedoch gezeigt, dass diese Annahme oft falsch ist:

Unterschiedliche Schichten erfassen unterschiedliche linguistische Merkmale (oberflächliche Merkmale in unteren Schichten, Syntax in mittleren, Semantik in oberen).
Für verschiedene Aufgaben können unterschiedliche Zwischenschichten (Intermediate Layers) optimal sein.
Bestehende Methoden zur Aggregation aller Schichten (z. B. gewichtete Summen wie bei ELMo oder Attention-Mechanismen wie DWAtt, die sich auf die letzte Schicht als Query stützen) sind entweder zu einfach, um komplexe Interaktionen zu erfassen, oder sie behandeln nicht alle Schichten gleichberechtigt.
Der direkte Einsatz von Graph Neural Networks (GNNs) zur Kombination von Schichten führt oft zu „Overfitting" auf die Graph-Struktur oder zu Informationsengpässen („Over-squashing").

2. Methodik: Inter-Layer Structural Encoders (ILSE)

Die Autoren stellen ILSE vor, einen strukturierten Ansatz, um Repräsentationen aller internen Schichten eines LLMs in eine einzige, verbesserte Darstellung zu überführen, ohne das zugrunde liegende Modell neu zu trainieren.

Der Workflow:

Layer-Repräsentation: Für jede Schicht $\ell$ des LLM wird eine einzige Repräsentation $z_\ell$ durch Mittelwertbildung (Mean-Pooling) über alle Token-Repräsentationen dieser Schicht berechnet.
Strukturierte Aggregation: Diese Schicht-Repräsentationen werden als Knoten in einem Graphen behandelt. Ein GNN (oder DeepSets) lernt, wie diese Knoten kombiniert werden, um eine finale Darstellung zu erzeugen.
Graph-Topologien: Ein zentrales Element ist die Wahl der Graph-Struktur. Um Overfitting und Informationsengpässe zu vermeiden, werden drei spezifische Topologien untersucht:
- Set-Encoder: Entspricht einem leeren Graphen ohne Kanten (DeepSets). Hier wird nur eine permutationsinvariante Aggregation ohne explizite Verbindungen zwischen den Schichten durchgeführt.
- FC-Encoder (Fully Connected): Ein vollständig verbundener Graph, bei dem jede Schicht mit jeder anderen verbunden ist. Dies ermöglicht direkte Kommunikation, ist aber dicht und rechenintensiv ( $O(L^2)$ Kanten).
- Cayley-Encoder (Der Kernbeitrag): Dieser Encoder nutzt Cayley-Graphen über der speziellen linearen Gruppe $SL(2, \mathbb{Z}_n)$ $S L (2, Z_{n})$ .
  - Theoretische Grundlage: Cayley-Graphen sind regulär (alle Knoten haben den gleichen Grad) und haben einen logarithmischen Durchmesser. Sie sind „bottleneck-free" (engpassfrei), was einen effizienten Informationsfluss zwischen allen Knoten (Schichten) garantiert, ohne die Über-squashing-Problematik herkömmlicher GNNs.
  - Implementierung: Die $L$ Schichten werden zufällig auf Knoten des Cayley-Graphen gemappt. Falls der Graph mehr Knoten hat als Schichten, werden virtuelle Knoten (mit Null-Vektoren) hinzugefügt, um die Struktur zu erhalten. Nur die Repräsentationen der echten Schicht-Knoten werden für die finale Vorhersage genutzt.

Training:

Das Basismodell (LLM) bleibt während des Trainings eingefroren (frozen).
Nur die Parameter des Encoders (GNN-Weights, MLPs) werden trainiert.
Der Ansatz ist extrem parameter-effizient (siehe Tabelle 1 im Paper: weniger als 0,1% zusätzliche Parameter gegenüber dem Basismodell).

3. Wichtige Beiträge

ILSE-Framework: Einführung eines rigorosen, mathematisch fundierten Ansatzes zur Kombination interner Schicht-Repräsentationen für beliebige LLMs.
Umfassende Evaluation: Evaluation über 13 Aufgaben (Klassifizierung und semantische Ähnlichkeit) und 9 verschiedene vortrainierte LLMs (von 14 Millionen bis 8 Milliarden Parametern).
Überlegenheit gegenüber Baselines: ILSE übertrifft konsistent etablierte Methoden wie „Last-Layer", „Best-Layer", gewichtete Summen und Depth-Wise Attention (DWAtt).
Daten-Effizienz: ILSE ist besonders effektiv im Few-Shot-Setting. Mit nur 32 Beispielen pro Label übertrifft es Baselines, die mit dem gesamten Datensatz trainiert wurden.
Skalierbarkeit: Der Ansatz ermöglicht es kleinen Modellen (z. B. 14M Parameter), die Leistung großer Modelle (z. B. 2,8B Parameter) in bestimmten Aufgaben zu erreichen.

4. Ergebnisse

Die Experimente zeigen deutliche Verbesserungen:

Klassifizierung: ILSE erreicht in allen 15 getesteten Konfigurationen (3 Modelle $\times$ $\times$ 5 Aufgaben) die besten Ergebnisse.
- Durchschnittliche Steigerung von +30% gegenüber der „Last-Layer"-Baseline.
- Bis zu +44% Verbesserung auf der Emotion-Erkennungs-Aufgabe.
- Cayley-Encoder und FC-Encoder schneiden hier besonders gut ab.
Semantische Textähnlichkeit (STS):
- In 17 von 21 Zero-Shot-Kombinationen (LLM + Aufgabe) übertrifft ILSE alle Baselines.
- Der Cayley-Encoder erzielt hier die besten Durchschnittsergebnisse, was darauf hindeutet, dass die sparse, reguläre Struktur von Cayley-Graphen für semantische Ähnlichkeitsaufgaben besonders vorteilhaft ist.
Parameter-Effizienz: Im Vergleich zu DWAtt verwendet ILSE etwa 3-5 mal weniger zusätzliche Parameter, erzielt aber deutlich bessere Ergebnisse.
Skalierung: Die Leistungsvorteile bleiben über verschiedene Modellgrößen (Pythia-Suite von 14M bis 2,8B) konstant erhalten.

5. Bedeutung und Fazit

Die Arbeit demonstriert, dass die internen Schichten eines LLMs komplementäre, aufgabenrelevante Signale enthalten, die durch einfache Mittelwertbildung oder reine Endschicht-Nutzung verloren gehen.

Strukturelle Induktionsverzerrung: Die Verwendung von Cayley-Graphen als Aggregationsstruktur bietet eine effektive induktive Verzerrung. Sie erzwingt einen effizienten Informationsfluss ohne Engpässe und regularisiert den Lernprozess, was zu besserer Generalisierung führt.
Praktische Relevanz: ILSE ist eine leichte, nachrüstbare Methode, die keine Änderung der Transformer-Architektur erfordert. Sie ist besonders wertvoll für Anwendungen mit begrenzten Daten (Few-Shot) und ermöglicht es, kleinere, kostengünstigere Modelle wettbewerbsfähig mit riesigen Modellen zu machen.
Zukunftsperspektive: Die Autoren schlagen vor, ILSE direkt in die Pre-Training-Architektur zu integrieren, um „geometrie-bewusste" Modelle mit verbessertem globalem Informationsfluss zu schaffen.

Zusammenfassend bietet ILSE einen einfachen, aber mathematisch fundierten Weg, das volle Potenzial der Tiefe von LLMs für Downstream-Aufgaben zu erschließen.