🤖 machine learning

Uncovering the Latent Potential of Deep Intermediate Representations

Dieser Beitrag stellt die schichtweise optimale Embedding-Auswahl (LOES) und den geometrischen Regularisierungsverlust (GeoReg) vor, um zu zeigen, dass aufgabenrelevante Informationen in tiefen grundlegenden Modellen nicht-monoton über die Schichten verteilt sind, und belegt, dass die explizite Identifizierung und geometrische Ausrichtung aufgaben-diskriminierender Zwischendarstellungen Standardansätze des Transferlernens erheblich übertrifft.

Ursprüngliche Autoren: Arnesh Batra, Arush Gumber, Aniket Khandelwal, Jashn Khemani, Anubha Gupta

Veröffentlicht 2026-05-25

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Arnesh Batra, Arush Gumber, Aniket Khandelwal, Jashn Khemani, Anubha Gupta

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine riesige, mehrstöckige Bibliothek vor (ein „Fundamentales Modell"), die fast alles in der Welt gelesen hat. Wenn Sie sie eine Frage stellen, liefert sie Ihnen nicht nur eine einzige Antwort; sie verarbeitet Ihre Anfrage durch viele verschiedene Etagen oder „Schichten" ihres Gehirns.

Lange Zeit glaubten Wissenschaftler, dass sich die intelligenten, nützlichen Antworten ausschließlich im obersten Stockwerk (der letzten Schicht) befänden. Sie gingen davon aus, dass die Informationen mit jedem Treppenabschnitt besser wurden, und betrachteten daher nur die allerhöchste Etage.

Dieser Artikel argumentiert, dass diese Annahme falsch ist. Es ist so, als würde man annehmen, man benötige nur den Blick vom Penthouse, um eine Stadt zu verstehen, und ignoriere dabei die geschäftigen Märkte im Erdgeschoss oder die ruhigen Bibliotheken in den mittleren Etagen. Manchmal sind die nützlichsten Informationen für eine bestimmte Aufgabe in der Mitte verborgen oder über mehrere verschiedene Etagen verteilt.

Hier ist, wie die Autoren dieses Problem mit einfachen Analogien gelöst haben:

1. Das Problem: Die „Penthouse"-Falle

Die Autoren stellten fest, dass man, wenn man nur die letzte Schicht verwendet, oft entscheidende Details verpasst.

Die Analogie: Stellen Sie sich vor, Sie versuchen, eine bestimmte Vogelart zu identifizieren. Das oberste Stockwerk der Bibliothek weiß vielleicht nur: „Es ist ein Vogel." Aber der 5. Stock weiß: „Es hat einen roten Schnabel," und der 3. Stock weiß: „Es singt bei Tagesanbruch." Wenn Sie nur nach oben schauen, verpassen Sie die Hinweise, die Ihnen tatsächlich helfen, den Vogel zu identifizieren.
Die Realität: In vielen KI-Modellen wird die letzte Schicht zu sehr auf ihr ursprüngliches Training spezialisiert (wie das Vorhersagen des nächsten Wortes in einem Satz) und vergisst die spezifischen Details, die für neue Aufgaben benötigt werden.

2. Die Lösung: LOES (Der intelligente Bibliothekar)

Die Autoren entwickelten eine neue Methode namens LOES (Layer-wise Optimal Embedding Selection). Stellen Sie sich LOES als einen superintelligenten Bibliothekar vor, der nicht nur in den obersten Stock geht. Stattdessen durchschreitet er das gesamte Gebäude, um die exakte Mischung von Etagen zu finden, die die benötigten Hinweise enthalten.

Wie es funktioniert:
- Die Suche: Der Bibliothekar betrachtet jede Etage. Er wählt nicht einfach die „beste" aus; er wählt eine Kombination von Etagen aus, die gut zusammenarbeiten, ohne dieselben Informationen zu wiederholen.
- Der Geometrie-Check: Er prüft, ob die Informationen in einer Etage „gut organisiert" sind. Er vermeidet Etagen, in denen die Informationen chaotisch sind oder in eine winzige Ecke gepfercht wurden (was er „Anisotropie" nennt). Er bevorzugt Etagen, in denen die Informationen gleichmäßig verteilt sind (was er „Isotropie" nennt), wie ein ordentlich arrangiertes Bücherregal statt eines Haufens Bücher.
- Das Ergebnis: Er verbindet diese ausgewählten Etagen zu einer maßgeschneiderten „Super-Etage", die speziell für Ihre Aufgabe erstellt wurde.

3. Das Sicherheitsnetz: GeoReg (Der Stabilisator)

Sobald der Bibliothekar die richtigen Etagen ausgewählt hat, besteht die Gefahr, dass das Gebäude beim Training der KI auf eine neue Aufgabe ins Wanken gerät und die Informationen wieder in einen chaotischen Haufen kollabieren.

Die Analogie: Stellen Sie sich vor, Sie bauen einen Turm aus Blöcken, indem Sie die besten Blöcke aus verschiedenen Etagen verwenden. Wenn Sie den Tisch zu schütteln beginnen (das Training des Modells), könnte der Turm umfallen.
Die Lösung: Die Autoren fügten ein zweites Werkzeug namens GeoReg hinzu. Dies wirkt wie ein Kleber oder Stabilisator. Er hält die Blöcke sanft an ihrem Platz, stellt sicher, dass der Turm hoch und organisiert bleibt, während Sie Ihre neue Struktur errichten. Er verhindert, dass die „intelligenten" Informationen in einen nutzlosen Haufen kollabieren.

4. Was sie herausfanden

Der Artikel testete dies an vielen verschiedenen Arten von KI (für das Sehen von Bildern, das Lesen von Text und das Hören von Sprache) und stellte fest:

Tiefe ist wichtig: Je tiefer die Bibliothek (je mehr Schichten das Modell hat), desto wichtiger ist es, diesen „Multi-Etagen"-Ansatz zu verwenden. Die Gewinne werden größer, je größer die Modelle werden.
Trainingsstil verändert die Karte:
- Wenn ein Modell auf einer riesigen, vielfältigen Mischung von Daten trainiert wurde (wie CLIP, das Millionen von Bildern und Texten sah), waren die nützlichen Hinweise gleichmäßig über die mittleren Etagen verteilt.
- Wenn ein Modell auf einer engen Menge von Daten trainiert wurde (wie nur Bildern von Katzen und Hunden), steckten die nützlichen Hinweise meist ganz oben fest.
Sprache ist entscheidend: Für Sprachen, die selten sind oder in Trainingsdaten unterrepräsentiert sind, half diese Methode am meisten. Es war so, als würde man einem Übersetzer ein Wörterbuch geben, das nicht nur die endgültige Übersetzung enthält, sondern auch die Grammatikregeln und den kulturellen Kontext aus den mittleren Etagen, die im endgültigen Output oft verloren gehen.

Zusammenfassung

Der Artikel behauptet, dass KI-Modelle wie tiefe Bibliotheken sind, in denen sich die besten Antworten oft über viele Etagen verteilen und nicht nur im obersten Stockwerk.

Durch die Verwendung von LOES können wir automatisch die richtige Mischung von Etagen finden, um eine bessere, genauere KI für spezifische Aufgaben zu bauen. Durch die Verwendung von GeoReg stellen wir sicher, dass diese neue, maßgeschneiderte KI stabil bleibt und nicht auseinanderfällt, während wir ihr neue Dinge beibringen. Dies macht die KI intelligenter, effizienter und leichter verständlich, ohne die gesamte Bibliothek von Grund auf neu bauen zu müssen.

Technische Zusammenfassung: Aufdeckung des latenten Potenzials tiefer intermediärer Repräsentationen

Problemstellung

Grundlegende Modelle, die auf massiven Datensätzen vortrainiert wurden, lernen hierarchische Repräsentationen, die sich über die Netzwerktiefe hinweg entwickeln. Die vorherrschende Annahme im Transferlernen besagt, dass der semantische Nutzen monoton mit der Tiefe zunimmt, was zur Standardpraxis führt, ausschließlich die Ausgabe der letzten Schicht für nachgelagerte Aufgaben zu verwenden. Neuere empirische Analysen stellen jedoch diese Sichtweise in Frage und zeigen, dass intermediäre Schichten in nachgelagerten Aufgaben die finalen Repräsentationen um bis zu 10 % übertreffen. Dieses Phänomen entsteht, weil finale Schichten sich möglicherweise zu stark auf Vortrainingsziele (z. B. Next-Token-Vorhersage) spezialisieren oder unter einem Zusammenbruch der Repräsentation leiden. Darüber hinaus ist aufgabenrelevante Information nicht-monoton über die Schichten verteilt, was bedeutet, dass eine naive Aggregation oder einfache Gewichtung der Schichten den optimalen aufgabenspezifischen Unterraum nicht wiederherstellen kann. Das zentrale Problem besteht darin, wie man systematisch die spezifische Teilmenge intermediärer Schichten identifizieren und fusionieren kann, die eine aufgabendiskriminierende Struktur kodieren, ohne dabei prohibitive Rechenkosten zu verursachen.

Methodik

Die Autoren schlagen ein einheitliches Framework vor, das aus zwei gekoppelten Komponenten besteht: Layer-wise Optimal Embedding Selection (LOES) und Geometric Regularization (GeoReg).

1. Layer-wise Optimal Embedding Selection (LOES)

LOES ist ein konstruktives spektrales Framework, das entwickelt wurde, um den aufgabenoptimalen Unterraum durch iterative Auswahl nicht-redundanter Schichten zu approximieren. Es formuliert die Schichtauswahl als Ridge-Residual-Optimierungsproblem, das durch Orthogonalität und Isotropie eingeschränkt ist. Der Algorithmus läuft in zwei Stufen ab:

Initialisierung: Die erste Schicht wird ausgewählt, indem ein Ridge-Probe gegen die ursprünglichen Ziele angepasst und ein Score minimiert wird, der die Anpassungsverluste mit einem Isotropie-Term kombiniert.
Iterative Auswahl: Gegeben eine aktuelle Menge ausgewählter Schichten $S$ , werden Kandidatenschichten gegen den Spannraum von $S$ orthogonalisiert, um die marginale Erklärungskraft zu isolieren. Jeder Kandidat wird unter Verwendung eines zusammengesetzten Ziels (Gleichung 7) bewertet:
$\text{Score}(\ell) = \text{Loss}_\ell + \alpha(1 - \text{Iso}(X_\ell)) + \gamma \text{Red}_\ell - \eta \text{Tri}(\tilde{X}_\ell)$
Wobei:
- $\text{Loss}_\ell$ : Der mittlere quadratische Fehler eines Ridge-Probes auf dem orthogonalisierten Residuum.
- $\text{Iso}(X_\ell)$ : Ein Isotropie-Score, abgeleitet aus den Eigenwerten der empirischen Kovarianz, der gut konditionierte Einbettungen fördert.
- $\text{Red}_\ell$ : Ein Redundanzterm, der die globale Ausrichtung des Kandidaten mit bereits ausgewählten Schichten misst.
- $\text{Tri}(\tilde{X}_\ell)$ : Ein optionaler Term für die Klassifikation, der die durchschnittliche Dreiecksfläche der Klassenzentroide schätzt, um hochvolumige Simplex-Strukturen zu fördern.
Die Schicht, die diesen Score minimiert, wird ausgewählt, erneut gegen die ursprünglichen Ziele angepasst und zum Ensemble hinzugefügt. Dieser Vorgang wird wiederholt, bis ein Budget $K$ erreicht ist.

2. Geometric Regularization (GeoReg)

Um die Verschlechterung günstiger geometrischer Eigenschaften (wie Isotropie und Klassenabtrennung) während des Fine-Tunings zu verhindern, führen die Autoren GeoReg ein. Dieser auxiliary loss wird während der nachgelagerten Anpassung auf die fusionierten Multi-Layer-Einbettungen angewendet. Er bestraft spektrale Ungleichgewichte in der Einbettungskovarianz (fördert eine gleichmäßige Eigenwertverteilung) und bestraft Konfigurationen, bei denen Klassenzentroide geringe Volumina aufspannen (was auf einen Zusammenbruch hindeutet). Im Gegensatz zu Vortrainings-Regularisierern (z. B. VICReg) operiert GeoReg spezifisch während der Transferphase, um die von LOES identifizierte Geometrie gegen konkurrierende Aufgabengradienten zu bewahren.

Hauptbeiträge

Empirischer Nachweis: Die Arbeit zeigt, dass optimale Repräsentationen für nachgelagerte Aufgaben selten die letzte Schicht allein sind, sondern vielmehr einen aufgabenspezifischen Unterraum bilden, der durch eine Teilmenge intermediärer Schichten entsteht.
LOES-Algorithmus: Ein spektraler Algorithmus, der optimale Schichtkombinationen durch Minimierung des Residualfehlers unter geometrischen Constraints (Isotropie und Orthogonalität) identifiziert. Er übertrifft lernbare Gewichtungsbaselines, indem er explizit Unterräume mit hohem effektivem Rang und niedriger Anisotropie konstruiert.
Interpretierbarkeitslinse: Durch die Analyse von Schichtauswahlpräferenzen offenbart die Methode, wo verschiedene fundamentale Modelle spezifische semantische oder strukturelle Attribute kodieren, und zeigt, dass Vortrainingsparadigmen (z. B. kontrastiv vs. maskierte Rekonstruktion) die Informationsverteilung systematisch beeinflussen.
GeoReg: Eine Verlustfunktion, die die Stabilität in Fine-Tuning-Szenarien verbessert und den Feature-Zusammenbruch mildert, der häufig bei großskaligen Modellen beobachtet wird.
Skalierbarkeit: Die Methode zeigt Leistungsgewinne, die mit der Modelltiefe skalieren und modalitätsagnostisch sind, und funktioniert über Vision-, Sprache-, Sprach- und multimodale Architekturen hinweg.

Ergebnisse

Die Autoren evaluierten LOES über eine diverse Reihe von Architekturen (DINOv2, CLIP, BERT, ModernBERT, Wav2Vec 2.0) und Datensätzen (ImageNet, MTEB-Benchmarks, ASVspoof usw.).

Leistungsgewinne: LOES übertrifft konsistent den Standard-Transfer der letzten Schicht und lernbare Gewichtungsbaselines. Die Gewinne sind besonders ausgeprägt bei tieferen Modellen und diversen Vortrainingsregimen. Beispielsweise verbesserte LOES auf ModernBERT die Genauigkeit auf der MTOP-Aufgabe von 78,07 % auf 94,48 %, während BERT-large einen bescheidenen Gewinn von 95,32 % auf 97,81 % verzeichnete.
Einfluss des Vortrainings: Modelle, die auf großen, diversen Korpora vortrainiert wurden (z. B. CLIP, DINOv2), neigen dazu, aufgabenrelevante Information in frühen bis mittleren Schichten zu verteilen, während Modelle, die auf engeren Verteilungen trainiert wurden (z. B. MAE, ViT, trainiert auf ImageNet), diskriminierende Merkmale in späteren Schichten konzentrieren.
Kreuzsprachlich und Kreuzmodal: LOES bietet signifikante Vorteile für unterrepräsentierte Sprachen (z. B. +10,9 % auf Urdu) und passt sich effektiv an Sprachaufgaben an (z. B. Spoofing-Erkennung vs. Emotionserkennung, die unterschiedliche Schichttiefen erfordern).
Effizienz: Die Methode führt einen minimalen rechnerischen Overhead ein (typischerweise <1 % Zunahme der Wandzeit) und Parameteranzahl (<1 % Zunahme), da sie auf einer geschlossenen Ridge-Regression auf einem kleinen Kalibrierungsdatensatz basiert.
Vergleich: LOES übertrifft die exhaustive Suche über Schichtteilmengen (wiederherstellung nahezu optimaler Lösungen bei einem Bruchteil der Kosten) und greedy-Auswahlbaselines.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die Schichtweise Einbettungsgeometrie nicht zufällig, sondern zentral dafür ist, wie tiefe Modelle Wissen repräsentieren und transferieren. Indem sie über die Annahme monotonen semantischen Nutzens hinausgeht, liefert die Arbeit starke Belege dafür, dass effektiver Transfer davon abhängt, welche Schichten aufgabendiskriminierende Strukturen kodieren und wie ihre Einbettungen geometrisch organisiert sind.

Die Autoren positionieren LOES nicht nur als Leistungssteigerer, sondern als Werkzeug für Interpretierbarkeit, das einen strukturierten Blick darauf bietet, wie semantische Faktoren über die Schichten verteilt sind. Sie behaupten, dass, da fundamentale Modelle skalieren und diversifizieren, eine prinzipielle Schichtauswahl zunehmend wertvoll wird, insbesondere für ressourcenarme und unterrepräsentierte Domänen, in denen allein die letzten Schichten aufgabenrelevante Information unzureichend erfassen. Die Arbeit legt nahe, dass die Geometrie intermediärer Repräsentationen eine kritische, jedoch untergenutzte Ressource für eine effiziente und transparente Modelladaptation ist.