🤖 machine learning

Improving Relative Representations with Learned Anchors and Whitened Inner Products

Dieses Paper schlägt ein robustes Framework für die modellübergreifende Kommunikation vor, das herkömmliche relative Repräsentationen verbessert, indem es semantische Ankerprototypen lernt und eine geometriebewusste Ähnlichkeitsmetrik verwendet, wodurch ein stabiler, nahezu verlustfreier Informationstransfer zwischen heterogenen neuronalen Architekturen ermöglicht wird.

Ursprüngliche Autoren: Oscar Thorsted Svendsen, Nikolaj Holst Jakobsen, Fabian Mager, Hiba Nassar

Veröffentlicht 2026-06-01

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Oscar Thorsted Svendsen, Nikolaj Holst Jakobsen, Fabian Mager, Hiba Nassar

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben zwei verschiedene Übersetzer, die dieselbe Sprache sprechen, aber völlig unterschiedliche Wörterbücher und Satzstrukturen verwenden. Der eine Übersetzer (Modell A) beschreibt einen „König“ als eine große, goldene Gestalt, während der andere (Modell B) einen „König“ als eine kleine, blaue Gestalt beschreibt. Wenn Sie versuchen, Modell B eine Notiz zu geben, die von Modell A geschrieben wurde, wird es sie nicht verstehen, weil die Koordinaten nicht übereinstimmen.

Dies ist das Problem, das Relative Repräsentationen zu lösen versucht. Anstatt zu versuchen, Modell A und Modell B dazu zu bringen, sich auf die exakten Koordinaten eines „Königs“ zu einigen, einigen sie sich auf eine Reihe von Landmarken (Ankern). Sie sagen: „Okay, unabhängig davon, wie du die Karte zeichnest, wie nah liegt der ‚König‘ zur ‚Königin‘ und zum ‚Schloss‘?“ Wenn beide Modelle denselben Abstand zu diesen Landmarken vereinbaren, können sie miteinander kommunizieren, selbst wenn ihre internen Karten völlig unterschiedlich aussehen.

Diese Methode hatte jedoch zwei große Mängel, die dieser Artikel mit einem neuen System namens PARAM und WIP behebt.

Das Problem mit der alten Methode

Zufällige Landmarken: Die alte Methode wählte Landmarken aus, indem man Dartpfeile auf eine Karte warf. Manchmal landeten viele Pfeile am selben Ort (Redundanz), oder man überließ riesige Gebiete der Karte völlig unberücksichtigt. Dies bedeutete, dass die „Übersetzung“ oft unscharf war oder wichtige Details verloren gingen.
Das falsche Lineal: Die alte Methode verwendete ein Lineal, das nur Winkel (Richtung) maß, aber die Distanz (Größe/Magnitude) ignorierte. Stellen Sie sich vor, Sie versuchen, einen Raum zu vermessen, bei dem der Boden ungleichmäßig gestreckt ist. Wenn Sie nur auf den Winkel einer Ecke achten, könnten Sie denken, dass ein kleiner, gestreckter Raum derselbe ist wie ein großer, normaler Raum. Dies führte dazu, dass die „Übersetzung“ zusammenbrach, wenn die Modelle sehr unterschiedlich zueinander waren (wie ein kleines Sprachmodell, das mit einem riesigen spricht).

Die neue Lösung: PARAM und WIP

1. PARAM: Die besten Landmarken lernen

Anstatt zufällig Dartpfeile zu werfen, bringt der Autor dem Computer bei, die perfekten Landmarken zu lernen.

Die Analogie: Stellen Sie sich vor, Sie versuchen, einem Freund eine Stadt zu beschreiben. Anstatt wahllos Straßenecken zu wählen, fragen Sie die Stadt selbst: „Wo sind die wichtigsten, stabilen Knotenpunkte, die das gesamte Gebiet repräsentieren?“
Wie es funktioniert: Das System erstellt Landmarken durch das Mitteln von Gruppen von Datenpunkten. Dies glättet das Rauschen (wie das Mitteln einiger weniger wackeliger Fotos, um ein klares Bild zu erhalten). Diese neuen Landmarken sind „robuste semantische Prototypen“ – sie sind stabil, decken die gesamte Karte gleichmäßig ab und lassen sich nicht von den Eigenheiten eines spezifischen Modells verwirren.

2. WIP: Das intelligente Lineal

Die Autoren ersetzten das alte „Winkel-nur“-Lineal durch ein Whitened Inner Product (WIP).

Die Analogie: Denken Sie an das alte Lineal als ein Gummiband, das sich dehnt und zusammenzieht, je nachdem, wer es hält. Wenn Modell A den Raum streckt und Modell B ihn staucht, liefert das Gummiband das falsche Ergebnis.
Wie es funktioniert: Das neue WIP-Lineal ist „gewhitened“ (weiß gefiltert). Vor der Messung ebnet es das Gummiband mathematisch ab. Es korrigiert für Streckung, Stauchung und Verschiebung. Entscheidend ist, dass es auch darauf achtet, wie stark ein Signal ist (Magnitude), und nicht nur, in welche Richtung es zeigt. Dies ermöglicht es den Modellen, wichtige Details (wie „wie sicher“ sich ein Modell ist) beizubehalten, die die alte Methode verworfen hätte.

Die Ergebnisse: „Verlustfreie“ Übersetzung

Die Autoren testeten dies, indem sie versuchten, verschiedene Arten von KI-Modellen miteinander zu verbinden:

Vision: Sie verbanden ein CNN (eine Art von Bildmodell) mit einem Transformer (einem anderen, moderneren Bildmodell).
Sprache: Sie verbanden verschiedene Sprachmodelle (wie BERT-Varianten), die unterschiedliche Sprachen sprechen (Englisch, Deutsch, Französisch usw.).
Klein vs. Groß: Sie verbanden sogar winzige Sprachmodelle mit viel größeren Modellen.

Das Ergebnis:
In der Vergangenheit führte der Versuch, diese Modelle zusammenzufügen, zu einem Desaster (das neue Modell rät nur zufällig). Mit PARAM und WIP kommunizieren die Modelle fast perfekt.

Sie erreichten Zero-Shot-Stitching: Man konnte ein Werkzeug mit den Daten von Modell A trainieren und es sofort auf den Daten von Modell B anwenden, ohne ein erneutes Training zu benötigen.
Die Leistung war nahezu identisch mit der Verwendung des Originalmodells direkt. Es war, als wäre die „Übersetzung“ verlustfrei gewesen – keine Informationen gingen im Prozess verloren.

Zusammenfassung

Dieser Artikel führt eine neue Art und Weise ein, wie verschiedene KI-Modelle miteinander sprechen können.

Hören Sie auf zu raten: Lernen Sie die besten, stabilsten Referenzpunkte (PARAM).
Nutzen Sie ein besseres Lineal: Verwenden Sie ein Messwerkzeug, das Streckung und Stauchung in den Daten berücksichtigt (WIP).

Das Ergebnis ist ein universelles „Plug-and-Play“-System, bei dem Sie das „Gehirn“ (den Encoder) einer KI durch ein anderes austauschen können und der Rest des Systems weiterhin perfekt funktioniert, ohne neu trainiert werden zu müssen.

Technisches Resümee: Verbesserung relativer Repräsentationen durch gelernte Anker und gewaschene Skalarprodukte

1. Problemstellung

Unabhängig trainierte neuronale Modelle konvergieren oft zu latenten Repräsentationen, die aufgrund von Unterschieden in Rotation, anisotroper Skalierung und Translation inkompatibel sind. Dies schafft eine fundamentale Barriere für den Aufbau hochgradig modularer KI-Systeme, bei denen Encoder und Decoder ohne Retraining ausgetauscht werden können.

Relative Repräsentationen (RR) adressieren dies, indem sie absolute Embeddings auf einen gemeinsamen Raum abbilden, der durch Ähnlichkeiten zu einer gemeinsamen Menge von Ankerpunkten definiert ist, anstatt sich auf absolute Koordinaten zu verlassen. Herkömmliche RR-Implementierungen leiden jedoch unter zwei primären Einschränkungen:

Zufällige Anker-Stichproben (Random Anchor Sampling): Traditionelle Methoden verwenden zufällig ausgewählte Datenpunkte als Anker. Dies führt oft zu einer schlechten Abdeckung des Daten-Manifolds, Redundanz und niedrigdimensionalen relativen Merkmalen, was einen Verlust an aufgabenrelevanten Informationen zur Folge hat.
Kosinus-Ähnlichkeit: Die Standard-Ähnlichkeitsmetrik stützt sich ausschließlich auf Winkelbeziehungen, vernachlässigt somit Magnitude-Informationen (die Konfidenz kodieren können) und berücksichtigt nicht die anisotropen Geometrien, die in modernen Architekturen wie Transformern üblich sind. Zudem ist sie unter affinen Verschiebungen und nahe dem Ursprung instabil.

Diese Einschränkungen führen zu einer mangelhaften Ausrichtung der Räume (Cross-Space Alignment) und einer schlechten Informationserhaltung, was das effektive Zero-Shot-Stitching zwischen heterogenen Modellen verhindert.

2. Methodik

Die Autoren schlagen ein robustes Framework vor, das aus zwei Kernkomponenten besteht: PARAM (Parameterized Anchor Representations via Adaptive Matrices) und WIP (Whitened Inner Product).

2.1 PARAM: Gelernte Anker als konvexe Mischungen

Anstatt Anker als eine feste, zufällig ausgewählte Teilmenge von Daten zu behandten, lernt PARAM Anker als konvexe Mischungen einer Support-Menge paralleler Datenpunkte.

Mechanismus: Eine gemeinsame Mischungsmatrix $P$ wird optimiert, um Anker $A_i$ für jeden Encoder-Raum $i$ via $A_i = P X_{sub}^i$ zu generieren, wobei $X_{sub}^i$ eine Teilmenge der Embeddings ist.
Constraints: $P$ wird so beschränkt, dass es zeilenstochastisch ist, wodurch sichergestellt wird, dass die Anker innerhalb des konvexen Hulls der Daten bleiben.
Vorteile: Dieser Ansatz bietet einen Entrauschungseffekt durch Mittelwertbildung, was stabile semantische Prototypen schafft. Er ermöglicht eine kontinuierliche Platzierung der Anker innerhalb des latenten Raums und vermeidet so die Limitationen diskreter Datenpunkt-Auswahl.
Trainingsziele: Die Matrix $P$ $P$ wird unter Verwendung einer gewichteten Summe von Verlustfunktionen optimiert:
- Einzelspezifische Ziele: Abdeckung ( $L_{cov}$ , Soft k-means), Orthogonalität ( $L_{orth}$ , Bestrafung korrelierter Anker) und Längensteuerung ( $L_{len}$ , Beschränkung der Normen).
- Multi-Space-Ziel: Symmetrisches InfoNCE ( $L_{symNCE}$ ), um relative Koordinaten über verschiedene Encoder hinweg unter Verwendung gepaarter Stichproben auszurichten.

2.2 WIP: Gewaschenes Skalarprodukt (Whitened Inner Product)

Um die geometrischen Verzerrungen (Mittelwertverschiebungen und anisotrope Skalierung) zwischen unabhängig trainierten Räumen zu adressieren, ersetzen die Autoren die Kosinus-Ähnlichkeit durch das Whitened Inner Product.

Mechanismus: Für jeden Embedding-Raum wird der empirische Mittelwert $\mu_i$ entfernt, und eine symmetrische Whitening-Transformation $L_i = (\Sigma_i)^{-1/2}$ wird basierend auf der Kovarianzmatrix $\Sigma_i$ angewendet.
Formel: Die Ähnlichkeit ist definiert als $s_{WIP}(x, a_r^i) = \langle L_i(x - \mu_i), L_i(a_r^i - \mu_i) \rangle$ .
Vorteile: Diese Metrik ist robust gegenüber affinen Verzerrungen (erfüllt Cross-Space Alignment) und bewahrt sowohl Winkel- als auch Magnitude-Informationen (erfüllt Information Preservation), was für diskriminative Signale entscheidend ist.

3. Zentrale Beiträge

Gelernte Anker (PARAM): Eine Methode, um Anker als konvexe Mischungen von Daten zu lernen, was eine robuste semantische Abdeckung und Stabilität über Embedding-Räume hinweg gewährleistet und die zufällige Stichprobenentnahme ersetzt.
Geometrie-bewusste Ähnlichkeit (WIP): Eine kovarianz-bewusste Ähnlichkeitsmetrik, die invariant gegenüber affinen Verschiebungen ist und Magnitude-Informationen bewahrt, wodurch die Anisotropie moderner Architekturen adressiert wird.
Vereintes Framework: Ein gemeinsamer Ansatz, der die Zero-Shot-Stitching-Leistung über hochgradig heterogene Architekturen (z. B. CNNs vs. Transformer und variierende Skalen von Sprachmodellen) signifikant verbessert.

4. Experimentelle Ergebnisse

Das Framework wurde auf Zero-Shot-Stitching-Aufgaben in Bild- und Sprachmodalitäten evaluiert, wobei es gegen eine Baseline aus Zufallsankern mit Kosinus-Ähnlichkeit getestet wurde.

Bildklassifizierung (CIFAR-100): Beim Stitching von CNN-basierten (RexNet) und Transformer-basierten (ViT) Encodern erreichte die vorgeschlagene PARAM-WIP-Methode einen nahezu verlustfreien Transfer. Beispielsweise lieferte das Training eines Klassifizierers auf ViT-Features und der Test auf RexNet-Features einen F1-Score von 80,94 % (PARAM Multi) im Vergleich zu 56,67 % für die Random-Cosine-Baseline. In vielen Fällen entsprach die Zero-Shot-Leistung der absoluten Leistung des ursprünglichen latenten Raums.
Textklassifizierung (MARC): Bei der kreuzlingualen Sentiment-Analyse (z. B. Englisch, Deutsch, Französisch, Spanisch, Chinesisch) übertraf das Framework die Baseline konsistent. Beispielsweise führte das Stitching von Französisch zu englischen Encodern zu 93,75 % F1 (PARAM Multi) gegenüber 92,06 % (Random-Cosine).
Kleine Sprachmodelle (SLMs): In einer Zero-Shot-Retrieval-Aufgabe zwischen Modellen unterschiedlicher Skalen (GPT-2, TinyLlama, Gemma) zeigte die Baseline extreme Instabilität (R@1 $\approx$ 0,5 % - 10 %). Im Gegensatz dazu erreichte PARAM-WIP R@1-Scores zwischen 87 % und 95 % und R@5-Scores nahe 100 %, was eine stabile geometrische Ausrichtung selbst zwischen Modellen mit völlig unterschiedlichen verborgenen Dimensionen demonstriert.
Ablationsstudien: Die Ergebnisse bestätigten, dass beide Komponenten notwendig sind. Während WIP die Retrieval-Qualität verbessert, werden die Genauigkeitsgewinne maximiert, wenn es mit gelernten Ankern komb сочетаt wird. Umgekehrt schnitten Zufallsanker mit WIP oft schlechter ab als Zufallsanker mit Kosinus-Ähnlichkeit aufgrund der Rauschempfindlichkeit nahe dem Ursprung.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass die Abhängigkeit von Zufallsstichproben und Winkelprojektion (Kosinus-Ähnlichkeit) eine fundamentale Limitation der aktuellen Forschung zu relativen Repräsentationen darstellt, insbesondere für heterogene Modellfamilien.

Robustheit: Das vorgeschlagene Framework ermöglicht einen nahezu verlustfreien Informationstransfer und eine stabile Zero-Shot-Kommunikation zwischen Encodern, die zuvor inkompatibel waren.
Modularität: Durch die Formalisierung der Beziehung zwischen latenter Geometrie und relativen Koordinatensystemen bietet die Arbeit einen praktischen Weg zu modularen KI-Architekturen, bei denen Encoder und Decoder ohne kostspieliges Retraining ausgetauscht werden können.
Geometrisches Verständnis: Die Ergebnisse legen nahe, dass die Bewahrung von Magnitude-Informationen und die Berücksichtigung affiner Verzerrungen entscheidend für die Ausrichtung moderner, anisotroper Embedding-Räume sind – eine Anforderung, die die Standard-Kosinus-Ähnlichkeit nicht erfüllt.

Die Autoren weisen auf Limitationen hin, einschließlich der Abhängigkeit der Repräsentationskapazität von der Größe der Support-Teilmenge und der Notwendigkeit einer stabilen Kovarianzschätzung für das Whitening. Sie schlagen vor, dass zukünftige Arbeiten adaptive Subset-Selektion, strukturierte Sparsity und nicht-lineare Ähnlichkeitsfunktionen untersuchen könnten.