🤖 machine learning

Improving Relative Representations with Learned Anchors and Whitened Inner Products

Dit artikel stelt een robuust kader voor voor communicatie tussen modellen dat verbetering brengt ten opzichte van traditionele relatieve representaties door het leren van semantische ankerprototypes en het toepassen van een geometrie-bewuste gelijkenismetriek, waardoor een stabiele, vrijwel verliesvrije informatieoverdracht tussen heterogene neurale architecturen mogelijk wordt gemaakt.

Oorspronkelijke auteurs: Oscar Thorsted Svendsen, Nikolaj Holst Jakobsen, Fabian Mager, Hiba Nassar

Gepubliceerd 2026-06-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Oscar Thorsted Svendsen, Nikolaj Holst Jakobsen, Fabian Mager, Hiba Nassar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je twee verschillende vertalers hebt die dezelfde taal spreken, maar compleet verschillende woordenboeken en zinstructuren gebruiken. De ene vertaler (Model A) beschrijft een "koning" als een lange, gouden figuur, terwijl de andere vertaler (Model B) een "koning" beschrijft als een korte, blauwe figuur. Als je Model B een brief geeft die door Model A is geschreven, zal het deze niet begrijpen omdat de coördinaten niet overeenkomen.

Dit is het probleem dat Relative Representations probeert op te lossen. In plaats van te proberen Model A en Model B te dwingen het eens te worden over de exacte coördinaten van een "koning", komen ze overeen over een set landmarks (ankerpunten). Ze zeggen: "Oké, ongeacht hoe jij de kaart tekent, hoe dicht staat de 'koning' bij de 'koningin' en het 'kasteel'?" Als beide modellen het eens zijn over de afstanden tot deze landmarks, kunnen ze met elkaar communiceren, zelfs als hun interne kaarten er totaal anders uitzien.

Echter, de oude manier om dit te doen had twee grote gebreken, die dit artikel oplost met een nieuw systeem genaamd PARAM en WIP.

Het probleem met de oude manier

Willekeurige Landmarks: De oude methode koos landmarks door pijltjes te gooien op een kaart. Soms werden er een heleboel pijltjes gekozen die op dezelfde plek landden (redundantie), of werd er enorme delen van de kaart volledig overgeslagen. Dit betekende dat de "vertaling" vaak wazig was of belangrijke details verloor.
De verkeerde liniaal: De oude methode gebruikte een liniaal die alleen hoeken (richting) mat, maar de afstand (magnitude) negeerde. Stel je voor dat je een kamer probeert te meten waarbij de vloer ongelijkmatig is uitgerekt. Als je alleen naar de hoek van een hoek kijkt, zou je kunnen denken dat een kleine, uitgerekte kamer hetzelfde is als een grote, normale kamer. Dit zorgde ervoor dat de "vertaling" kapot ging wanneer de modellen erg verschillend van elkaar waren (zoals een klein taalmodel dat praat met een reusachtig model).

De nieuwe oplossing: PARAM en WIP

1. PARAM: De beste landmarks leren

In plaats van willekeurig pijltjes te gooien, leren de auteurs de computer om de perfecte landmarks te leren.

De analogie: Stel je voor dat je een stad aan een vriend probeert te beschrijven. In plaats van willekeurige straathoeken te kiezen, vraag je de stad zelf: "Waar zijn de belangrijkste, stabiele knooppunten die het hele gebied vertegenwoordigen?"
Hoe het werkt: Het systeem creëert landmarks door groepen datapunten te middelen. Dit vlakt de ruis uit (zoals het middelen van een paar trillende foto's om één helder beeld te krijgen). Deze nieuwe landmarks zijn "robuuste semantische prototypes"—ze zijn stabiel, dekken het hele gebied gelijkmatig af en laten zich niet in de war brengen door de eigenaardigheden van een specifiek model.

2. WIP: De slimme liniaal

De auteurs vervingen de oude "hoek-alleen" liniaal door een Whitened Inner Product (WIP).

De analogie: Denk aan de oude liniaal als een elastiekje dat uitrekt en krimpt afhankelijk van wie het vasthoudt. Als Model A de ruimte uitrekt en Model B het samendrukt, geeft het elastiekje het verkeerde antwoord.
Hoe het werkt: De nieuwe WIP-liniaal is "gewit" (whitened). Voordat er gemeten wordt, vlakt deze de rubberen band wiskundig af. Het corrigeert voor het rekken, samendrukken en verschuiven. Cruciaal is dat het ook aandacht besteedt aan hoe sterk een signaal is (magnitude), en niet alleen aan welke kant het op wijst. Dit stelt de modellen in staat om belangrijke details (zoals "hoe zelfverzekerd" het model is) te behouden die de oude methode wegwierp.

De resultaten: "Lossless" vertaling

De auteurs testten dit door verschillende soorten AI-modellen met elkaar te verbinden:

Visie: Ze verbonden een CNN (een type beeldmodel) met een Transformer (een ander, moderner beeldmodel).
Taal: Ze verbonden verschillende taalmodellen (zoals BERT-varianten) die verschillende talen spreken (Engels, Duits, Frans, etc.).
Klein vs. Groot: Ze verbonden zelfs piepkleine taalmodellen met veel grotere modellen.

De uitkomst:
In het verleden leidde het samenvoegen van deze modellen tot een ramp (het nieuwe model zou willekeurig gokken). Met PARAM en WIP communiceerden de modellen bijna perfect.

Ze bereikten zero-shot stitching: Je kon een hulpmiddel trainen op de data van Model A en het direct gebruiken op de data van Model B zonder enige hertraining.
De prestaties waren bijna identiek aan het direct gebruiken van het originele model. Het was alsof de "vertaling" lossless (verliesvrij) was—er ging geen informatie verloren in het proces.

Samenvatting

Dit artikel introduceert een nieuwe manier om verschillende AI-modellen met elkaar te laten praten.

Stop met het raden van landmarks: Leer de beste, meest stabiele referentiepunten (PARAM).
Gebruik een betere liniaal: Gebruik een meetinstrument dat rekening houdt met het rekken en krimpen van de data (WIP).

Het resultaat is een universeel "plug-and-play"-systeem waarbij je de hersenen (encoder) van een AI kunt vervangen voor een andere, en de rest van het systeem nog steeds perfect werkt zonder dat er een hertraining nodig is.

Technische Samenvatting: Verbeteren van Relatieve Representaties met Geleerde Ankers en Gewitteerde Inwendige Producten

1. Probleemstelling

Onafhankelijk getrainde neurale modellen convergeren vaak naar latente representaties die incompatibel zijn vanwege verschillen in rotatie, anisotrope schaling en translatie. Dit vormt een fundamentele barrière voor het bouwen van hoogwaardige modulaire AI-systemen waarbij encoders en decoders kunnen worden uitgewisseld zonder hertraining.

Relatieve Representaties (RR) pakken dit aan door absolute embeddings te mappen naar een gedeelde ruimte die wordt gedefinieerd door gelijkenissen met een gemeenschappelijke set ankerpunten, in plaats van te vertrouwen op absolute coördinaten. Echter, standaard RR-implementaties lijden onder twee primaire beperkingen:

Willekeurige Ankersteekproef (Random Anchor Sampling): Traditionele methoden gebruiken willekeurig gesamplede datapunten als ankers. Dit leidt vaak tot een slechte dekking van de datamanifold, redundantie en laag-rangige relatieve kenmerken, wat resulteert in een verlies van taakrelevante informatie.
Cosine Gelijkenis (Cosine Similarity): De standaard gelijkenismetriek vertrouwt uitsluitend op angulaire relaties, waardoor magnitude-informatie (die vertrouwen in kenmerken kan coderen) wordt weggegooid en het er niet in slaagt om rekening te houden met de anisotrope geometrieën die gebruikelijk zijn in moderne architecturen zoals Transformers. Het is ook instabiel onder affine verschuivingen en nabij de oorsprong.

Deze beperkingen resulteren in slechte cross-space uitlijning en informatiebehoud, wat effectieve zero-shot stitching tussen heterogene modellen verhindert.

2. Methodologie

De auteurs stellen een robuust framework voor bestaande uit twee kerncomponenten: PARAM (Parameterized Anchor Representations via Adaptive Matrices) en WIP (Whitened Inner Product).

2.1 PARAM: Ankers Leren als Convex Mengsels

In plaats van ankers te behandelen als een vaste, willekeurig gesamplede subset van data, leert PARAM ankers als convex mengsels van een support-set van parallelle datapunten.

Mechanisme: Een gedeelde mengmatrix $P$ wordt geoptimaliseerd om ankers $A_i$ te genereren voor elke encoder-ruimte $i$ via $A_i = P X_{sub}^i$ , waarbij $X_{sub}^i$ een subset van embeddings is.
Restricties: $P$ wordt beperkt tot een rij-stochastische matrix, wat garandeert dat ankers binnen de convexe hull van de data blijven.
Voordelen: Deze aanpak biedt een denoising-effect door middel van middeling, wat stabiele semantische prototypes creëert. Het maakt continue plaatsing van ankers mogelijk binnen de latente ruimte, waardoor de beperkingen van discrete datapuntselectie worden vermeden.
Trainingsdoelstellingen: De matrix $P$ $P$ wordt geoptimaliseerd met behulp van een gewogen som van verliezen:
- Single-space doelstellingen: Dekking ( $L_{cov}$ , soft k-means), Orthogonaliteit ( $L_{orth}$ , bestraft gecorreleerde ankers) en Lengtecontrole ( $L_{len}$ , beperkt normen).
- Multi-space doelstelling: Symmetrische InfoNCE ( $L_{symNCE}$ ) om relatieve coördinaten over verschillende encoders uit te lijnen met behulp van gepaarde samples.

2.2 WIP: Gewitteerd Inwendig Product (Whitened Inner Product)

Om de geometrische vervormingen (gemiddelde verschuivingen en anisotrope schaling) tussen onafhankelijk getrainde ruimtes aan te pakken, vervangen de auteurs cosine gelijkenis door het Whitened Inner Product.

Mechanisme: Voor elke embedding-ruimte wordt het empirische gemiddelde $\mu_i$ verwijderd, en wordt een symmetrische whitening-transformatie $L_i = (\Sigma_i)^{-1/2}$ toegepast op basis van de covariantie-matrix $\Sigma_i$ .
Formule: De gelijkenis wordt gedefinieerd als $s_{WIP}(x, a_r^i) = \langle L_i(x - \mu_i), L_i(a_r^i - \mu_i) \rangle$ .
Voordelen: Deze metriek is robuust tegen affine vervormingen (voldoet aan Cross-Space Alignment) terwijl het zowel angulaire als magnitude-informatie behoudt (voldoet aan Information Preservation), wat cruciaal is voor discriminatieve signalen.

3. Belangrijkste Bijdragen

Geleerde Ankers (PARAM): Een methode om ankers te leren als convexe mengsels van data, wat zorgt voor robuuste semantische dekking en stabiliteit over embedding-ruimtes, ter vervanging van willekeurige steekproeven.
Geometrie-bewuste Gelijkenis (WIP): Een covariantie-bewuste gelijkenismetriek die invariant is voor affine verschuivingen en magnitude-informatie behoudt, waarmee de anisotropie van moderne architecturen wordt aangepakt.
Verenigd Framework: Een gezamenlijke aanpak die de zero-shot stitching prestaties aanzienlijk verbetert over zeer heterogene architecturen (bijv. CNNs vs. Transformers, en variërende schalen van taalmodellen).

4. Experimentele Resultaten

Het framework werd geëvalueerd op zero-shot stitching taken over visuele en talige modaliteiten, waarbij het werd vergeleken met een baseline van willekeurige ankers met cosine gelijkenis.

Beeldclassificatie (CIFAR-100): Bij het stitchen van CNN-gebaseerde (RexNet) en Transformer-gebaseerde (ViT) encoders, bereikte de voorgestelde PARAM-WIP methode een bijna verliesloze transfer. Bijvoorbeeld: het trainen van een classifier op ViT-features en testen op RexNet-features leverde een F1-score op van 80,94% (PARAM Multi) vergeleken met 56,67% voor de Random-Cosine baseline. In veel gevallen kwam de zero-shot prestatie overeen met de absolute prestatie van de originele latente ruimte.
Tekstclassificatie (MARC): Bij cross-linguale sentimentanalyse (bijv. Engels, Duits, Frans, Spaans, Chinees) presteerde het framework consistent beter dan de baseline. Bijvoorbeeld: het stitchen van Frans naar Engelse encoders resulteerde in 93,75% F1 (PARAM Multi) versus 92,06% (Random-Cosine).
Kleine Taalmodellen (SLMs): In een zero-shot retrieval taak tussen modellen van verschillende schalen (GPT-2, TinyLlama, Gemma), vertoonde de baseline extreme instabiliteit (R@1 $\approx$ 0,5% - 10%). In contrast hiermee behaalde PARAM-WIP R@1 scores tussen 87% en 95% en R@5 scores nabij 100%, wat een stabiele geometrische uitlijning demonstreert, zelfs tussen modellen met zeer verschillende verborgen dimensionaliteiten.
Ablatie-studies: De resultaten bevestigden dat beide componenten noodzakelijk zijn. Hoewel WIP de retrieval-kwaliteit verbetert, worden de winsten in nauwkeurigheid gemaximaliseerd wanneer deze wordt gecombineerd met geleerde ankers. Omgekeerd presteerden willekeurige ankers met WIP vaak minder goed dan willekeurige ankers met cosine gelijkenis vanwege de gevoeligheid voor ruis nabij de oorsprong.

5. Betekenis en Claims

Het artikel stelt dat de afhankelijkheid van willekeurige steekproeven en angulaire projectie (cosine gelijkenis) een fundamentele beperking is in huidig onderzoek naar relatieve representaties, met name voor heterogene modelfamilies.

Robuustheid: Het voorgestelde framework maakt bijna verliesvrije informatieoverdracht en stabiele zero-shot communicatie mogelijk tussen encoders die voorheen incompatibel waren.
Modulariteit: Door de relatie tussen latente geometrie en relatieve coördinatensystemen te formaliseren, biedt dit werk een praktisch pad naar modulaire AI-architecturen waarbij encoders en decoders kunnen worden uitgewisseld zonder kostbare hertraining.
Geometrisch Begrip: De resultaten suggereren dat het behoud van magnitude-informatie en het rekening houden met affine vervormingen cruciaal zijn voor het uitlijnen van moderne, anisotrope embedding-ruimtes, een vereiste waar standaard cosine gelijkenis niet aan voldoet.

De auteurs merken beperkingen op, waaronder de afhankelijkheid van de representatieve capaciteit van de grootte van de support-subset en de vereiste voor stabiele covariantie-schatting voor whitening. Zij suggereren dat toekomstig werk adaptieve subset-selectie, gestructureerde sparsiteit en niet-lineaire gelijkenisfuncties zou kunnen verkennen.