💬 NLP

Mapping Semantic & Syntactic Relationships with Geometric Rotation

Deze paper introduceert RISE, een geometrische methode die semantisch-syntactische relaties in multilinguale embeddingruimtes succesvol modelleert als consistente rotaties, waarmee voor het eerst wordt aangetoond dat deze transformaties op zinsniveau overeenkomen met lineaire structuren die model- en taalonafhankelijk zijn.

Oorspronkelijke auteurs: Michael Freenor, Lauren Alvarez

Gepubliceerd 2026-02-27

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Michael Freenor, Lauren Alvarez

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: De Roterende Kompasnaald: Hoe AI Taal Begrijpt (Zonder Wiskundige Hoofdpijn)

Stel je voor dat je een enorme bibliotheek hebt, maar in plaats van boeken op planken, staan alle woorden en zinnen als punten in een onzichtbare, driedimensionale ruimte. In de oude tijd van AI (zoals rond 2013) was deze ruimte heel simpel: als je "koning" min "man" plus "vrouw" deed, kreeg je "koningin". Het was alsof je een simpele rechte lijn trok op een kaart.

Maar moderne AI-modellen zijn veel complexer. Ze leven niet op een platte kaart, maar op een bol (een bolvormige wereld). Hier werken simpele rechte lijnen niet meer goed.

Dit paper introduceert een nieuwe methode genaamd RISE (Rotor-Invariant Shift Estimation). Laten we uitleggen wat dit doet met een paar creatieve vergelijkingen.

1. Het Probleem: De Bol en de Rechter

Stel je voor dat je op de aarde staat (de bol). Je wilt van Nederland naar Spanje reizen.

De oude manier (Euclidisch): Je tekent een rechte lijn door de aarde heen, alsof je een tunnel boort. Dit werkt niet voor taal, want taal beweegt over het oppervlak, niet erdoorheen.
De nieuwe manier (RISE): Je gebruikt een kompas en een rotatie. Je draait je positie op de bol om een nieuwe richting te vinden.

In de taal van AI betekent dit: als je een zin hebt (bijvoorbeeld "Het regent") en je wilt het negatief maken ("Het regent niet"), dan is dat geen simpele verschuiving in een rechte lijn. Het is meer als het draaien van een kompasnaald op de bol van de AI. De zin "draait" naar een nieuwe positie, maar de afstand en de hoek blijven logisch.

2. De Drie Magische Draaiingen

De onderzoekers hebben getest of ze deze "draaiingen" kunnen vinden voor drie specifieke dingen in de taal:

Ontkenning (Negation): Het toevoegen van "niet".
- Vergelijking: Dit is als het omdraaien van een lichtschakelaar. Het werkt bijna perfect op elke bol, in elke taal. Of je nu in het Nederlands, Japans of Swahili bent, de AI "draait" de zin op precies dezelfde manier om "niet" toe te voegen.
Voorwaardelijkheid (Conditionality): Het maken van een "als"-zin (bijv. "Als het regent, blijf ik binnen").
- Vergelijking: Dit is als het zetten van een schakelaar op "mogelijk". Ook dit werkt heel goed en consistent, alsof er een universele knop is voor "als-dit-dan-dat".
Hofelijkheid (Politeness): Het beleefd maken van een zin.
- Vergelijking: Dit is lastiger. Het is alsof je probeert een dansstap te doen. In Nederland is een buigen beleefd, in Japan een diepe knik. De "draaiing" voor hofelijkheid is niet overal hetzelfde; het hangt af van de cultuur. De AI moet hier meer "improviseren" dan bij "niet" of "als".

3. De Grote Ontdekking: Een Universele Taal van Draaiingen

Het meest spannende deel van het onderzoek is dit:
Ze hebben getoond dat je de draaiing die je leert in het Engels (bijvoorbeeld hoe je "niet" toevoegt), kunt gebruiken om een zin in het Zulu of Tamil te veranderen, zonder dat de AI opnieuw hoeft te leren!

De Analogie: Stel je voor dat je een danspas leert in Parijs. Je merkt dat als je diezelfde pas in Tokio doet, het er precies hetzelfde uitziet. De "stap" (de rotatie) is universeel, ook al is de dansvloer (de taal) anders.
Dit betekent dat AI-modellen een diepe, onderliggende structuur hebben die voor alle talen hetzelfde is. Ze gebruiken dezelfde "geometrische bewegingen" om betekenis te veranderen.

4. Waarom is dit belangrijk?

Vroeger was AI een "zwarte doos": we gaven het een zin en het gaf een antwoord, maar we wisten niet hoe het dat deed.
Met RISE hebben we nu een kaart en een kompas.

We kunnen zien waar in de ruimte een zin zit.
We kunnen voorspellen wat er gebeurt als we een zin veranderen (bijv. van beleefd naar onbeleefd).
We kunnen AI-systemen beter begrijpen en controleren, wat essentieel is voor veilige en betrouwbare technologie.

Samenvatting in één zin

Dit onderzoek laat zien dat moderne AI-taalmodellen niet willekeurig werken, maar dat ze taal veranderen door universele rotaties uit te voeren op een bolvormige kaart, en dat we deze rotaties kunnen gebruiken om AI te begrijpen en te sturen, ongeacht welke taal ze spreken.

Het is alsof we eindelijk de muzieknoten hebben gevonden die onder alle talen liggen, in plaats van alleen de tekst te lezen.

Titel: Mapping Semantic & Syntactic Relationships with Geometric Rotation (RISE)

Auteurs: Michael Freenor & Lauren Alvarez (TELUS Digital)

1. Het Probleem

Het begrijpen van hoe moderne taalmodellen (LLMs) en inbeddingsmodellen semantische relaties coderen, is fundamenteel voor modelinterpretatie.

Historische context: Vroege woord-inbeddings (zoals word2vec) vertoonden intuïtieve vectorrekenkundige eigenschappen (bijv. "koning" - "man" + "vrouw" = "koningin"). Dit bood een lineaire transparantie.
Huidige uitdaging: In moderne, hoogdimensionale transformer-gebaseerde representaties ontbreekt deze directe geometrische interpretatie. De interne werking van LLMs blijft grotendeels ondoorzichtig ("opaak").
De kloof: Bestaande methoden (zoals steering vectors of probing) opereren vaak in Euclidische (lineaire) ruimtes. Echter, moderne inbeddings leven op gebogen variëteiten (meestal een eenheidshypersfeer). Deze geometrische mismatch verklaart waarom lineaire methoden moeite hebben met robuuste generalisatie over verschillende talen en contexten. Er is een gebrek aan een algemeen kader om semantisch-syntactische transformaties systematisch te koppelen aan geometrische structuren in deze gekromde ruimtes.

2. Methodologie: Rotor-Invariant Shift Estimation (RISE)

De auteurs introduceren RISE, een geometrische benadering die semantisch-syntactische transformaties modelleert als consistente rotatie-operaties op de inbeddingsvariëteit, in plaats van als lineaire verschuivingen.

Kernconcepten:

Riemanniaanse Geometrie: RISE erkent dat inbeddings op een eenheidshypersfeer ( $S^{d-1}$ ) liggen. Semantische veranderingen worden daarom behandeld als rotaties langs geodeten (de kortste paden op een bol), niet als rechte lijnen in Euclidische ruimte.
Rotoren (Clifford-algebra): De methode gebruikt rotoren om inbeddings te aligneren. Voor een neutrale zin $n$ en een getransformeerde zin $v$ , wordt een orthogonale transformatie (rotor) $R(n)$ berekend die $n$ afbeeldt op een canonieke referentierichting $e_1$ .
Het Algoritme (3 Stappen):
1. Canonisering: Voor elk paar (neutraal, getransformeerd) wordt de rotor $R(n_i)$ berekend om de neutrale zin naar een standaardframe te draaien.
2. Prototype Learning: De semantische veranderingen worden naar dit referentiekader getransformeerd en de tangent-vector (via de Riemanniaanse logaritme $\log_n(v)$ ) wordt gemiddeld om een Prototype $\vec{p}$ te creëren. Dit vertegenwoordigt de "gemiddelde" rotatie voor een specifieke taak (bijv. ontkenning).
3. Predictie: Om een nieuwe zin te transformeren, wordt het prototype $\vec{p}$ teruggeroteerd naar de tangentruimte van de nieuwe zin en toegepast via de Riemanniaanse exponentiële kaart ( $\exp_n$ ).

Unieke Eigenschappen:

Commutativiteit: Het toepassen van meerdere transformaties (bijv. ontkenning + beleefdheid) levert consistente resultaten op, ongeacht de volgorde (tot op tweede orde). Dit ondersteunt de hypothese dat semantische operaties zich gedragen als vectoroptelling in de tangentruimte.
Cross-linguaal en Cross-model: De methode is ontworpen om te generaliseren over verschillende talen en modelarchitecturen zonder prestatieverlies.

3. Experimenteel Ontwerp

De auteurs evalueren RISE met een robuust experimenteel setup:

Talen: 7 morfologisch diverse talen (Engels, Spaans, Japans, Tamil, Thai, Arabisch, Zulu) uit verschillende taalfamilies.
Semantische Transformaties: Drie discourse-niveau transformaties met variërende context-afhankelijkheid:
1. Ontkenning (Negation): Logische omkering (hoogst consistent).
2. Conditionaliteit (Conditionality): Omzetten naar voorwaardelijke zinnen (modaliteit).
3. Beleefdheid (Politeness): Verhogen van sociale formaliteit (hoogst context-afhankelijk en cultureel variabel).
Modellen: Drie inbeddingsmodellen met verschillende dimensies:
- text-embedding-3-large (3072 dimensies, OpenAI)
- bge-m3 (1024 dimensies)
- mBERT (768 dimensies)
Datasets: BLiMP (grammatica), SICK (semantische relatie), en een synthetisch meertalig dataset gegenereerd met GPT-4.5.
Baselines: Vergelijking met Mean Difference Vectors (MDV) en Procrustes alignment (lineaire methoden).

4. Belangrijkste Resultaten

Superieure Prestaties van RISE: RISE presteert consistent beter dan lineaire baselines (Procrustes en MDV), vooral in cross-linguale en cross-model scenario's.
- Ontkenning toonde de hoogste geometrische consistentie (gemiddelde score ~0.788).
- Conditionaliteit toonde de hoogste stabiliteit en de laagste variabiliteit over talen heen.
- Beleefdheid was het meest variabel, wat verwacht werd gezien de culturele afhankelijkheid, maar RISE slaagde er toch in om een significante geometrische structuur te vinden.
Cross-Linguaal Transfer: RISE kan prototypes die zijn geleerd in één taal succesvol toepassen op andere talen.
- bge-m3 toonde de minst variabele prestaties over alle talen, ondanks lagere dimensies.
- text-embedding-3-large presteerde het beste in absolute scores, maar vertoonde meer variatie.
- Er is een Engels-centrische bias geconstateerd: prototypes geleerd op Engels presteerden beter bij transfer dan die van minder vertegenwoordigde talen (zoals Zulu), wat wijst op onbalans in de trainingsdata van de modellen.
Geometrische Validatie: De resultaten bevestigen dat semantische operaties met duidelijke syntactische mapping (zoals ontkenning) de meest consistente geometrische structuur vertonen. RISE slaagt erin deze structuren te vangen waar lineaire methoden (Procrustes) faalden, vooral bij semantische gerelateerdheidstaken (SICK).
Commutativiteit: De experimentele bevestiging dat volgorde van toepassing van transformaties geen significante invloed heeft, ondersteunt de theorie dat deze operaties lineair gedragen in de tangentruimte van de variëteit.

5. Bijdragen en Significantie

Uitbreiding van de Linear Representation Hypothesis (LRH): Dit werk is de eerste die de LRH uitbreidt naar meertalige discourse-niveau transformaties en deze toepast op geodetische (gekrulde) subspaces in plaats van Euclidische lijnen.
Geometrische Interpretatie: Het bewijst dat moderne taalmodellen interpreteerbare geometrische structuren behouden voor specifieke semantisch-syntactische transformaties, zelfs in complexe, hoogdimensionale ruimtes.
Praktische Toepassing: RISE biedt een toolset voor het "sturen" (steering) van taalmodellen en het interpreteren van hun interne representaties op een manier die robuust is over talen en modelarchitecturen.
Inzicht in Bias: De studie blootlegt hoe bestaande modellen geometrische structuren prioriteren voor Engels, wat een belangrijke richting aangeeft voor toekomstig onderzoek naar eerlijkere meertalige representaties.

Conclusie:
RISE demonstreert dat semantische veranderingen in moderne inbeddingsruimten het beste worden begrepen als rotaties op een bol, niet als verschuivingen in een vlak. Door deze geometrische principes te benutten, kan men semantische relaties (zoals ontkenning en conditionaliteit) consistent modelleren en overdragen over verschillende talen en modellen, wat een nieuwe weg opent voor interpreteerbare en controleerbare AI-systemen.