Versor: A Geometric Sequence Architecture

Each language version is independently generated for its own context, not a direct translation.

Versor: De "Geometrische Motor" voor AI

Stel je voor dat je een robot wilt bouwen die de wereld begrijpt. De huidige slimme computers (zoals de beroemde Transformers die achter ChatGPT zitten) kijken naar de wereld alsof het een enorme lijst met getallen is. Ze zien een bal, een auto of een persoon als een reeks cijfers in een platte ruimte. Ze moeten alles leren door miljoenen voorbeelden te zien, inclusief hoe dingen draaien, bewegen of groter worden.

Versor is een nieuw soort brein voor robots. In plaats van te leren door te gissen, gebruikt Versor de wiskunde van de ruimte zelf. Het is alsof we de robot niet alleen de taal van de mens leren, maar direct de taal van de natuurkunde.

Hier zijn de belangrijkste ideeën, uitgelegd met analogieën:

1. Het "Euclidische Flesje" (Het probleem)

Stel je voor dat je een robot leert een bal te vangen.

De oude manier (Transformers): Je geeft de robot een foto van de bal. De robot moet duizenden keren oefenen met de bal links, rechts, boven en onder, om te leren dat "links" en "rechts" eigenlijk hetzelfde zijn, alleen gedraaid. Het is alsof je iemand leert zwemmen door hem duizend keer in een bad te gooien met verschillende golven, in plaats van hem de techniek van zwemmen te leren. Dit kost enorm veel tijd en rekenkracht.
De Versor-methode: Versor begrijpt direct dat draaien een wiskundige wet is. Het heeft geen duizenden voorbeelden nodig om te weten dat een draaiing een draaiing blijft. Het "weet" het al, omdat het gebouwd is op Conformal Geometric Algebra (CGA). Dit is een wiskundig systeem dat draaiingen, verplaatsingen en schalingen als één geheel behandelt.

2. De "Spin-Boodschapper" (Hoe het werkt)

In plaats van data als losse punten te behandelen, verplaatst Versor zijn kennis als een roterende boodschapper (een zogenaamde "rotor") door een 5-dimensionale ruimte.

Analogie: Stel je voor dat je een kompas hebt. Een gewone computer moet de coördinaten van het noorden, oosten, zuiden en westen apart onthouden. Versor is als een kompas dat altijd weet waar het noorden is, ongeacht hoe je het draait.
De "Roterende Stap": Versor gebruikt een techniek genaamd Recursive Rotor Accumulator (RRA). In plaats van een lange lijst met getallen te onthouden (wat veel geheugen kost), onthoudt Versor de geschiedenis als één grote, complexe draaiing.
- Vergelijking: Als je een lange wandeling maakt, onthoudt een gewone computer elke stap apart (1, 2, 3...). Versor onthoudt alleen de totale draaiing van je lichaam ten opzichte van waar je begon. Dit maakt het extreem efficiënt en snel, zelfs voor heel lange wandelingen (sequenties).

3. De "Magische Lijst" (Interpretatie)

Een van de coolste dingen aan Versor is dat we precies kunnen zien waarom het een beslissing neemt.

Gewone AI: Het is een "black box". Het zegt: "Ik denk dat dit een kat is," maar we weten niet waarom.
Versor: Het splitst zijn aandacht op in twee duidelijke delen:
1. Nabijheid (Scalar): "Hoe dichtbij is dat ding?" (Net als een gewone AI).
2. Oriëntatie (Bivector): "Hoe staat dat ding gedraaid ten opzichte van mij?" (Dit is nieuw!).
Voorbeeld: Als je naar een auto kijkt, ziet Versor niet alleen dat de auto dichtbij is, maar ook of hij naar links of rechts rijdt. Dit maakt het veel slimmer in het voorspellen van bewegingen, zoals in chaotische systemen (bijv. hoe planeten om elkaar draaien).

4. De "Super-Snelheid" (Efficiëntie)

Versor is niet alleen slimmer, maar ook veel sneller en goedkoper om te draaien.

Aantal parameters: Versor heeft 200 keer minder "hersencellen" (parameters) nodig dan een standaard Transformer om dezelfde taak te doen.
Schaalbaarheid: Als je een Transformer laat groeien, wordt het traag en zwaar. Versor blijft licht en snel, zelfs als de taak heel groot wordt.
Hardware: De auteurs hebben speciale software (kernels) geschreven die de wiskunde van Versor direct op de chip van je computer laten draaien, net als een racewagen die speciaal is gebouwd voor een circuit, in plaats van een gewone auto die probeert te racen.

5. Wat kan Versor doen? (De Testen)

De auteurs hebben Versor getest op drie moeilijke dingen:

Chaos: Het voorspellen van hoe 5 zware objecten (zoals planeten) elkaar aantrekken en bewegen. Versor deed dit veel beter dan de beste bestaande modellen, zelfs als de objecten veel zwaarder waren dan tijdens het leren.
Topologie (De "Gebroken Slang"): Kijk naar een plaatje met een slang die door een raster loopt. Is de slang heel of gebroken? Gewone AI faalt hier als het raster groter wordt. Versor slaagt bijna perfect, omdat het de verbinding begrijpt, niet de pixel-positie.
Alledaagse taken: Het werkt ook goed op standaard taken zoals het herkennen van plaatjes (CIFAR-10) of het lezen van tekst, maar dan met veel minder rekenkracht.

Samenvatting in één zin:

Versor is een nieuw type kunstmatige intelligentie die de wiskunde van de ruimte (draaien, bewegen, groeien) in zijn kerncode heeft verwerkt, waardoor het slimmer, sneller en begrijpelijker is dan de huidige AI-modellen die alles moeten "leren" door blind te gissen.

Waarom is dit belangrijk?
Het betekent dat we in de toekomst AI kunnen bouwen die echte natuurkunde begrijpt, zonder dat we enorme datacenters nodig hebben. Het is een stap richting robots die de wereld echt "voelen" in plaats van alleen data te verwerken.

Each language version is independently generated for its own context, not a direct translation.

Titel: Versor: Een Geometrische Sequentie-Architectuur

Auteurs: Trương Minh Huy en Edward Hirst
Datum: 26 februari 2026

1. Het Probleem: De "Euclidische Flesnek"

De huidige dominantie van de Transformer-architectuur in kunstmatige intelligentie berust op het paradigma van een "reeks vectoren" in een platte, hoogdimensionale Euclidische ruimte ( $\mathbb{R}^d$ ). In deze ruimte worden relaties tussen features gemodelleerd via het inproduct (dot product), wat een scalair maatstaf van similariteit is.

Het paper identificeert een fundamenteel probleem hiermee: de fysieke wereld bestaat niet uit losse punten in een vlakke ruimte, maar uit structuren die onderhevig zijn aan fysische wetten en symmetrieën (zoals rotatie, translatie en schaling, samengevat in de groep SE(3)).

De Euclidische Flesnek: Traditionele modellen moeten deze symmetrieën "leren" uit enorme hoeveelheden data-augmentatie, in plaats van ze algebraïsch te forceren. Dit leidt tot inefficiëntie, slechte generalisatie buiten de trainingsverdeling (OOD) en een gebrek aan interpretbaarheid.
Limitaties: Bestaande geometrische deep learning-modellen (zoals GATr of EGNN) zijn vaak statisch of vereisen kwadratische complexiteit ( $O(L^2)$ ) en handmatige encoding van structuren.

2. Methodologie: Conformale Geometrische Algebra (CGA)

Versor lost dit op door de lineaire algebra te vervangen door Conformale Geometrische Algebra (CGA), specifiek de algebra $Cl_{4,1}$ .

De Manifold: In plaats van vectoren in $\mathbb{R}^d$ , worden toestanden ingebed in de $Cl_{4,1}$ -manifold (een 32-dimensionale ruimte). Dit is een 5-dimensionale raamwerk dat de conformale groep van de 3D Euclidische ruimte lineariseert.
Null-Vectoren: 3D-punten $x$ worden isometrisch "gelift" naar null-vectoren $X$ in 5D:
$X = x + \frac{1}{2}x^2 e_\infty + e_o$
Hierdoor wordt de afstandsberekening een lineair inproduct: $X_i \cdot X_j = -\frac{1}{2}\|x_i - x_j\|^2$ .
Rotors: Transformaties worden niet als matrixvermenigvuldiging uitgevoerd, maar als rotors $R$ die via het "sandwich-product" werken: $\Psi' = R \Psi \tilde{R}$ . Dit garandeert dat alle transformaties geldige isometrieën zijn (geen onfysische vervormingen).

De twee kerncomponenten van Versor:

Geometric Product Attention (GPA):
- Vervangt de standaard attention-mechanisme. Query en Key worden multivectoren.
- Het inproduct $Q\tilde{K}$ $Q \tilde{K}$ wordt ontbonden in graden:
  - Scalar (Graad 0): Vertegenwoordigt afstand/proximiteit (vergelijkbaar met standaard attention).
  - Bivector (Graad 2): Vertegenwoordigt oriëntatie en koppelmoment (torque).
- Dit stelt het model in staat om niet alleen te kijken naar "hoe dicht" objecten bij elkaar zijn, maar ook naar hun "oriëntatie" ten opzichte van elkaar.
Recursive Rotor Accumulator (RRA):
- Een recurrente mechanisme dat de staat $\Psi_t$ beperkt tot de Spin-manifold ($Spin(4,1)$).
- In plaats van een nieuwe vector te voorspellen, voorspelt het model een lokale rotor $\Delta R_t$ en update de globale staat: $\Psi_{t+1} = \text{Normalize}(\Delta R_t \Psi_t)$ .
- Complexiteit: Dit bereikt lineaire tijdscomplexiteit $O(L)$ en constante geheugencomplexiteit $O(1)$ , in tegenstelling tot de kwadratische complexiteit van Transformers.
- Stabiliteit: Door de staat op de manifold te houden (via normalisatie), wordt numerieke drift voorkomen en wordt het "exploding gradient"-probleem van standaard RNNs opgelost.

3. Hardware Versnelling

De berekening van het geometrische product is computatievriendelijk, maar traditioneel traag door geheugen-toegang. Versor introduceert twee optimalisaties:

Bit-Gemaskerde Kernels: Gebruikmakend van XOR-isomorfisme om de Cayley-tabel lookup te omzeilen. Dit resulteert in een 78x snelheidswinst ten opzichte van naïeve implementaties.
Matrix-Isomorfisme: Voor $Cl_{4,1}$ bestaat er een isomorfisme met $4 \times 4$ complexe matrices. Het vertalen van multivectoren naar deze matrixruimte maakt gebruik van geoptimaliseerde BLAS GEMM-operaties, wat de latentie verder verlaagt tot 1.05 ms per stap, sneller dan geoptimaliseerde Transformers.

4. Belangrijkste Resultaten

Versor werd getest op diverse taken en presteerde consequent beter dan Transformers, Graph Networks en andere geometrische baselines:

Chaotische N-Body Dynamica:
- Versor behaalde een lagere MSE (Mean Squared Error) dan Transformers en GNS, zelfs met 200x minder parameters (6.662 vs 1.32M).
- Energiebehoud: Versor toonde een veel stabielere energiebehoud (133% drift vs 381% bij Transformers) in chaotische systemen.
- Schaalgeneralisatie: Trainen op $N=5$ deeltjes resulteerde in succesvolle zero-shot generalisatie naar $N=3$ en $N=7$ , terwijl andere modellen faalden door vaste input-dimensies.
Topologisch Redeneren ("Broken Snake"):
- Op de taak om te bepalen of een pad continu is of gebroken, behaalde Versor een MCC van 0.993, vergeleken met slechts 0.070 voor Vision Transformers (ViT).
- Dit komt omdat Versor de algebraïsche wet van connectiviteit leert (null-displacement vectoren) in plaats van pixelcoördinaten te memoriseren.
Out-of-Distribution (OOD) Generalisatie:
- Bij een toename van de massa met factor 10, verbeterde Versor zijn prestaties (-63.9% fout), terwijl Transformers catastrofale fouten maakten (+1933.7%).
- Versor behield stabiele voorspellingen in distributies die volledig afweken van de training.
Efficiëntie:
- Parameterbesparing: 200x minder parameters dan een equivalente Transformer.
- Schaalbaarheid: Lineaire schaalbaarheid ( $O(L)$ ) voor lange sequenties, terwijl Transformers vastlopen bij geheugenoverschrijding bij lange contextvensters.

5. Betekenis en Toekomstperspectief

Het paper introduceert een paradigmaverschuiving in wetenschappelijk machine learning:

Inherent Symmetrie: Door symmetrieën (SE(3)) direct in de architectuur te coderen via algebra, in plaats van ze te laten leren, wordt de "Euclidische Flesnek" doorbroken.
Interpreteerbaarheid: De attention-mechanismen zijn direct interpreteerbaar als fysieke grootheden (afstand en koppelmoment).
Toepassingsgebied: Versor is niet beperkt tot fysica; het werkt ook effectief op NLP (WikiText) en beeldherkenning (CIFAR-10), wat suggereert dat geometrische inductieve bias universeel toepasbaar is.
Hardware: Het paper pleit voor de ontwikkeling van gespecialiseerde "Geometric Algebra Processing Units" (GAPU) om de rekenkracht van deze architectuur volledig te benutten, met potentiële snelheidswinsten van duizenden keren ten opzichte van huidige GPU's.

Conclusie: Versor bewijst dat het gebruik van Conformale Geometrische Algebra leidt tot modellen die niet alleen nauwkeuriger en efficiënter zijn, maar ook fundamenteel robuuster in het modelleren van de fysieke wereld en het generaliseren naar nieuwe schalen en configuraties.