🤖 machine learning

The Quantum Shortcut: Complex Phase-State Dynamics Reduce the Optimization Steps of Sequence Models

Dit artikel toont aan dat het vervangen van de standaard reële verborgen toestands-substraten door een complex-waardig, quantum-geïnspireerd alternatief de trainingsconvergentie van zowel state-space als op aandacht gebaseerde sequentiemodellen aanzienlijk versnelt, hoewel het langetermijnvoordeel in prestaties slechts standhoudt bij state-space architecturen.

Oorspronkelijke auteurs: Ahmed Nebli, Hadi Saadatdoorabi, Christopher Keibel, Kevin Yam

Gepubliceerd 2026-08-18

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ahmed Nebli, Hadi Saadatdoorabi, Christopher Keibel, Kevin Yam

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Moderne kunstmatige intelligentie, in het bijzonder de systemen die tekst schrijven, talen vertalen en het volgende woord in een zin voorspellen, vertrouwt op een specifiek soort wiskundige motor. Deze motoren verwerken informatie door deze door een reeks lagen te bewegen, vergelijkbaar met een signaal dat door een lange draad reist. Decennialang was de standaardmanier om deze motoren te bouwen het gebruik van reële getallen, de vertrouwde telgetallen en decimalen die we in ons dagelijs leven gebruiken. In deze standaardopstelling onthoudt de motor informatie uit het verleden door de grootte van zijn interne signalen sterk te houden. Echter, naarms de informatie verder terug in de tijd reist, hebben deze signalen de natuurlijke neiging om te krimpen, zoals een gefluister dat vervaagt in een lange gang. Wanneer het signaal te klein wordt, vergeet de machine effectief wat er aan het begin van de zin is gebeurd, wat het moeilijk maakt om te leren van lange reeksen gegevens. Dit vervagen is een fundamentele beperking van het huidige ontwerp, waardoor onderzoekers enorme hoeveelheden data en tijd moeten gebruiken om de machine te leren onthouden.

Een team van onderzoekers heeft een manier ontdekt om dit vervagingsprobleem te omzeilen door het getallensysteem waarop de machine denkt, te veranderen. In plaats van uitsluitend te vertrouwen op reële getallen, bouwden zij een versie van deze taalmodellen die complexe getallen gebruikt. Terwijl reële getallen slechts één waarde hebben, dragen complexe getallen twee afzonderlijke stukken informatie met zich mee: een grootte en een richting, of hoek. De onderzoekers ontdekken dat door de belangrijke informatie in de hoek op te slaan in plaats van in de grootte, de machine veel verder kon reizen zonder zijn geheugen te verliezen. Zelfs als de grootte van het signaal krimpt terwijl het door het netwerk beweegt, blijft de hoek perfect scherp en onveranderd. Dit stelt de machine in staat om de context van het begin van een zin vast te houden tot aan het einde van de zin, zonder dat het signaal ooit wegsterft in stilte.

De onderzoekers testten deze nieuwe aanpak door twee verschillende soorten taalmodellen te bouwen, waarvan één gebaseerd is op een standaardontwerp en de andere op een nieuwer, efficiënter ontwerp. Ze creëerden een "complexe" versie van elk, waarbij ze de reële getallen vervingen door complexe getallen, en trainden ze op drie verschillende tekstsets, variërend van een kleine collectie van 100 megabyte tot een enorme 15 gigabyte. De resultaten waren opmerkelijk. Op het kleinere, nieuwere ontwerp bereikte het complexe model hetzelfde nauwkeurigheidsniveau als het standaardmodel in slechts ongeveer een derde van de trainingsstappen. Op het grotere, traditionele ontwerp bereikte het ongeveer de helft van de stappen. Dit betekent dat de nieuwe modellen evenveel informatie leerden terwijl ze aanzienlijk minder data en tijd consumeerden.

Wat deze ontdekking bijzonder robuust maakt, is dat het voordeel onmiddellijk zichtbaar was, maar dat het gedrag van de twee ontwerpen uiteenliep naarmate de training voortduurde. De onderzoekers observeerden dat de complexe modellen al vanaf de allereerste honderd stappen van de training voorop liepen. Cruciaal was dat de aard van deze versnelling verschilde tussen de twee architecturen. In het geval van het nieuwere ontwerp (het state-space model) werd de kloof tussen het complexe model en het standaardmodel zelfs groter naarmate de training vorderde, wat suggereande dat het voordeel een permanent kenmerk is van het nieuwe ontwerp en geen vluchtig artefact van het begin van het proces. Voor het oudere ontwerp (het attention-gebaseerde model) was het voordeel echter het sterkst aan het begin en nam het daarna langzaam af, uitmondend in nul naarmate de training vorderde. Ondanks deze afname was de vroege impuls nog steeds aanzienlijk genoeg om de trainingstijd voor die specifieke architectuur met de helft te verkorten.

De onderzoekers waren zorgvuldig om te waarborgen dat deze versnelling niet werd veroorzaakt door simpelweg meer rekenkracht toe te voegen of de omvang van de modellen te veranderen. Ze stemden de twee versies van elk model zo nauwkeurig op elkaar af dat ze exact hetzelfde aantal aanpasbare onderdelen hadden, met een verschil van minder dan één honderdste procent. Ze gebruikten ook exact hetzelfde trainingsschema en dezelfde computerhardware voor beide versies. Deze strikte controle bevestigde dat het verschil in snelheid volledig voortkwam uit de overstap naar complexe getallen en de manier waarop de machine deze verwerkt. De studie sloot ook de mogelijkheid uit dat de complexe modellen simpelweg geluk hadden met hun startcondities; het consistente voordeel over verschillende groottes van tekst en verschillende modelarchitecturen wees op een fundamentele verbetering in hoe de machine leert.

Een van de meest interessante aspecten van dit werk is hoe het de manier verandert waarop de machine met conflicterende informatie omgaat. In een standaardmodel, als de machine onzeker is of een reeks getallen een jaartal of een prijs vertegenwoordigt, moet hij een van die mogelijkheden actief onderdrukken door zijn interne signaal te verkleinen totdat het verdwijnt. In het complexe model kan de machine in plaats daarvan de hoek van het signaal draaien. Als twee mogelijkheden met elkaar in conflict zijn, kan de machine ze zo draaien dat ze elkaar opheffen door een proces dat interferentie wordt genoemd, vergelijkbaar met hoe ruisonderdrukkende koptelefoons werken door een geluidsgolf te creëren die precies het tegenovergestelde is van het geluid. Dit stelt de machine in staat om het foute idee te verwerpen zonder de kracht van het juiste idee te verliezen, een capaciteit die standaardmodellen niet bezitten.

De onderzoekers merkten op dat hoewel de complexe modellen sneller leerden, er ook praktische afwegingen waren. De computerchips die voor deze taken worden gebruikt, zijn momenteel geoptimaliseerd voor reële getallen, dus het draaien van de complexe modellen vereiste iets meer rekenkracht per stap. Voor het nieuwere modelontwerp betekende deze extra kost dat de totale tijd om het model te trainen ongeveer gelijk was aan die van de standaardversie, ook al waren er minder stappen nodig. Echter, het complexe model consumeerde nog steeds veel minder data om dezelfde kwaliteit te bereiken, wat een groot voordeel is voor gespecialiseerde taken waarbij data schaars is. Voor het oudere modelontwerp hadden de onderzoekers geen geoptimaliseerde versie van het standaardmodel om mee te vergelijken, dus konden ze nog niet zeggen of de complexe versie in de echte wereld sneller zou zijn in de kloktijd, maar de winst in data-efficiëntie was duidelijk.

Dit werk suggereert dat de keuze van het getallensysteem even belangrijk is als de architectuur van het model zelf. Voor jaren hebben onderzoekers zich gericht op het veranderen van hoe de machine informatie routeert, maar deze studie laat zien dat het veranderen van de taal waarin de machine denkt, zelfs grotere voordelen kan opleveren. De complexe modellen leerden niet alleen een beetje sneller; ze veranderden fundamenteel de efficiëntie van het leerproces, waarbij ze hoge prestatieniveaus bereikten met een fractie van de data. De onderzoekers concludeerden dat hoewel hun huidige versie een praktische adaptatie is die de strikte wiskundige regels van de theorie versoepelt, het voldoende is om te bewijzen dat de complexe aanpak op grote schaal werkt. Ze hebben al hun code en trainingslogs vrijgegeven, in een uitnodiging aan anderen om de resultaten te verifiëren en te onderzoeken hoe deze nieuwe manier van denken de volgende generatie kunstmatige intelligentie kan verbeteren.

Technische Samenvatting: De Kwantum-Shortcut in Sequentiemodellen

1. Probleemstelling

Sequentiemodellen worden conventioneel gedefinieerd door hun "backbone" (bijv. aandacht of recurrentie) die informatie over posities heen routeert. Echter, bijna alle huidige modellen delen een vooraf bepaalde ontwerpkeuze met betrekking tot hun substraat: het getallensysteem dat wordt gebruikt om de verborgen toestand te representeren en de functionele vorm van de afbeelding van toestand naar voorspelling. Het heersende substraat gebruikt een reële toestandsvector ( $\mathbb{R}^d$ ) met een affine transformatie gevolgd door een softmax-readout.

Dit artikel identificeert twee fundamentele beperkingen van het reëel-affine-softmax substraat die onafhankelijk zijn van de backbone:

De Rank-bottleneck: Een affine afbeelding gevolgd door softmax produceert log-waarschijnlijkheidsmatrices met een rang van maximaal $d+1$ . Als de conditionele structuur van de data een hogere rang heeft, is het model misgespecificeerd, ongeacht hoe de toestand wordt berekend.
De Vanishing Gradient/Vergetelheid-trade-off: Reële lineaire recurrences met een spectrale radius $\rho < 1$ attenueren gepropageerde gradiënten met $\rho^T$ over $T$ stappen. Om stabiliteit te behouden en vergeten toe te staan, moeten modellen de toestand attenueren, wat tegelijkertijd het signaal van vroege posities erodeert.

De auteurs stellen dat deze beperkingen voortkomen uit het substraat zelf. Zij onderzoeken of een complex-waardig substraat, gebaseerd op de wiskunde van de kwantumtheorie (specifiek fase-dynamica en de Born-regel), deze problemen kan overwinnen en het aantal optimalisatiestappen kan verminderen dat nodig is om een doelverlies te bereiken.

2. Methodologie

Het Inzetbare Complex-waardige Substraat

Het artikel introduceert een "inzetbare" versie van een complex substraat, waarbij twee eigenschappen van een geïdealiseerd kwantum-geïnspireerd model (Nebli et al. [10]) worden versoepeld die voorheen directe inzetbaarheid in de weg stonden:

Versoepeling van Exacte Unitariteit: In plaats van een strikt norm-behoudende (unitaire) recurrente, die vergeten verbiedt, gebruiken de auteurs een contractieve, input-afhankelijke recurrente. De evolutie van de toestand wordt gedefinieerd als $|\psi_{t+1}\rangle = a_t \odot |\psi_t\rangle + b_t$ $∣ ψ_{t + 1} ⟩ = a_{t} ⊙ ∣ ψ_{t} ⟩ + b_{t}$ , waarbij de transitiecoëfficiënt $a_{t,k}$ $a_{t, k}$ een product is van een reële gate $\alpha_{t,k} \in (0,1)$ $α_{t, k} \in (0, 1)$ en een eenheidsmodulus-fase $\lambda_{t,k}$ $λ_{t, k}$ .
- Mechanisme: De gate $\alpha$ regelt het vergeten (amplitude-contractie), terwijl de fase $\lambda$ (gegenereerd via een diagonale Cayley-transformatie) informatie transporteert zonder distortie. Dit ontkoppelt vergeten van informatie-transport.
Versoepeling van de Born-vocabulaire Readout: De geïdealiseerde Born-regel ( $p_v = |\langle e_v | \psi \rangle|^2$ ) toegepast op de volledige vocabulaire is computationeel duur ($O(NV)$). De auteurs passen de Born-regel alleen toe als de scoringfunctie voor lineaire aandacht (een kwadratische vorm $|\langle q | k \rangle|^2$ ), terwijl ze een standaard getied-softmax kop behouden voor de uiteindelijke vocabulaire-output.

Experimenteel Ontwerp

Om het effect van het substraat te isoleren, hebben de auteurs het complexe substraat in twee verschillende backbones geïnstantieerd:

H-Mamba: Een complex realisatie van het Mamba state-space model.
H-Transformer: Een complexe realisatie van de Transformer met lineaire aandacht met Born-regel scoring.

Controles:

Parameter Matching: Complexe en reële modellen zijn gematcht tot binnen 0,02% van de totale parameters.
Protocol: Een enkel, vast trainingsprotocol (AdamW, cosine schedule, 750-stappen warmup) werd op alle modellen toegepast zonder per-model afstemming.
Corpora: Drie byte-level corpora variërend in grootte over 150x: enwik8 (100 MB), OpenWebText (3 GB) en FineWeb (15 GB).
Metrieken: De primaire metriek is het aantal optimalisatiestappen om specifieke validatieverliesdoelen (bits per karakter) te bereiken, in plaats van alleen het uiteindelijke verlies.

3. Belangrijkste Bijdragen

Definitie van een Inzetbaar Complex Substraat: Het artikel formaliseert een substraat dat de interferentie-eigenschappen van complexe fasen behoudt (via eenhedenmodulus Cayley-transformaties) terwijl het selectief vergeten mogelijk maakt (via sigmoid gates) en efficiënte vocabulaire readouts biedt (via softmax).
De "Quantum Shortcut": Empirisch bewijs dat dit substraat het aantal benodigde optimalisatiestappen om een doelverlies te bereiken met een factor van ongeveer 3 voor state-space modellen en 2 voor aandacht-modellen vermindert, vergeleken met hun reële tegenhangers van gelijke grootte.
Mechanisme-analyse:
- Fase-transport: Theoretische analyse (Lemma 6.2) toont aan dat relatieve fase door de recurrente wordt getransporteerd met een eenheidssensitiviteit, ongeacht de contractie-gates, terwijl reële amplitudes vervagen.
- Interferentie: De kwadratische Born-score staat destructieve interferentie (annulering) van hypothesen toe, een capaciteit die afwezig is in lineaire reële readouts.
- Decompositie: Het artikel beargumenteert dat de versnelling van de state-space primair komt door verbeterde gradiënt-conditionering (fase-transport), terwijl de versnelling van de aandacht een combinatie is van interferentie en conditionering, hoewel de laatste afneemt omdat de reële baseline al goed geconditioneerd is.

4. Resultaten

Optimalisatie-efficiëntie

Over alle drie de corpora en drie verliesdoelen (2,5, 2,2 en 2,0 bpc):

H-Mamba bereikte de doelen in ongeveer 1/3 van de stappen van de reële Mamba.
H-Transformer bereikte de doelen in ongeveer 1/2 van de stappen van de reële Transformer.
Dit voordeel werd vroeg in de training gevestigd (binnen de eerste 200 stappen) en bleef stabiel tijdens de dalende verliescurve.

Gedrag na de Warmup

Het artikel maakt onderscheid tussen vroege trainings-effecten en persistente voordelen:

State-Space (Mamba): Het prestatie-gat verbreedde zich nadat de learning-rate warmup eindigde (bijv. van 0,321 naar 0,354 bpc op OpenWebText), wat suggereert dat het voordeel geen artefact is van het warmup-schema maar een structureel voordeel van de recurrente.
Attention (Transformer): Het prestatie-gat verkleinde richting nul na de warmup, wat aangeeft dat het voordeel grotendeels een effect is van de vroege training.

Terminale Prestaties en Data-limieten

Op de grote web-corpora (OpenWebText, FineWeb) bereikten de complexe modellen lagere uiteindelijke validatieverliezen dan hun reële tegenhangers.
Op het kleine enwik8 corpus (100 MB) bereikten de complexe modellen de datalimiet eerder en begonnen ze eerder te overfitten dan de reële modellen, een gevolg van hun hogere sample-efficiëntie.

Computationele Kosten

Tokens: De reductie in stappen vertaalt zich direct in een reductie in geconsumeerde tokens (bijv. ~0,57B tokens bespaard voor H-Mamba op FineWeb om 2,0 bpc te bereiken).
Wall-Clock Tijd: Voor de aandacht-paren heft de huidige overhead van de gefuseerde kernel (die draait op de helft van de throughput van het reële tegenovergestelde) het stap-voordeel op, wat resulteert in gelijkwaardigheid in wall-clock tijd. Voor de state-space paren is een eerlijke vergelijking met een geoptimaliseerde reële baseline kernel nog in afwachting, maar het stap-voordeel suggereert potentieel tijdsbesparingen indien dergelijke kernels worden ontwikkeld.

5. Betekenis en Claims

Het artikel claimt dat het substraat (het getallensysteem en de readout-vorm) een ontwerpaspect is dat even cruciaal is als de backbone. De primaire betekenis is de demonstratie dat het vervangen van het reële substraat door een complex substraat, zelfs in een versoepelde, inzetbare vorm, een substantiële reductie oplevert in de optimalisatiestappen die nodig zijn voor sequentiemodellering.

De auteurs stellen expliciet:

De "Quantum Shortcut" is een reductie in optimalisatiestappen, niet noodzakelijkerwijs een reductie in wall-clock tijd (vanwege huidige kernel-inefficiënties).
Het voordeel is backbone-onafhankelijk in de vroege fase, maar persistent alleen voor de state-space backbone, wat de hypothese ondersteunt dat het mechanisme geworteld is in het vermogen van de recurrente om fase te transporteren zonder attenuatie.
De resultaten worden niet toegeschreven aan verschillen in parameteraantal of tuning-artefacten, gezien de strikte matching en identieke protocollen.
Het artikel claimt niet de rank-bottleneck op vocabulaire-niveau op te lossen (omdat de softmax-kop reëel blijft), maar demonstreert dat het complexe substraat de optimalisatie-traject en sample-efficiëntie van bestaande backbones verbetert.

Het werk concludeert dat het veld waarin een model rekent een fundamentele ontwerpbeslissing is, en dat complex-waardige dynamica een levensvatbaar pad biedt naar meer efficiënte training van sequentiemodellen.