⚛️ quantum physics

A Quantum Roadmap for Softmax Attention: Exact Born-Rule Analogs for Softmax Attention on the Probability Simplex

Dit artikel presenteert een machinaal gecontroleerde kwantum-roadmap die aantoont dat softmax-aandacht op de waarschijnlijkheidssimplex een exacte component-voor-component realisatie toelaat waarbij alle operaties, van de exponentiële softmax tot waarde-aggregatie, worden toegewezen aan specifieke kwantumpoortrotaties en Born-regelmetingen.

Oorspronkelijke auteurs: Eric A. F. Reinhardt, Adam J. Hauser

Gepubliceerd 2026-08-12

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Eric A. F. Reinhardt, Adam J. Hauser

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Kwantum-speeltuin: Waar AI en Waarschijnlijkheid elkaar ontmoeten

Stel je voor dat je een robot probeert te leren de wereld te begrijpen. Om dit te doen, moet de robot naar een reeks aanwijzingen kijken en beslissen welke het belangrijkst zijn. In de wereld van moderne kunstmatige intelligentie is de tool die hij hiervoor gebruikt "attention" (aandacht). Het is als een spotlight die de AI op de meest relevante delen van een zin of een afbeelding schijnt, terwijl de rest wordt genegeerd. Maar om deze spotlight correct te laten werken, moet de robot ervoor zorgen dat al zijn gissingen samen een perfect geheel vormen—zoals een taart waarbij elke punt samen precies 100% moet zijn. In de wiskunde wordt dit een "waarschijnlijkheids-simplex" genoemd.

Stel je nu een ander soort computer voor: een kwantumcomputer. In plaats van gewone schakelaars die aan of uit staan, gebruikt een kwantumcomputer minuscule deeltjes die zich in veel staten tegelijk kunnen bevinden, beschreven door waarschijnlijkheidsgolven. Wanneer je deze golven meet, storten ze in tot een enkel resultaat, en de wiskunde die deze ineenstorting beheerst, wordt de "Born-regel" genoemd. Hier komt de fascinerende wending: de Born-regel dwingt van nature af dat alle uitkomsten optellen tot één, precies zoals de waarschijnlijkheidstaart van de AI. Dit artikel stelt een grote vraag: Kunnen we het "attention"-mechanisme van de AI direct bouend uit deze kwantumgolven, waardoor we de rommelige wiskunde omzeilen die we normaal gesproken nodig hebben om de getallen op te tellen tot één? De auteurs, natuurkundigen van de University of Alabama, zeggen van wel, maar met een paar zeer specifieke regels en een verrassende nieuwe manier van denken over hoe AI "denkt".

De Kwantum-routekaart: AI-aandacht transformeren in een Dans van Golven

Beschouw het "Attention"-mechanisme in een moderne AI als een zeer geavanceus spelletje "Warm en Koud". Je hebt een vraag (de "Query") en een reeks mogelijke antwoorden (de "Keys"). De AI berekent hoe goed elke Key bij de Vraag past, vertaalt die matches naar een spotlight (de "Softmax"), en voegt vervolgens wat extra details toe (de "Values") om het uiteindelijke antwoord te creëren. Meestal gebeurt dit op een klassieke computer met veel zware wiskunde om ervoor te zorgen dat de spotlight-percentages exact optellen tot 100%.

Dit artikel presenteert een "Kwantum-routekaart" die laat zien hoe je exact hetzelfde spel kunt spelen, maar dan gebruikmakend van de natuurwetten van de kwantumfysica in plaats van zware wiskunde. De auteurs hebben een woordenboek gebouwd dat elke stap van het AI-proces vertaalt naar een kwantumactie. Het resultaat is een kwantumcircuit dat de aandacht van de AI niet alleen benadert, maar in de limiet van oneindige metingen exact hetzelfde is, maar dan met een aantal coole nieuwe superkrachten.

De Spotlight: Van Exponenten naar Cosinus

In de klassieke wereld gebruikt de AI een functie genaamd "Softmax" om ruwe scores om te zetten in percentages. Het is alsof je een lijst met getallen neemt, ze tot een macht verheft (exponenten), en ze vervolgens deelt door het totaal. Het werkt geweldig, maar het kan nooit een perfect nul produceren, tenzij de score oneindig negatief is.

De auteurs ontdekten een kwantumtruc. In de kwantumwereld, wanneer je een deeltje meet, is de kans op het zien van een specifiek resultaat het kwadraat van de hoogte van een golf (de "Born-regel"). Als je de kwantumgolven precies goed instelt, volgt de kans op een resultaat een cosinus-kwadraat-patroon.

De Magie: De auteurs hebben bewezen dat dit cosinus-kwadraat-patroon wiskundig identiek is aan de klassieke exponentiële Softmax voor alle "normale" gevallen.
De Superkracht: Maar hier komt de echte klapper. De klassieke exponentiële Softmax kan alleen maar benaderen naar nul; het kan nooit echt nul bereiken met een eindig aantal. De kwantumversie van de cosinus kan echter bij een specifieke, eindige instelling exact nul bereiken. Dit betekent dat de kwantum-AI van nature kan besluiten om een stuk informatie volledig te negeren (sparse attention) zonder dat daar oneindige wiskunde voor nodig is. Het is alsof je een dimschakelaar hebt die direct naar "uit" kan gaan, in plaats van alleen maar heel, heel donker te worden.

De Temperatuur: Het Tellen van Repetities

In AI is er een knop genaamd "temperatuur" die controleert hoe "willekeurig" of "zelfverzekerd" de AI is. Een hoge temperatuur maakt de AI willekeuriger; een lage temperatuur zorgt ervoor dat hij de beste optie kiest.

De Kwantum-twist: In dit artikel is temperatuur geen getal dat je in een computer typt. Het is een fysieke telling van hoe vaak je een meting herhaalt. Als je het kwantumsysteem $L$ keer meet en alleen de resultaten behoudt waar alles perfect verliep, creëert de wiskunde van nature het effect van een specifieke temperatuur. Hoe vaker je het experiment herhaalt, hoe "kouder" en gefocuster de AI wordt. Het verandert een software-instelling in een fysieke handeling.

De Residuele: De "Skip"-knop

Moderne AI-modellen hebben vaak een "residual connection" (residuele verbinding), wat een soort vangnet is. Het laat de oorspronkelijke input over een complexe verwerkingsstap heen springen en mengt deze met het nieuwe resultaat. Dit helpt de AI om beter te leren.

De Kwantum-poort: De auteurs hebben dit vangnet gebouwd met behulp van één extra kwantumbit (een "ancilla"). Door deze bit voor te bereiden in een specifieke mix van staten (een rotatiehoek), kunnen ze controleren hoeveel van de oorspronkelijke input zich mengt met het nieuwe resultaat.
- Als de hoek op een bepaalde manier wordt ingesteld, springt de input de hele procedure over (identiteit).
- Als deze op een andere manier wordt ingesteld, wordt de input volledig vervangen door het nieuwe resultaat.
- Als deze op een middelste hoek wordt ingesteld (specifiek $\pi/2$ ), creëert dit de perfecte 50/50-mix die klassieke AI gebruikt.
- Het beste van alles: deze hoek kan geleerd worden, wat betekent dat de AI zelf de perfecte hoeveelheid "overslaan" kan uitzoeken.

Het Nadeel: De "Measure-and-Reload"-stap

Je vraagt je misschien af: "Als dit zo perfect is, waarom hebben we dan nog geen kwantum-AI op onze telefoons?"
Het artikel is zeer eerlijk over de kosten. Om deze exacte match te krijgen, moet de kwantumcomputer stoppen, een klein stukje data meten, die waarde naar een klassieke computer sturen, de klassieke computer een snelle berekening laten uitvoeren, en vervolgens dat resultaat weer terug in de kwantummachine "laden" als een nieuwe instelling.

De Afweging: Deze "measure-and-reload"-stap verbreekt de perfecte flow van de kwantumgolf. De auteurs hebben bewezen dat je dit niet volledig binnen de kwantummachine kunt doen zonder aan nauwkeurigheid in te boeten (tenzij je een zeer complexe, benaderde methode gebruikt).
Het Oordeel: De constructie is exact als je oneindig veel tijd hebt om te meten en te herladen. Als je probeert dit allemaal in één keer te doen zonder te stoppen om te meten, krijg je slechts een benaderd antwoord. Het artikel bewijst dat voor dit specifieke type probleem, een perfecte, volledig coherente kwantumversie wiskundig onmogelijk is met de huidige methoden.

Waarom dit ertoe doet

Dit gaat niet alleen over het bouwen van een snellere computer; het gaat over het begrijpen van de diepe verbinding tussen hoe AI werkt en hoe het universum werkt.

Exactheid: Ze hebben bewezen dat voor AI-modellen die met waarschijnlijkheden werken (zoals het voorspellen van het volgende woord in een zin of het genereren van afbeeldingen), de kwantumversie een perfecte tweeling is van de klassieke versie.
Nieuwe Mogelijkheden: De kwantumversie kan van nature beter omgaan met "harde nullen" (het volledig negeren van zaken) dan de klassieke versie, wat suggereert dat klassieke AI misschien ook de "cosinus"-wiskunde zou moeten gebruiken, zelfs zonder kwantumcomputers.
Fysieke Realiteit: Het transformeert abstracte instellingen zoals "temperatuur" naar fysieke acties zoals "het tellen van metingen", wat ons een nieuwe manier geeft om over de werking van AI-parameters na te denken.

De auteurs hebben hun wiskunde zelfs gecontroleerd met een computerbewijs-systeem genaamd Lean 4 om te garanderen dat elke stap logisch waterdicht is. Hoewel dit niet betekent dat we morgen kwantum-AI hebben (de hardware moet nog inhalen), biedt het een helder, exact blauwdruk voor hoe deze twee werelden—klassieke AI en kwantumfysica—hetzelfde kunnen zijn, alleen spreken ze een andere taal.

Technische Samenvatting: Een Kwantum-Roadmap voor Softmax Attention

Probleemstelling
Transformer-architecturen vertrouwen op het aandachtmechanisme (attention mechanism), specifiek dot-product attention gevolgd door een softmax-niet-lineariteit, om sequenties te verwerken. Terwijl kwantummachine learning (QML) van nature opereert op de eenheidsbol van een complexe Hilbertruimte via de Born-regel (waarbij kansen constructief optellen tot één), dwingt klassieke attention deze waarschijnlijkheids-simplexstructuur af via een expliciete exponentiële softmax-projectie. Dit artikel onderzoekt of er een exacte, component-voor-component kwantumrealisatie bestaat van single-head gated attention voor inputs en outputs die gebonden zijn aan de waarschijnlijkheids-simplex, en tegen welke operationele kosten. De auteurs onderzoeken specifiek de mapping tussen klassieke exponentiële softmax en kwantum-amplitude-gebaseerde operaties, de afhandeling van residual connections, en de fysieke interpretatie van hyperparameters zoals temperatuur.

Methodologie
De auteurs construeren een single-head gated transformer attention-laag die compatibel is met kwantum-amplitude-encoding, uitgaande van row-genormaliseerde waarschijnlijkheidsverdelingen (de waarschijnlijkheids-simplex). De constructie is gebouwd uit zes primitieven, waarbij klassieke operaties worden gemapt naar specifieke kwantumcircuits:

Encoding: Inputs worden naar de eenheidsbol gelift via Born-regel amplitude-encoding ( $|x_i\rangle = \sum \sqrt{x_{ij}}|j\rangle$ ).
Query/Key Projecties: Klassieke gewichtsmatrices $W_Q$ en $W_K$ worden gerealiseerd als block-encoded unitaries. De auteurs gebruiken een variationele hardware-efficiënte rotation-CRY ansatz om deze contracties te benaderen, waarbij de block-encoding ancilla wordt gepost-geselecteerd om de lineaire actie op de amplitude-lift te extraheren.
Attention Scores: Inwendige producten tussen query- en key-amplitudes worden berekend via een Hadamard-test op een gedeelde data-register. De uitkomst is een klassieke score $z_{ij}$ .
Softmax Realisatie: De exponentiële softmax wordt gerealiseerd via een "measure-and-reload"-stap. De Hadamard-test uitkomst $z_{ij}$ wordt klassiek omgezet naar een rotatiehoek $\theta_{ij} = 2 \arccos(e^{z_{ij}/2})$ . Deze hoek controleert een $R_y$ rotatie op een attention-register. De resulterende Born-regel meetkansverdelingen leveren een $\cos^2(\theta/2)$ distributie op.
Value Aggregatie: De value-matrix $W_V$ (kolom-stochastisch) wordt gerealiseerd als een deterministische kwantumkanaal (Stinespring dilatatie) via controlled column-loading. Dit vermijdt block encoding, wat op amplitude-niveau zou opereren, door direct waarschijnlijkheids-niveau amplitudes te laden.
Gated Residual: De additieve residual connection wordt gerealiseerd als een Linear Combination of Unitaries (LCU) met behulp van een enkele ancilla qubit. De ancilla wordt voorbereid in een superpositie $\cos(\eta/2)|0\rangle + \sin(\eta/2)|1\rangle$ , gecontroleerd door de sublayer unitary, en gepost-geselecteerd.

De gehele algebraïsche kern van de constructie is machine-geverifieerd met Lean 4 tegen de mathlib bibliotheek.

Belangrijkste Bijdragen en Resultaten

Exacte Equivalentie in de Oneindige-Shot Limiet: Het artikel bewijst dat de samengestelde kwantumcircuit, gebruikmakend van één measure-and-reload stap per attention score, een output-waarschijnlijkheidsvector produceert die exact gelijk is aan de klassieke single-head attention laag met residual connection (Eq. 1–4) in de oneindige-shot limiet.
Cosine-Squared Softmax Isomorfisme en Extensie:
- Interieur Isomorfisme: De auteurs bewijzen een bijjectie $\theta = 2 \arccos(e^{z/2})$ tussen de hoekparameters van een $\cos^2$ -softmax en de scores van een exponentiële softmax. Op het interieur van de simplex (waar alle waarschijnlijkheden strikt positief zijn), zijn de twee verdelingen identiek.
- Strikte Grens-extensie: In tegen tegenstelling tot exponentiële softmax, die oneindige scores vereist om exacte nullen te produceren, bereikt de $\cos^2$ -softmax familie de grens van de simplex (exacte sparse attention) bij eindige parametere waarden ( $\theta = \pi$ ). Dit vertegenwoordigt een strikte extensie van de klassieke expressiviteit.
Temperatuur als Meting-Herhaling: De klassieke temperatuur hyperparameter $\beta$ wordt fysiek gerealiseerd als het aantal herhaalde gepost-geselecteerde meetrondes ( $L$ ). Het artikel bewijst dat $L$ identieke rondes van post-selectie een exacte exponentiële softmax oplevert bij een inverse temperatuur $\beta = L$ .
Residual Connection als Ancilla Voorbereiding: De klassieke additieve residual wordt geïdentificeerd als het specifieke geval $\eta = \pi/2$ van een geparametriseerde single-ancilla LCU circuit. Dit verenigt identity bypass ( $\eta=0$ ), full sublayer ( $\eta=\pi$ ), en additive residual ( $\eta=\pi/2$ ) in één enkele gate-angle familie.
Coherent No-Go Theorem: Het artikel bewist dat een exacte, eindige-diepte, volledig coherente realisatie van de exponentiële softmax vanuit affien-gecodeerde scores onmogelijk is binnen het Quantum Singular Value Transformation (QSVT) framework. De obstructie is de niet-polynomiale herparametrisering $z \mapsto e^{z/2}$ $z \mapsto e^{z /2}$ .
- Resolutie: De measure-and-reload stap biedt een exacte oplossing. Alternatief is een volledig coherente $\epsilon$ -benaderende oplossing mogelijk via QSVT polynomial dressing, waarbij de diepte schaalt als $O(\sqrt{\log(1/\epsilon)})$ .

Betekenis en Claims
Het artikel claimt een "woordenboek" te bieden in plaats van een simulatie, waarbij een structurele equivalentie wordt vastgesteld waarbij elke klassieke mechanisme een specifieke kwantum analogon heeft.

Structurele Uitlijning: Het werk demonstreert dat de waarschijnlijkheids-simplex setting het natuurlijke domein is voor kwantum amplitude-encoding, wat de normalisatieproblemen die inherent zijn aan generieke feature spaces oplost.
Expressiviteit: De $\cos^2$ -softmax wordt beweerd strikt expressiever te zijn dan exponentiële softmax bij eindige parameters vanwege het vermogen om exacte nullen (sparse attention) te genereren zonder asymptotische limieten.
Verificatie: De algebraïsche correctheid van de bijjecties, de grens-extensie en de circuit identiteiten zijn formeel geverifieerd in Lean 4, wat een type-theoretisch certificaat levert van de validiteit van de constructie.
Praktische Bruikbaarheid en Schaling: De auteurs zijn bescheiden over computationeel voordeel. Ze stellen expliciet dat voor klassieke data-inputs de constructie geen versnelling biedt; de shot budget vereist voor eindige-precisie inferentie schaalt als $\Omega(n^2/\epsilon^2)$ (of $\Omega(n^2/\epsilon)$ met amplitude estimation), wat leidt tot een totale gate count van $\Omega(n^3d/\epsilon^2)$ , wat slechter is dan klassieke $O(n^2d)$ FLOPs. De waarde van de constructie wordt gepresenteerd als structureel en theoretisch, voor modellen waar inputs al kwantum-native zijn (bijv. outputs van upstream kwantum lagen) of voor het verkennen van de $\cos^2$ -softmax als een nieuwe klassieke parametrisering voor simplex-waardige generatieve modellen.

Het artikel concludeert dat hoewel een exacte eindige-diepte coherente realisatie onmogelijk is, de measure-and-reload benadering een exacte equivalentie biedt, en de geïdentificeerde primitieven (block encoding, Hadamard test, gated LCU) een volledige roadmap vormen voor het implementeren van attention op kwantumhardware binnen het waarschijnlijkheids-simplex regime.