⚛️ kwantumfysica

Invariance can prevent overfitting and shortcut learning in Quantum Neural Networks

Dit artikel toont aan dat het integreren van $D_4$ -symmetrie in kwantum neurale netwerken de generalisatie, de robuustheid tegen shortcut learning en de ruisresistentie aanzienlijk verbetert vergeleken met niet-invariante modellen met identieke architecturen en aantal parameters over diverse beeldclassificatietaken heen.

Oorspronkelijke auteur: Giuseppe D'Ambruoso, Giovanni Gramegna, Domenico Pomarico, Giuseppe Magnifico, Cosmo Lupo

Gepubliceerd 2026-11-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteur: Giuseppe D'Ambruoso, Giovanni Gramegna, Domenico Pomarico, Giuseppe Magnifico, Cosmo Lupo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteur. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de wereld van kunstmatige intelligentie leren computers de wereld te zien door afbeeldingen te scannen en patronen te vinden. Wanneer een machine naar een foto van een kat kijkt, geeft het niet uit of de kat rechtop zit, ligt of vanuit een andere hoek wordt bekeken; het label "kat" blijft hetzelfde. Dit vermogen om te herkennen dat de kernidentiteit van een object constant blijft, zelfs wanneer de positie verandert, wordt invariantie genoemd. Decennialang hebben ingenieurs klassieke computerprogramma's gebouwd die deze regel hard-coden, waarbij ze de computer leren om rotatie en reflectie te negeren zodat ze sneller en nauwkeuriger kunnen leren. Nu proberen wetenschappers een nieuw soort computer te bousmen die de vreemde wetten van de kwantumfysica gebruikt om informatie te verwerken. Deze kwantummachines zijn in theorie ongelooflijk krachtig, maar ze zijn momenteel erg klein en fragiel, en gevoelig voor fouten wanneer ze proberen te leren van beperkte gegevens. Een belangrijke vraag is geweest of deze nieuwe kwantummachines ook kunnen leren om de positie van een object te negeren om betere leerlingen te worden, of dat hun unieke fysica hen te gevoelig maakt voor dergelijke details.

Een team van onderzoekers zette zich in om dit te beantwoorden door vier verschillende kwantummodellen te bouwen om taken van beeldclassificatie op te lossen. Ze wilden zien of het afdwingen van een kwantumcomputer om de symmetrie van een afbeelding te respecteren — wat betekent dat het een geroteerde afbeelding als hetzelfde object behandelt — zou helpen om beter te leren. Om dit eerlijk te doen, construeerden ze vier verschillende modellen die op elk punt identiek waren, behalve in de manier waarop ze met symmetrie omgingen. Ze gebruikten hetzelfde aantal kwantumbits, hetzelfde aantal instelbare instellingen en dezelfde onderliggende wiskundige structuur. Twee van deze modellen werden van nature "invariant" ontworpen, wat betekent dat hun interne regels hen dwongen de oriëntatie van de afbeelding te negeren. De andere twee mochten de oriëntatie wel opmerken, waardoor een geroteerde afbeelding als een volledig andere invoer werd behandeld. De onderzoekers testten deze modellen op vier verschillende uitdagingen: het herkennen van handgeschreven cijfers, het identificeren van eenvoudige geometrische vormen, het onderscheiden van twee soorten sterrenstelsels en het opsporen van verschillende vormen van rode bloedcellen. In elk geval verschenen de afbeeldingen in willekeurige rotaties, precies zoals ze in de echte wereld zouden kunnen voorkomen.

De resultaten waren duidelijk en consistent over alle vier de taken. De modellen die gebouwd waren om de oriëntatie van de afbeeldingen te negeren, leerden veel sneller en maakten minder fouten op nieuwe, ongeziene plaatjes. Omdat ze werden gedwongen zich alleen op de vorm van het object te concentreren en niet op de positie, verspilden ze hun beperkte leercapaciteit niet aan het memoriseren van specifieke details van de trainingsfoto's. In tegenstelling hiertoe memoriseerden de modellen die de oriëntatie mochten opmerken snel de exacte houdingen van de weinige afbeeldingen die ze te zien kregen. Wanneer deze niet-invariante modellen geconfronteerd werden met een nieuwe afbeelding met een andere rotatie, faalden ze vaak volledig. De onderzoekers ontdekten dat het simpelweg symmetrisch maken van de schakeling van de kwantumcomputer niet genoeg was; ook de laatste stap waar de computer zijn antwoord uitleest, moest symmetrisch zijn. Als de computer gebouwd was met symmetrische regels maar gevraagd werd om een niet-symmetrisch antwoord te geven, slaagde hij er nog steeds niet in om te generaliseren.

De studie onderzocht ook een veelvoorkomend probleem in machine learning genaamd "shortcut learning", waarbij een model een makkelijke truc vindt om het antwoord te raden in plaats van de echte regel te leren. De onderzoekers voegden een kleine, verborgen watermerk toe aan de hoek van elke trainingsafbeelding om te zien of de modellen er gebruik van zouden maken. De modellen die de oriëntatie konden opmerken, leerden deze truc direct; ze keken naar de hoek, zagen het watermerk en raadden het antwoord zonder ooit naar de eigenlijke afbeelding te kijken. Wanneer de onderzoekers het watermerk naar een andere hoek verplaatsten, faalden deze modellen en zakten ze naar het niveau van willekeurig gokken. De invariante modellen konden het watermerk echter helemaal niet zien omdat het meedraaide met de rotatie van de afbeelding. In plaats daarvan werden ze gedwongen om naar de werkelijke inhoud van de foto te kijken, en zij bleven de objecten correct identificeren, zelfs wanneer de truc werd verwijderd.

Ten slotte testte het team hoe deze bevindingen standhielden tegen de ruis en fouten die typerend zijn voor huidige kwantumhardware. Echte kwantumcomputers zijn imperfect en hun signalen raken vaak verstoord door hitte en interferentie. De onderzoekers simuleerden deze omstandigheden en vonden dat het voordeel van de invariante modellen standhield. Zelfs toen de kwantumsignalen ruisachtig waren, bleven de modellen die de oriëntatie negeerden nauwkeuriger en minder gevoelig voor overfitting dan hun tegenhangers. De studie suggereert dat voor kwantumcomputers nuttig te zijn in de echte wereld, vooral wanneer gegevens schaars zijn, het direct inbouwen van symmetrie in hun ontwerp een krachtig hulpmiddel is. Het werkt als een vangrail die de machine voorkomt afgeleid te worden door irrelevante details en helpt het te focussen op de ware patronen die de wereld om hen heen definiëren.

Technische Samenvatting: Invariantie in Kwantum Neurale Netwerken

Probleemstelling
Variational Quantum Algorithms (VQA's), specifiek Quantum Neural Networks (QNN's), zijn een leidende aanpak voor machine learning op nabije kwantumhardware. De bruikbaarheid ervan wordt echter beperkt door het beperkte aantal qubits, ruis en het "barren plateau"-probleem, waarbij gradiënten exponentieel verdwijnen met de systeemgrootte. Bijgevolg worden QNN's doorgaans getraind op kleine datasets, wat een kritische vraag oproept: generaliseren ze effectief vanuit slechts enkele voorbeelden? Hoewel symmetrie-bewuste architecturen (equivariante netwerken) theoretisch verwacht worden de generalisatie en data-efficiëntie te verbeteren door het model te beperken tot invariante functies, hebben eerdere studies moeite gehad om het specifieke voordeel van symmetrie te isoleren. Vaak worden equivariante modellen vergeleken met niet-equivariante baselines die verschillen in gate-sets, circuitstructuur of parameteraantallen, waardoor het onduidelijk blijft of de prestatiewinst voortkomt uit symmetrie of andere architecturale verschillen. Bovendien blijft het onduidelijk of het voordeel voortkomt uit het equivariante circuit zelf of de invariante readout, en of deze modellen robuust zijn tegen "shortcut learning" (het vertrouwen op spurieuze aanwijzingen) en realistische hardware-ruis.

Methodologie
De auteurs voeren een gecontroleerd onderzoek uit naar de rol van invariantie in beeldclassificatietaken waarbij labels invariant zijn onder de diadrische groep $D_4$ (rotaties met veelvouden van $90^\circ$ en reflecties). Om het effect van symmetrie te isoleren, ontwerpen zij een studie die vier verschillende 8-qubit modellen vergelijkt die hetzelfde delen:

Identieke Encodering: Amplitude-encodering van $16 \times 16$ pixel afbeeldingen op 8 qubits, waarbij $D_4$ werkt via bit-flips en register-swaps.
Identieke Circuitstructuur: Hetzelfde aantal lagen, trainbare parameters en parameter-sharing patronen.
Equivalente Dynamical Lie Algebras (DLA): De circuits zijn zo geconstrueerd dat hun DLA's conjunct zijn en van dezelfde dimensie ($569$), wat garandeert dat ze dezelfde expressieve kracht bezitten met betrekking tot bereikbare unitaries.

De vier modellen worden gedefinieerd door de combinatie van circuit-equivariante en readout-invariantie:

Equiv: Een equivariant circuit gemeten met een equivariant observable (volledig invariant model).
Equiv-NoSym: Hetzelfde equivariant circuit gemeten met een niet-equivariant observable (niet-invariant model).
NonEquiv: Een niet-equivariant circuit (geconstrueerd door het equivariant circuit te conjugeren met een vaste unitary op één register) gemeten met een equivariant observable (niet-invariant model).
NonEquiv-Twirled: Het niet-equivariant circuit gemiddeld over de groep $D_4$ (klassieke post-processing) om invariantie af te dwingen.

De modellen worden getest op vier binaire classificatietaken: MNIST-cijfers (4 vs. 5), een synthetische taak (kruis vs. vierkant), Galaxy10 (face-on vs. edge-on sterrenstelsels) en rode bloedcellen (sikkelvormig vs. andere vervormde vormen). De studie evalueert de generalisatiefout, robuustheid tegen shortcut learning (gebruikmakend van klasse-afhankelijke watermerken en gradiënten) en veerkracht tegen een realistisch ruismodel dat supergeleidende kwantumprocessors simuleert.

Belangrijkste Bijdragen en Resultaten
De studie levert zes primaire bevindingen op:

Invariantie Voorkomt Overfitting: Op alle vier de taken vertonen invariante modellen (Equiv en NonEquiv-Twirled) die getraind zijn op slechts 20–40 afbeeldingen, aanzienlijk kleinere generalisatie-gaps en hogere testnauwkeurigheid vergeleken met niet-invariante modellen. Niet-invariante modellen hebben de neiging om te overfitten op de specifieke poses die in de trainingsset aanwezig zijn.
Circuit-Equivariantie is Onvoldoende: Het equivariante circuit alleen garandeert geen generalisatie. Het Equiv-NoSym model (equivariant circuit, niet-invariant readout) overfit even sterk als het niet-equivariante NonEquiv model. Het voordeel ontstaat pas wanneer het volledige model (circuit + readout) invariant is.
Kosten van het Leren van Symmetrie: Niet-invariante modellen overfitten omdat ze de symmetrie uit de data moeten leren. Wanneer getest op rechtopstaande cijfers (waar oriëntatie vaststaat en informatief is), overfit het niet-invariante model aanzienlijk minder, wat bevestigt dat het overfitten in settings met willekeurige poses de prijs is voor het afleiden van de symmetrie-constraint.
Ingebouwde vs. Gemiddelde Invariantie: Zowel ingebouwde invariantie (Equiv) als klassieke groep-averaging (NonEquiv-Twirled) voorkomen overfitting. Echter, hun nauwkeurigheid hangt af van de taak. Equiv presteert beter op de synthetische taak, terwijl NonEquiv-Twirled beter presteert op rode bloedcellen. Dit wordt toegeschreven aan hun verschillende functieklassen: Equiv heeft een kleinere, volledig invariante feature space, terwijl NonEquiv-Twirled een grotere, niet-invariante ruimte projecteert op invariante features.
Immuniteit voor Oriëntatie-Shortcuts: Wanneer getraind met klasse-afhankelijke hoekwatermerken of helderheidsgradiënten (shortcuts), leren niet-invariante modellen deze spurieuze aanwijzingen en falen ze wanneer de aanwijzingen worden verplaatst of verwijderd. Invariante modellen, die niet in staat zijn om geroteerde versies van de afbeelding te onderscheiden, negeren de positie-afhankelijke shortcuts en leren de werkelijke inhoud van de afbeeldingen.
Veerkracht tegen Ruis: Het prestatievoordeel van invariante modellen blijft bestaan onder realistische ruismodellen (thermische relaxatie, depolariserende ruis, readout-fouten) die typerend zijn voor huidige supergeleidende processors. Hoewel ruis de symmetrie van het Equiv model licht doorbreekt, is de degradatie minimaal (<2%) en blijft de generalisatie-gap gunstig vergeleken met niet-invariante modellen.

Betekenis
Dit artikel demonstreert dat het integreren van taak-symmetrieën in QNN's een levensvatbare strategie is om overfitting en shortcut learning te mitigeren in de data-beperkte regime van nabije kwantumapparaten. Cruciaal is dat de studie vaststelt dat het voordeel niet inherent is aan de equivariante circuitstructuur alleen, maar vereist dat de modeloutput invariant is. Door te controleren voor circuitdiepte, parameteraantal en de dynamical Lie algebra, tonen de auteurs aan dat invariantie fungeert als een krachtige inductieve bias, waardoor modellen kunnen generaliseren vanuit weinig voorbeelden zonder te vertrouwen op spurieuze correlaties. Deze resultaten ondersteunen het gebruik van symmetrie-constraints in kwantummodelontwerp, met name wanneer gelabelde data schaars is, terwijl ze ook benadrukken dat de specifieke keuze van de invariante functieklasse (ingebouwd vs. twirled) moet worden afgestemd op de specifieke taak.

Meer zoals dit