Architecture Shape Governs QNN Trainability: Jacobian Null Space Growth and Parameter Efficiency

Dit artikel toont aan dat, hoewel verschillende variatiekwantumkringsarchitecturen met hetzelfde coderingsbudget identieke frequentiespectra genereren, hun trainbaarheid fundamenteel wordt bepaald door de architecturale vorm, waarbij seriële ontwerpen lijden onder structurele gradiëntuitputting als gevolg van Jacobiaanse rangdeficiëntie, terwijl parallelle ontwerpen en het toevoegen van feature-map-lagen parameter-efficiëntie en robuuste convergentie garanderen.

De kern

Stel je voor dat je een robot probeert te leren het weer te voorspellen door hem een reeks patronen te tonen. Je hebt een vast "budget" aan middelen om deze robot te bouwen. In de wereld van kwantumcomputing wordt dit budget de Encoderingsbegroting ($E$) genoemd. Het is de totale hoeveelheid "informatiecapaciteit" die je hebt om de data in de machine te voeden.

Dit artikel stelt een eenvoudige maar verrassende vraag: Maakt het uit hoe je je middelen rangschikt?

Specifiek: als je een begroting van 12 eenheden hebt, is het dan beter om een robot te bouwen met 1 brein dat zeer diep nadenkt (12 verwerkingslagen), of 12 breinen die elk een beetje nadenken (1 laag elk)?

Het artikel concludeert dat de vorm van het brein van de robot enorm belangrijk is, en hier is waarom, met behulp van alledaagse analogieën.

1. Het "Eén Brein"-probleem: Structurele Gradiënt-uitputting

Stel je een enkele persoon voor (een Seriele Architectuur) die probeert een complex lied te leren. Deze persoon moet de tekst, de melodie en het ritme allemaal tegelijk onthouden.

Het artikel ontdekt een verborgen gebrek in deze opzet. Als je deze ene persoon meer en meer hulpmiddelen (parameters) geeft om te leren, stuiten ze op een muur. Hoeveel nieuwe hulpmiddelen je ook toevoegt, ze kunnen ze niet allemaal gebruiken.

• De Analogie: Denk aan het brein van de persoon als een enkele gang. Je kunt deze gang maar in één richting tegelijk doorlopen. Als je 100 nieuwe mensen (parameters) aan de gang toevoegt, eindigen ze allemaal op dezelfde plek, wachtend op hetzelfde signaal. Ze zijn structureel ontkoppeld van de taak.
• Het Resultaat: Het artikel noemt dit "Structurele Gradiënt-uitputting". Het is alsof je een team van 100 arbeiders hebt, maar de baas kan slechts instructies geven aan 3 van hen. De andere 97 staan daar met nul werk te doen en ontvangen een "nul-gradiëntsignaal" (geen instructies over hoe ze kunnen verbeteren). Naarmate je meer arbeiders toevoegt, groeit het percentage werkloze arbeiders totdat bijna iedereen nutteloos is.

2. De "Veel Breinen"-oplossing: Onafhankelijke Fase-trajecten

Stel je nu voor dat je 12 mensen hebt (een Parallelle Architectuur), elk met hun eigen kleine kamer. Ze werken allemaal aan hetzelfde lied, maar ze kunnen onafhankelijk van elkaar bewegen.

• De Analogie: Omdat ze in aparte kamers zitten, raken ze niet vast in een enkele gang. Iedere persoon kan zijn eigen unieke pad naar de oplossing vinden. Ze worden niet gedwongen om in de pas te marcheren.
• Het Resultaat: In deze opzet krijgt bijna elke enkele arbeider een bruikbare instructie. De "gang" is breed genoeg voor iedereen. Het artikel bewijst dat zolang je een bepaald aantal arbeiders niet overschrijdt, iedereen bijdraagt aan het leerproces. Er is geen "uitputting".

3. De Twee Manieren om Meer Kracht Toe te Voegen

Zodra je een werkende robot hebt, wil je deze misschien slimmer maken. Het artikel test twee manieren om dit te doen, en de resultaten zijn zeer verschillend:

Optie A: Meer "Feature Map"-lagen toevoegen (De Kwantummanier)
Dit is alsof je de robot een betere set ogen of oren geeft. Het stelt de robot in staat hogere noten in de muziek te horen of fijnere details in het patroon te zien.

• Het Effect: Dit breidt de daadwerkelijke capaciteit van de robot uit. Het ontsluit nieuwe "richtingen" in de wiskunde die de robot kan leren.
• Het Resultaat: Dit is zeer efficiënt. Het artikel toont aan dat je met deze methode dezelfde hoge prestaties kunt bereiken met 1,6 tot 2,2 keer minder parameters (arbeiders). Het is alsof je minder mensen inhuurt, maar ze betere hulpmiddelen geeft.

Optie B: Meer "Trainable Blocks" toevoegen (De Klassieke Manier)
Dit is alsof je de bestaande robot meer geheugen geeft of meer repetitieve oefeningen, maar zonder zijn vermogen om nieuwe dingen te zien of te horen te veranderen.

• Het Effect: Dit ontsluit geen nieuwe capaciteiten. Het vertrouwt gewoon op een klassieke truc genaamd "interpolatie". Kortom, als je genoeg arbeiders hebt, kunnen ze uiteindelijk het antwoord raden door de gaten tussen de voorbeelden die ze hebben gezien op te vullen, zelfs als ze het onderliggende patroon niet echt begrijpen.
• Het Resultaat: Dit is inefficiënt. Je hebt veel meer arbeiders nodig om hetzelfde resultaat te krijgen, en je krijgt geen "kwantum"-voordeel. Je forceert het probleem gewoon.

4. De Realiteitstest

De auteurs hebben dit niet alleen gedaan met verzonnen wiskundeproblemen. Ze testten het op echte historische temperatuurdata uit Nottingham, Engeland.

• Wanneer de data zeer complex was: De "Veel Breinen"-aanpak met betere ogen (Feature Maps) slaagde. De "Meer Arbeiders"-aanpak faalde volledig omdat de arbeiders het patroon helemaal niet konden zien.
• Wanneer de data eenvoudiger was: De "Veel Breinen"-aanpak won nog steeds, met veel minder arbeiders om de klus te klaren.

De Conclusie

Als je een kwantummachinelearningmodel bouwt:

1. Stap niet alles in één lijn. Gebruik parallelle structuren (veel qubits) om te voorkomen dat je parameters "uitgeput" raken.
2. Voeg niet gewoon meer lagen van hetzelfde toe. Als je meer kracht nodig hebt, voeg dan meer "sensoren" (Feature Maps) toe om uit te breiden wat de machine kan zien, in plaats van gewoon meer "processors" (Trainable Blocks) toe te voegen die gewoon dezelfde oude trucs herhalen.

De vorm van je architectuur is niet zomaar een ontwerpkies; het bepaalt of je machine daadwerkelijk kan leren of dat het gewoon een menigte mensen is die in een gang staat te wachten op instructies die nooit komen.

Technische samenvatting

Technische Samenvatting: Architectuurvorm Bestuurt Trainbaarheid van QNN's

1. Probleemstelling

Variational Quantum Circuits (VQCs) met hoekcodering fungeren als afgekapt Fourier-reeks benaderingen. Theoretisch werk (Schuld et al., 2021; Holzer & Turkalj, 2024) stelt vast dat voor een vast totaal coderingsbudget $E = NL$ (waarbij $N$ het aantal qubits is en $L$ het aantal coderingslagen per qubit), het toegankelijke frequentiespectrum en de spectrale bias identiek zijn, ongeacht de vorm van de architectuur $(N, L)$.

Ondanks deze theoretische equivalentie in expressiviteit en spectrale redundantie, tonen empirische waarnemingen een aanzienlijk verschil in trainbaarheid aan. Zoals geïllustreerd in Figuur 1 van het artikel, slagen architecturen met een laag qubit-aantal (bijv. $N=1, 2$) er niet in om te convergeren naar oplossingen met hoge nauwkeurigheid ($R^2 \ge 0.95$) over een breed scala aan parameteraantallen, terwijl intermediaire architecturen (bijv. $N=3, 4$) slagen met veel minder parameters. Aangezien enkel-qubit circuits in de limiet universele functiebenaderaars zijn, kan expressiviteit alleen dit falen niet verklaren. Het artikel onderzoekt de structurele mechanismen die verantwoordelijk zijn voor deze trainbaarheidskloof en het differentiële effectiviteit van het verhogen van het parameteraantal via verschillende architecturale routes.

2. Methodologie en Theoretisch Kader

2.1 Structurele Analyse van de Jacobiaan

De auteurs analyseren de coëfficiënt-matching Jacobiaan $J \in \mathbb{R}^{|\Omega| \times P}$, waarbij $|\Omega| = 2E + 1$ het aantal reële Fourier-coëfficiënten is en $P$ het parameteraantal. De rang van $J$ bepaalt het aantal onafhankelijke Fourier-richtingen die toegankelijk zijn voor de optimizer. Parameters die in de nulruimte van $J$ liggen ($\ker J$) zijn structureel ontkoppeld van de verliesfunctie en ontvangen identiek nul gradiëntsignalen.

De studie contrasteert twee architecturale extremen bij een vast $E$:

• Seriele Architecturen ($N=1, L=E$): Een enkel qubit met $E$ coderingslagen.
• Parallelle Architecturen ($N=E, L=1$): $E$ qubits met elk één coderingslaag, potentieel verstrengeld via ansatz-lagen.

2.2 Belangrijke Theoretische Mechanismen

• Fase-locking in Seriele Circuits: De auteurs bewijzen dat voor enkel-qubit circuits de gradiëntrichtingen voor alle parameters een gemeenschappelijke globale fasefactor delen. Dit dwingt alle gradiëntvectoren om binnen een deelruimte van dimensie ten hoogste $2L + 1$ te liggen (Propositie 3.1, Lemma 3.2).
• Structurele Gradiënt-uitputting: In seriele circuits, naarmate het parameteraantal $P$ de rangplafond ($2L+1$) overschrijdt, groeit de dimensie van de nulruimte lineair ($\dim(\ker J) \ge P - (2L+1)$). Bijgevolg nadert het aandeel parameters dat een nul gradiëntsignaal ontvangt 1 naarmate $P \to \infty$. Dit verschilt van barre plateaus (McClean et al., 2018), aangezien het een structurele rangtekortkoming is in plaats van een exponentiële afname van gradiëntvariatie.
• Bilineaire Factorisatie in Parallelle Circuits: In parallelle architecturen factoriseren de Fourier-coëfficiënten in bilineaire termen afhankelijk van disjuncte sets parameters (Propositie A.1). Dit breekt de globale fasecoherentie, waardoor onafhankelijke fase-trajecten voor verschillende qubits mogelijk worden. Bijgevolg behouden parallelle architecturen generiek volledige kolomrang ($\sigma_{\min}(J) > 0$) voor $P \le 2E + 1$, waardoor structurele gradiënt-uitputting wordt vermeden totdat het parameteraantal de spectrale dimensie overschrijdt.

2.3 Experimenteel Ontwerp

De auteurs valideren deze theoretische claims met behulp van:

• Synthetische Doelen: Willekeurige Fourier-reeksen van specifieke graden ($d$) toegesneden op de minimale configuratie van elke architectuur.
• Real-world Data: De Nottingham temperatuur dataset (Hipel & McLeod, 1994).
• Twee Parameterisatie-routes:
  1. FM-route: Het verhogen van het aantal Feature Map (coderings) lagen $L$ terwijl de diepte van de trainbare blokken constant blijft. Dit breidt het frequentiespectrum $|\Omega|$ uit en verhoogt het rangplafond.
  2. Trainable Blocks (tbl)-route: Het verhogen van het aantal trainbare ansatz-lagen terwijl $L$ constant blijft. Dit verhoogt $P$ zonder het spectrum of het rangplafond te veranderen.
• Diagnostiek: Analyse van de eigenwaarde-spectra van de Jacobiaan QFIM om de "spectrale knie" (het rang-index waar eigenwaarden scherp dalen) te identificeren en het aandeel bruikbare gradiëntrichtingen te meten.

3. Belangrijkste Bijdragen

1. Identificatie van Structurele Gradiënt-uitputting: Het artikel bewijst dat seriele enkel-qubit architecturen lijden aan een structureel rangplafond van $2L+1$, ongeacht het parameteraantal. Dit leidt tot "structurele gradiënt-uitputting", waarbij een toenemend aandeel parameters ontkoppeld raakt van het verlies naarmate $P$ groeit.
2. Bewijs van Parallel Voordeel: De auteurs demonstreren dat parallelle architecturen deze beperking vermijden via onafhankelijke fase-trajecten, waardoor volledige kolomrang wordt behouden tot het theoretische limiet $P \le 2E + 1$. Dit voordeel is structureel, niet louter drempel-gebaseerd.
3. Differentiatie van Parameterisatiestrategieën: Het artikel stelt vast dat het toevoegen van Feature Map (FM) lagen en het toevoegen van trainbare blokken fundamenteel verschillende effecten hebben:
   • FM-lagen: Breiden het toegankelijke frequentiespectrum uit en verschuiven de spectrale knie naar rechts, waarbij een kwantum-specifiek mechanisme wordt ingeschakeld.
   • Trainbare Blokken: Breiden het spectrum niet uit; verbeteringen in training worden uitsluitend bereikt via het klassieke interpolatiemechanisme (overbepaalde systemen waar $P \ge n_{train}$).
4. Empirische Validatie van Efficiëntie: Experimenten tonen aan dat de FM-route de doelnauwkeurigheid ($R^2 \ge 0.95$) bereikt met 1,6–2,2× minder parameters dan de trainable blocks-route over verschillende architecturen ($N=1$ tot $N=6$) en doelgraden.

4. Resultaten

• Trainbaarheidskloof: Bij een vast coderingsbudget $E=12$ slagen seriele ($N=1$) en low-qubit ($N=2$) architecturen er niet in om $R^2 \ge 0.95$ te bereiken, zelfs niet met honderden parameters, terwijl $N=3$ en $N=4$ slagen met aanzienlijk minder parameters (Figuur 1).
• Validatie Rangplafond: Empirische metingen van de Jacobiaan-rang bevestigen dat seriele circuits onmiddellijk het $2L+1$ plafon bereiken, terwijl parallelle circuits volledige rang behouden totdat $P > 2E+1$ (Figuur 5).
• Gradiënt-uitputting: In seriele circuits groeit het aandeel parameters in $\ker J$ monotoon met $P$, en nadert 1. In parallelle circuits liggen geen parameters in $\ker J$ totdat $P$ de spectrale dimensie overschrijdt.
• FM vs. Trainbare Blokken:
  • Spectrale Knie: Langs de FM-route verschuift de spectrale knie naar rechts met elke toegevoegde laag, wat toegang aangeeft tot nieuwe Fourier-richtingen. Langs de trainable blocks-route blijft de knie vastgevroren op het theoretische plafond $2NL_{min} + 1$ (Figuur 3, Figuur 9).
  • Parameter-efficiëntie: De FM-route vereist consequent minder parameters om verzadiging te bereiken. Voor $N=1$ is de ratio 1,9×; voor $N=2$, 2,2×; voor $N=4$, 2,1×; en voor $N=6$, 1,6× (Tabel 2).
• Real-world Validatie: Op de Nottingham dataset, wanneer het coderingsbudget onvoldoende was ($E=12$), faalde de trainable blocks-route volledig ($R^2 < 0$) vanwege expressiviteitslimieten, terwijl de FM-route slaagde door het spectrum uit te breiden. Wanneer expressiviteit voldoende was ($E=24$), bleef de FM-route parameter-efficiënter voor $N \in \{1, 2, 4\}$.
• Uitzondering Larocca-regime: Voor $N=6$ met hoge expressiviteit ($E=24$) keerde het voordeel zich om: de trainable blocks-route slaagde terwijl de FM-route plateauerde. De auteurs schrijven dit toe aan het circuit dat vroeg in de FM-sweep het Larocca onderparameterisatie-regime betreedt ($P \approx R_{max} = 126$), waarbij het toevoegen van coderingslagen de parameterbehoefte sneller doet toenemen dan de toegevoegde parameters dit kunnen vervullen.

5. Betekenis en Claims

Het artikel claimt een precieze mechanistische verklaring te bieden voor de trainbaarheidskloof tussen seriele en parallelle Quantum Neural Networks (QNN's). Het betoogt dat de geometrie van de enkel-qubit toestandsruimte ($CP^1$) een fundamentele structurele beperking oplegt (fase-locking) die de effectieve rang van de Jacobiaan in seriele circuits beperkt, wat leidt tot structurele gradiënt-uitputting.

De primaire praktische betekenis is een ontwerpaanbeveling: Voeg Feature Map-lagen toe, geen trainbare blokken. De auteurs stellen dat het verhogen van de coderingsdiepte ($L$) de enige route is die een kwantum-specifiek mechanisme inschakelt (het uitbreiden van het toegankelijke frequentiespectrum en het verschuiven van de spectrale knie), terwijl het toevoegen van trainbare blokken vertrouwt op klassieke interpolatie. Deze structurele inzicht verklaart waarom parallelle architecturen beter trainbaar zijn en waarom FM-lagen parameter-efficiënter zijn.

De auteurs blijven bescheiden wat betreft de reikwijdte van hun theoretische bewijzen, noteren dat deze zijn vastgesteld voor architecturale extremen (seriële $N=1$ en product ansatz parallel). Zij erkennen dat uitbreiding naar hybride architecturen en algemene verstrengelende ansätze een open probleem blijft. Bovendien identificeren zij het Larocca onderparameterisatie-regime als een randvoorwaarde waar het FM-efficiëntievoordeel kan keren, wat suggereert dat er behoefte is aan verdere karakterisering van de afweging in dat specifieke regime.