Scaling Laws for Hybrid Quantum Neural Networks: Depth, Width, and Quantum-Centric Diagnostics

Probleemstelling

Hybride quantum-neurale netwerken (QNN's) zijn een veelbelovende benadering voor machine learning in het NISQ-tijdperk (Noisy Intermediate-Scale Quantum). Deze modellen combineren klassieke neurale modules met geparametriseerde quantum circuits (PQCs). Hoewel er veel onderzoek is gedaan naar de prestaties van deze modellen, is het onduidelijk hoe hun prestaties en kwantumbewegingen schalen met twee fundamentele architecturale dimensies:

1. Breedte ($Q$): Het aantal qubits, wat de toegankelijke Hilbertruimte exponentieel vergroot.
2. Diepte ($L$): Het aantal variabele lagen, wat het aantal trainbare transformaties en verstrengelingsoperaties vergroot.

Een groot probleem in de huidige literatuur is dat schaling vaak wordt geëvalueerd op basis van alleen voorspellende metrics (zoals nauwkeurigheid), terwijl meerdere factoren tegelijk worden veranderd. Dit maakt het moeilijk om prestatieverbeteringen toe te schrijven aan de quantum-architectuur zelf. Bovendien kan het vergroten van capaciteit leiden tot tegenstrijdige effecten: diepere circuits kunnen last krijgen van "barren plateaus" (verdwijnende gradiënten), terwijl bredere circuits de trainingskosten verhogen zonder noodzakelijkerwijs betere generalisatie te bieden. Er is behoefte aan een gecontroleerde studie die de relatie tussen architecturale schaling, trainingsdynamiek en voorspellende prestaties in kaart brengt.

Methodologie

De auteurs voeren een gecontroleerde schalingsstudie uit op hybride QNN-classificatoren voor beeldherkenning. Het experimentele protocol is ontworpen om de effecten van breedte en diepte te isoleren:

• Architectuur: Het model bestaat uit een klassiek voorverwerkingsmodule (MLP voor grijstinten, CNN voor RGB-beelden) die beelden omzet in een $Q$-dimensionale feature-vector, een PQC met $Q$ qubits en $L$ variabele lagen, en een lichtgewicht klassieke readout-head.
• Gecontroleerde Schaling: Er worden twee sweeps uitgevoerd waarbij één variabele wordt veranderd terwijl de andere constant wordt gehouden:
  1. Diepte-schaling: $Q$ is vast (4 qubits), $L$ varieert van 2 tot 10.
  2. Breedte-schaling: $L$ is vast (dataset-specifiek, meestal 2 of 6), $Q$ varieert van 2 tot 10.
• Datasets: De studie omvat drie benchmarks: MNIST (grijstinten), CIFAR-10 (RGB) en Intel Image Classification (RGB).
• Trainingsomgeving: Alle modellen worden getraind met een vast trainingsbudget (epochs, batchgrootte, optimizer Adam) per dataset om te zorgen dat verschillen in prestaties puur door de architectuur worden veroorzaakt.
• Evaluatiemetrics:
  • Voorspellende metrics: Accuracy, Precision, Recall, F1-score en PR-AUC.
  • Quantum-centric diagnostics:
    • QCE (Quantum Circuit Expressibility): Meet hoe breed de circuitfamilie de Hilbertruimte verkent.
    • EEE (Effective Entanglement Entropy): Meet de mate van verstrengeling tussen subsystemen.
    • QGN (Quantum Gradient Norm): Meet de grootte van de gradiënten tijdens training (indicator voor trainbaarheid en barren plateaus).

Belangrijkste Bijdragen

1. Gecontroleerde Schalingsstudie: Een systematische analyse van hybride QNN's waarbij breedte en diepte apart worden gevarieerd onder identieke trainingsvoorwaarden.
2. Unificatie van Evaluatie: Een protocol dat voorspellende prestaties koppelt aan quantum-diagnostics om schalingsmechanismen interpreteerbaar te maken.
3. Empirische Karakterisering: Identificatie van dataset-afhankelijke schalingsregimes, inclusief verzadiging en niet-monotone gedragingen.
4. Trade-off Analyse: Een kwantitatieve analyse (via rangcorrelatie) van de relatie tussen prestatieverbeteringen en veranderingen in quantum-eigenschappen.

Resultaten

1. Diepte-schaling (Vaste $Q$, variabele $L$)

• Prestaties: Het verhogen van de diepte leidt niet tot een lineaire verbetering. Prestaties verbeteren aanvankelijk, maar vertonen daarna onregelmatige patronen, oscillaties en verzadiging. Bij sommige datasets (zoals MNIST) zien ze scherpe dalingen op specifieke dieptes.
• Diagnostics:
  • QCE en EEE: Deze metrics satureren al bij lage diepte. Extra lagen breiden de expressiviteit of verstrengeling niet significant uit.
  • QGN: De gradiëntnorm wordt variabeler naarmate de diepte toeneemt, wat wijst op instabiele trainingsdynamiek en het risico op barren plateaus.
• Conclusie: Diepere circuits zorgen niet voor meer bruikbare capaciteit, maar verstoren vooral de optimalisatiestabiliteit.

2. Breedte-schaling (Vaste $L$, variabele $Q$)

• Prestaties: Het verhogen van het aantal qubits leidt tot een gladdere en meer voorspelbare verbetering van de prestaties, gevolgd door een verzadigingsregime. Bij complexe datasets (CIFAR-10) blijft de verbetering langer aanhouden dan bij eenvoudige datasets (MNIST).
• Diagnostics:
  • QCE en EEE: Deze metrics stijgen systematisch met het aantal qubits, wat aangeeft dat de toegankelijke representatieruimte daadwerkelijk groeit.
  • QGN: Blijft relatief stabiel, wat suggereert dat het vergroten van de breedte de trainingsdynamiek niet even negatief beïnvloedt als het vergroten van de diepte.
• Conclusie: Breedte-schaling is effectiever voor het vergroten van de modelcapaciteit, maar bereikt ook een punt van afnemende meerwaarde wanneer het trainingsbudget niet toereikend is om de grotere parameter ruimte te optimaliseren.

3. Alignering van Prestaties en Diagnostics

• Er is een sterke positieve rangcorrelatie tussen breedte-schaling en verbeteringen in QCE/EEE en voorspellende prestaties (AUC).
• Bij diepte-schaling is deze correlatie zwak of afwezig; prestaties fluctueren zonder dat dit wordt weerspiegeld in expressiviteit of verstrengeling.
• De QGN correleert nauwelijks met de uiteindelijke prestaties, wat aangeeft dat gradiëntgrootte alleen geen betrouwbare voorspeller is voor welke architectuur het beste presteert.

Betekenis en Conclusie

De studie levert praktische richtlijnen voor het ontwerpen van hybride QNN's:

• Voorkeur voor Breedte: Onder een vast trainingsbudget levert het vergroten van het aantal qubits ($Q$) doorgaans betrouwbaardere en gladdere prestatieverbeteringen op dan het vergroten van de diepte ($L$).
• Dataset-afhankelijkheid: Eenvoudige datasets (zoals MNIST) bereiken snel een verzadigingspunt, terwijl complexere datasets (zoals CIFAR-10) langer profiteren van extra qubits.
• Rol van Diagnostics: Het gebruik van quantum-centric diagnostics (QCE, EEE, QGN) is essentieel om "diminishing returns" te detecteren. Wanneer QCE/EEE verzadigen en QGN variabel wordt, is verdere schaling waarschijnlijk niet rendabel.

De auteurs concluderen dat effectieve schaling van hybride QNN's een balans vereist tussen capaciteitsgroei (gevolgd door QCE/EEE) en optimalisatiestabiliteit (gevolgd door QGN), en dat deze keuze afhankelijk is van de complexiteit van de dataset. Dit werk vult een belangrijke lacune in de literatuur door te laten zien dat "meer" niet altijd "beter" betekent, en dat de manier waarop wordt geschaald (breedte vs. diepte) cruciaal is voor het succes van quantum machine learning.