Benchmarking Quantum Kernel Support Vector Machines Against Classical Baselines on Tabular Data: A Rigorous Empirical Study with Hardware Validation

1. Probleemstelling

Quantum kernel-methoden worden vaak geprezen als een veelbelovende benadering om nabije-toekomstige quantumcomputers in te zetten voor toezicht op leren (supervised learning). De theorie suggereert dat quantum circuits data kunnen inbedden in exponentieel grote Hilbert-ruimtes, wat potentieel onoplosbare klassieke problemen kan oplossen. Echter, er is een gebrek aan rigoureuze benchmarks die quantum-kernmethoden vergelijken met sterke klassieke baselines op real-world tabulaire datasets. Bestaande studies lijden vaak onder methodologische tekortkomingen, zoals:

• Vergelijking met zwakke klassieke baselines (bijv. alleen lineaire SVM's).
• Gebrek aan geneste kruisvalidatie (nested cross-validation), wat leidt tot optimistische bias.
• Ontbreken van statistische significantietests.
• Gebrek aan validatie op echte quantumhardware.

De centrale vraag is of quantum kernel support vector machines (QSVMs) daadwerkelijk een voorsprong bieden op standaard tabulaire data ten opzichte van geoptimaliseerde klassieke SVM's.

2. Methodologie

De auteurs voerden een uitgebreide empirische studie uit die bestaat uit 970 experimenten en is gestructureerd in vier complementaire fasen.

• Datasets en Opzet:

  • Gebruik van 9 binaire classificatie-datasets (o.a. uit UCI en OpenML) variërend in grootte (208–4601 samples) en dimensionaliteit (3–60 features).
  • Strikte geneste kruisvalidatie: 5 buitenste folds en 3 (of 5) binnenste folds om data-lekkage te voorkomen en hyperparameters (C) eerlijk te selecteren.
  • Preprocessing: Dimensionaliteitsreductie (PCA, NMF, of Feature Selection) is per fold toegepast om de input geschikt te maken voor quantum circuits (maximaal 14 features).

• Vergelijkingsgroepen:

  • Quantum Kernels: 4 verschillende feature maps (Rot2DoF, Belis, Sakhnenko10, ZZFeatureMap) met variërende entanglement-structuren en circuitdieptes.
  • Klassieke Baselines: Lineaire SVM, RBF-kern (Radial Basis Function) en Polynoom-kern.
  • Backends: Ideale simulatie (statevector), ruis-simulatie (dichtheidsmatrix) en echte hardware (IBM ibm fez, Heron r2 processor).

• Analysefasen:

  1. Statistische Analyse: Paired Wilcoxon signed-rank tests en Kruskal-Wallis factorial analyse over 29 vergelijkingen.
  2. Leercurves: Evaluatie op 6 verschillende trainingsfracties (10% tot 100%) om data-efficiëntie te meten.
  3. Hardware Validatie: 6 experimenten op echte quantumhardware om de correlatie met simulaties te testen.
  4. Seed Sensitiviteit: Reproduceerbaarheidstests met 16 verschillende random seeds (totaal 8.400 SVM-fits).

• Quantum Kernel Training (QKT): Een extra analyse waarbij learnable parameters worden geoptimaliseerd via Kernel-Target Alignment (KTA) om te zien of aanpasbare kernels de prestaties kunnen verbeteren.

3. Belangrijkste Resultaten

• Geen Statistisch Significant Quantum Voordeel:

  • Van de 29 paarwise vergelijkingen tussen de beste quantum en beste klassieke kern bereikte geen enkele statistische significantie op $\alpha = 0.05$.
  • Klassieke kernen (vooral RBF) domineerden op 8 van de 9 datasets met een gemiddeld voordeel van 1,6 tot 12,0 percentagepunten in Balanced Accuracy (BA).
  • Het enige uitzonderlijke dataset was Haberman (overlevingsanalyse), waar quantum een klein voordeel (+3,2 pp) liet zien, maar dit dataset is klein en moeilijk.

• Dominantie van de Datasetkeuze:

  • Een Kruskal-Wallis analyse toonde aan dat de keuze van het dataset 73% van de variantie in prestaties verklaart ($\epsilon^2 = 0.73$).
  • Het type kern (quantum vs. klassiek) verklaarde slechts 9% van de variantie. Dit impliceert dat resultaten op één dataset niet generaliseerbaar zijn.

• Spectrale Analyse en de "Goldilocks Hypothese":

  • De auteurs vonden een structurele verklaring voor het falen van quantum kernen: ze produceren extremen in het eigenspectrum.
    • Belis: Te vlak (nabij identiteitsmatrix), weinig discriminerende structuur.
    • Rot2DoF: Te geconcentreerd (nabij rank-1), informatie instort tot één component.
    • Klassieke RBF: Bevat een "Goldilocks-zone" (intermediair spectrum) die voldoende structuur biedt voor een goede beslissingsgrens zonder informatie te verliezen.
  • Quantum feature maps missen deze optimale spectrale profielen.

• Hardware Validatie:

  • De correlatie tussen hardware-resultaten en ideale simulatie was zeer hoog ($r \geq 0.976$).
  • Dit bevestigt dat de negatieve resultaten uit simulaties direct overdraagbaar zijn naar de huidige hardware (3-5 qubits, diepte 22-74).
  • Ruis op de hardware fungeerde soms als een regularisatiemechanisme, wat in 4 van 6 experimenten een licht verbetering gaf, maar niet voldoende om de klassieke voorsprong in te halen.

• Quantum Kernel Training (QKT):

  • QKT kon op de breast cancer dataset een BA van 0,968 bereiken (bijna gelijk aan de klassieke limiet van 0,976).
  • Echter, dit kwam met een computational overhead van ~2.000x en een lage convergentie (slechts 13,6% van de configuraties convergeerde). Het is dus geen praktische oplossing voor nu.

• Leercurves:

  • Quantum kernen vertoonden op 6 van de 8 datasets steilere leercurves (snellere verbetering bij meer data), maar startten vanuit een zo laag een niveau dat ze de klassieke voorsprong nooit inhaalden.

4. Kernbijdragen

1. Rigoureuze Benchmark: De eerste studie die 9 datasets, 4 quantum maps, 3 klassieke kernen, hardware-validatie, statistische tests en seed-sensitiviteit combineert in één framework.
2. Hardware Validatie: Empirisch bewijs dat simulaties op dit schaalniveau (kleine datasets, lage qubit-count) de realiteit op IBM Quantum hardware nauwkeurig voorspellen.
3. Mechanistische Uitleg: De "Goldilocks Hypothesis" biedt een theoretische verklaring waarom huidige quantum feature maps falen: hun spectrale eigenschappen zijn niet optimaal voor SVM-classificatie.
4. Open Science: De volledige benchmark-suite (code, data, kernel matrices) is open-source beschikbaar gesteld voor reproduceerbaarheid.

5. Betekenis en Conclusie

De studie concludeert dat er op dit moment geen quantum voordeel is voor QSVM's op standaard tabulaire data ten opzichte van goed geoptimaliseerde klassieke SVM's. De negatieve resultaten zijn niet te wijten aan methodologische fouten of hardware-ruis, maar aan een fundamenteel mismatch in de spectrale eigenschappen van de huidige quantum feature maps.

Aanbevelingen voor de community:

• Benchmarking moet altijd gebruikmaken van geneste kruisvalidatie, meerdere datasets en statistische significantietests.
• Ontwerp van quantum feature maps moet gericht zijn op het bereiken van een "intermediair" spectraal profiel (niet te vlak, niet te geconcentreerd).
• Claims van quantum voordeel moeten robuust zijn over verschillende datasets en random seeds, en statistisch significant zijn.
• QKT is momenteel te duur om praktisch te zijn, tenzij de computatiekosten drastisch dalen.

De studie fungeert als een realiteitscheck voor het veld, verschuivend van theoretische beloften naar harde, empirische bewijslast die aangeeft dat quantum machine learning voor tabulaire data nog een lange weg te gaan heeft voordat het klassieke methoden kan vervangen.