Technische Samenvatting: Actieve Quantum Kernel Acquisitie voor Gaussische Procesregressie

Probleemstelling

Quantum kernel-methoden bieden toegang tot feature-ruimtes die vermoedelijk klassiek onberekenbaar zijn, maar hun praktische inzetbaarheid op nabije hardware wordt beperkt door een eindig "shot-budget". Bij de schatting van quantum kernels wordt elke invoer $K_{ij}$ van de Gram-matrix geschat als een Bernoulli-verwachtingswaarde via een eindig aantal circuit-executies (shots). De resulterende schattingsruis schaalt als $\text{Var}(\hat{K}_{ij}) = K_{ij}(1-K_{ij})/s_{ij}$.

Hoewel recent werk heeft aangetoond dat niet-uniforme shot-allocatie gebaseerd op taakgevoeligheid de prestaties verbetert in quantum kernel classificatie (bijv. KRR, SVM), blijft het onduidelijk of deze aanpak vertaalbaar is naar Gaussische Proces (GP) regressie. GP-regressie presenteert een onderscheidende uitdaging: in tegenstelling tot classificatie, die afhankelijk is van het teken van de predictor (robuust tegen schaling), is GP-regressie afhankelijk van het volledige spectrum van de inverse kernelmatrix $(K + \sigma_n^2 I)^{-1}$ voor predictieve gemiddelden, varianties en marginale likelihoods. Bijgevolg wordt kernelruis versterkt door een factor die schaalt met de conditiegetal $1/\sigma_n^4$. Een naïeve, op gevoeligheid gebaseerde allocatie, die werkt voor classificatie, brengt het risico op catastrofaal falen met zich mee in GP-regressie als de initiële "warm-up" kernel-schatting te ruisig is om betrouwbare gevoelige paren te identificeren.

Methodologie: AQKA-GP

De auteurs stellen AQKA-GP voor (Active Quantum Kernel Acquisition for Gaussian Process Regression), een uitbreiding van het Neyman-stijl minimum-variantie allocatiekader voor GP-regressie. De methode werkt in drie stadia:

1. High-Floor Coverage (Hoge-vloer Dekking): Om catastrofale overconcentratie op ruisgevoelige schattingen te voorkomen, reserveert het algoritme een fractie $\rho$ (gesteld op 0,5) van het totale budget $B$ voor uniforme bemonstering over alle kernelparen. Dit zorgt ervoor dat elke invoer een minimaal aantal shots ontvangt, wat voorkomt dat de Gram-matrix invoeren bevat die niet geobserveerd zijn en die standaard naar een prior-gemiddelde (0,5) zouden gaan, wat de matrixinversie zou destabiliseren.
2. Gevoeligheidsgewogen Allocatie: Het resterende budget wordt niet-uniform toegewezen op basis van afgeleide paar-niveau sensitiviteiten. De auteurs leiden drie closed-form sensitiviteiten af, elk overeenkomend met een andere downstream doelstelling:
   • Predictive Coupling ($|\alpha_i \alpha_j|$): Afgeleid voor het minimaliseren van de test-RMSE. Dit is de rank-1 specialisatie van de exacte Neyman-gewicht onder de predictive-MSE doelstelling, waarbij $\alpha = (K + \sigma_n^2 I)^{-1}y$.
   • Marginal-Likelihood Gradiënt: Afgeleid voor hyperparameter-leren. De sensitiviteit is de exacte partiële afgeleide van de negatieve log-marginale likelihood met betrekking tot $K_{ij}$, gegeven door $|\frac{1}{2}[A^{-1}]_{ij} - \frac{1}{2}\alpha_i \alpha_j|$.
   • Leave-One-Out (LOO) Residue: Afgeleid voor predictieve kalibratie. De sensitiviteit legt de nadruk op paren waar één eindpunt een groot LOO-residue heeft en nauw gekoppeld is aan buren via $A^{-1}$.
3. Inference-Time Jitter: Om de slecht-geconditioneerde aard van de posterior te beheersen wanneer $\hat{K}$ shot-ruis bevat, vergroot de methode de observatieruis $\sigma_n^2$ met een gekalibreerde jitter-term $j \propto \sqrt{n} \cdot \sqrt{\hat{K}(1-\hat{K})/s}$. Deze schaling is gemotiveerd door Wigner-type matrixconcentratie-grenzen om te garanderen dat de posterior stabiel blijft.

Het framework wordt ook uitgebreid naar Sparse Inducing-Point GPs (VFE, SVGP, FITC) en Deep GPs, waarbij de sensitiviteiten worden aangepast aan de specifieke low-rank koppelingsstructuren van deze benaderingen.

Belangrijkste Bijdragen

1. Afleiding van GP-specifieke Sensitiviteiten: Het artikel biedt drie closed-form paar-niveau sensitiviteiten voor GP-regressie, waarmee het verder gaat dan de classificatie-specifieke gradiënten gebruikt in eerder werk. Deze sensitiviteiten vangen op hoe kernelonzekerheid doorwerkt naar predictieve gemiddelden, varianties en likelihoods.
2. Identificatie van de "High-Floor" Failure Mode: De auteurs identificeren dat GP-regressie uniek gevoelig is voor de "warm-up" ruis in de schatting van de sensitiviteit. Ze bewijzen dat een hoge uniforme dekking-vloer ($\rho \approx 0,5$) noodzakelijk is om robuustheid te herstellen, in contrast met de lagere vloeren ($\rho \le 0,2$) die voldoende zijn voor classificatie.
3. Theoretische Rechtvaardiging: Het artikel stelt vast dat de voorgestelde sensitiviteiten geen willekeurige surrogaten zijn, maar ofwel exacte afgeleiden of rank-1 specialisaties van de exacte Neyman-gewichten voor specifieke schattingsfout-doelstellingen (predictive MSE, marginal likelihood, LOO).
4. Empirische Validatie: Uitgebreide experimenten tonen aan dat de allocator consistente verbeteringen levert in het gematigde budget-regime.

Experimentele Resultaten

De auteurs evalueerden AQKA-GP op vier UCI-regressie benchmarks en twee synthetische settings (dense GP-prior en planted-sparse data) met $n_{tr}=200$.

• Prestatiewinst: In het gematigde budget-regime (50–250 shots per paar) bereikt AQKA-GP een reductie van 10–21% in test-RMSE vergeleken met uniforme allocatie. De winsten zijn het meest uitgesproken op dense data, waar spectrale verval zorgt voor predictieve heterogeniteit, zelfs met homogene kernels.
• Robuustheid: De high-floor strategie ($\rho=0,5$) elimineert succesvol het catastrofale falen dat optreedt bij lage budgetten wanneer $\rho$ klein is.
• Downstream Taken: De winsten vertalen zich naar:
  • Bayesian Quadrature: 37% reductie in integraalfout.
  • Heteroscedastic Regression: 19–29% RMSE-verbetering.
  • Hyperparameter Learning: 65% reductie in de kloof tot de ware kernel-bandwidth.
  • Multi-output Cokriging: 4% verbetering.
• Quantum Kernels:
  • Op echte ZZ en Pauli-Z quantum kernels met quantum-natuurlijke data levert de methode 13–15% RMSE-verbeteringen op bij lage budgetten ($p < 0,05$).
  • Op UCI-features ingebed in ZZ-kernels, verdwijnt de winst. De auteurs wijten dit aan het "exponentiële concentratie-regime", waarbij kernelwaarden rond een vaste gemiddelde clusteren, waardoor de heterogeniteit die nodig is voor shot-allocatie wordt geëlimineerd.
• Sparse GPs: De methode breidt zich uit naar sparse VFE GPs, waarbij de kloof naar de oracle-vloer met ~40% wordt gedicht, hoewel de absolute winsten kleiner zijn door het gladstrijkende effect van de sparse benadering.

Betekenis en Claims

Het artikel claimt dat AQKA-GP erin slaagt de principes van actieve quantum kernel-acquisitie van classificatie uit te breiden naar de meer veeleisende setting van regressie. De betekenis ligt in:

• Adresseren van de Inverse Versterking: Het houdt expliciet rekening met het feit dat GP-regressie kernelruis ernstiger versterkt dan classificatie vanwege de afhankelijkheid van het volledige spectrum van de inverse matrix.
• Het Bieden van een Robuust Protocol: Het stelt vast dat een hoge uniforme dekking-vloer een noodzakelijke voorwaarde is voor stabiele GP-regressie onder shot-ruis, een vereiste die niet aanwezig is bij classificatie.
• Taakspecifieke Optimalisatie: Het demonstreert dat verschillende downstream taken (predictie versus likelihood-schatting) verschillende, theoretisch onderbouwde sensitiviteitsmetrieken vereisen.

De auteurs blijven bescheiden over de reikwijdte van deze winsten en merken op dat de methode het meest effectief is in regimes waar de kernel voldoende heterogeniteit vertoont (dus buiten het exponentiële concentratie-regime). Ze stellen expliciet dat de methode de taken niet magisch verbetert waar de onderliggende data-feature map combinatie de noodzakelijke structuur mist (zoals gezien in de UCI-ZZ studie) en dat de specifieke jitter-constante empirisch is gekalibreerd in plaats van theoretisch afgeleid.