Quantum Feature Selection with Higher-Order Binary Optimization on Trapped-Ion Hardware

Dit artikel presenteert een quantum-kenmerkselectieframework met behulp van een HUBO-formulering (Higher-Order Unconstrained Binary Optimization) met multivariate afhankelijkheden, dat succesvol is geïmplementeerd op IonQ Forte-vastgevangen-ionenhardware om concurrerende classificatieprestaties en de haalbaarheid van hogere-orde quantumoptimalisatie voor machine learning-voorverwerking aan te tonen.

De kern

Stel je voor dat je een enorm puzzelprobleem probeert op te lossen, maar je hebt 32 verschillende stukjes (kenmerken) om uit te kiezen, en je hebt er slechts een paar nodig om het volledige plaatje scherp te zien. Het probleem is dat sommige stukjes op zichzelf belangrijk lijken, sommige alleen belangrijk lijken wanneer ze met anderen worden gecombineerd, en sommige gewoon duplicaten van elkaar zijn.

Dit artikel beschrijft een nieuwe manier om een kwantumcomputer te gebruiken om de perfecte set puzzelstukjes te vinden. In plaats van alleen naar stukjes één voor één of in paren te kijken (zoals traditionele methoden), bekijkt deze nieuwe methode hoe groepen van drie stukjes samenwerken.

Hier is de uiteenzetting van hun aanpak met behulp van eenvoudige analogieën:

1. Het Probleem: Te Veel Keuzes

In datawetenschap is "Feature Selection" (kenmerkselectie) het proces van het kiezen van de meest bruikbare informatie uit een enorme lijst.

• De Oude Manier (QUBO): Stel je voor dat je probeert de beste teamleden te kiezen door alleen te vragen: "Hoe goed is Persoon A?" en "Hoe goed komen Persoon A en Persoon B met elkaar overweg?" Dit negeert het feit dat soms een specifieke groep van drie mensen een magische chemie creëert die je niet kunt zien door naar hen individueel of in paren te kijken.
• De Nieuwe Manier (HUBO): De auteurs hebben een methode ontwikkeld die vraagt: "Hoe goed werkt deze specifieke trio van mensen samen?" Ze noemen dit Higher-Order Unconstrained Binary Optimization (HUBO). Het is alsof je een superintelligente manager hebt die complexe groepsdynamiek direct begrijpt, niet alleen individuele vaardigheden.

2. Het Recept: Het "Energie"-Model

Om het beste team te vinden, bouwden de onderzoekers een wiskundig "recept" genaamd een Hamiltoniaan (denk hierbij aan een scorekaart).

• Relevantie (Eén-lichaam): Als een stukje informatie op zichzelf zeer nuttig is, geeft de scorekaart een "bonus" (verlaagt de energie).
• Redundantie (Twee-lichaam): Als twee stukjes informatie precies hetzelfde zeggen, straft de scorekaart het kiezen van beide af (verhoogt de energie).
• Complexe Groepen (Drie-lichaam): Dit is het geheim. Als drie stukjes informatie alleen samen een krachtig inzicht creëren, beloont de scorekaart die specifieke trio.
• De "Geen Gratis Lunch"-Regel: Om te voorkomen dat de computer gewoon elk enkel stukje kiest (wat de luie, gemakkelijke oplossing is), voegden ze een straf toe. Het is alsof een strenge coach zegt: "Je kunt niet het hele team kiezen; je moet het beste kleine squad kiezen."

3. De Machine: De Kwantumgym

Ze testten dit recept op een echte kwantumcomputer gemaakt door IonQ, die vastgehouden ionen (geladen atomen) gebruikt als zijn "bits".

• De Workout: Ze gebruikten een techniek genaamd Digitized Counterdiabatic Quantum Optimization (DCQO). Stel je voor dat je probeert het laagste punt in een mistige vallei te vinden. Een normale wandeling kan je vastlopen in een kleine dip. Deze techniek is als een begeleide tour die de computer helpt om snel en soepel naar het absolute laagste punt (de beste oplossing) te "glijden" zonder vast te lopen in de mist.
• Het Resultaat: De computer voerde deze "workout" uit en gaf een lijst met kansen voor elk kenmerk, waarbij ze vertelden hoe vaak dat kenmerk voorkwam in de beste oplossingen.

4. De Proefrit: Twee Realistische Scenario's

Ze testten hun methode op twee verschillende datasets om te zien of het echt werkte:

• Scenario A: De Gallstone Dataset (Medisch)

  • De Taak: Voorspellen of een patiënt galstenen heeft op basis van 32 gezondheidsmetrieken (zoals cholesterol, leeftijd, gewicht).
  • Het Resultaat: De kwantummethode koos 19 sleutelmetrieken. Het presteerde beter dan standaard computermethoden (zoals PCA of het kiezen van de top 19 door eenvoudige rangschikking). Het vond een kleinere, schonere lijst van symptomen die de ziekte net zo goed, of zelfs beter, voorspelde dan het gebruik van alle data.
  • De Check: Ze vergeleken de resultaten van de echte kwantumcomputer met een perfecte, ruisvrije simulatie. Ze kwamen zeer dicht bij elkaar, wat bewijst dat de echte hardware werkt zoals verwacht.

• Scenario B: De Spambase Dataset (E-mail)

  • De Taak: Bepalen of een e-mail spam is of niet, op basis van 32 woord-/karakterfrequenties.
  • Het Resultaat: De kwantummethode reduceerde de lijst tot 23 sleutelindicatoren. Ook hier presteerde het beter dan de standaardmethoden. Het slaagde erin om de "ruis" (redundante woorden) te verwijderen terwijl het het "signaal" (woorden die daadwerkelijk spam aangeven) behield.

5. De Conclusie

Het artikel beweert dat:

1. Het werkt: De kwantumcomputer slaagde erin hoogwaardige subsets van data te vinden.
2. Het beter is dan de oude manier: Door naar "drie-weg" relaties (higher-order) te kijken, vond het betere combinaties dan methoden die alleen naar individuen of paren kijken.
3. Het efficiënt is: Het verminderde de hoeveelheid data die nodig is om accurate voorspellingen te doen zonder nauwkeurigheid te verliezen.
4. Hardware is klaar: De resultaten van de echte IonQ-machine waren zeer vergelijkbaar met de perfecte simulaties, wat suggereert dat hedendaagse kwantumcomputers al in staat zijn om deze complexe "groepsdynamiek"-problemen aan te pakken.

Kortom, de auteurs bouwden een kwantums "verkenner" die beter is in het opsporen van de waardevolste teamleden in een groep, omdat het begrijpt hoe mensen in drietallen interageren, niet alleen in paren. Ze bewezen dat het werkt op echte hardware met echte data.

Technische samenvatting

1. Probleemstelling

Feature selection (FS) is cruciaal voor het verbeteren van modelinterpreteerbaarheid, het verminderen van overfitting en het vergroten van de computationele efficiëntie in hoogdimensionale datasets. Klassieke FS-methoden staan echter voor aanzienlijke beperkingen:

• Wrapper-methoden zijn computationeel duur en schalen slecht.
• Filter-methoden (bijv. wederzijdse informatie) negeren vaak interacties tussen features.
• Embedded-methoden zijn gevoelig voor hyperparameters en vertonen vaak een bias naar lineaire of hiërarchische afhankelijkheden.
• Quantum-beperkingen: Bestaande quantumbenaderingen formuleren FS doorgaans als een Quadratic Unconstrained Binary Optimization (QUBO)-probleem. QUBO is beperkt tot één- en tweelichamsinteracties, waardoor hogere-orde afhankelijkheden (multivariate relaties) worden verwaarloosd, geapproximeerd of worden geïntroduceerd via kostbare quadratisatie-overhead.

Kernuitdaging: Hoe kunnen complexe, hogere-orde statistische afhankelijkheden tussen features expliciet worden vastgelegd in een quantum-optimatiekader zonder het probleem te reduceren tot een kwadratische vorm, en hoe kan dit worden uitgevoerd op huidige noisy intermediate-scale quantum (NISQ)-hardware?

2. Methodologie

De auteurs stellen een nieuw kader voor op basis van Higher-Order Unconstrained Binary Optimization (HUBO), uitgevoerd op IonQ Forte vastgevangen-ionenhardware.

A. HUBO-formulering

In plaats van een kwadratische Hamiltoniaan, wordt het probleem gecodeerd in een Hamiltoniaan die één-, twee- en drielichamsinteractie-termen bevat:
$$H(Z) = \sum_i h_i Z_i + \sum_{i<j} J_{ij} Z_i Z_j + \sum_{i<j<k} K_{ijk} Z_i Z_j Z_k + C$$

• Variabelen: $Z_i \in \{-1, +1\}$ (Ising-conventie), waarbij $-1$ aangeeft dat een feature is geselecteerd.
• Coëfficiënten: Afgeleid van Mutual Information (MI):
  • $h_i$: Codeert individuele feature-relevantie voor het doel.
  • $J_{ij}$: Codeert paarsgewijze redundantie (straf voor gecorreleerde features).
  • $K_{ijk}$: Codeert hogere-orde afhankelijkheden (vastleggen van informatie die alleen aanwezig is in groepen van drie features).
• Gestructureerde straffen: Om triviale oplossingen te voorkomen (bijv. het selecteren van alle features), wordt een lineaire strafterm $H_\lambda$ toegevoegd, die features met verwaarloosbare relevantie onder een drempel $\tau$ onderdrukt.

B. Optimalisatie-algoritme: Digitized Counterdiabatic Quantum Optimization (DCQO)

De auteurs maken gebruik van DCQO om de grondtoestand van de HUBO-Hamiltoniaan te vinden:

• Mechanisme: Een op poorten gebaseerde aanpak geïnspireerd op "shortcuts to adiabaticity". Het interpoleert tussen een driver-Hamiltoniaan en de doel-HUBO-Hamiltoniaan, terwijl er benaderde counterdiabatische termen worden toegevoegd om diabatische overgangen tijdens evolutie in eindige tijd te onderdrukken.
• Uitvoering: Geïmplementeerd op IonQ Forte (Yb+-ionen) met all-to-all connectiviteit, wat de langeafstandsinteracties die door HUBO worden vereist, op natuurlijke wijze ondersteunt zonder complexe embedding.

C. Post-processing en selectie

1. Sampling: Het systeem wordt gemeten om bitstring-steekproeven te genereren.
2. Filtering: Steekproeven worden gerangschikt op energie; alleen het laagste-energie-aandeel ($\rho$, bijv. de top 25%) wordt behouden om ruis te filteren.
3. Scoring: Feature-importantie ($I_i$) wordt berekend als de empirische frequentie waarmee een feature wordt geselecteerd ($x_i=1$) binnen de subset met lage energie.
4. Drempelwaarde: Features worden geselecteerd als $I_i \geq \delta$.

3. Belangrijkste bijdragen

1. HUBO voor Feature Selection: De eerste expliciete formulering van feature selection als een HUBO-probleem dat drielichamsinteracties direct vastlegt, waardoor het informatieverlies inherent aan QUBO-reducties wordt vermeden.
2. Hardware-implementatie: Succesvolle uitvoering van een hogere-orde optimalisatieprobleem op IonQ Forte vastgevangen-ionenhardware, wat de haalbaarheid aantoont van het draaien van diepe quantumcircuits voor machine learning-preprocessing.
3. Modelonafhankelijkheid: De methode vertrouwt puur op statistische afhankelijkheden (Mutual Information) afgeleid uit data en vereist geen modeltraining tijdens de selectiefase.
4. Benchmarking: Uitgebreide vergelijking tegenover ruisvrije quantumsimulaties en klassieke baselines (SelectKBest en PCA) op real-world datasets.

4. Experimentele resultaten

Het kader werd getest op twee datasets: Gallstone (biomedisch, 38 features) en Spambase (tekstueel, 57 features). Beide werden vooraf geselecteerd tot 32 features vanwege hardwarebeperkingen.

A. Gallstone-dataset

• Hardware vs. Simulatie: Sterke kwalitatieve overeenkomst tussen IonQ Forte en ruisvrije simulatie met betrekking tot de waarschijnlijkheid van feature-opname.
• Prestatie: De door quantum geselecteerde subset (19 features) behaalde 0,88 ROC-AUC, wat beter presteerde dan:
  • Alle features (0,86)
  • PCA (0,79)
  • SelectKBest (0,84)
• Inzicht: De opname van hogere-orde termen stelde het model in staat een compacter en informatiever subset te identificeren dan univariate methoden.

B. Spambase-dataset

• Prestatie: De door quantum geselecteerde subset (23 features) behaalde 0,9836 ROC-AUC, wat beter presteerde dan:
  • Alle features (0,9817)
  • PCA (0,9615)
  • SelectKBest (0,9805)
• Efficiëntie: De methode verlaagde de dimensionaliteit met ongeveer 28% terwijl de classificatie-accuraatheid licht verbeterde in vergelijking met het gebruik van alle features.

5. Betekenis en conclusie

• Voorbij kwadratisch: Het onderzoek bewijst dat het expliciet modelleren van hogere-orde statistische structuren (via 3-lichaamstermen) betere feature-subsets oplevert dan standaard kwadratische (QUBO) benaderingen, met name in datasets met complexe multivariate afhankelijkheden.
• Hardware-geschiktheid: Vastgevangen-ionenprocessors zijn uniek geschikt voor HUBO-problemen vanwege hun all-to-all connectiviteit, wat de noodzaak voor qubit-mapping/embedding-overhead, zoals gebruikelijk bij supergeleidende architecturen, elimineert.
• Schaalbaarheid: De resultaten suggereren dat naarmate quantumhardware schaalt (meer qubits, hogere fideliteit), deze aanpak hoogdimensionale feature selection-problemen kan aanpakken die computationeel onbereikbaar zijn voor klassieke combinatorische methoden.
• Toekomstig werk: De auteurs stellen voor Bias-Field DCQO (BF-DCQO) te integreren om bias-velden iteratief bij te werken, waardoor het optimalisatielandschap voor grotere datasets verder wordt verbeterd.

Kortom, dit artikel demonstreert een praktische, model-agnostische quantumworkflow die hogere-orde optimalisatie op vastgevangen-ionenhardware benut om klassieke dimensionaliteitsreductietechnieken te overtreffen in zowel feature-compactheid als voorspellende prestaties.