Technische Samenvatting: Geometrie-Eerst Visuele Intelligentie voor Gebarenherkenning

1. Probleemstelling

De huidige state-of-the-art visuele AI-systemen voor gebarenherkenning vertrouwen op "pixel-eerst" benaderingen, waarbij ruwe videoframes in diepe convolutionele of transformer-netwerken worden gevoed. Hoewel accuraat, lijden deze systemen onder twee kritieke beperkingen:

1. Gebrek aan Interpreteerbaarheid: Interne representaties zijn hoogdimensionale pixel-embeddings die statistisch krachtig maar geometrisch betekenisloos zijn. Ze missen expliciete concepten zoals kromming, hoeken of topologie, wat ze incompatibel maakt met Neuro-Symbolische (NeSy) redeneersystemen die verifieerbare, composabele regels vereisen.
2. Quantum-incompatibiliteit: Bestaande quantum-visiearchitecturen proberen ruwe pixeldata naar quantumcircuits te mappen. Dit vereist een geforceerde, verlieslatende codering die de structurele correspondentie tussen visuele data en quantum-gateparameters vernietigt.

Het artikel stelt dat een "geometrie-eerst" benadering — het berekenen van expliciete differentiaal-geometrische eigenschappen vóór neurale verwerking — beide problemen kan oplossen door een symbolische, interpreteerbare fundering te bieden die inherent aansluit bij quantumcomputatie.

2. Methodologie

Het voorgestelde framework bestaat uit twee primaire architecturen: het Deep Geometric Network (DGN) en het Quantum Geometric Network (QGN).

A. Geometrische Feature Extractie (De Symbolische Laag)

Voordat er enige leerfase plaatsvindt, berekent het systeem 128 scalaire waarden per frame uit ruwe video met behulp van gevestigde differentiaalmeetkunde, in plaats van geleerde embeddings. Deze features zijn:

• Ricci-kromming: Meet de scherpte van de bochten in de vinger-trajecten.
• Bézier-parametrisatie: Beschrijft de vorm van de bewegingsbogen getraceerd door vingertoppen.
• Hoeksnelheid: Berekent de rotatiesnelheid van skeletsegmenten.
• Topologische Connectiviteit: Definieert de gewogen graafstructuur van de hand op basis van 3D-landmark nabijheid.

Deze 128 dimensies zijn benoemd, interpreteerbaar en wiskundig gedefieerd (bijv. "Dimensie 7 is de Ricci-kromming van het traject van de wijsvinger").

B. Deep Geometric Network (DGN)

DGN verwerkt de 128-D geometrische vector door een temporele encoder om gebaren te classificeren. Het artikel evalueert drie temporele architecturen op 36-frame sequenties:

• Transformer: Behandelt alle frames gelijk via aandachtmechanismen (attention mechanisms).
• Bidirectional LSTM: Verwerkt sequenties zowel voorwaarts als achterwaarts.
• Mamba (Selective State Space Model): Actualiseert het geheugen dynamisch op basis van de informatieve waarde van de input. De auteurs stellen dat Mamba uniek geschikt is voor geometrische sequenties, omdat het geheugen behoudt tijdens redundante frames en alleen wordt bijgewerkt tijdens beslissende geometrische veranderingen (bijv. een vingerbuiging).

C. Quantum Geometric Network (QGN)

QGN breidt DGN uit door de geometrische features door een Variational Quantum Circuit (VQC) te routeren.

• Natuurlijke Mapping: Geometrische scalaire waarden (hoeken, krommingen) worden direct gecodeerd als rotatie-gateparameters ($\theta, \phi$) op de Bloch-sfeer. Dit vereist geen geforceerde codering, waardoor de semantische betekenis van de input behouden blijft.
• Architectuur: Het systeem gebruikt 8 qubits (huidige hardwarebeperking) met 3 transformatielagen.
• Bottleneck: Vanwege de 8-qubit limiet moet de 128-D input 16-voudig worden gecomprimeerd (128 $\to$ 8) voordat deze de circuit ingaat, waarbij significante informatie verloren gaat.

3. Belangrijkste Bijdragen

1. DGN & QGN Architecturen: De eerste volledige pipeline van ruwe video naar 128-D geometrische features, gevolgd door ofwel klassieke (Mamba/LSTM) of quantum classificatie.
2. Neuro-Symbolische Fundering: Vestigt een "symbolische perceptielaag" waar features worden afgeleid van wiskundige definities in plaats van data, wat downstream logisch redeneren mogelijk maakt.
3. Temporele Encoder Analyse: Identificeert Mamba als de superieure encoder voor vloeiende, lokaal gestructureerde geometrische beweging, die Transformers en LSTMs in dit specifieke domein overtreft.
4. Quantum Bottleneck Diagnose: Isoleert rigoureus het prestatieverschil tussen klassieke en quantummodellen als een hardwarebeperking (qubit-aantal) in plaats van een algoritmisch falen.
5. Qubit Scaling Ablatie: Een gecontroleerd experiment dat aantoont dat het verhogen van het aantal qubits van 8 naar 12 (terwijl alle andere variabelen constant blijven) een winst van +8,0 procentpunten in nauwkeurigheid oplevert, wat bewijst dat het systeem schaalt met de hardwarecapaciteit.

4. Experimentele Resultaten

Het systeem werd geëvalueerd op de Jester dataset (148.092 video's, 27 klassen).

• Statische Prestaties: Op enkelvoudige frame geometrische features bereikte een eenvoudige Logistische Regressie een nauwkeurigheid van 52,61% (15$\times$ willekeurige kans), en een Neuraal Netwerk baseline bereikte 61,70%. Dit bevestigt dat geometrische features op zichzelf een sterk discriminerend signaal dragen.
• Temporele Prestaties:
  • DGN-Mamba: Bereikte 65,77% nauwkeurigheid, het beste resultaat onder de klassieke modellen. Dit vertegenwoordigt een winst van +4 punten ten opzichte van statische modellen, wat de waarde van bewegingsdynamiek benadrukt.
  • QGN-Mamba: Bereikte 59,19% nauwkeurigheid.
• De Quantum Gap: Het verschil van 6,6 punten tussen DGN-Mamba en QGN-Mamba wordt volledig toegeschreven aan de 16$\times$ compressie die nodig is om 128 dimensies in 8 qubits te passen.
• Bewijs van Schaalbaarheid:
  • 8 Qubits: 39,90% nauwkeurigheid (op een subset van 20K).
  • 12 Qubits: 47,90% nauwkeurigheid.
  • Resultaat: Een winst van +8,0 punten uitsluitend door het verhogen van het aantal qubits.
  • Projectie: Bij 128 qubits (binnen de roadmap van IBM) wordt de compressieratio 1:1, waardoor QGN theoretisch de klassieke prestaties kan evenaren of overtreffen in een $2^{128}$ toestandsruimte.
• Flow Features: Het toevoegen van expliciete bewegingsdelta's (192-D input) leverde een verwaarloosbare winst op (+0,09%) voor klassieke modellen (omdat Mamba dynamiek impliciet leert), maar verbeterde QGN met +1,54%, wat bevestigt dat de quantumlaag responsief is voor rijkere inputs wanneer de capaciteit dit toelaat.

5. Betekenis en Claims

Het artikel betoogt dat geometrie de juiste taal is voor visuele AI in de context van zowel Neuro-Symbolisch redeneren als het aanstaande quantumtijdperk.

• Interpreteerbaarheid: In tegen tegenstelling tot pixel-gebaseerde embeddings zijn geometrische features verifieerbare proposities (bijv. "kromming > 0,4") die kunnen worden samengesteld tot logische regels of kennisgrafen.
• Quantum-Ready: Het artikel claimt dat QGN de eerste quantum-visiearchitectuur is met een "geprincipieerde, parameter-vrije mapping" tussen visuele representatie en quantumcomputatie. Geometrische waarden zijn van nature rotatiehoeken, wat de noodzaak voor verlieslatende codering elimineert.
• Hardware Traject: De prestatiekloof is geen algoritmische fout, maar een hardwarebeperking. De auteurs beweren dat naarmate het aantal qubits de 64–128 bereikt (voorspeld binnen een decennium), QGN zal opereren in een computationele substantie ($2^{128} \approx 10^{38}$) die onbereikbaar is voor klassieke modellen, zonder dat hiervoor wijzigingen in het onderliggende algoritme of de feature extractie nodig zijn.
• Scope: De auteurs stellen expliciet dat ze niet de meest accurate gebarenherkenner hebben gebouwd (pixel-gebaseerde SOTA bereikt ~93–97%). In plaats daarvan hebben ze een geprincipieerde fundering gebouwd voor de volgende generatie AI die vandaag interpreteerbaar is en morgen klaar voor quantum.

De studie concludeert dat de geometrie-eerst pipeline toepasbaar is op elk domein waar beweging een interpreteerbare structuur heeft, inclus_ de chirurgische robotica, revalidatie, gebarentaal en industriële automatisering, en biedt een schaalbaar pad naar algemene intelligentie.