Résumé Technique : Intelligence Visuelle Fondée sur la Géométrie pour la Reconnaissance de Gestes

1. Énoncé du Problème

Les systèmes actuels d'IA visuelle de pointe pour la reconnaissance de gestes reposent sur des approches « axées sur le pixel », injectant des trames vidéo brutes dans des réseaux profonds convolutionnels ou des transformeurs. Bien qu'efficaces, ces systèmes souffrent de deux limitations critiques :

1. Manque d'Interprétabilité : Les représentations internes sont des plongements (embeddings) de pixels de haute dimension qui, bien que statistiquement puissants, sont géométriquement dépourvus de sens. Ils manquent de concepts explicites tels que la courbure, les angles ou la topologie, ce qui les rend incompatibles avec les systèmes de raisonnement neuro-symboliques (NeSy) qui nécessitent des règles vérifiables et composables.
2. Incompatibilité Quantique : Les architectures de vision quantique existantes tentent de mapper des données de pixels bruts vers des circuits quantiques. Cela nécessite un encodage forcé et destructeur qui altère la correspondance structurelle entre les données visuelles et les paramètres des portes quantiques.

L'article postule qu'une approche « axée sur la géométrie » — calculant des propriétés différentielles-géométriques explicites avant le traitement neuronal — peut résoudre ces deux problèmes en fournissant une base symbolique et interprétable qui s'aligne naturellement avec le calcul quantique.

2. Méthodologie

Le cadre proposé se compose de deux architectures principales : le Réseau Géométrique Profond (DGN) et le Réseau Géométrique Quantique (QGN).

A. Extraction de Caractéristiques Géométriques (La Couche Symbolique)

Avant tout apprentissage, le système calcule 128 valeurs scalaires par trame à partir de la vidéo brute en utilisant la géométrie différentielle établie, et non des plongements appris. Ces caractéristiques sont :

• Courbure de Ricci : Mesure la netteté des changements de trajectoire des doigts.
• Paramétrage de Bézier : Décrit la forme des arcs de mouvement tracés par les extrémités des doigts.
• Vitesse Angulaire : Calcule la vitesse de rotation des segments squelettiques.
• Connectivité Topologique : Définit la structure de graphe pondéré de la main basée sur la proximité des points de repère 3D.

Ces 128 dimensions sont nommées, interprétables et mathématiquement définies (ex : « La dimension 7 est la courbure de Ricci de la trajectoire de l'extrémité de l'index »).

B. Réseau Géométrique Profond (DGN)

Le DGN traite le vecteur géométrique en 128-D à travers un encodeur temporel pour classifier les gestes. L'article évalue trois architectures temporelles sur des séquences de 36 trames :

• Transformer : Traite toutes les trames de manière égale via des mécanismes d'attention.
• LSTM Bidirectionnel : Traite les séquences de manière progressive (avant et arrière).
• Mamba (Modèle d'Espace d'État Sélectif) : Met à jour dynamiquement la mémoire en fonction de l'informativité de l'entrée. Les auteurs soutiennent que Mamba est particulièrement adapté aux séquences géométriques, car il conserve la mémoire pendant les trames redondantes et ne se met à jour que lors des changements géométriques décisifs (ex : un repli du doigt).

C. Réseau Géométrique Quantique (QGN)

Le QGN étend le DGN en acheminant les caractéristiques géométriques à travers un Circuit Quantique Variationnel (VQC).

• Mapping Natif : Les valeurs scalaires géométriques (angles, courbures) sont directement encodées comme des paramètres de rotation ($\theta, \phi$) sur la sphère de Bloch. Cela ne nécessite aucun encodage forcé, préservant ainsi le sens sémantique de l'entrée.
• Architecture : Le système utilise 8 qubits (contrainte actuelle du matériel) avec 3 couches de transformation.
• Goulot d'Étranglement : En raison de la limite de 8 qubits, l'entrée en 128-D doit être compressée 16 fois (128 $\to$ 8) avant d'entrer dans le circuit, entraînant une perte d'information significative.

3. Principales Contributions

1. Architectures DGN & QGN : Le premier pipeline complet allant de la vidéo brute aux caractéristiques géométriques en 128-D, suivi soit d'une classification classique (Mamba/LSTM), soit quantique.
2. Fondation Neuro-Symbolique : Établit une couche de « perception symbolique » où les caractéristiques sont dérivées de définitions mathématiques plutôt que de données, permettant un raisonnement logique en aval.
3. Analyse de l'Encodeur Temporel : Identifie Mamba comme l'encodeur supérieur pour les mouvements géométriques fluides et localement structurés, surpassant les Transformers et les LSTM dans ce domaine spécifique.
4. Diagnostic du Goulot d'Étranglement Quantique : Isole rigoureusement l'écart de performance entre les modèles classiques et quantiques comme étant une contrainte matérielle (nombre de qubits) plutôt qu'un échec algorithmique.
5. Ablation de l'Échelle de Qubits : Une expérience contrôlée démontrant que l'augmentation du nombre de qubits de 8 à 12 (toutes choses égales par ailleurs) récupère +8,0 points de pourcentage de précision, prouvant que le système évolue avec la capacité du matériel.

4. Résultats Expérimentaux

Le système a été évalué sur le jeu de données Jester (148 092 vidéos, 27 classes).

• Performance Statique : Sur les caractéristiques géométriques d'une seule trame, une simple régression logistique a atteint 52,61 % de précision (15 $\times$ le hasard), et un modèle de référence de réseau neuronal a atteint 61,70 %. Cela confirme que les caractéristiques géométriques portent un signal discriminant fort.
• Performance Temporelle :
  • DGN-Mamba : A atteint 65,77 % de précision, le meilleur résultat parmi les modèles classiques. Cela représente un gain de +4 points par rapport aux modèles statiques, soulignant la valeur de la dynamique du mouvement.
  • QGN-Mamba : A atteint 59,19 % de précision.
• L'Écart Quantique : L'écart de 6,6 points entre DGN-Mamba et QGN-Mamba est entièrement attribué à la compression 16 $\times$ requise pour faire tenir 128 dimensions dans 8 qubits.
• Preuve d'Évolutivité :
  • 8 Qubits : 39,90 % de précision (sur un sous-ensemble de 20K).
  • 12 Qubits : 47,90 % de précision.
  • Résultat : Un gain de +8,0 points uniquement grâce à l'augmentation du nombre de qubits.
  • Projection : Avec 128 qubits (selon la feuille de route d'IBM), le ratio de compression devient de 1:1, permettant théoriquement au QGN d'égaler ou de surpasser les performances classiques dans un espace d'état de $2^{128}$.
• Caractéristiques de Flux : L'ajout de deltas de mouvement explicites (entrée de 192-D) a apporté un gain négligeable (+0,09 %) pour les modèles classiques (car Mamba apprend les dynamiques implicitement) mais a amélioré le QGN de +1,54 %, confirmant que la couche quantique est réceptive à des entrées plus riches lorsque la capacité le permet.

5. Signification et Revendications

L'article soutient que la géométrie est le langage correct pour l'IA visuelle dans le contexte du raisonnement neuro-symbolique et de l'ère quantique émergente.

• Interprétabilité : Contrairement aux plongements basés sur les pixels, les caractéristiques géométriques sont des propositions vérifiables (ex : « courbure > 0,4 ») qui peuvent être composées en règles logiques ou en graphes de connaissances.
• Prêt pour le Quantique : L'article affirme que le QGN est la première architecture de vision quantique dotée d'un « mapping principiel et sans paramètre » entre la représentation visuelle et le calcul quantique. Les valeurs géométriques sont naturellement des angles de rotation, éliminant ainsi le besoin d'un encodage destructeur.
• Trajectoire du Matériel : L'écart de performance n'est pas un défaut algorithmique, mais une limitation matérielle. Les auteurs affirment qu'à mesure que le nombre de qubits atteindra 64–128 (prévu d'ici une décennie), le QGN opérera dans un substrat de calcul ($2^{128} \approx 10^{38}$) inaccessible aux modèles classiques, sans nécessiter de modifications de l'algorithme sous-jacent ou de l'extraction de caractéristiques.
• Portée : Les auteurs déclarent explicitement qu'ils n'ont pas construit le reconnaisseur de gestes le plus précis (le SOTA basé sur les pixels atteint ~93–97 %). Ils ont plutôt construit une fondation principielle pour la prochaine génération d'IA, interprétable aujourd'hui et prête pour le quantique demain.

L'étude conclut que le pipeline axé sur la géométrie est applicable à tout domaine où le mouvement possède une structure interprétable, notamment la robotique chirurgicale, la rééducation, la langue des signes et l'automatisation industrielle, offrant une voie évolutive vers l'intelligence générale.