Résumé Technique : Raisonnement par Diffusion Visuelle Latente avec Recherche d'Arbre Monte Carlo

Énoncé du Problème

L'évaluation fine des compétences (par exemple, dans le sport et la chirurgie) représente un défi majeur en vision par ordinateur. Contrairement à la reconnaissance d'actions standard, qui identifie quelle action se produit, l'évaluation des compétences exige d'évaluer aussi bien une action est exécutée. Cette tâche nécessite non seulement la reconnaissance de motifs visuels, mais aussi un raisonnement visuel étape par étape qui lie la dynamique du mouvement de bas niveau aux résultats évaluatifs de haut niveau.

Bien que les modèles récents d'Évaluation de la Qualité de l'Action (AQA - Action Quality Assessment) aient atteint une forte précision prédictive grâce aux réseaux de neurones profonds, ils fonctionnent largement comme des « boîtes noires ». Ces modèles manquent de la capacité de révéler explicitement les processus de raisonnement intermédiaire sous-jacents à leurs jugements. Cette opacité limite l'interprétabilité et entrave la capacité des experts humains à valider les sorties du modèle ou à en dériver des informations exploitables, ce qui constitue une barrière critique pour le déploiement dans des domaines à enjeux élevés comme l'éducation chirurgicale ou l'entraînement d'athlètes d'élite, où la transparence et la confiance sont indispensables.

Méthodologie : Raisonnement par Diffusion Visuelle Latente (LVDR)

Les auteurs proposent le Raisonnement par Diffusion Visuelle Latente (LVDR), un cadre conçu pour modéliser et visualiser le processus de raisonnement visuel latent. Le cadre intègre deux composantes primaires : un modèle génératif basé sur la diffusion pour le raisonnement latent et une recherche d'arbre Monte Carlo (MCTS) guidée par les points clés pour une visualisation explicite.

1. Raisonnement par Diffusion Visuelle Latente

L'hypothèse centrale est que le raisonnement visuel peut être formulé comme un processus de débruitage progressif au sein d'un espace latent.

• Construction de l'Espace Latent : Le modèle apprend une distribution sémantique cible dérivée de la sémantique vidéo de vérité terrain (par exemple, les commentaires d'experts ou les étiquettes).
• Processus de Diffusion : Basé sur les Modèles Implicites de Diffusion de Débruitage (DDIM), le cadre traite le début d'une vidéo comme une initialisation bruitée du processus de raisonnement. À mesure que la vidéo progresse, le modèle de diffusion débruite de manière itérative les plongements (embeddings) latents des images.
• Mécanisme :
  • Entrée : Pour chaque image $I_i$, des points clés 3D $K_i$ sont extraits.
  • Apprentissage de l'État : Un Apprentissage d'État de Raisonnement ($\theta_R$) génère un plongement de raisonnement visuel initial $P_i$ à partir de l'image et des points clés.
  • Débruitage : Un transformateur de diffusion ($\theta_D$) affine l'embedding $\hat{P}_i$ en se basant sur l'état précédent $\hat{P}_{i-1}$ et l'embedding initial $P_i$. Cela modélise l'évolution du raisonnement d'un a priori non informatif vers un état sémantique cible cohérent.
  • Prédiction : L'embedding latent final est passé à travers une couche entièrement connectée pour prédire le score de performance $\hat{s}$.
• Entraînement : Le modèle est entraîné à l'aide d'une fonction de perte combinée comprenant la perte de débruitage de la diffusion ($\mathcal{L}_{DM}$) et une perte de régression de score ($\mathcal{L}_{score}$).

2. Recherche d'Arbre Monte Carlo (MCTS) Guidée par les Points Clés

Pour transformer la trajectoire de raisonnement visuel implicite en une forme explicitement interprétable, le LVDR emploie la MCTS.

• Motivation : Inspiré par les arbitres humains qui utilisent des stratégies visuelles séquentielles (par exemple, se concentrer sur la cinématique du haut du corps avant les mouvements des membres inférieurs), le cadre modélise le traitement visuel comme un espace de recherche combinatoire.
• Structure de l'Arbre :
  • Nœuds : Représentent des états définis par des points clés spécifiques. Dans le sport, les nœuds sont basés sur les articulations majeures (coude, épaule, hanche, genou) ; en chirurgie, ils sont basés sur les parties de l'instrument (pointe, corps, queue).
  • Caractéristiques : Chaque nœud est représenté par l'angle, la vitesse et la position 3D de l'articulation.
• Processus de Recherche : La MCTS opère sur $M$ itérations par image, comprenant quatre phases :
  1. Sélection : Traversée de l'arbre en utilisant le critère de l'UCB (Upper Confidence Bound) pour équilibrer l'exploration et l'exploitation.
  2. Expansion : Ajout de nœuds enfants pour explorer des chemins non visités.
  3. Simulation : Estimation de la récompense attendue d'un nœud en exploitant le modèle de diffusion appris $\theta_D$ pour simuler des interactions jusqu'à un état terminal.
  4. Rétropropagation : Mise à jour des estimations de valeur le long du chemin, de la feuille vers la racine, sur la base des résultats de la simulation.
• Sortie : Le chemin ayant la récompense attendue la plus élevée ($v^*$) est sélectionné, révélant la séquence de points clés critiques (ancrages visuels) qui ont le plus contribué au jugement final.

Principales Contributions

1. Cadre LVDR : Introduction d'un nouveau cadre qui modélise le raisonnement visuel étape par étape comme un processus de diffusion progressif au sein d'un espace de raisonnement latent, permettant une évaluation cohérente et interprétable.
2. MCTS Guidée par les Points Clés : Proposition d'un mécanisme pour découvrir et visualiser les séquences de raisonnement visuel latent, identifiant les étapes de raisonnement les plus influentes et les points clés critiques.
3. Validation Empirique : Démonstration que le LVDR atteint des performances quantitatives compétitives ou supérieures sur plusieurs jeux de données sportifs et chirurgicaux, tout en fournissant une transparence sans précédent dans son processus de décision.

Résultats Expérimentaux

Les auteurs ont évalué le LVDR sur quatre jeux de données diversifiés : EgoExo4D (sport), JIGSAWS (chirurgie robotique assistée), FitnessAQA (compétences de fitness) et Cataract-101 (chirurgie de la cataracte).

• Performance Quantitative :

  • Le LVDR a obtenu des résultats de pointe sur le jeu de données EgoExo4D, surpassant les approches spécifiques au domaine (par exemple, MAGR) et les grands modèles de vision-langage (par exemple, GPT-4o, Gemini 2.5) en termes de corrélation de rang de Spearman ($\rho$) et de distance $L_2$ relative.
  • Une performance supérieure similaire a été observée sur JIGSAWS, FitnessAQA et Cataract-101, le modèle surpassant systématiquement les bases de référence en précision de prédiction de score.
  • Les études d'ablation ont confirmé que le retrait du module de diffusion entraîne une dégradation constante des performances, validant sa nécessité pour modéliser le raisonnement progressif.

• Interprétabilité et Validation :

  • Étude Utilisateur : Un expert du domaine a évalué les processus de raisonnement par points clés générés par la MCTS sur 50 vidéos de sport, résultant en un taux de correction de 86 %, indiquant un fort alignement avec le jugement de l'expert humain.
  • Masquage de Points Clés : Les expériences ont montré que le masquage des points clés sélectionnés par la MCTS provoquait une chute substantielle des performances du modèle, tandis que le masquage des points clés non sélectionnés avait un impact négligeable. Cela confirme que la MOTS identifie efficacement les indices de mouvement critiques pour l'évaluation.
  • Visualisation : Le cadre a réussi à visualiser les trajectoires de raisonnement où l'état du modèle converge progressivement vers la vérité terrain, et les motifs d'attention des points clés (par exemple, l'accent mis sur les articulations du genou lors des squats) s'alignaient avec les exigences biomécaniques spécifiques au domaine.

Signification

L'article affirme que le LVDR comble le fossé entre une haute performance prédictive et un raisonnement compréhensible par l'humain dans l'évaluation fine des compétences. En modélisant explicitement le processus de raisonnement latent et en visualisant les motifs spatio-temporels critiques, le cadre répond à la limitation de la « boîte noire » des systèmes AQA actuels. Cette transparence est présentée comme une étape cruciale vers l'adoption réelle des systèmes d'évaluation basés sur l'IA dans des domaines à enjeux élevés où la responsabilité et la confiance sont requises. Les auteurs notent que si le travail actuel se concentre sur des scénarios à personne unique, les directions futures incluent l'extension du cadre à des scénarios multi-personnes et à des applications en temps réel.