IntentVLM: Open-Vocabulary Intention Recognition through Forward-Inverse Modeling with Video-Language Models

1. Définition du problème

Le papier aborde le défi de la reconnaissance de l'intention humaine à vocabulaire ouvert dans l'interaction humain-robot (HRI).

• Le défi central : Contrairement aux actions physiques, les intentions sont des états mentaux latents non observables. Les méthodes existantes reposent souvent sur des approches à vocabulaire fermé (ensembles prédéfinis d'étiquettes), qui échouent à capturer la nuance, la diversité et les motivations composées des objectifs humains dans des environnements non contraints.
• Limites des approches actuelles :
  • Classification à ensemble fermé : Restreint le modèle à un espace d'étiquettes fixe, limitant l'expressivité.
  • Génération directe : La génération en un seul passage par des modèles de langage à grande échelle (LLM) ou des modèles vision-langage (VLM) conduit souvent à des hallucinations et des prédictions incohérentes lorsqu'on demande d'inférer des intentions directement à partir de la vidéo sans contraintes.
  • Perception statique : De nombreux travaux antérieurs reposent sur des images statiques, échouant à capturer la dynamique temporelle et l'évolution contextuelle essentielles à la compréhension de l'intention.
• Objectif : Développer un système capable d'inférer des descriptions d'intentions humaines en langage naturel libre à partir de flux vidéo, sans recourir à un vocabulaire d'actions prédéfini, tout en maintenant la robustesse et en réduisant les hallucinations.

2. Méthodologie : IntentVLM

Les auteurs proposent IntentVLM, un nouveau cadre vidéo-langage en deux étapes inspiré de la modélisation avant-inverse en sciences cognitives. L'hypothèse centrale est que le cerveau simule d'abord des états futurs plausibles (avant) avant de raisonner à rebours pour inférer l'intention (inverse).

Aperçu de l'architecture

Le cadre utilise deux modèles vidéo-langage (VLM) figés, augmentés d'adaptateurs LoRA (Low-Rank Adaptation) pour un ajustement fin efficace en paramètres. Le processus est divisé en deux étapes séquentielles :

Étape 1 : Génération de candidats d'objectif (Étape "Avant")

• Entrée : Séquence vidéo observée ($V_O$) et une requête textuelle ($Q_O$).
• Fonction : Un module génératif produit un ensemble diversifié de $K$ candidats d'objectifs plausibles ($G_t = \{G_1, ..., G_K\}$) qui expliquent le comportement observé.
• Mécanisme : Cela agit comme une étape de "proposition", simulant des résultats ou des objectifs potentiels basés sur le contexte visuel. Cela élargit l'espace de recherche pour inclure des possibilités à vocabulaire ouvert plutôt que de se restreindre à une liste fixe.
• Implémentation : Un modèle Qwen3-VL (8 milliards de paramètres) est affiné pour générer ces candidats.

Étape 2 : Sélection structurée (Étape "Inverse")

• Entrée : La vidéo originale, la requête et l'ensemble des objectifs candidats générés à l'étape 1.
• Fonction : Un module d'inférence évalue les candidats et sélectionne l'intention la plus plausible.
• Mécanisme : Cela agit comme un "expert" qui raisonne sur les candidats, les classant en fonction de leur cohérence avec les preuves visuelles et les informations contextuelles.
• Implémentation : Une instance séparée de Qwen3-VL (2 ou 4 milliards de paramètres) est affinée pour effectuer la sélection. La sortie finale est l'objectif ayant la probabilité postérieure la plus élevée, traitée comme l'intention inférée.

Stratégie d'entraînement :

• Ajustement fin efficace en paramètres (PEFT) : Seuls les adaptateurs LoRA sont entraînés, maintenant les poids de base du VLM figés pour préserver les connaissances générales du monde et éviter l'oubli catastrophique.
• Fonction de perte : La perte d'entropie croisée est calculée entre les tokens générés et les étiquettes de vérité terrain (candidats pour l'étape 1, intention vraie pour l'étape 2).

3. Contributions clés

1. Cadre à vocabulaire ouvert : Dépasse la classification à ensemble fermé pour un paradigme de génération-sélection, permettant au modèle de reconnaître des intentions absentes d'un vocabulaire d'entraînement prédéfini.
2. Conception en deux étapes inspirée des sciences cognitives : Décompose explicitement la reconnaissance d'intention en proposition (génération d'hypothèses) et sélection (vérification d'hypothèses). Cette structure imite les processus cognitifs humains (modélisation avant-inverse) et réduit considérablement les hallucinations par rapport à la génération directe.
3. Performances de pointe : Atteint des performances de niveau humain sur les benchmarks de reconnaissance d'intention, surpassant les bases existantes avec une marge significative.
4. Robustesse et efficacité : Démontre que la conception modulaire empêche l'oubli catastrophique (préservant la compréhension générale de la scène) et atteint des performances élevées avec des tailles de modèles plus petites (4B) par rapport aux bases plus grandes.

4. Résultats expérimentaux

Le modèle a été évalué sur deux benchmarks : IntentQA (reconnaissance d'intention) et Inst-IT Bench (raisonnement au niveau de l'instance).

• Performances sur IntentQA :
  • Précision : IntentVLM a atteint ~80 % de précision sur l'ensemble de test.
  • Comparaison : Cela représente une amélioration d'environ 30 % par rapport aux bases existantes (par exemple, HME, HQGA, VGT) et correspond aux performances humaines (78,49 %).
  • Ablation : Le modèle de 4 milliards de paramètres a surpassé la version de 2 milliards. L'affinage a considérablement boosté les performances par rapport aux réglages zero-shot.
• Capacité à vocabulaire ouvert :
  • Dans un cadre de génération libre (aucune option de candidat fournie), la génération directe par des VLM standards a mal performé (<20 au score ROUGE).
  • L'approche en deux étapes d'IntentVLM a amélioré les performances d'environ 5 points en moyenne dans les cadres à vocabulaire ouvert en contraignant l'espace de génération grâce au mécanisme de sélection de candidats.
• Généralisation (Oubli catastrophique) :
  • L'entraînement sur IntentQA n'a pas dégradé la capacité du modèle à effectuer un raisonnement au niveau de l'instance sur le Inst-IT Bench. Le modèle affiné est resté compétitif par rapport à ses homologues zero-shot.
  • Efficacité : Le IntentVLM de 4 milliards de paramètres a atteint des performances comparables à des modèles dépassant 7 milliards de paramètres, soulignant un compromis taille-performance supérieur.

5. Importance et impact

• Avancement de l'interaction humain-robot : En permettant aux robots de comprendre des objectifs humains subtils et ouverts (par exemple, "Faire du café" vs "Chauffer de l'eau pour le thé") sans scripts préprogrammés, IntentVLM ouvre la voie à des assistants robotiques plus proactifs et socialement conscients.
• Pont entre sciences cognitives et IA : Ce travail traduit avec succès le concept théorique de modélisation avant-inverse en une architecture d'apprentissage profond pratique et évolutive.
• Fiabilité du raisonnement : L'approche de raisonnement structuré (générer puis sélectionner) offre une solution au problème d'"hallucination" courant dans l'IA générative, la rendant plus adaptée aux applications critiques pour la sécurité comme les soins ou la robotique d'assistance.
• Évolutivité : L'utilisation d'adaptateurs LoRA permet une adaptation efficace des grands modèles de base à des tâches cognitives spécifiques sans le coût computationnel d'un affinage complet.

En conclusion, IntentVLM démontre que la décomposition de la reconnaissance d'intention en un processus cognitif structuré en deux étapes permet aux modèles vidéo-langage d'atteindre une compréhension de niveau humain d'objectifs humains complexes à vocabulaire ouvert, offrant une base robuste pour la prochaine génération de systèmes robotiques intelligents.