Zero-shot HOI Detection with MLLM-based Detector-agnostic Interaction Recognition

Cet article propose un cadre découplé pour la détection d'interactions humain-objet en zéro-shot, qui sépare la détection d'objets de la reconnaissance des interactions en exploitant les grands modèles de langage multimodaux (MLLM) via une génération déterministe et des modules d'adaptation spatiale pour atteindre des performances supérieures sans réentraînement.

L'essentiel

Imaginez que vous regardez une photo de rue. Votre cerveau identifie instantanément : « Il y a un homme », « Il y a un vélo », et surtout, il comprend l'action : « L'homme monte sur le vélo ».

C'est ce qu'on appelle la détection d'interaction Homme-Objet (HOI). Le défi pour les ordinateurs, c'est qu'il existe des millions de combinaisons possibles (un homme qui mange une pomme, un homme qui pousse une poussette, un homme qui regarde un oiseau). Souvent, les ordinateurs apprennent par cœur ces combinaisons. Si on leur montre une scène qu'ils n'ont jamais vue (par exemple, un homme qui danse avec un parapluie), ils sont perdus. C'est le problème du « zéro-shot » (zéro exemple d'apprentissage).

Ce papier propose une nouvelle façon de faire, qu'on pourrait appeler « Le Détective Indépendant ».

1. Le Problème : L'Équipe Trop Collée

Les anciennes méthodes fonctionnaient comme une équipe de deux personnes très collées l'une à l'autre :

• Le Détecteur (qui repère les objets) et L'Interprète (qui devine l'action) travaillaient ensemble, main dans la main.
• Le problème : Si vous changez le Détecteur pour un meilleur modèle, vous devez tout réapprendre. De plus, l'Interprète utilisait des outils un peu grossiers (comme un dictionnaire basique) qui ne captaient pas les nuances fines des actions. C'était comme essayer de lire un poème complexe avec des lunettes de soleil trop foncées.

2. La Solution : Séparer les Tâches (Le Framework Découplé)

Les auteurs disent : « Pourquoi ne pas séparer les deux ? »
Imaginez que vous engagez un expert en reconnaissance d'images (le détecteur) pour trouver les gens et les objets, puis vous prenez les photos de ces couples et vous les montrez à un super-intellectuel (un Modèle de Langage Multimédia ou MLLM) pour qu'il explique ce qui se passe.

• L'avantage : Vous pouvez changer l'expert en images (le détecteur) sans avoir à rééduquer le super-intellectuel. C'est du « Plug-and-Play » (brancher et jouer).

3. Le Tour de Magie : Transformer l'Action en Question

Comment faire parler ce super-intellectuel sans le réentraîner ?
Au lieu de lui demander de « deviner » une action au hasard, les chercheurs lui posent une question à choix multiples, comme dans un quiz scolaire.

• L'ancienne méthode : « Qu'est-ce qui se passe ? » (L'IA invente souvent des réponses bizarres ou ne donne qu'une seule réponse).
• La nouvelle méthode (Génération Déterministe) : « Regarde cet homme et ce vélo. Parmi ces options : A) Il monte sur le vélo, B) Il mange le vélo, C) Il peint le vélo, laquelle est vraie ? »

L'IA doit simplement choisir la bonne réponse dans la liste. Cela force l'IA à être précise et à ne pas inventer d'histoires. C'est comme passer d'un examen de rédaction libre (où l'on peut rater la consigne) à un QCM où la réponse est garantie d'être dans la liste.

4. Les Deux Astuces pour aller plus vite et mieux

Même avec ce super-intellectuel, il y a deux petits problèmes :

1. La précision : Parfois, le détecteur se trompe un peu sur la taille de la boîte autour de l'objet. L'IA pourrait regarder le fond de l'image au lieu de l'action.
   • La solution : Ils ont créé un « Pooling Conscient de l'Espace ». Imaginez que l'IA ne regarde pas seulement les objets, mais aussi la distance et l'angle entre eux. Si un homme est très loin d'un vélo, il ne peut pas le monter. Cette astuce aide l'IA à ignorer les erreurs de détection.
2. La vitesse : Si la liste de choix contient 100 actions possibles, l'IA devrait normalement lire la question 100 fois pour comparer chaque option. C'est lent !
   • La solution : Ils ont inventé une « Correspondance en Un Seul Coup ». Au lieu de poser la question 100 fois, ils posent la question une seule fois avec toutes les options, et l'IA compare tout d'un coup, comme un scanner rapide. C'est comme passer d'un examen oral (un par un) à un scan de code-barres instantané.

5. Les Résultats : Pourquoi c'est impressionnant ?

• Généralisation : Comme l'IA utilise un « cerveau » très intelligent (le MLLM) qui a lu des milliards de livres et d'images, elle comprend des interactions qu'elle n'a jamais vues dans les exercices. Elle peut deviner qu'un homme « fait du vélo » même si elle n'a jamais vu cette phrase exacte en s'entraînant.
• Flexibilité : Si demain quelqu'un crée un détecteur d'objets encore meilleur, vous pouvez simplement le brancher à votre système sans tout réapprendre.
• Performance : Sur les tests standards, cette méthode bat toutes les anciennes méthodes, même celles qui ont été longuement entraînées.

En résumé

Ce papier propose de découpler la recherche d'objets de la compréhension de l'action. Au lieu d'entraîner un modèle rigide, on utilise un super-lecteur intelligent (MLLM) à qui on pose des questions à choix multiples précises. Grâce à des astuces pour gérer les erreurs de détection et accélérer le calcul, on obtient un système capable de comprendre n'importe quelle interaction humaine, même inédite, avec une grande flexibilité.

C'est un peu comme passer d'un robot qui a mémorisé un script à un humain très cultivé à qui vous montrez une photo et demandez : « Qu'est-ce qu'ils font ici ? » en lui donnant une liste de réponses possibles.

Résumé technique

1. Problématique : Détection d'Interactions Humain-Objet (HOI) en Zéro-Shot

La détection d'interactions humain-objet (HOI) vise à localiser les humains et les objets dans une image et à identifier l'action (verbe) reliant cette paire. Le défi majeur réside dans l'immense espace combinatoire des paires humain-objet et la nécessité d'une compréhension visuelle fine.

Le problème spécifique abordé est la détection en zéro-shot : reconnaître des interactions qui n'ont jamais été vues pendant l'entraînement (nouvelles combinaisons verbe-objet, nouveaux objets ou nouveaux verbes).

Limites des méthodes existantes :

• Couplage fort : La plupart des méthodes (surtout en deux étapes) lient étroitement la reconnaissance d'interaction (IR) à un détecteur d'objets spécifique. Cela empêche d'exploiter les progrès récents des détecteurs à vocabulaire ouvert sans réentraînement.
• Caractéristiques grossières : Les méthodes basées sur des modèles vision-langage (VLM) comme CLIP utilisent des caractéristiques trop grossières pour distinguer des interactions visuellement similaires.
• Généralisation limitée : L'alignement des caractéristiques visuelles et textuelles est souvent restreint aux catégories observées durant l'entraînement, limitant la capacité à généraliser à des interactions inconnues.

2. Méthodologie : Un Cadre Découplé et Basé sur les MLLM

Les auteurs proposent un cadre découplé qui sépare la détection d'objets de la reconnaissance d'interaction, exploitant la puissance des Modèles de Langage Multimodaux (MLLM) pour l'IR.

A. Reformulation en Question-Réponse Visuelle (VQA)

Au lieu d'utiliser des embeddings statiques, l'interaction est formulée comme une tâche de VQA. Pour chaque paire humain-objet détectée :

• Entrée : Une image, les caractéristiques de la paire humain-objet, et une liste de candidats d'interactions possibles (basée sur l'objet détecté).
• Prompt : "Les caractéristiques de l'interaction sont . Sélectionnez l'interaction correcte dans la liste : [liste de verbes]."

B. Génération Déterministe (Training-Free)

Pour éviter les problèmes de format de sortie des MLLM (qui génèrent du texte libre) et obtenir des scores de confiance pour le calcul du mAP :

• La génération de texte ouverte est remplacée par une génération déterministe.
• Le modèle calcule la vraisemblance conditionnelle de générer chaque candidat de la liste.
• Cela permet une inférence sans entraînement (training-free) tout en garantissant que la sortie correspond strictement à la liste de candidats.

C. Modules d'Amélioration (Fine-tuning)

Pour surmonter les limites des MLLM bruts (sensibilité aux boîtes de détection imparfaites et coût computationnel élevé), deux modules sont introduits :

1. Pooling Sensible à l'Espace (Spatial-Aware Pooling - SAP) :

   • Problème : Le pooling standard (ROIAlign) se limite à la boîte de détection, ignorant le bruit et les relations spatiales.
   • Solution : Le SAP intègre les caractéristiques d'apparence et un vecteur d'information spatiale paire (superposition, aspect ratio, direction humain-objet).
   • Mécanisme : Une couche d'attention croisée agrège les informations au-delà de la boîte de détection, rendant le système robuste aux erreurs de localisation. Un classifieur binaire filtre également les paires non interactives.

2. Appariement Déterministe en Un Seul Passage (One-Pass Deterministic Matching) :

   • Problème : La méthode de génération déterministe naïve nécessite un passage avant (forward pass) par candidat, ce qui est coûteux.
   • Solution : Reformulation de la génération en une tâche d'appariement de caractéristiques.
   • Mécanisme : Un token spécial <|hoi|> est ajouté après chaque candidat dans le prompt. Le modèle extrait les caractéristiques de ces tokens et les compare (similarité cosinus) aux caractéristiques de l'interaction. Cela permet de prédire tous les candidats en un seul passage avant.

3. Contributions Clés

1. Découplage Total : Séparation complète de la détection d'objets et de la reconnaissance d'interaction. Le système est agnostique au détecteur : il peut intégrer n'importe quel détecteur (ex: Grounding-DINO, YOLO-World) sans réentraînement.
2. Utilisation des MLLM pour l'IR : Remplacement des VLM classiques (CLIP) par des MLLM pour une meilleure généralisation sémantique et visuelle.
3. Méthode Sans Entraînement Efficace : Introduction de la génération déterministe permettant une détection zéro-shot performante sans fine-tuning.
4. Efficacité et Robustesse : Conception du module SAP et de l'appariement en un seul passage pour réduire la latence et améliorer la robustesse aux détections imparfaites.

4. Résultats Expérimentaux

Les expériences ont été menées sur les benchmarks HICO-DET et V-COCO.

• Performance Zéro-Shot : La méthode obtient les meilleurs résultats sur HICO-DET dans tous les scénarios (Unseen Combination, Unseen Object, Unseen Verb). Par exemple, elle surpasse l'état de l'art (BC-HOI) de ~10% sur le scénario NF-UC et de ~28% sur UO.
• Généralisation Cross-Dataset : Entraîné sur HICO-DET et testé sur V-COCO, la méthode atteint 59.91% mAP, surpassant largement les méthodes précédentes (ex: +12.26% par rapport à CMMP), démontrant une forte capacité de généralisation.
• Flexibilité du Détecteur : L'utilisation de détecteurs plus performants (Grounding-DINO, YOLO-World) améliore directement les performances finales sans réentraînement du module d'interaction, prouvant la modularité de l'approche.
• Mode Training-Free : Même sans fine-tuning, la méthode atteint 31.50% mAP sur HICO-DET, surpassant des méthodes complexes nécessitant un entraînement lourd.

5. Signification et Impact

Ce travail établit un nouveau paradigme pour la détection HOI :

• Modularité : Il brise le couplage historique entre les détecteurs et les classifieurs d'interaction, permettant à la communauté de bénéficier immédiatement des avancées en détection d'objets à vocabulaire ouvert.
• Efficacité des MLLM : Il démontre que les MLLM, lorsqu'ils sont correctement formulés (VQA + génération déterministe), surpassent les approches traditionnelles basées sur CLIP pour la compréhension fine des interactions.
• Adaptabilité : La capacité à fonctionner sans réentraînement (training-free) ou avec un fine-tuning léger (LoRA) rend la méthode très pratique pour des déploiements réels où les données annotées sont rares.

En résumé, cette approche propose une solution robuste, efficace et hautement généralisable pour la détection d'interactions humain-objet en zéro-shot, en tirant parti de la puissance sémantique des grands modèles de langage multimodaux tout en résolvant leurs limitations computationnelles et structurelles.