HOI-R1: Exploring the Potential of Multimodal Large Language Models for Human-Object Interaction Detection

Résumé Technique de HOI-R1 : Explorer le Potentiel des Grands Modèles de Langage Multimodaux pour la Détection d'Interactions Humain-Objet

Énoncé du Problème
La détection d'interactions humain-objet (HOID) vise à identifier les interactions entre humains et objets dans les images, en produisant des instances sous forme de tuples comprenant les boîtes englobantes de l'humain, les boîtes englobantes de l'objet, les classes d'objets et les classes d'interaction. Les méthodes traditionnelles de HOID reposent sur un paradigme centré sur le détecteur, utilisant des détecteurs d'objets pour générer des propositions suivies d'une tête d'interaction dédiée (souvent basée sur des transformeurs) pour prédire les étiquettes. Les approches de pointe récentes intègrent de plus en plus les connaissances préalables des modèles vision-langage (VLM) pour gérer les annotations à longue traîne. Cependant, ces méthodes introduisent des pipelines complexes nécessitant des modules supplémentaires, des objectifs d'entraînement spécifiques et un couplage architectural entre les détecteurs et les décodeurs d'interaction, ce qui entrave l'extensibilité et la réutilisation. De plus, les capacités de raisonnement inhérentes des Grands Modèles de Langage Multimodaux (MLLM) pour les tâches structurées de HOID — spécifiquement le raisonnement simultané sur les interactions et la localisation des paires au sein d'un protocole standardisé — restent sous-explorées.

Méthodologie
Les auteurs proposent HOI-R1, un cadre qui élimine entièrement les détecteurs d'objets, résolvant le HOID de bout en bout par le raisonnement en langage naturel à l'aide de MLLM. L'approche implique un paradigme d'entraînement en deux étapes :

1. Prédiction Basée sur le Langage et Conception de Prompt :
   Au lieu de la régression de boîte englobante, le modèle produit des instances HOI dans un format de langage naturel structuré (JSON). Le prompt d'entrée est conçu avec trois composants :

   • Instruction de Tâche : Définit le rôle du modèle et fournit des listes exhaustives de classes d'objets et d'interactions valides pour contraindre l'espace de sortie et prévenir les hallucinations.
   • Guidage du Raisonnement : Une section « Processus de Pensée » qui décompose la tâche en étapes séquentielles (identifier les humains, analyser les actions, déterminer les interactions) pour refléter les processus cognitifs humains.
   • Exemple de Format : Un modèle exigeant que la sortie comprenne une chaîne de raisonnement (à l'intérieur des balises <thought>) et des prédictions finales (à l'intérieur des balises <answer>), incorporant directement les coordonnées spatiales dans le texte.

2. Fine-Tuning Supervisé (SFT) avec Distillation de la Pensée :
   Pour transférer les connaissances spécifiques à la tâche, un paradigme enseignant-élève est employé. Un modèle enseignant puissant (GPT4o-mini) génère des traces de raisonnement étape par étape pour les images d'entraînement. Le modèle élève MLLM est entraîné via SFT pour prédire à la fois les traces de raisonnement générées par l'enseignant et les triplets HOI de vérité terrain. Cette « distillation de la pensée » intériorise le processus logique de la détection HOI.

3. Apprentissage par Renforcement (RL) avec Récompenses Personnalisées :
   Suite au SFT, le modèle est aligné en utilisant l'Optimisation de Politique Relative de Groupe (GRPO). Les auteurs conçoivent une fonction de récompense composite composée de quatre éléments pour assurer l'alignement structurel, sémantique et géométrique :

   • Récompense de Format : S'assure que la sortie contient les balises requises (<thought>, <answer>) et les clés JSON valides (human, object, object class, verb class). Elle pénalise les boîtes englobantes en double et les structures de clés incorrectes.
   • Récompenses d'Étiquette d'Objet et de Verbe : Encourage la prédiction précise des classes d'objets et d'interactions en comparant les étiquettes prédites aux vérités terrains via une stratégie de "drop-on-match".
   • Récompense IoU HOI : Utilise l'algorithme de Hongrie pour faire correspondre les paires humain-objet prédites avec les paires de vérité terrain sur la base de l'Intersection sur Union (IoU) des boîtes humaines et d'objets, fournissant un signal d'alignement géométrique.

Principales Contributions

• Cadre HOI-R1 : Le premier cadre MLLM résolvant le HOID de bout en bout via le langage naturel, supprimant la dépendance aux détecteurs d'objets.
• Paradigme d'Entraînement : Introduction d'une stratégie d'entraînement en deux étapes combinant le SFT avec la distillation de la pensée (pour injecter la connaissance HOI) et le RL avec des fonctions de récompense spécialisées (pour l'alignement avec les métriques HOID).
• Conception de Récompense : Développement de fonctions de récompense spécifiques aux éléments (format, étiquette et IoU) qui guident les MLLM pour produire des prédictions structurées, précises et spatialement ancrées.

Résultats Expérimentaux
Les expériences ont été menées sur le jeu de données HICO-DET en utilisant plusieurs MLLM open-source, notamment la famille Qwen-VL (Qwen2.5-VL, Qwen3-VL) et Rex-Omni.

• Gains de Performance : HOI-R1 démontre des améliorations constantes à travers les modèles. Notamment, l'application de HOI-R1 à Qwen2.5-VL-3B entraîne un bond de précision de 2x (passant d'environ 8,39 mAP à 18,33 mAP sur la catégorie Full sous les réglages par défaut) avec seulement 1 époque de SFT et 40 étapes de RL.
• Comparaison avec l'État de l'Art (SOTA) : La variante HOI-R1 de Rex-Omni-3B atteint 27,00 mAP sur le réglage "Known Object", surpassant le modèle Qwen2.5-VL-AWQ de 72 milliards de paramètres et les méthodes traditionnelles basées sur les transformeurs comme QPIC.
• Efficacité : La méthode converge de manière significative plus rapidement que les méthodes HOID traditionnelles, qui nécessitent souvent des centaines d'époques, atteignant de hautes performances avec un minimum d'étapes d'entraînement (1 époque SFT + 40 étapes RL).
• Études d'Ablation : Supprimer la composante « pensée » dégrade considérablement la performance sur les catégories rares, soulignant la valeur du raisonnement. Supprimer la récompense IoU provoque une chute substantielle (3,62 mAP), confirmant la nécessité des récompenses d'alignement géométrique.

Signification et Revendications
L'article affirme que HOI-R1 établit de nouveaux points de référence pour le HOID basé sur les MLLM, démontrant que les grands modèles de langage possèdent le potentiel inhérent pour gérer des tâches de raisonnement visuel structurées et complexes sans modules de détection spécialisés. En exploitant le raisonnement en langage naturel et l'apprentissage par renforcement, le cadre simplifie le pipeline HOID tout en atteignant des performances compétitives ou supérieures par rapport aux approches centrées sur les détecteurs. Les auteurs positionnent ce travail comme une étape vers la simplification des architectures HOID et la libération des capacités de raisonnement des MLLM pour une compréhension visuelle fine.