Résumé Technique : ProGraD pour le Raisonnement Relationnel Structuré dans la Détection d'Activités de Groupe

1. Définition du Problème

La Détection d'Activités de Groupe (GAD) étend la reconnaissance traditionnelle des activités de groupe en exigeant que les modèles localisent simultanément plusieurs groupes sociaux au sein d'une scène, infèrent les appartenances aux groupes (qui agit avec qui) et classifient les activités collectives. Cette tâche est difficile en raison des interactions superposées, des occlusions et de la nécessité d'inférer dynamiquement les structures de groupes plutôt que de s'appuyer sur un regroupement spatial fixe.

L'article identifie un goulot d'étranglement critique dans l'adaptation des Modèles Fondamentaux de Vision (VFMs) (par exemple, DINOv2) à la GAD. Bien que les VFMs offrent des représentations de caractéristiques supérieures, leur substitution naïve dans les pipelines GAD existants (conçus pour des backbones CNN) dégrade les performances. Par exemple, le remplacement d'un backbone ResNet-18 par un backbone DINOv2 figé dans le cadre "Practical GAD" a fait chuter le Group mAP@1.0 de 10,85 à 9,46. Les auteurs soutiennent que la limitation principale n'est pas la qualité des caractéristiques, mais l'absence de mécanismes de décodage structurés et conscients du groupe capables de modéliser les relations acteur-groupe au sein de l'espace de représentation des VFMs figés.

2. Méthodologie : ProGraD

Les auteurs proposent ProGraD (Détection d'Activités de Groupe basée sur des Prompts), un cadre qui adapte les VFMs figés en utilisant un Raffinement Fin Économe en Paramètres (PEFT) et un décodeur relationnel spécialisé. L'architecture se compose de trois composants principaux :

A. Extraction de Caractéristiques avec Conditionnement PEFT

• Backbone Figé : Le modèle utilise un VFM figé (spécifiquement DINOv2-Base) pour extraire des tokens de niveau patch et des tokens d'acteur (via ROI Align).
• Prompts de Groupe Apprenables : Au lieu d'un raffinement fin complet ou d'adapters lourds, ProGraD injecte des prompts de groupe apprenables ($G_{prompt}$) dans la séquence d'entrée du VFM. Ces prompts agissent comme des requêtes spécifiques à la tâche qui conditionnent le backbone figé pour révéler des sémantiques socialement pertinentes (par exemple, acteurs interagissant, arrangements spatiaux de groupes) sans modifier les poids du backbone.
• Génération de Tokens : Les tokens d'acteur sont extraits via un pooling RoI $1 \times 1$ à partir des cartes de caractéristiques conditionnées par les prompts, créant une représentation compacte qui préserve la précision spatiale.

B. GroupContext Transformer (GCT)

L'innovation centrale est un GroupContext Transformer léger à deux couches, conçu pour séparer explicitement la formation des groupes d'acteurs de l'agrégation du contexte global. Il opère en deux étapes :

1. Couche d'Attention de Regroupement : Cette couche initialise des tokens de groupe apprenables et effectue une attention croisée par rapport aux tokens d'acteur. Elle agrège des informations provenant d'acteurs potentiellement distants ou séparés temporellement pour former des représentations cohérentes de la composition du groupe ($G_{grp}$).
2. Couche d'Attention Contextuelle : Cette couche enrichit à la fois les tokens de groupe mis à jour et les tokens d'acteur en portant attention au contexte global de la scène (tokens de patch d'image). Cela injecte des indices concernant les arrangements spatiaux, les objets de fond et les régions pertinentes pour l'interaction, permettant une détection d'activité plus précise.

C. Têtes de Prédiction

Les embeddings d'acteur enrichis ($Act_x$) et de groupe ($G_{ctx}$) sont transmis à des réseaux feed-forward légers pour :

• Classification de l'Activité de Groupe : Prédire le comportement collectif.
• Classification de l'Activité de l'Acteur : Prédire les actions individuelles.
• Inférence d'Appartenance : Projeter les tokens dans un espace partagé pour calculer les affinités et assigner les acteurs à des groupes (ou identifier les valeurs aberrantes).

D. Objectif d'Entraînement

Le modèle est entraîné de bout en bout en utilisant une perte multi-tâche combinant :

• La perte de classification d'action individuelle ($L_{ind}$).
• La perte de classification d'activité de groupe ($L_{group}$).
• La perte de prédiction d'appartenance acteur-groupe ($L_{mem}$) utilisant l'appariement de Hungarian.
• Une perte de cohérence contrastive de groupe ($L_{con}$) pour imposer la cohérence entre les acteurs au sein d'un même groupe.

3. Contributions Clés

1. Identification du Goulot d'Étranglement : L'article démontre que le simple remplacement des backbones CNN par des VFMs figés dans les décodeurs GAD existants dégrade les performances. Il établit que l'alignement décodeur-représentation est le facteur clé, et non simplement la qualité des caractéristiques.
2. GroupContext Transformer (GCT) : Un décodeur relationnel nouveau, léger et à deux couches qui sépare explicitement le raisonnement des associations acteur-groupe de l'agrégation du contexte global.
3. Cadre ProGraD : Un système intégré combinant des VFMs figés avec un conditionnement PEFT minimal (prompts apprenables) et le GCT. Il atteint des performances de pointe avec seulement ~10M de paramètres entraînables (moins de la moitié des méthodes précédentes).

4. Résultats Expérimentaux

Les auteurs ont évalué ProGraD sur deux benchmarks : Café (groupes sociaux multiples et concurrents) et Social-CAD (interactions éparses, majoritairement des singletons).

• Benchmark Café :
  • ProGraD a atteint un Group mAP@1.0 de 17,03 et un Group mAP@0.5 de 39,11 (configuration Split-by-Place).
  • Cela représente une amélioration de 6,2 % en mAP@1.0 et de 8,2 % en mAP@0.5 par rapport à l'état de l'art précédent (Practical GAD).
  • Le modèle a utilisé 10,74M de paramètres entraînables contre 22,77M pour Practical GAD.
  • Même la configuration "Decoder Only" (sans prompts PEFT) a surpassé les méthodes existantes, confirmant la force de l'architecture GCT.
• Benchmark Social-CAD :
  • ProGraD a atteint 70,00 % de Précision Sociale et 88,33 % de Précision d'Appartenance, surpassant les méthodes précédentes tout en utilisant moins de paramètres.
• Études d'Ablation :
  • Le retrait de l'une ou l'autre des couches d'Attention de Regroupement ou Contextuelle a entraîné des baisses de performances significatives, confirmant leurs rôles complémentaires.
  • Le réglage du nombre de prompts de groupe pour correspondre au nombre maximal de groupes du jeu de données (7) a produit des résultats optimaux, suggérant que l'alignement du nombre de tokens avec la structure des données est un choix de conception principiel.
• Analyse Qualitative :
  • ProGraD produit des cartes d'attention plus nettes, focalisées sur les personnes et les zones pertinentes pour l'interaction (par exemple, les tables), tandis que les backbones VFM naïfs s'attendent largement aux objets de fond.
  • Le modèle identifie correctement les valeurs aberrantes en proximité spatiale étroite qui ne font pas partie d'un groupe, alors que les méthodes de base les classent souvent à tort uniquement sur la base de la proximité.

5. Importance et Limites

Importance :
L'article soutient que l'avenir de la GAD réside dans le décodage relationnel structuré plutôt que dans le simple passage à l'échelle de la taille du backbone. ProGraD prouve que les VFMs figés peuvent être efficacement adaptés à des tâches complexes de raisonnement social grâce à un conditionnement minimal et des décodeurs spécialisés, offrant une voie économe en paramètres vers des performances de pointe. Le modèle fournit également des cartes d'attention interprétables qui offrent des aperçus sur le raisonnement acteur-groupe, ce qui est précieux pour des applications telles que l'évaluation des compétences et la génération de feedback.

Limites :
Les auteurs reconnaissent plusieurs limites :

• Dépendance aux Vérités Terrain : Le cadre actuel suppose que les détections d'acteurs de vérité terrain sont fournies ; il ne réalise pas la détection et le regroupement conjointement.
• Nombre de Prompts Fixe : Le nombre de prompts de groupe ($K$) est fixé au nombre maximal de groupes du jeu de données, limitant la flexibilité pour les scènes avec des tailles de groupes variables. Un travail futur pourrait explorer l'allocation adaptative de tokens.
• Efficacité de l'Inférence : Bien qu'économe en paramètres, l'inférence nécessite toujours un passage avant complet à travers le grand backbone VFM figé. Un travail futur pourrait explorer la réutilisation des caractéristiques ou la sélection adaptative de tokens pour améliorer l'évolutivité.
• Modes de Défaillance : Le modèle éprouve des difficultés dans les scénarios avec des occlusions sévères ou des réflexions miroir, où les indices spatiaux sont ambigus.