Résumé technique : Auto-amélioration de la localisation d'objets de petite taille dans les LVLM

Énoncé du problème

Les grands modèles de langage visuels (LVLM) ont démontré des capacités remarquables en matière de raisonnement visuel-langagier et de localisation directe d'objets (production de coordonnées de boîtes englobantes sans têtes de détection spécialisées). Cependant, les modèles LVLM de pointe (SOTA) actuels présentent un écart de performance significatif lors de la localisation d'objets de petite taille (par exemple, des piétons lointains) par rapport aux objets de grande taille. Cette limitation pose des risques pour les déploiements critiques en matière de sécurité.

Les approches existantes pour améliorer la localisation reposent généralement sur :

1. Un ajustement fin (fine-tuning) supplémentaire du LVLM.
2. L'intégration de modules de localisation externes (ex: SAM, détecteurs d'objets).
3. Des stratégies de décodage heuristiques.

Ces méthodes nécessitent souvent des ressources computationnelles substantielles, des modifications architecturales ou une supervision externe. La question centrale abordée par ce travail est la suivante : Les représentations internes au sein d'un LVLM peuvent-elles identifier des boîtes englobantes fiables pour de petits objets sans ajustement fin du modèle ni utilisation de détecteurs externes ?

Méthodologie : Sélection de Candidats basée sur l'Attention (ACS)

Les auteurs proposent le cadre Attention-based Candidate Selection (ACS), qui exploite les motifs d'attention intrinsèques des LVLM pour estimer la qualité des boîtes englobantes et sélectionner la meilleure réponse parmi plusieurs réponses échantillonnées. Le cadre fonctionne en trois étapes :

1. Régresseur d'IoU d'Attention & ACS-Learned

Les auteurs émettent l'hypothèse que les structures d'attention spatiale sont fortement corrélées à la qualité de la localisation.

• Collecte de données : Ils effectuent un échantillonnage multi-réponses (contrôlé par la température) pour générer un ensemble de boîtes englobantes candidates et extraire leurs cartes d'attention associées de toutes les couches et têtes de transformeurs.
• Entraînement du régresseur : Un régresseur d'IoU léger ($f_\theta$) est entraîné pour prédire directement le score d'Intersection sur Union (IoU) à partir de ces cartes d'attention. L'objectif d'entraînement est l'erreur quadratique moyenne (MSE) entre l'IoU prédit et l'IoU réel (ground-truth).
• ACS-Learned : Lors de l'inférence, ce régresseur entraîné évalue chaque boîte candidate en fonction de ses motifs d'attention. La candidate présentant l'IoU prédit le plus élevé est sélectionnée. Cette variante nécessite un composant appris mais ne nécessite pas d'ajustement fin du LVLM.

2. Analyse des motifs critiques pour la localisation

Pour éliminer le besoin d'un régresseur appris lors de l'inférence, les auteurs analysent le régresseur entraîné pour comprendre ce qu'il a appris.

• Attribution de gradient : En calculant les gradients de la perte du régresseur par rapport aux poids d'attention, ils identifient les couches et les têtes de transformeurs spécifiques qui sont les plus critiques pour la localisation. Pour Qwen2.5-VL, les couches 14 à 21 sont identifiées comme critiques ; pour InternVL-3.5, les couches 17 à 26.
• Corrélation Entropie-IoU : L'analyse révèle que dans ces couches critiques, les prédictions de haute qualité (IoU élevé) correspondent à des cartes d'attention concentrées (faible entropie), tandis que les mauvaises prédictions présentent une attention diffuse (haute entropie).

3. ACS-Free : Distillation sans entraînement

Sur la base de cette analyse, les auteurs dérivent ACS-Free, un sélecteur sans paramètres.

• Mécanisme : Il identifie les têtes d'attention les plus discriminantes (celles présentant la plus grande différence d'entropie entre les groupes à IoU élevé et faible) au sein des couches critiques.
• Règle de sélection : Lors de l'inférence, il calcule l'entropie spatiale moyenne des cartes d'attention pour chaque boîte candidate à travers ces têtes spécifiques. La candidate ayant la plus faible entropie moyenne (indiquant l'attention la plus concentrée) est sélectionnée.
• Avantage : ACS-Free ne nécessite aucun composant appris au moment de l'inférence, ce qui en fait une amélioration "plug-and-play".

Principales contributions

1. Découverte : Ce papier établit un lien fort entre les motifs d'attention internes et la qualité de la localisation, démontant que la structure de l'attention encode si une boîte prédite pour un petit objet est fiable.
2. Validation (ACS-Learned) : Un régresseur d'IoU léger, entraîné uniquement sur les cartes d'attention, atteint une forte prédiction d'IoU (Pearson $r > 0,67$), validant que l'attention seule porte un signal suffisant pour l'estimation de la qualité.
3. Interprétabilité & Distillation (ACS-Free) : À travers l'analyse des gradients et de l'entropie, les auteurs identifient les couches et têtes de transformeurs spécifiques critiques pour la localisation. Ils distillent cette connaissance dans une règle basée sur l'entropie sans entraînement (ACS-Free) qui classe les candidates sans paramètres appris.
4. Performance : Le cadre parvient à une auto-amélioration significative de la localisation de petits objets sans ajustement fin du LVLM ni détecteurs externes.

Résultats expérimentaux

Les expériences ont été menées sur les jeux de données COCO et Objects365, en se concentrant sur les petits objets (0,1 % à 1 % de la surface de l'image), en utilisant Qwen2.5-VL-7B et InternVL-3.5-8B.

• Auto-amélioration : ACS-Learned atteint jusqu'à 19 % d'amélioration de l'Acc@0.5 sur la localisation de petits objets par rapport au décodage glouton (ex: InternVL-3.5 sur Objects365 passe de 21,9 % à 25,5 % Acc@0.5 ; Qwen2.5-VL sur COCO passe de 61,4 % à 65,3 %).
• Performance sans entraînement : ACS-Free se classe comme la meilleure méthode sans entraînement, surpassant souvent des bases comme le vote majoritaire (Majority Voting - MajVote) et l'entropie des tokens (Token Entropy - TokEntropy). À $\tau=0,5$, ACS-Free améliore l'Acc@0.5 de +3,26 % (Qwen) et +8,15 % (InternVL) par rapport au décodage glouton sur COCO.
• Baselines : L'entropie du vocabulaire au niveau du token (TokEntropy) n'a pas réussi à capturer la qualité de la localisation spatiale, perforant moins bien que même les baselines à échantillon unique. Cela souligne que le signal pour la localisation réside dans l'organisation de l'attention spatiale, et non dans l'incertitude de génération des tokens.
• Efficacité : La performance sature avec $N=3$ à $N=5$ échantillons, indiquant un coût computationnel minimal par rapport aux gains obtenus.

Signification et affirmations

Le papier affirme qu'une structure d'attention utile améliore à la fois la fiabilité de la localisation et l'interprétabilité des LVLM.

• Insight mécaniste : Ce travail fournit des informations interprétables sur la manière dont les LVLM traitent l'information spatiale, révélant que des couches spécifiques du transformeur passent de motifs globaux à une attention focalisée sur l'objet, et que l'entropie de l'attention dans ces couches sert de proxy pour la confiance de la prédiction.
• Utilité pratique : Le cadre ACS offre une amélioration "plug-and-play" pour les LVLM existants. Il permet l'auto-amélioration de la détection de petits objets sans le coût d'un ajustement fin ou la dépendance à des modèles de détection externes.
• Limites : Les auteurs notent que la méthode nécessite un accès "boîte blanche" aux cartes d'attention (limitant l'applicabilité aux modèles à API fermée comme GPT-4V) et entraîne un coût d'inférence modeste dû à l'échantillonnage, bien que cela soit atténué par la saturation rapide des performances avec un faible nombre d'échantillons.