Résumé Technique : SpurLens : Détection Automatique des Indices Spurieux dans les Modèles de Langage Multimodaux (MLLM)

Énoncé du Problème

Bien qu'il soit bien documenté que les modèles de vision unimodaux s'appuient sur des corrélations spécieuses (attributs d'entrée non essentiels), l'étendue de la présence de ces biais dans les Modèles de Langage Multimodaux (MLLM) reste incertaine, malgré leur supervision linguistique. Les auteurs émettent l'hypothèse que de nombreux échecs critiques dans les MLLM, spécifiquement l'hallucination d'objets (génération de contenu factuellement incorrect) et les échements de reconnaissance d'objets, découlent d'une dépendance à des indices spécieux plutôt qu'à une véritable reconnaissance d'objets.

Les méthodes existantes pour détecter ces biais nécessitent souvent une supervision humaine, sont limitées à des caractéristiques prédéfinies ou reposent sur une analyse de cooccurrence de légendes coûteuse en calcul. De plus, il n'est pas clair si ces biais sont fondamentaux au niveau de l'encodeur de vision, du modèle de langage ou de leur fusion, et si des stratégies de prompting simples peuvent les atténuer.

Méthodologie : Le Pipeline SpurLens

Le papier présente SpurLens, un pipeline automatisé et non supervisé conçu pour identifier les indices visuels spécieux et quantifier leur impact sur la performance des MLLM. Le pipeline opère en trois étapes principales :

1. Proposition de Caractéristiques Spécieuses :

   • Pour un objet cible $t$ donné, le système exploite GPT-4 pour générer une liste de potentiels indices spécieux (objets ou éléments d'arrière-plan) qui co-occurrent fréquemment avec $t$.
   • La liste générée subit un filtrage rigoureux via GPT-4 pour garantir que les caractéristiques sont :
     • Physiques et visuellement discernables.
     • Ne font pas partie de l'objet cible lui-même (ex: "écran" n'est pas un indice pour "ordinateur portable").
     • Indissociables de l'objet cible.
     • Détectables par des détecteurs d'objets en "open-set".

2. Identification et Classement des Images :

   • Un détecteur d'objets en "open-set" (OWLv2) est utilisé pour scanner un large ensemble d'images afin de détecter la présence des indices spécieux proposés.
   • Les images sont classées selon les scores de confiance des indices spécieux détectés. Cela crée un classement de la "spuriousité" pour chaque caractéristique, permettant au système de sélectionner les images présentant la présence la plus élevée d'un indice (Top-K) et la plus faible présence (Bottom-K).

3. Calcul des Écarts Spécieux (Spurious Gaps) :

   • Les images classées sont soumises au MLLM cible avec des prompts binaires (ex: "Y a-t-il un [objet cible] dans l'image ?").
   • Deux métriques centrales sont calculées :
     • Écart de Précision de Perception (PA Gap) : La différence de précision de reconnaissance entre les images contenant l'indice spécieux et celles sans lui. Un écart positif important indique une dépendance excessive à l'indice pour la reconnaissance.
     • Écart de Taux d'Hallucination (HR Gap) : La différence de taux d'hallucination (faux positifs) entre les images contenant l'indice et les images de référence. Un écart positif important indique que l'indice déclenche des hallucinations.
   • La caractéristique produisant le plus grand écart est identifiée comme l'indice spécieux le plus influent pour cette classe.

Contributions Clés

• Découverte Automatisée : Contrairement aux travaux antérieurs nécessitant une annotation humaine ou des ensembles de caractéristiques fixes, SpurLens découvre automatiquement des indices spécieux interprétables à travers une large gamme d'objets et de jeux de données sans supervision humaine.
• Analyse des Modes de Défaillance Doubles : L'étude quantifie systématiquement deux modes de défaillance distincts causés par le biais spécieux :
  1. Sur-dépendance : La performance chute significativement lorsque les indices spécieux sont retirés.
  2. Amplification de l'Hallucination : Les indices spécieux déclenchent des hallucinations d'objets à des taux nettement plus élevés que la ligne de base.
• Profondeur Diagnostique : Le cadre isole la source du biais via des études d'ablation, examinant si le biais provient de l'encodeur de vision, du modèle de langage ou du processus de fusion, et teste l'efficacité de diverses stratégies d'atténuation.

Résultats Expérimentaux

Les auteurs ont évalué cinq MLLM (Qwen2-VL, Qwen-3.5, Llama-3.2, LLaVA-v1.6, et GPT-4o-mini) sur trois jeux de données (HardImageNet, Sous-ensemble ImageNet, et COCO).

1. Échecs de Reconnaissance d'Objets

• Le retrait des indices spécieux entraîne des chutes de précision significatives dans tous les modèles.
• Exemple : La précision de GPT-4o-mini sur COCO est passée de 88,0 % (avec indices) à 67,6 % (sans indices), soit une diminution de 20,4 %.
• L'ampleur de la chute varie selon le modèle et le jeu de données, LLaVA-v1.6 montrant un écart de 16,0 % sur COCO.

2. Hallucination d'Objets

• Les indices spécieux amplifient considérablement les taux d'hallucination.
• Exemple : Dans COCO, le taux d'hallucination pour GPT-4o-mini est passé de 1,4 % (sans indices) à 11,2 % (avec indices), soit une augmentation de 9,8x.
• Dans le sous-ensemble ImageNet, l'augmentation est encore plus prononcée, certains modèles montrant jusqu'à une augmentation de 18 fois des taux d'hallucination en présence d'indices spécieux.

3. Études d'Ablation et Atténuation

• Suppression de Tokens (Token Dropping) : Même lorsque les tokens visuels correspondant à l'objet cible étaient artificiellement supprimés, les modèles continuaient d'halluciner la présence de l'objet à des taux élevés (ex: HR > 30 % pour certains modèles), suggérant que le biais ne dépend pas uniquement de l'évidence visuelle.
• Isolation de l'Encodeur de Vision : L'entraînement de classificateurs binaires sur les plongements (embeddings) de l'encodeur de vision seul a révélé des écarts spécieux significatifs, indiquant que le biais existe au sein de la représentation visuelle elle-même, indépendamment du modèle de langage.
• Stratégies de Prompting : Les auteurs ont testé plusieurs techniques d'atténuation, incluant l'ensembling de prompts, le raisonnement par Chaîne de Pensée (CoT), et l'information explicite au modèle concernant les indices spécieux potentiels.
  • Résultat : Bien que certaines stratégies aient offert de légères améliorations situationnelles, aucune n'a réduit significativement l'Écart Spécieux (Spurious Gap). Même en "trichant" en fournissant au modèle l'indice spécieux exact identifié par SpurLens, le biais n'a pas pu être éliminé.

Signification et Revendications

Le papier affirme que le biais spécieux est un problème profondément enraciné et fondamental dans les MLLM actuels, persistant à travers différentes architectures et jeux de données. Les auteurs affirment que :

1. Les MLLM actuels sont hautement sensibles aux corrélations spécieuses, menant à des échecs systématiques tant dans la reconnaissance que dans la génération.
2. Les stratégies d'atténuation simples sont insuffisantes. Les interventions basées sur le langage (prompting) ne peuvent pas résoudre pleinement la dépendance sous-jacente aux indices spécieux, car le biais semble ancré dans l'espace de caractéristiques de l'encodeur de vision.
3. Une évaluation rigoureuse est nécessaire. La persistance de ces biais appelle à des méthodes d'évaluation et des stratégies de mitigation plus robustes au-delà des techniques de prompting actuelles, afin de garantir la fiabilité des MLLM dans les applications réelles.

L'étude conclut que SpurLens fournit un outil évolutif et interprétable pour diagnostiquer ces défaillances, mais que les causes profondes nécessitent bien plus que de simples ajustements de surface du prompting des modèles.