💻 computer science

SECOND: Mitigating Perceptual Hallucination in Vision-Language Models via Selective and Contrastive Decoding

Le papier présente SECOND, une méthode de décodage sélectif et contrastif qui atténue les hallucinations perceptuelles dans les modèles vision-langage en exploitant de manière itérative et centrée sur les objets des informations visuelles multi-échelles pour améliorer la précision de la compréhension visuelle.

Auteurs originaux : Woohyeon Park, Woojin Kim, Jaeik Kim, Jaeyoung Do

Publié 2026-03-31

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Woohyeon Park, Woojin Kim, Jaeik Kim, Jaeyoung Do

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🕵️‍♂️ Le Problème : Les "Hallucinations" des IA

Imaginez que vous demandez à un expert en art (une Intelligence Artificielle) de décrire un tableau. Parfois, au lieu de décrire ce qu'il voit vraiment, l'IA commence à inventer des détails. Elle pourrait dire : "Il y a un chien qui dort sur le canapé", alors qu'il n'y a qu'un chat.

C'est ce qu'on appelle une hallucination. L'IA est si confiante dans ses connaissances générales (elle sait que les chiens existent) qu'elle "hallucine" leur présence, même si l'image ne le montre pas. C'est un gros problème si on veut utiliser ces IA pour des choses sérieuses, comme la médecine ou la sécurité.

💡 La Solution : SECOND (Le Détective à Loupe)

Les auteurs de ce papier proposent une nouvelle méthode appelée SECOND. Pour comprendre comment ça marche, oubliez les formules mathématiques et imaginez un détective qui examine une scène de crime.

1. L'approche traditionnelle (Le regard vague)

Les anciennes IA regardent l'image comme si elles avaient une vision floue. Elles voient tout en même temps, un peu comme si on regardait une photo de loin. Si elles ne sont pas sûres, elles devinent. C'est comme essayer de lire un panneau de signalisation en conduisant à 100 km/h : on voit les couleurs, mais pas les détails précis.

2. L'approche SECOND (Le zoom intelligent)

SECOND change la donne en agissant comme un détective très méthodique qui utilise une loupe progressive. Voici les deux étapes clés de sa méthode :

Étape A : La Sélection (Le tri sélectif)
Au lieu de regarder toute l'image de plus en plus près (ce qui donnerait trop d'informations inutiles, comme le ciel ou l'herbe), SECOND décide intelligemment où regarder.

L'analogie : Imaginez que vous cherchez une aiguille dans une botte de foin. Au lieu de fouiller tout le foin, vous utilisez un aimant pour ne garder que les parties métalliques.
En pratique : L'IA commence par une vue d'ensemble (basse résolution). Si elle repère une zone intéressante (par exemple, un coin où il pourrait y avoir un chien), elle ne garde que cette zone pour l'agrandir. Elle ignore le reste. Elle passe ainsi d'une vue "paysage" à une vue "macro" uniquement sur les objets importants.

Étape B : Le Contraste (Le débat entre l'amateur et l'expert)
C'est ici que la magie opère. SECOND ne se contente pas de regarder, il fait se "disputer" deux versions de lui-même :

L'Amateur (La vue rapide) : C'est la première étape, où l'IA regarde l'image de loin. Elle a une idée générale, mais elle peut se tromper.
L'Expert (La vue détaillée) : C'est la dernière étape, où l'IA a zoomé sur les zones importantes. Elle a beaucoup plus de détails.

La technique du "Contraste" :
SECOND compare ce que l'Amateur pense et ce que l'Expert pense.

Si l'Amateur dit "Il y a un chien" (parce qu'il imagine) mais que l'Expert, en regardant de très près, dit "Non, c'est juste un tas de feuilles", SECOND écoute l'Expert.
Il utilise cette différence pour corriger l'erreur. C'est comme si un professeur (l'Expert) corrigeait les erreurs d'un élève (l'Amateur) en pointant les détails précis que l'élève avait manqués.

🚀 Pourquoi c'est génial ?

Pas besoin de réapprendre : Contrairement à d'autres méthodes qui demandent de réentraîner l'IA (ce qui coûte très cher et prend du temps), SECOND est une "astuce" qui fonctionne avec les IA existantes sans les modifier. C'est comme ajouter un filtre à une caméra sans changer l'appareil photo.
Moins d'erreurs : En forçant l'IA à se concentrer uniquement sur les zones pertinentes et à vérifier ses dires avec un "expert", elle hallucine beaucoup moins.
Plus rapide et plus précis : Au lieu de noyer l'IA sous des millions de pixels inutiles, elle se concentre sur l'essentiel.

📝 En résumé

Imaginez que vous essayez de lire un menu dans un restaurant bruyant.

L'IA classique : Elle lit le menu en entier, mais à cause du bruit, elle invente des plats qui ne sont pas là.
SECOND : Il se dit "Attends, je ne vais lire que la section des plats principaux". Il se penche très près (zoom), ignore le bruit de fond, et compare ce qu'il voit avec ce qu'il pensait au début. Résultat ? Il lit le menu parfaitement, sans aucune erreur.

C'est exactement ce que fait SECOND : il apprend aux IA à choisir ce qu'elles regardent et à vérifier leurs hypothèses, rendant leur compréhension du monde visuel beaucoup plus fiable et humaine.

1. Problématique : Les Hallucinations dans les VLM

Les modèles Vision-Language (VLM) ont révolutionné l'IA en reliant la vision et le langage, permettant des tâches comme la réponse à des questions visuelles (VQA) ou la description d'images. Cependant, ils souffrent d'un problème critique : l'hallucination d'objets. Ce phénomène se produit lorsque le modèle génère des réponses plausibles mais inexactes, non ancrées dans le contenu visuel réel (par exemple, affirmer la présence d'un chien alors qu'il n'y en a pas).

Les approches existantes tentent de résoudre ce problème par :

L'entraînement sur des datasets robustes.
La suppression des biais des modèles de langage (LLM).
L'intégration de techniques multi-échelles (comme dans LLaVA-NeXT).

Cependant, les méthodes actuelles utilisent souvent les informations visuelles multi-échelles de manière indiscriminée. L'article souligne que simplement augmenter le nombre de patches visuels (en réduisant leur taille) sans sélection peut diluer le contexte spécifique à l'objet et augmenter la densité d'informations de fond, ce qui aggrave les hallucinations plutôt que de les réduire.

2. Méthodologie : Le Framework SECOND

Les auteurs proposent SECOND (Selective and Contrastive Decoding), une approche sans entraînement (training-free) qui s'inspire de la perception humaine pour sélectionner et contraster les informations visuelles à différentes échelles.

A. Intégration Sélective Multi-Échelle

SECOND ne traite pas l'image uniformément. Il utilise une approche itérative en plusieurs étapes (stages) :

Encodage Multi-Résolution : Le modèle utilise plusieurs encodeurs visuels traitant l'image à des résolutions différentes (par exemple, de 42x42 à 672x672 pixels) sans nécessiter de réentraînement.
Sélection Dynamique de Patches : Au lieu d'utiliser tous les patches, SECOND sélectionne dynamiquement les patches les plus pertinents pour l'objet à chaque étape.
- La sélection est basée sur l'entropie de l'attention visuelle. Une faible entropie indique une attention claire sur l'objet (peu de nouveaux patches nécessaires), tandis qu'une haute entropie suggère un manque de focalisation, nécessitant l'ajout de détails fins.
- Le pourcentage de patches sélectionnés ( $p_{select}$ ) est calculé dynamiquement : $p_{select} = \frac{e^{\lambda H(V)} - 1}{e^{\lambda} - 1}$ , où $H(V)$ est l'entropie et $\lambda$ un hyperparamètre.
- Cela permet une transition progressive d'une vue globale (coarse) vers une vue détaillée (fine-grained), en accumulant uniquement les informations pertinentes.

B. Décodage Contrastif Multi-Étape (Multi-Stage CD)

SECOND introduit une forme avancée de Décodage Contrastif (CD).

Concept : Dans le CD classique, on oppose la sortie d'un modèle "expert" (fort) à celle d'un modèle "amateur" (faible) pour supprimer les biais.
Innovation de SECOND : Au lieu d'une simple opposition binaire, SECOND crée une hiérarchie de sorties.
- Les étapes initiales agissent comme des "amateurs" (traitement grossier).
- L'étape finale agit comme l'"expert" (traitement détaillé).
- Le décodage final contraste non seulement l'expert avec l'amateur le plus faible, mais aussi les sorties intermédiaires entre elles.
- La formule des logits finaux intègre les différences entre toutes les étapes :
  $logit_{SECOND} = logit_{expert} + \alpha(logit_{expert} - logit_{amateur3}) + \beta(logit_{amateur3} - logit_{amateur2}) + \gamma(logit_{amateur2} - logit_{amateur1})$
- Cela amplifie les différences d'information visuelle entre les échelles, forçant le modèle à se concentrer sur les détails pertinents et à rejeter les hallucinations.

3. Contributions Clés

Framework SECOND : Une méthode sans entraînement qui sélectionne activement les patches visuels multi-échelles et les contraste itérativement pour réduire les hallucinations.
Analyse Théorique : Les auteurs démontrent théoriquement que la sélection de patches multi-échelles augmente le Coefficient Dice d'Attention (mesure de l'alignement entre l'attention du modèle et le masque de l'objet réel), réduisant ainsi la probabilité d'hallucination ( $P_{Hal}$ ).
Décodage Contrastif Hiérarchique : Une nouvelle forme de CD qui exploite la progression évolutive des sorties à travers les étapes, surpassant les méthodes de CD à une seule étape.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs VLMs de pointe (LLaVA-NeXT, LLaVA-OneVision, Yi-VL) et divers benchmarks.

POPE (Perception Hallucination Benchmark) : SECOND surpasse les méthodes de base et l'approche concurrente VCD dans 11 cas sur 12. Par exemple, sur LLaVA-NeXT avec Vicuna-7B, le score F1 passe de 86.5 (baseline) à 89.2 avec SECOND + CD.
Tâches Générales (VQAv2, MMStar, MMBench) : Les performances s'améliorent également sur des tâches de raisonnement et de perception générale, prouvant que la réduction des hallucinations n'altère pas les capacités de raisonnement du modèle.
Robustesse : Les visualisations montrent que SECOND corrige progressivement les erreurs d'attention (par exemple, se concentrant initialement sur le fond puis sur l'objet) au fur et à mesure que les étapes avancent.
Efficacité : L'approche 4-étapes (84-168-336-672) offre le meilleur compromis entre performance et temps de décodage (1.4x le temps de base), évitant la surcharge computationnelle d'une analyse à très haute résolution dès le début.

5. Signification et Impact

L'article SECOND apporte une contribution majeure à la fiabilité des VLMs en démontrant que :

La simple augmentation de la résolution visuelle n'est pas suffisante ; la sélection intelligente des informations est cruciale.
L'approche multi-échelle contrastive est supérieure aux méthodes statiques pour aligner la perception visuelle avec la génération textuelle.
Il est possible d'améliorer considérablement la précision des modèles sans réentraînement coûteux, en exploitant les mécanismes d'attention internes et des stratégies de décodage avancées.

En conclusion, SECOND établit un nouvel état de l'art pour la mitigation des hallucinations perceptuelles, offrant une voie prometteuse pour des applications VLM plus fiables dans des contextes critiques.