Résumé Technique : Pilotage par l'Édition du Produit Query-Key Spectral pour l'Atténuation de l'Hallucination des VLM sans Entraînement

Énoncé du Problème

Les modèles vision-langage (VLM) souffrent fréquemment d'hallucination d'objets, où les modèles génèrent des descriptions fluides contenant des objets qui ne sont pas présents dans l'image d'entrée. Ce problème découle d'une compétition entre les preuves visuelles et les priors vision-langage puissants appris lors du pré-entraînement (par exemple, les schémas de cooccurrence d'objets). Lorsque ces priors dominent, le modèle produit des sorties plausibles mais visuellement non supportées. Les stratégies d'atténuation existantes se divisent généralement en deux catégories :

1. Méthodes basées sur l'entraînement : Nécessitent des données supplémentaires, une supervision et un calcul important (ex: réglage fin par instruction, optimisation de préférence).
2. Interventions au moment de l'inférence : Modifient les processus de décodage (ex: décodage contrastif, ajustement de logit, repondération de l'attention), introduisant une surcharge de calcul à chaque étape de génération.

Il existe un besoin pour une solution sans données, sans entraînement et sans coût d'inférence qui atténue l'hallucination sans modifier le chemin de décodage standard ni nécessiter de réglage fin.

Méthodologie : Pilotage du Produit QK

Les auteurs proposent le Pilotage du Produit QK (QK Product Steering), une méthode d'édition de poids en une seule étape (one-shot) qui modifie directement le mécanisme d'attention interne du modèle pour supprimer les schémas induisant l'hallucination.

Mécanisme Central

La méthode cible le produit Query-Key (QK) ($M_h = W_{q,h}^\top W_{k,g}$), l'opérateur bilinéaire responsable de la génération des logits d'attention pré-softmax. L'hypothèse est que les modes singuliers dominants de ce produit encodent des « priors vision-langage génériques » qui supplantent les preuves visuelles.

Le processus comprend trois étapes principales :

1. Analyse Spectrale et Suppression :

   • Pour les têtes d'attention sélectionnées des couches intermédiaires, la décomposition en valeurs singulières (SVD) mince du produit QK est calculée.
   • Les $k$ premiers modes singuliers dominants (qui représentent les directions d'attention à haute énergie) sont identifiés.
   • Ces modes sont supprimés (amortis) par un facteur $\alpha$, réduisant efficacement l'influence de ces directions spécifiques pilotées par les priors.
   • L'édition est effectuée sur la composante symétrique ($S_h$) du produit QK, qui capture les schémas de similitude de contenu mutuelle, tandis que la composante antisymétrique ($\Omega_h$) est largement laissée intacte ou jugée moins pertinente pour l'hallucination.

2. Récupération de la Query compatible avec le GQA :

   • Les VLM modernes utilisent souvent l'Attention par Groupes de Requêtes (GQA), où plusieurs têtes de requête partagent une seule tête de clé/valeur. Éditer directement les poids de clé partagés est risqué car cela affecte plusieurs têtes.
   • Pour préserver les poids de clé partagés ($W_k$), la méthode résout un problème d'optimisation sous contrainte pour trouver la mise à jour minimale des poids de requête ($W_q$) qui réalise le produit QK édité ($M_h^\star$).
   • Ceci est réalisé via une mise à jour stabilisée par régularisation de Ridge en forme close :
     $$\Delta W_{q,h} = (W_{k,g}W_{k,g}^\top + \lambda I)^{-1} W_{k,g} \Delta M_h^\top$$
   • Cela garantit que l'édition est compatible avec les architectures GQA et laisse la procédure d'inférence inchangée.

3. Sélection de la Couche :

   • La méthode cible les couches intermédiaires du réseau. L'analyse empirique montre que les couches précoces sont trop concentrées en rang (l'édition les fait s'effondrer) tandis que les couches tardives ont un impact insuffisant sur l'hallucination. Les couches intermédiaires offrent un point d'intervention « chirurgical » où les modes dominants constituent une petite fraction de l'énergie totale de l'opérateur.

Décomposition Symétrique vs Antisymétrique

Les auteurs décomposent le produit QK en composantes symétriques ($S_h$) et antisymétriques ($\Omega_h$).

• Symétrique ($S_h$) : Capture la similitude de contenu mutuelle (attention réciproque).
• Antisymétrique ($\Omega_h$) : Capture les schémas d'attention directionnelle.
• Résultat : Les signaux d'hallucination sont principalement localisés dans le canal symétrique. L'amortissement des modes symétriques réduit l'hallucination, tandis que l'amortissement des modes antisymétriques ne réduit pas l'hallucance et peut dégrader les capacités générales.

Principales Contributions

1. Pilotage du Produit QK : Une nouvelle méthode d'édition de poids, sans données et sans entraînement, qui atténue l'hallucination d'objets via une édition en une seule étape du produit query-key.
2. Projection Compatible GQA : Un mécanisme de mise à jour de la requête uniquement, en forme close, qui réalise le produit QK édité tout en maintenant fixes les poids de clé partagés, rendant la méthode applicable aux VLM modernes basés sur le GQA.
3. Interprétabilité Mécaniste : À travers la décomposition symétrique/antisymétrique et les études d'ablation, l'article démontre que l'hallucination est spécifique aux modes QK dominants et qu'elle est principalement pilotée par le canal d'attention mutuelle symétrique.

Résultats Expérimentaux

La méthode a été évaluée sur trois VLM basés sur le GQA : Qwen2.5-VL-7B, InternVL3-8B, et Pixtral-12B.

• Réduction de l'Hallucination : Sur les trois modèles, le Pilotage du Produit QK a obtenu une réduction moyenne de 4,0 % du CHAIRs.
  • Sur Qwen2.5-VL-7B, le CHAIRs est passé de 31,44 (Baseline) à 28,56.
  • Sur InternVL3-8B, le CHAIRs est passé de 33,81 à 33,23.
  • Sur Pixtral-12B, le CHAIRs est passé de 34,14 à 33,81.
• Expériences de Contrôle :
  • Contrôles de Modes Aléatoires : L'amortissement de modes singuliers aléatoires (de rang équivalent) n'a entraîné que des changements négligeables, confirmant que l'effet est spécifique aux modes dominants, et non à des perturbations de bas rang arbitraires.
  • Symétrique vs Antisymétrique : L'édition du seul canal symétrique a capturé la majeure partie de la réduction de l'hallucination. L'édition du seul canal antisymétrique n'a pas réussi à réduire l'hallucination et a souvent dégradé les performances sur d'autres benchmarks.
• Préservation des Capacités : Les capacités multimodales générales (mesurées par MME et MMMU) ont été largement préservées dans la marge de bruit des contrôles aléatoires. Le seul coût systématique des capacités a été observé sur Pixtral-12B dans certaines configurations, suggérant un compromis qui peut être géré via le réglage des hyperparamètres.
• Ablations :
  • Sensibilité de la Couche : Seules les éditions des couches intermédiaires ont permis de réduire l'hallucination sans provoquer l'effondrement de la génération (couches précoces) ou échouer à impacter l'hallucination (couches tardives).
  • Force d'Amortissement : Une force d'amortissement de $\alpha=1$ (suppression totale des modes supérieurs) avec $k=3$ modes a fourni le meilleur équilibre entre réduction de l'hallucination et préservation des capacités.

Signification et Revendications

L'article affirme que le Pilotage du Produit QK offre une alternative pratique aux interventions au moment du décodage. Sa signification réside dans :

• Coût d'Inférence Nul : Contra-irement aux méthodes qui modifient le décodage (ex: décodage contrastif), cette méthode modifie les poids du modèle une seule fois, laissant le chemin de décodage gour (greedy) standard totalement inchangé durant l'inférence.
• Aucun Surcharge d'Entraînement : Elle ne nécessite aucune donnée supplémentaire, aucun réglage fin, ni aucune optimisation de préférence.
• Aperçu Mécaniste : Elle fournit une explication mécaniste claire de l'hallucination, l'identifiant comme le résultat de modes d'attention symétriques dominants qui encodent des priors génériques. En amortissant chirurgicalement ces modes, la méthode affaiblit le comportement piloté par les priors tout en préservant la capacité de calcul générale du modèle.
• Scalabilité : La méthode est légère et compatible avec les architectures modernes et efficaces comme le GQA.

Les auteurs concluent que bien que la méthode n'améliore pas la perception sous-jacente du modèle ni n'ajoute de nouvelles connaissances visuelles, elle atténue efficacement le mode de défaillance spécifique de l'hallucination d'objets en détournant le mécanisme d'attention d'une dépendance excessive aux priors appris.