Résumé technique : Ajustement des interactions multimodales par auto-légendage

Énoncé du problème

Les modèles vision-langage (VLM) font actuellement face à des défis majeurs concernant les hallucinations et la robustesse lors du traitement de modalités ambiguës ou corrompues. Bien que les approches existantes tentent d'atténuer ces problèmes en entraînant les VLM à être « ancrés » sur le contenu visuel à l'aide de jeux de données d'ajustement par instructions, ces jeux de données privilégient souvent l'ancrage visuel au point d'éliminer les interactions redondantes (informations partagées entre les modalités). Les auteurs émettent l'hypothèse que ce manque de redondance laisse les modèles vulnérables ; sans informations partagées pour compenser une modalité altérée, le modèle ne peut pas résoudre efficacement les ambiguïtés ni se remettre d'entrées corrompues. Les stratégies actuelles de curation des données reposent fortement sur l'intuition et les heuristiques plutôt que sur des insights systématiques dérivés de la théorie des interactions multimodales.

Méthodologie

L'article propose une stratégie systématique d'augmentation de données centrée sur la Porte d'Interaction Multimodale (MI), un mécanisme conçu pour convertir les interactions uniques (informations exclusives à une seule modalité) en interactions redondantes (informations partagées).

Cadre théorique

La méthodologie s'appuie sur la Décomposition de l'Information Partielle Ponctuelle (PPID), qui décompose l'information fournie par les modalités ($X_V$ pour le visuel, $X_T$ pour le texte) concernant une tâche cible ($Y$) en trois composantes :

1. Redondante ($R$) : Information partagée disponible dans les deux modalités.
2. Unique ($U$) : Information exclusive à une seule modalité ($U_V$ ou $U_T$).
3. Synergique ($S$) : Information émergente disponible uniquement lorsque les deux modalités sont observées conjointement.

L'hypothèse centrale est que l'augmentation de $R$ dans les données d'entraînement permet au modèle d'utiliser les informations partagées pour compenser les entrées ambiguës ou corrompues, améliorant ainsi la robustesse.

Flux de travail de la Porte MI

Le flux de travail proposé d'Ajustement des Interactions Multimodales par Auto-Légendage fonctionne comme suit :

1. Estimation des interactions : À l'aide de classificateurs et d'estimateurs d'entropie, le système quantifie $R$, $U_V$, $U_T$ et $S$ pour chaque échantillon d'un jeu de données.
2. Sélection d'échantillons : Le système identifie les échantillons où l'Unique Visuel ($U_V$) est l'interaction dominante.
3. Transfert d'interaction : Pour les échantillons sélectionnés, l'image est légendée par un VLM. Cette légende est ajoutée à l'instruction textuelle originale.
   • Ce processus transfère l'information qui était auparavant unique à l'image ($U_V$) vers la modalité textuelle, créant un signal partagé et redondant ($R$).
   • Le système utilise un seuil ($\tau$) pour contrôler le pourcentage d'échantillons légendés.
4. Filtrage : Pour éviter de perturber les structures synergiques (où la réponse repose sur l'interplay des deux modalités), la porte contourne le légendage pour les échantillons où la Synergie ($S$) est dominante.
5. Entraînement : Le jeu de données augmenté, contenant désormais des niveaux plus élevés d'informations redondantes, est utilisé pour l'ajustement fin supervisé (SFT) des VLM (spécifiquement les familles SmolVLM et LLaVA-OneVision).

Contributions clés

1. Analyse systématique de la redondance : Les auteurs ont utilisé le cadre PPID pour démontrer que l'augmentation des interactions redondantes dans les jeux de données d'instructions peut produire, théoriquement et empiriquement, des VLM plus robustes face aux modalités ambiguës et corrompues.
2. Le mécanisme de la Porte MI : Ils ont opérationnalisé cette analyse en un mécanisme centré sur les données qui augmente systématiquement la redondance en transférant les contributions visuelles uniques vers des interactions redondantes via l'auto-légendage.
3. Validation empirique : L'étude fournit des preuves que l'augmentation des informations redondantes réduit les erreurs induites par le visuel et améliore la cohérence du modèle.

Résultats expérimentaux

Les auteurs ont évalué l'approche sur diverses familles de modèles (SmolVLM et LLaVA-OneVision) à travers différentes tailles de paramètres et jeux de données (par exemple, Hateful Memes, GQA, Cauldron).

• Réduction des hallucinations visuelles : L'augmentation de la redondance a réduit les hallucinations induites par le visuel (VI) jusqu'à 38,3 % (spécifiquement dans les modèles SmolVLM avec une injection de redondance de 50 %).
• Amélioration de la cohérence : Les scores de cohérence du modèle se sont améliorés de 16,8 % en moyenne.
• Robustesse à la corruption : Les modèles entraînés avec une redondance accrue ont démontré une plus grande stabilité des performances ($\Delta P$) face aux entrées corrompues (bruit d'image et corruption de texte), en particulier dans les scénarios de corruption d'image.
• Compromis : Les auteurs ont observé un compromis : bien que les erreurs induites par le visuel aient diminué, les erreurs induites par le langage (LI) et les erreurs mixtes ont légèrement augmenté. Cela suggère que le modèle repose davantage sur les deux modalités, le rendant plus sensible aux ambiguïtés textuelles mais considérablement plus résilient face à la dégradation visuelle.
• Validité du transfert d'interaction : Les expériences ont confirmé que le légendage convertit avec succès $U_V$ en $R$ sans introduire de bruit significatif, à condition que le modèle de légendage soit capable et que le transfert ne soit pas forcé sur des tâches hautement synergiques (où il pourrait perturber l'apprentissage des interdépendances).

Importance et revendications

L'article revendique offrir une solution potentielle aux approches basées sur des heuristiques actuellement utilisées dans la curation des jeux de données d'instructions. En passant d'un augmentation de données pilotée par l'intuition à une conception consciente des interactions, les auteurs démontrent que :

• La redondance est un atout entraînable : Contrairement à la convention consistant à minimiser la redondance pour forcer l'ancrage visuel, amplifier explicitement les redondances exploitables crée un système plus résilient.
• Amélioration systématique : La Porte MI fournit un cadre reproductible pour ajuster les interactions multimodales, allant au-delà de la curation de données par essais et erreurs.
• Faisabilité du transfert d'interaction : Ce travail prouve que l'information unique peut être systématiquement convertie en information partagée pour améliorer la fiabilité du modèle face aux entrées dégradées.

Les auteurs adoptent une position modeste, reconnaissant des limitations telles que le caractère unidirectionnel du transfert (du visuel vers le texte) et la dépendance à des estimateurs entraînés sur des tâches discrètes. Ils concluent que, bien que des bénéfices nets soient observés en matière de robustesse face aux modalités ambiguës, les travaux futurs devront investiguer davantage les impacts des interactions multimodales à travers différentes catégories de tâches et architectures de modèles.