💬 NLP

Language-Conditioned Visual Grounding with CLIP Multilingual

Ce papier isole l'encodeur visuel comme un facteur constant à travers treize langues pour démontrer que les disparités d'ancrage visuel multilingue découlent principalement des limitations de la branche textuelle et d'un désalignement spatial plutôt que d'un effondrement du signal, révélant que l'augmentation de l'échelle du modèle visuel améliore certaines langues à faible ressource tout en aggravant d'autres et confirmant la viabilité économe en énergie de la méthode.

Auteurs originaux : J. de Curtò, Mauro Liz, I. de ZarzÃ

Publié 2026-05-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : J. de Curtò, Mauro Liz, I. de ZarzÃ

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un robot très intelligent capable d'examiner une image et d'y repérer des éléments spécifiques, comme une « voiture » ou un « piéton ». Vous pouvez indiquer à ce robot ce qu'il doit chercher dans de nombreuses langues différentes. Cependant, les chercheurs de cette étude ont découvert que lorsque vous vous adressez au robot dans une langue moins courante (comme le basque ou le luxembourgeois), il pointe souvent l'endroit erroné sur l'image, même s'il semble « regarder » avec autant d'intensité que lorsqu'on lui parle en anglais.

Voici une explication simple de ce qu'ils ont fait et de ce qu'ils ont découvert, en utilisant quelques analogies du quotidien.

L'expérience : un test contrôlé

Les chercheurs voulaient déterminer pourquoi le robot commet des erreurs dans certaines langues. Est-ce parce que les « yeux » du robot (la partie visuelle) ne fonctionnent pas bien avec certaines langues ? Ou est-ce parce que le « cerveau » du robot (la partie textuelle qui comprend les mots) est plus faible dans ces langues ?

Pour tester cela, ils ont mis en place un dispositif spécial :

Les yeux : Ils ont utilisé exactement la même caméra et le même système de vision pour chaque langue.
Le cerveau : Ils ont remplacé uniquement la partie qui comprend les mots, en la modifiant pour 13 langues différentes (des langues courantes comme l'espagnol et le français aux langues rares comme le basque et le luxembourgeois).

C'est comme donner la même paire de lunettes à 13 personnes différentes et leur demander de décrire la même photo. Si les descriptions sont erronées, nous savons que le problème ne vient pas des lunettes ; il vient de la capacité de la personne à décrire ce qu'elle voit.

Les grandes découvertes

1. Le problème réside dans le « traducteur », et non dans la « caméra »
Ils ont constaté que même avec exactement la même caméra, le robot était beaucoup moins performant pour trouver des objets lorsqu'il utilisait des langues à faibles ressources.

L'analogie : Imaginez un guide touristique qui connaît parfaitement une ville. Si vous demandez au guide en anglais, il pointe correctement la tour Eiffel. Si vous posez la même question dans une langue qu'il maîtrise à peine, il pourrait pointer un arbre au hasard. Les yeux du guide n'ont pas changé ; sa connaissance de la langue est le maillon faible.
Le résultat : La « pénalité » (la baisse de performance) était entièrement due à la partie de l'IA traitant le texte, et non à la partie visuelle.

2. Des cerveaux plus gros ne résolvent pas toujours le problème
Habituellement, lorsque les modèles d'IA deviennent plus grands et plus puissants, ils s'améliorent dans tous les domaines. Les chercheurs ont testé un petit modèle et un modèle 7 fois plus grand.

La surprise : Pour certaines langues (comme l'arabe et le chinois), avoir un cerveau plus grand a aidé. Mais pour d'autres (le basque et le luxembourgeois), un cerveau plus grand a en fait empiré les choses.
L'analogie : Pensez-y comme à une bibliothèque.
- Si une langue est « désavantagée par le tokeniseur » (comme l'arabe), elle a simplement besoin d'une bibliothèque plus grande pour contenir plus de mots. Un modèle plus grand aide.
- Si une langue est désavantagée par la « couverture du corpus » (comme le basque), cela signifie que la bibliothèque n'a presque aucun livre dans cette langue au départ. Donner au bibliothécaire une bibliothèque plus grande n'aide pas si les livres ne sont pas là. En fait, le bibliothécaire plus grand pourrait simplement devenir plus confiant en pointant les mauvaises choses, car il a plus de « confiance » mais pas de meilleures données.

3. Le robot est « confiant et erroné »
C'est la découverte la plus importante. Lorsque le robot échoue dans ces langues, il ne devient pas simplement « silencieux » ou incertain. Il devient bruyant et confiant, mais il pointe le mauvais endroit.

L'analogie : Imaginez un système de navigation GPS.
- Effondrement du signal (ce qu'ils n'ont pas trouvé) : Le GPS dit : « Je ne sais pas où vous êtes », et affiche un écran vide.
- Désalignement spatial (ce qu'ils ont trouvé) : Le GPS dit : « Vous êtes ici ! » avec 100 % de confiance, mais il pointe vers une maison située à trois rues de là.
La conséquence : Parce que le robot est si confiant, vous ne pouvez pas simplement dire au système : « Si vous n'êtes pas sûr, n'affichez pas le résultat ». Le système est sûr, mais il est sûr de la mauvaise chose.

Efficacité énergétique : une solution économique

Enfin, les chercheurs ont mesuré la quantité d'électricité consommée par ce processus.

Le résultat : Cette méthode est incroyablement économe en énergie. Elle utilise environ 20 à 50 fois moins d'énergie que les modèles d'IA sophistiqués et conversationnels (comme ceux qui rédigent des essais ou discutent avec vous).
L'enseignement : Si vous avez besoin d'un système capable de pointer rapidement des objets dans une image dans de nombreuses langues sans consommer beaucoup d'énergie, cette méthode d'« ancrage dense » est un choix très pratique et économe en énergie.

Résumé

L'article prouve que pour ces modèles d'IA, le problème avec les langues rares n'est pas que l'IA ne peut pas « voir » l'image ; c'est que l'IA ne « comprend » pas suffisamment bien les mots pour les associer au bon endroit. Rendre l'IA plus grande ne résout pas ce problème si les données d'entraînement (les livres de la bibliothèque) manquent. Et parce que l'IA est souvent confiante et erronée, nous ne pouvons pas nous fier uniquement à son niveau de confiance pour savoir si elle dit la vérité.

Résumé technique : Ancrage visuel conditionné par la langue avec CLIP

Énoncé du problème

Les modèles vision-langage multilingues (VLM) présentent des disparités systématiques de performance selon les langues, pénalisant particulièrement les langues à ressources limitées et les écritures non latines. Cependant, le mécanisme à l'origine de cette « pénalité multilingue » reste ambigu. Il est incertain que la dégradation provienne de la réaction de l'encodeur visuel aux tokens non anglais, de l'incapacité de la branche textuelle à former des représentations interlinguales robustes, ou des interactions entre ces composants. De plus, les méthodes d'évaluation existantes confondent souvent les disparités perceptuelles réelles avec des biais de mesure, car elles notent généralement les sorties par rapport à des références ou des vocabulaires centrés sur l'anglais. Cet article répond au besoin d'isoler la source de la pénalité et de caractériser son mode de défaillance (par exemple, effondrement du signal versus désalignement spatial) sans recourir à des métriques ancrées sur l'anglais.

Méthodologie

Les auteurs proposent une « sonde CLIP multilingue dense » contrôlée, conçue pour isoler la pénalité multilingue dans la branche textuelle.

Conception expérimentale : L'étude maintient l'encodeur visuel identique à travers 13 langues typologiquement diverses, tout en variant uniquement la branche textuelle XLM-RoBERTa. Cela garantit que toute divergence interlinguale observée provient en aval de l'étape visuelle.
Modèles et échelle : Deux architectures CLIP ont été évaluées, couvrant un écart de 7× dans les paramètres de l'encodeur visuel :
- Base : XLM-R base + ViT-B/32 (~87M paramètres visuels).
- Grand : XLM-R large + ViT-H/14 (~632M paramètres visuels).
Jeu de données : 210 images échantillonnées à partir du corpus BDD100K, évaluées contre 11 concepts (par exemple, voiture, piéton, feu de circulation) dans 13 langues (incluant l'arabe, le basque, le luxembourgeois, le chinois et diverses langues européennes). Cela génère 2 310 observations appariées par langue non anglaise.
Extraction de caractéristiques denses : Suivant l'approche MaskCLIP, les auteurs extraient des caractéristiques denses par patch à partir de l'encodeur visuel figé pour générer des cartes de similarité spatiale, plutôt que de s'appuyer sur des embeddings d'image unique.
Métriques : Pour éviter le biais anglais, l'accord est mesuré symétriquement entre la carte de la langue cible et la carte de référence anglaise en utilisant :
1. IoU de masque de cluster : Mesure le chevauchement spatial des régions de haute similarité.
2. IoU du percentile supérieur : Chevauchement invariant d'échelle à des seuils élevés.
3. Corrélation de rang de Spearman : Accord pixel par pixel sur l'ordre relatif.
4. Ratio de similarité maximale : Compare la force d'activation maximale pour distinguer l'effondrement du signal (activation faible) du désalignement spatial (activation forte dans la mauvaise région).
Mesure de l'énergie : L'énergie d'inférence a été mesurée en utilisant le protocole AI Energy Score (échantillonnage basé sur NVML sur un NVIDIA H200), rapportant des Wh par 1 000 requêtes.

Résultats clés

1. La pénalité persiste et est localisée dans la branche textuelle

Lorsque l'encodeur visuel est maintenu constant, un écart de performance significatif subsiste entre les langues à ressources élevées (HR) et les langues à ressources limitées (LR).

Écart quantitatif : L'écart HR–LR en IoU de masque de cluster est de +0,114 à l'échelle de base et s'élargit à +0,143 à l'échelle grande.
Significativité statistique : Les tests de Wilcoxon confirment cette disparité avec $p < 10^{-300}$ aux deux échelles.
Implication : Puisque l'encodeur visuel est identique, le déficit est strictement attribuable à la branche textuelle, écartant l'interaction avec l'encodeur visuel comme cause principale.

2. Les effets de mise à l'échelle sont hétérogènes

L'augmentation de l'échelle de l'encodeur visuel par un facteur 7 ne comble pas uniformément l'écart ; elle sépare les modes de défaillance en fonction de la couverture du corpus versus la fertilité du tokenizer.

Défaillances liées à la couverture du corpus (basque, luxembourgeois) : Ces langues, sous-représentées dans le corpus de préentraînement, s'aggravent avec la mise à l'échelle ( $\Delta = -0,056$ et $-0,076$ respectivement). Le modèle plus grand amplifie le manque de signal plutôt que de le corriger.
Défaillances liées à la fertilité du tokenizer (arabe, chinois) : Ces langues, qui ont une présence substantielle dans le corpus mais souffrent d'inefficacités de tokenisation, s'améliorent avec la mise à l'échelle ( $\Delta = +0,033$ et $+0,039$ ).
Conclusion : La mise à l'échelle seule ne peut pas sauver les langues absentes de la distribution de préentraînement ; elle ne bénéficie qu'à celles où le signal existe mais est entravé par la tokenisation ou les limites de capacité.

3. Mode de défaillance : désalignement spatial, et non effondrement du signal

L'étude identifie que le mode de défaillance dominant est le désalignement spatial, et non une perte de force du signal.

Similarité maximale : Le ratio moyen de similarité maximale par rapport à l'anglais reste élevé (0,94 à l'échelle grande), indiquant que le modèle s'active fortement.
Chute de l'IoU : Malgré une activation maximale élevée, l'IoU de masque de cluster chute brutalement.
Implication : Le modèle s'active sur la mauvaise région de l'image plutôt que de ne pas s'activer. Par conséquent, le filtrage basé sur la confiance reposant uniquement sur la similarité maximale est insuffisant pour détecter les erreurs d'ancrage induites par la langue.

4. Efficacité énergétique

L'approche d'ancrage dense-CLIP est hautement économe en énergie, consommant 3,4 à 3,9 Wh par 1 000 requêtes. Cela est environ 20 à 50 fois inférieur aux budgets d'inférence rapportés pour les VLM multilingues autorégressifs sous le même protocole de mesure, la positionnant comme un substrat viable pour un déploiement soucieux de l'énergie.

Signification et affirmations

L'article revendique trois contributions principales :

Isolement mécaniste : En maintenant l'encodeur visuel constant, l'étude localise définitivement la pénalité multilingue dans l'ancrage dense à la branche textuelle, la distinguant des limitations de l'encodeur visuel.
Caractérisation du mode de défaillance : Il démontre que les erreurs d'ancrage multilingue sont principalement des désalignements spatiaux (signal élevé, mauvaise localisation) plutôt que des effondrements de signal. Cela remet en question l'efficacité des seuils de confiance standards dans les systèmes multilingues.
Rigueur méthodologique : L'utilisation d'un score symétrique et agnostique de la langue sur des cartes de similarité denses élimine le biais de mesure ancré sur l'anglais inhérent aux évaluations VLM précédentes, fournissant une métrique plus claire pour l'accord interlingual.

Les auteurs concluent que si la mise à l'échelle aide les langues limitées par la tokenisation, elle exacerbe les problèmes pour les langues à corpus rare. Ils suggèrent que de futurs systèmes multilingues robustes nécessitent une curation de données ciblée pour les langues sous-représentées et la mise en œuvre de vérifications d'accord interlingual (plutôt que de simples vérifications de similarité maximale) pour garantir la fiabilité de l'ancrage spatial.