💬 NLP

FLiP: Towards understanding and interpreting multimodal multilingual sentence embeddings

Ce papier présente les modèles FLiP, qui utilisent une projection linéaire factorisée pour décomposer et interpréter les espaces d'incorporation de phrases multilingues et multimodaux, permettant ainsi de récupérer plus de 75 % du contenu lexical et d'identifier les biais inhérents à ces encodeurs sans recourir à des tâches d'évaluation externes.

Auteurs originaux : Santosh Kesiraju, Bolaji Yusuf, Šimon Sedláček, Oldřich Plchot, Petr Schwarz

Publié 2026-04-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Santosh Kesiraju, Bolaji Yusuf, Šimon Sedláček, Oldřich Plchot, Petr Schwarz

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🌍 Le Problème : La "Boîte Noire" des IA

Imaginez que vous avez une machine très intelligente (une IA) capable de comprendre des phrases, que ce soit en texte (écrit) ou en voix (parlé), et dans des dizaines de langues.

Le problème, c'est que cette machine ne "parle" pas notre langage. Quand elle entend "Le chat dort", elle ne voit pas des mots. Elle transforme cette phrase en une longue liste de chiffres (un vecteur), comme un code secret à 1024 chiffres. C'est ce qu'on appelle une "embedding" (une représentation vectorielle).

Pour les humains, c'est du charabia. Pour les chercheurs, c'est une boîte noire : on sait que ça marche bien pour trouver des documents similaires, mais on ne sait pas exactement ce que la machine a retenu de la phrase. Est-ce qu'elle a compris le mot "chat" ? Ou juste la notion de "dormir" ?

🔍 La Solution : FLiP (Le Détective)

Les auteurs de cet article ont créé un outil appelé FLiP (Factorized Linear Projection). Pour faire simple, imaginez FLiP comme un détective ou un traducteur de code.

Son but est de prendre ce code secret (la liste de chiffres) et de dire : "Attends, si je regarde bien ces chiffres, je peux deviner quels mots étaient dans la phrase originale !".

L'analogie du "Miroir Déformant"

Imaginez que l'IA a pris une photo de votre phrase et l'a passée dans un miroir déformant qui la réduit en une seule ligne de chiffres. FLiP est un autre miroir, très précis, qui essaie de reconstruire l'image originale à partir de cette ligne de chiffres.

Si FLiP arrive à redessiner 75 % des mots originaux juste en regardant les chiffres, cela prouve que l'IA a bien "compris" et stocké ces mots dans son code.

🛠️ Comment ça marche ? (La recette magique)

Au lieu d'utiliser une méthode compliquée, FLiP utilise une astuce mathématique élégante :

Le projet simple (LiP) : C'est comme essayer de deviner le mot en faisant une simple multiplication de chiffres. Ça marche un peu, mais c'est flou.
L'astuce FLiP (Factorisée) : Les chercheurs ont divisé ce "mirroir" en deux pièces (comme un puzzle).
- Une pièce qui comprend la structure des mots.
- Une pièce qui comprend la structure de la phrase.
- En les assemblant intelligemment, le détective FLiP devient beaucoup plus précis. C'est comme passer d'une photo floue à une photo HD.

🧪 Ce qu'ils ont découvert (Les révélations)

En utilisant FLiP comme outil de diagnostic, les chercheurs ont regardé à l'intérieur de trois géants de l'IA (SONAR, LaBSE et Gemini) et ont trouvé des choses surprenantes :

1. La "Biais Anglaise" (Le Roi du Monde)

C'est la découverte la plus importante.

L'analogie : Imaginez que l'IA est un polyglotte qui parle 100 langues, mais qui pense toujours en anglais.
Résultat : Quand l'IA analyse une phrase en anglais, elle est très précise. Mais si vous lui donnez une phrase en hindi, en tamoul ou même en français, elle essaie de la "traduire mentalement" en anglais pour la comprendre.
Conséquence : Si vous essayez de comprendre les mots dans ces langues non-anglaises, c'est beaucoup plus difficile. L'IA est déséquilibrée : elle est très forte pour l'anglais, mais moins pour les autres, même si elle prétend être multilingue.

2. La Voix vs Le Texte

L'analogie : C'est comme si l'IA avait deux oreilles : une pour lire et une pour écouter.
Résultat : Heureusement, pour l'anglais, l'IA a très bien aligné ses deux oreilles. Si elle entend "Chat" ou lit "Chat", elle stocke le même code secret. C'est une excellente nouvelle pour les assistants vocaux !

3. FLiP est meilleur que les autres

Les chercheurs ont comparé FLiP à d'autres méthodes existantes (comme SpLiCE).

L'analogie : C'est comme comparer un vieux télescope à un télescope spatial moderne.
Résultat : FLiP arrive à retrouver deux fois plus de mots que les anciennes méthodes, et ce, sans avoir besoin de règles compliquées. C'est plus rapide, plus simple et plus efficace.

🎯 Pourquoi est-ce important pour nous ?

Avant, pour savoir si une IA était "intelligente", on lui faisait passer des examens (des tests de traduction, de classification, etc.). C'est comme noter un élève sur son examen final.

Avec FLiP, on peut maintenant ouvrir le cerveau de l'élève et regarder comment il pense.

On peut voir s'il a vraiment compris le mot ou s'il a juste deviné.
On peut voir s'il est biaisé (trop anglophone).
On peut aider les ingénieurs à construire de meilleures IA, plus justes et plus compréhensibles, sans avoir à attendre des années de tests.

En résumé

FLiP est un outil magique qui permet de déverrouiller la boîte noire des intelligences artificielles. Il nous montre que ces IA sont très douées pour l'anglais, mais qu'elles ont encore du mal à comprendre les autres langues avec la même clarté. C'est un pas de géant vers des IA plus transparentes et plus justes pour tout le monde.

1. Problématique

Les modèles d'encodage de phrases (sentence encoders) modernes, tels que LaBSE, SONAR ou les modèles basés sur des API comme Gemini, produisent des représentations vectorielles denses qui alignent sémantiquement des phrases de différentes langues et modalités (texte, parole). Cependant, ces vecteurs agissent souvent comme des "boîtes noires".

Le défi : Il est difficile de comprendre pourquoi une certaine phrase est récupérée lors d'une recherche, ou d'analyser les biais internes (biais de langue, d'alignement modal) de ces modèles sans recourir à des tâches d'évaluation descendantes (downstream tasks) massives et coûteuses.
L'objectif : Développer un outil diagnostique capable d'interpréter ces espaces d'embeddings en récupérant le contenu lexical (les mots-clés) à partir du vecteur sémantique, afin de révéler la structure linéaire sous-jacente des concepts.

2. Méthodologie : Le modèle FLiP

Les auteurs proposent FLiP (Factorized Linear Projection), un modèle basé sur une projection linéaire factorisée pour extraire des mots-clés à partir d'embeddings.

Approche de base (LiP) : Le modèle apprend à projeter un embedding de phrase ( $t_n$ ) vers l'espace du vocabulaire pour prédire la distribution de probabilité des mots présents dans la phrase originale. Cela se fait via une régression logistique (modèle log-linéaire) : $\theta_n = \text{softmax}(b + Wt_n)$ .
Factorisation (FLiP) : Au lieu d'apprendre une seule matrice de projection dense $W$ $W$ , FLiP factorise cette matrice en deux matrices de plus faible rang : $W = AB$.
- $A \in \mathbb{R}^{|V| \times r}$ : Matrice d'embedding des mots.
- $B \in \mathbb{R}^{r \times d}$ : Projection de la modalité vers l'espace latent.
- Cette factorisation agit comme un mécanisme de régularisation implicite, améliorant les performances et l'efficacité, même avec un rang $r$ inférieur à la dimension originale $d$ .
Entraînement Croisé (Cross-modal & Cross-lingual) :
- Pour les modèles multimodaux (texte/parole), l'objectif de perte combine les reconstructions à partir d'embeddings textuels et audio, permettant au modèle de compenser les variations de modalité.
- Pour les scénarios multilingues, le vocabulaire cible est fixe (par exemple, uniquement en anglais), et le modèle est entraîné sur des paires de phrases parallèles pour voir si les concepts peuvent être extraits dans une langue cible à partir d'embeddings d'une autre langue.
Extraction : À l'inférence, pour un embedding inconnu, on calcule les logits, on sélectionne les $k$ mots les plus probables et on les mappe au vocabulaire.

3. Contributions Clés

Preuve de linéarité sémantique : L'article démontre qu'un espace d'embeddings bien entraîné encode linéairement la majorité de son contenu lexical. FLiP parvient à récupérer plus de 75 % du contenu lexical (mots-clés) à partir des embeddings.
Outil de diagnostic intrinsèque : FLiP sert d'outil pour analyser les biais des encodeurs (alignement modal, alignement linguistique, effets de la langue du vocabulaire) sans dépendre de benchmarks externes classiques comme MTEB.
Supériorité par rapport aux baselines : FLiP surpasse significativement les méthodes existantes, notamment SpLiCE (Sparse Linear Concept Extraction), en termes de précision d'extraction de mots-clés et d'efficacité paramétrique.

4. Résultats Expérimentaux

Les expériences ont été menées sur les modèles SONAR (multimodal, 200+ langues), LaBSE (texte uniquement) et Gemini (API).

Efficacité de la factorisation :
- La factorisation est cruciale. Un modèle FLiP factorisé (rang 512) atteint 76,77 % de précision sur du texte anglais (SONAR), contre seulement 59,45 % pour le modèle non factorisé (LiP plein rang).
- La réduction de dimension (512 au lieu de 1024) préserve presque toute la performance tout en réduisant les paramètres de moitié.
Alignement Modal (Texte vs Parole) :
- Au sein d'une même langue (ex: Anglais, Allemand, Français), SONAR montre un excellent alignement modal. Entraîner sur la parole permet même une légère meilleure transférabilité vers le texte que l'inverse.
- Les modèles entraînés sur la parole récupèrent aussi bien les mots-clés que ceux entraînés sur le texte.
Alignement Linguistique et Biais Anglais :
- Biais fort vers l'anglais : L'anglais est la langue préférée pour la représentation linéaire des concepts. Entraîner sur l'anglais donne de bons résultats sur des langues proches (Allemand, Français), mais les performances chutent drastiquement pour des langues éloignées (Bengali, Hindi, Tamil, Télougou) si le vocabulaire n'est pas en anglais.
- Impact du vocabulaire : Si le vocabulaire cible n'est pas en anglais (ex: vocabulaire en Tamoul), la performance d'extraction s'effondre, même pour les paires de langues proches, soulignant que l'espace sémantique linéaire est fortement ancré dans l'anglais.
Comparaison des Encodeurs :
- SONAR obtient les meilleures performances globales d'extraction de mots-clés, suivi de Gemini et LaBSE.
- Tous les modèles montrent une préférence pour l'alignement avec un vocabulaire anglais.
Rappel des Entités Nommées (NER) :
- FLiP récupère efficacement les entités nommées. Une observation intéressante : supprimer le vecteur de biais ( $b$ ) améliore le rappel des entités, car le biais tend à favoriser les mots fréquents (mots-outils) qui masquent les entités dans le top-k.
Comparaison avec SpLiCE :
- FLiP est presque deux fois plus performant que SpLiCE en termes de précision "span-aware" (prise en compte des multi-mots), sans nécessiter de heuristiques complexes pour la sélection du vocabulaire.

5. Signification et Conclusion

L'article FLiP établit que les concepts sémantiques dans les embeddings modernes sont majoritairement linéairement représentés.

Implication pratique : Les chercheurs et ingénieurs peuvent utiliser FLiP comme un outil de diagnostic rapide pour comprendre les forces et les faiblesses d'un encodeur (ex: détecter un biais linguistique ou un mauvais alignement modal) avant de le déployer.
Limitations révélées : Bien que l'alignement modal soit robuste, l'alignement sémantique linéaire reste fortement biaisé vers l'anglais, dégradant la qualité de l'interprétation pour les langues à ressources limitées ou linguistiquement éloignées.
Innovation : La méthode propose une approche simple, efficace et interprétable pour "ouvrir" la boîte noire des embeddings, offrant une alternative aux évaluations descendantes traditionnelles.

En résumé, FLiP valide l'hypothèse de la représentation linéaire dans les espaces d'embeddings complexes et fournit un cadre méthodologique pour auditer ces modèles de manière intrinsèque.