Finding Meaning in Embeddings: Concept Separation Curves

1. Problématique

Les techniques d'encodage de phrases (sentence embeddings) visent à représenter le sens d'une phrase dans un espace vectoriel. Cependant, l'évaluation de la qualité de ces embeddings repose majoritairement sur des tâches en aval (downstream tasks) ou des classificateurs supplémentaires. Cette dépendance crée une ambiguïté : est-ce que de bons résultats proviennent de la qualité de l'embedding lui-même ou du comportement du classificateur ? De plus, les approches existantes nécessitent souvent des annotations humaines coûteuses et supposent implicitement qu'une réponse correcte reflète une véritable compréhension des concepts, ce qui n'est pas toujours le cas.

Il manque donc une méthode indépendante des classificateurs, objective et ne nécessitant pas d'annotations pour évaluer si un modèle capture réellement les concepts sémantiques d'une phrase par rapport à ses variations de surface.

2. Méthodologie

Les auteurs proposent une approche basée sur l'introduction systématique de perturbations dans les phrases pour mesurer la sensibilité des embeddings.

A. Le Cadre : Courbes de Séparation des Concepts (CSC)

L'idée centrale est de comparer la réaction d'un modèle d'embedding à deux types de modifications :

1. Fuzzing (Brouillage) : Une perturbation de surface non sémantique. Le sens de la phrase reste identique, mais la forme textuelle change. Dans cette étude, cela se fait par l'insertion d'articles ("de/het" en néerlandais, "a/the" en anglais).
2. Négation : Une perturbation sémantique ciblée. La forme de surface change minimalement, mais le sens conceptuel est inversé. Cela se fait par l'insertion d'une particule négative ("niet" en néerlandais, "not" en anglais).

Contrainte importante : Le nombre de tokens ajoutés est identique pour les deux types de perturbations afin d'isoler l'effet du contenu sémantique de l'effet du volume de texte.

B. Processus de Génération

Pour chaque phrase d'un corpus :

1. Identification des emplacements d'insertion possibles.
2. Génération aléatoire de nouvelles phrases en insérant soit un article (Fuzzing), soit un négateur (Négation).
3. Calcul des embeddings pour la phrase originale, la version "Fuzzée" et la version "Négée".
4. Calcul de la similarité (cosinus) entre l'original et les versions modifiées.

C. Visualisation et Mesure (CSC)

Les résultats sont visualisés sous forme de Courbes de Séparation des Concepts :

• Hypothèse idéale : Les vecteurs "Fuzzés" doivent rester très proches de l'original (similarité élevée, proche de 1), tandis que les vecteurs "Négés" doivent s'éloigner significativement (similarité plus faible).
• Estimation de densité : Une estimation de densité noyau gaussien (Gaussian Kernel Density Estimation) est appliquée aux distributions de similarité pour lisser les données.
• Normalisation : Les courbes sont normalisées pour que l'aire sous la courbe soit égale à 1, permettant une comparaison équitable même si le nombre de phrases générées diffère légèrement entre les deux types de perturbations.
• Mesure de chevauchement : Un score de chevauchement (Overlap Score) est calculé en intégrant le minimum des deux densités normalisées. Un score de 0 indique une séparation parfaite (idéal), tandis qu'un score de 1 indique une indifférenciation totale (échec).

3. Contributions Clés

1. Introduction des CSC : Une méthode d'évaluation indépendante des classificateurs pour distinguer les variations sémantiques des variations de surface.
2. Cadre de perturbation automatisé : Une méthode de génération de données sans annotation humaine, basée sur des règles grammaticales (ajout de tokens).
3. Mesure géométrique : Définition d'une métrique de chevauchement pour quantifier la séparation dans l'espace d'embedding.
4. Analyse comparative : Évaluation systématique sur plusieurs modèles, langues (néerlandais et anglais) et longueurs de phrases.

4. Résultats

L'étude a été menée sur plusieurs modèles (TF-IDF, FastText, GroNLP, MPNet, RobBERTa, LaBSE) et corpus (CNL, ESS, Paracrawl).

• Performance des modèles :

  • GroNLP (spécialisé néerlandais) et LaBSE (multilingue) montrent les meilleures séparations conceptuelles, avec des courbes bien distinctes et un faible chevauchement (ex: 0,0221 pour GroNLP sur CNL).
  • FastText et certains modèles basés sur BERT (MPNet, RobBERTa) montrent des résultats médiocres. Parfois, les négations sont plus proches de l'original que les phrases "Fuzzées", indiquant une incapacité à encoder le concept.
  • Sensibilité à la position : Certains modèles (MPNet, RobBERTa) réagissent de manière excessive au simple déplacement de tokens, se comportant davantage comme des algorithmes de hachage positionnel que comme des encodeurs sémantiques.

• Effet de la longueur de phrase :

  • La longueur des phrases est un facteur limitant majeur. Pour les phrases longues, la perturbation d'un seul token représente une faible proportion du texte, rendant la détection de la différence sémantique plus difficile pour le modèle.
  • Les courbes deviennent moins prononcées et le chevauchement augmente avec la longueur des phrases, réduisant la capacité de détection de la méthode.

• Impact de la langue :

  • Bien que des différences existent (les modèles néerlandais performant mieux sur les données néerlandaises), la méthode est généralisable. Cependant, les modèles entraînés sur des corpus anglais dominants peuvent sous-performer sur des données néerlandaises si le vocabulaire ou la structure n'est pas bien couvert.

5. Signification et Implications

• Évaluation Objective : Cette méthode permet de valider la "validité conceptuelle" d'un embedding sans dépendre de tâches externes coûteuses ou biaisées.
• Diagnostic de Modèles : Elle révèle des modes de défaillance spécifiques, tels que la sensibilité excessive à la position des tokens ou l'incapacité à distinguer les changements sémantiques mineurs dans des phrases longues.
• Domaines d'application : Bien que les résultats ne garantissent pas la performance sur toutes les tâches (ex: recherche de mots-clés précis), cette méthode est cruciale pour les domaines où la certitude conceptuelle est primordiale (ex: analyse de sentiments, détection de désinformation, compréhension sémantique fine).
• Limites et Perspectives : L'étude note que l'ajout de tokens n'est pas universel (certaines langues nécessitent d'autres types de modifications). De plus, la similarité cosinus pourrait masquer des changements locaux dans des espaces de très haute dimension. Des travaux futurs pourraient explorer l'utilisation d'antonymes/synonymes ou des modifications plus complexes (changement de verbe/nom).

En résumé, les Concept Separation Curves offrent un outil interprétable et reproductible pour auditer la capacité des modèles de langage à capturer le sens profond des phrases, au-delà de la simple similarité textuelle de surface.