iBERT: Interpretable Embeddings via Sense Decomposition

Résumé Technique : iBERT : Des plongements de type « embeddings » interprétables via la décomposition de sens

Énoncé du problème
Les encodeurs neuronaux actuels, tels que SBERT et SimCSE, produisent des représentations vectorielles denses qui excellent dans la recherche sémantique mais manquent de transparence. Ces modèles n'offrent aucun mécanisme clair pour contrôler ou interpréter la manière dont le style et le sens sont encodés, ce qui limite leur fiabilité dans des domaines exigeant une transparence représentationnelle, comme la vérification d'auteur, la génération contrôlée par le ton ou la modération stylistique. Les méthodes d'interprétabilité existantes sont souvent post-hoc (par exemple, le sondage ou les cartes de saillance) et appliquées à des représentations qui n'ont pas été conçues pour l'interprétabilité, produisant des explications incomplètes ou infidèles. De plus, l'apprentissage préalable de la représentation stylistique repose souvent sur une supervision par procuration (par exemple, l'identité de l'auteur), ce qui entraîne des plongements entrelacés où le contenu et le style sont inextricablement mélangés. La question posée est la suivante : Pouvons-nous concevoir un encodeur où les représentations sémantiques et stylistiques sont rendues explicites et contrôlables au sein de l'espace de plongement par conception, plutôt que via une analyse post-hoc ?

Méthodologie
Les auteurs proposent iBERT (interpretable-BERT), une architecture d'encodeur conçue pour produire des plongements intrinsèquement interprétables et contrôlables.

• Architecture : iBERT encode chaque jeton (token) d'entrée comme un mélange creux (sparse) et non négatif sur $k$ vecteurs de sens indépendants du contexte. Contrairement aux plongements denses standards, le modèle décompose les représentations de jetons en $k$ « sens » distincts (par exemple, $k=8$ dans les expériences).
  • Encodage de jeton : Un jeton $x_i$ est projeté dans un plongement standard, puis projeté dans $k$ sens. Un encodeur transformer produit des états contextuels, qui sont ensuite projetés dans des requêtes (queries) et des clés (keys) spécifiques à chaque sens pour calculer les poids de mélange ($\alpha_{\ell,i,j}$). La représentation finale du jeton $o_i$ est un mélange convexe de ces vecteurs de sens indépendants du contexte.
  • Agrégation de phrases (Sentence Pooling) : Pour générer des plongements de phrases, le modèle applique une agrégation structurée sur les activations de sens au niveau des jetons. Le document définit trois variantes :
    • iBERT-v1 (Mean Pooling) : Moyenne uniforme de tous les jetons.
    • iBERT-v2 (Top-Sense Pooling) : Identifie le sens dominant pour une séquence et ne conserve que ce sens pour tous les jetons (sélection stricte).
    • iBERT-v3 (Softmax Blend) : Interpole entre v1 et v2 en utilisant un paramètre de température $\tau$ pour contrôler la netteté de la sélection du sens (mélange progressif).
• Pipeline d'entraînement :
  • Étape 0 (Pré-entraînement MLM) : iBERT est pré-entraîné à partir de zéro sur 5 % du corpus FineWeb (750 milliards de jetons) en utilisant la modélisation de langage masqué (MLM) pour instancier des vecteurs de sens significatifs. Cela produit un encodeur de 171 millions de paramètres.
  • Étape 1 (Apprentissage de la représentation stylistique) : Le modèle est affiné (fine-tuned) à l'aide de triplets contrastifs ($\langle s, s^+, s^- \rangle$) ciblant la variation stylistique. Les données d'entraînement incluent des triplets synthétiques de StyleSynth (Patel et al., 2025) avec des variations lexicales/syntaxiques contrôlées et des triplets étiquetés par auteur de Wegmann et al. (2022). La perte InfoNCE est utilisée pour encourager la proximité entre les entrées stylistiquement similaires tout en éloignant les entrées dissemblables.
• Lignes de base (Baselines) : Pour assurer une comparaison équitable, les auteurs entraînent un modèle BERT-base standard à partir de zéro sur les mêmes données et l'affinent avec les mêmes objectifs contrastifs (créant ainsi BERT-SD, BERT-WG et BERT-WG+SD) pour servir de références denses.

Contributions clés

1. Architecture iBERT : L'introduction d'un encodeur doté de représentations contrôlables et décomposables qui produisent des plongements de jetons et de phrases interprétables par conception.
2. Performance : Démonstration d'une forte performance sur trois benchmarks (STEL, SoC et PAN), atteignant jusqu'à +8 % de gains en efficacité de représentation stylistique (STEL) par rapport aux lignes de base denses, tout en maintenant des performances compétitives sur la vérification d'auteur.
3. Interprétabilité nouvelle : La capacité de sonder les vecteurs de sens pour des traits stylistiques spécifiques, d'abolir des sens pour identifier l'attribution, et de modifier les plongements pour un transfert de style contrôlé. Le document souligne que des attributs de style spécifiques (par exemple, l'usage d'emojis, le sarcasme, les choix lexicaux) sont assignés à des vecteurs de sens spécifiques.

Résultats

• STEL (Efficacité de la représentation stylistique) : Les modèles iBERT surpassent significativement les modèles BERT de référence. Sous une supervision de style directe (StyleSynth), iBERT-v3-1 a atteint 38,3 % de STEL (128 jetons), soit un gain de +6,7 points par rapport au modèle BERT de base. Les variantes iBERT-v3 (mélange progressif) ont généralement surpassé la sélection stricte iBERT-v2, suggérant que le pondération douce des sens comble l'écart entre le mélange uniforme et la parcimonie stricte.
• SoC (Style-ou-Contenu) : iBERT-v3-1 a obtenu la plus haute séparabilité de la polarité stylistique (92,8 % de précision), démontrant que le modèle peut préserver la sensibilité à la polarité tout en maintenant l'interprétabilité.
• PAN (Vérification d'auteur) : En tant que tâche de style par procuration, les variantes iBERT égalent ou dépassent légèrement BERT sur des entrées de 128 jetons. Cependant, sur des entrées de 512 jetons, BERT surpasse légèrement iBERT (61,92 % contre 61,07 %), probablement parce que le couplage étroit de BERT entre les caractéristiques sémantiques et stylistiques bénéficie davantage d'un contexte étendu. iBERT a maintenu des performances compétitives même lorsque la supervision était bruitée (identité de l'auteur uniquement), bien qu'il ait eu plus de mal que BERT lorsque le style et le contenu étaient fortement entrelacés sans étiquettes de style explicites.
• Analyse d'interprétabilité : Le sondage a révélé que les sens individuels se spécialisent dans des clusters stylistiques distincts (par exemple, le Sens $\ell=2$ s'aligne sur le ton affectif comme le sarcasme ; $\ell=0$ sur les marqueurs de surface comme les emojis). Les études d'ablation ont confirmé que la suppression d'un sens aligné sur un style réduisait drastiquement la séparabilité de ce style spécifique (jusqu'à 66 % de réduction de distance) tout en affectant de manière minimale les styles non liés, validant la localité des modifications.

Signification et affirmations
Le document affirme qu'iBERT représente un changement de l'interprétabilité post-hoc vers une interprétabilité ancrée dans l'architecture. Par conception, iBERT décompose les signaux discriminants (qu'ils soient sémantiques ou stylistiques) en vecteurs de sens modulaires.

• Modularité : Le modèle permet des modifications ciblées dans l'espace de plongement (par exemple, changer la formalité ou supprimer les emojis) sans perturber les attributs non liés, une prouesse difficile avec les encodeurs denses.
• Généralisation : Bien qu'évalué sur des tâches de style, iBERT n'est pas limité à la modélisation du style. Sa modularité structurelle est conçue pour décomposer de manière interprétable n'importe quel signal discriminant présent dans les données, permettant une généralisation même lorsque la supervision mélange des facteurs sémantiques et stylistiques.
• Compromis : Les auteurs reconnaissent un compromis : la structure modulaire peut entraîner de légers écarts de performance par rapport aux encodeurs denses dans les tâches nécessitant une intégration contextuelle profonde (par exemple, la dérive sémantique sur de longs textes). De plus, la spécialisation des sens est sensible à la longueur de la séquence, et le travail actuel se concentre sur l'anglais.

Les auteurs concluent qu'iBERT offre un pas vers des modèles de plongement qui ne sont pas seulement puissants, mais intrinsèquement compréhensibles, servant de socle viable pour des pipelines de traitement du langage naturel (NLP) transparents et modulaires.