A framework for analyzing concept representations in neural models

Résumé technique : Un cadre pour l'analyse des représentations de concepts dans les modèles neuronaux

Énoncé du problème
Comprendre comment les modèles neuronaux représentent des concepts interprétables par l'humain demeure un défi majeur en intelligence artificielle et en sciences cognitives. Bien que des travaux antérieurs aient établi que de nombreux concepts (par exemple, le genre, le temps, les classes phonétiques) sont représentés sous forme de directions linéaires ou de sous-espaces de faible dimensionnalité au sein d'espaces de représentation de haute dimension, il n'existe aucun cadre unifié pour évaluer ces affirmations. Différentes études reposent sur des hypothèses et des méthodes disparates : les études de « sondage » (probing) se concentrent sur la possibilité de décoder des concepts à partir d'un sous-espace, tandis que les études d'« effacement de concepts » se concentrent sur la possibilité de supprimer des concepts sans endommager les autres informations. Crucialement, ces approches utilisent souvent des méthodes différentes pour identifier les sous-espaces sans comparaison systématique, ce qui conduit à des conclusions potentiellement contradictoires concernant la structure des représentations de concepts.

Méthodologie
Les auteurs proposent un cadre unifié pour caractériser les représentations de concepts le long de deux axes principaux : la contenance et la désentanglement (désintrication).

1. Définitions :

   • Sous-espace de concept ($X_Y$) : Un sous-espace linéaire engendré par des éléments de base destinés à représenter un concept $Y$.
   • Contenance : Mesure si l'information concernant $Y$ est entièrement contenue dans $X_Y$ et absente de son complément ($X^c_Y$). Cela est opérationnalisé via :
     • Rétention : Précision de la prédiction de $Y$ à partir de $X_Y$.
     • Fuite : Précision de la prédiction de $Y$ à partir de $X^c_Y$.
   • Désentanglement : Mesure l'isolation de $X_Y$ par rapport à un second concept $Y'$. Cela est opérationnalisé via :
     • Pureté : Taux d'erreur de la prédiction de $Y'$ à partir de $X_Y$ (un faible taux d'erreur implique une faible pureté).
     • Interférence : Taux d'erreur de la prédiction de $Y'$ à partir de $X^c_Y$ après effacement de $X_Y$ (un taux d'erreur élevé implique une forte interférence).

2. Estimateurs :
   Le cadre évalue cinq estimateurs de concepts supervisés pour déterminer comment le choix de la méthode impacte ces métriques :

   • Régression logistique multinomiale (MLR)
   • Analyse discriminante linéaire (LDA)
   • Analyse en composantes principales par centroïde (CPCA)
   • Covariance de la représentation d'entrée et des concepts (COV)
   • LEACE (Linear Concept Erasure)
   • Base de référence : Projection aléatoire (RAND)

3. Configuration expérimentale :
   Pour assurer une évaluation rigoureuse de la généralisation, les auteurs partitionnent les données en trois ensembles disjoints : space-train (pour estimer le sous-espace), probe-train (pour entraîner les classificateurs de sondage) et test (pour l'évaluation). Cela contraste avec les travaux antérieurs qui utilisent souvent des ensembles chevauchants, ce qui peut garantir artificiellement une fuite nulle.

   Les expériences ont été menées sur :

   • Texte : Représentations BERT utilisant les concepts de genre et de profession (jeu de données Short Biography).
   • Parole : Représentations HuBERT utilisant les catégories phonétiques (phones) et l'identité du locuteur (LibriSpeech).

Résultats clés

• Non-unicité des sous-espaces : Dans les expériences sur BERT, différents estimateurs (MLR vs LEACE) ont trouvé des sous-espaces distincts avec une forte rétention mais des fuites radicalement différentes. Cela démontre que les sous-espaces de concepts ne sont pas déterminés de manière unique ; une forte rétention ne garantit pas qu'un sous-espace est la seule ou la meilleure représentation d'un concept.
• Impact de l'estimateur : Le choix de l'estimateur modifie considérablement les scores de contenance et de désentanglement.
  • LEACE : A obtenu les meilleurs résultats globaux, trouvant des sous-espaces avec une forte rétention et une faible fuite sur les données vues. Cependant, il a présenté une fuite significative sur les données non vues, remettant en cause sa garantie de « zéro fuite » lors de la généralisation.
  • MLR/LDA : Ont atteint une rétention optimale mais ont souffert d'une fuite élevée, indiquant qu'une information conceptuelle substantielle existe en dehors du sous-espace estimé.
• Résultats dans le domaine de la parole (HuBERT) :
  • Information phonétique : Les sous-espaces de phones se sont révélés à la fois bien contenus et désentrelacés de l'information du locuteur.
  • Information du locuteur : Il a été difficile de contenir l'information du locuteur dans un sous-espace compact. Bien que l'information du locuteur ait été désentrelacée des phones (l'effacement du sous-espace du locuteur n'a pas nui à la reconnaissance des phones), atteindre une forte rétention pour les locuteurs a nécessité un grand nombre de dimensions et de locuteurs.
  • Généralisation : Les sous-espaces de locuteurs estimés sur un petit ensemble de locuteurs n'ont pas réussi à généraliser à des locuteurs non vus, montrant une mauvaise contenance. L'augmentation du nombre de locuteurs d'entraînement et des dimensions du sous-espace a amélioré la contenance mais a fini par dégrader la pureté (augmentant la fuite d'information phonétique vers les sous-espaces de locuteurs).

Signification et affirmations
L'article prétend fournir une formalisation nécessaire pour analyser les représentations de concepts, allant au-delà des évaluations par métrique unique. Ses contributions principales sont :

1. Un cadre unifié : Il clarifie les hypothèses sous-jacentes aux différentes lignes de recherche en définissant quatre métriques complémentaires (rétention, fuite, pureté, interférence) qui capturent à la fois la représentation individuelle des concepts et les relations inter-concepts.
2. Conscience méthodologique : Il met en évidence que les conclusions sur la structure des concepts dépendent fortement du choix de l'estimateur de sous-espace. Les auteurs soutiennent que s'en remettre à un seul estimateur (par exemple, un optimisé uniquement pour la rétention) peut conduire à des analyses structurelles incomplètes ou trompeuses.
3. Insights empiriques : Le cadre révèle que si certains concepts (comme le genre dans BERT ou les phones dans HuBERT) possèdent des représentations linéaires robustes, d'autres (comme l'identité du locuteur) sont difficiles à capturer dans des sous-espaces linéaires compacts et généralisables.
4. Limites de l'effacement actuel : L'étude démontre que même les méthodes d'effacement les plus avancées comme LEACE peinent à généraliser à des données non vues, suggérant que les garanties de « zéro fuite » sur les données d'entraînement ne s'étendent pas à l'espace de représentation plus large.

Les auteurs concluent que leur cadre offre une base plus rigoureuse pour les travaux futurs visant à interpréter et à contrôler les modèles neuronaux, en mettant particulièrement l'accent sur la nécessité d'évaluer à la fois ce qui se trouve à l'intérieur d'un sous-espace de concept et ce qui reste à l'extérieur.