Do LLM Embedding Spaces Recover Expert Structure?

Résumé technique : Les espaces de plongement des LLM récupèrent-ils la structure experte ?

Énoncé du problème
Les plongements de texte préentraînés sont de plus en plus utilisés comme des cartes représentationnelles où les distances géométriques entre les textes sont comparées à des structures conceptuelles spécifiées de manière indépendante. Cependant, une séparabilité de catégorie élevée (par exemple, la capacité à classifier des communautés) n'implique pas nécessairement que la géométrie du plongement récupère des relations sémantiques fines définies par des experts. Ce problème est aigu dans le langage lié à la santé mentale, où les catégories présentent un chevauchement de symptômes et des frontières graduelles, fournissant ainsi une référence externe experte. Pourtant, les communautés en ligne introduisent des biais non cliniques puissants, notamment le jargon spécifique aux subreddits, les normes stylistiques et les divisions de domaines larges (santé mentale vs contrôle). Un modèle peut réussir à regrouper des communautés sur la base de ces indices distributionnels grossiers sans encoder les relations de niveau de symptôme sous-jacentes qui définissent la structure experte. L'article étudie si les espaces de plongement des LLM récupèrent la structure de symptômes définie par les experts au-delà de la séparation grossière des domaines, et comment la supervision spécifique à la tâche et l'échelle du modèle influencent cette géométrie.

Méthodologie
L'étude utilise un ensemble de données de 28 communautés Reddit (17 spécifiques à la santé mentale, 11 de contrôle) couvrant la période 2018–2020. Les auteurs comparent les espaces de plongement préentraînés et supervisés par ajustement fin (fine-tuning) en utilisant deux échelles de modèles : Qwen3-Embedding-0.6B et Qwen3-Embedding-4B.

Le cadre d'évaluation emploie trois analyses complémentaires :

1. Analyse de similitude représentationnelle (RSA) : Les auteurs construisent des prototypes de catégories en faisant la moyenne des plongements de documents. Ils génèrent une matrice de dissimilarité représentationnelle (RDM) basée sur les distances cosinus entre ces prototypes. Cette RDM dérivée du modèle est comparée à deux matrices de référence : une matrice de symptômes dérivée d'experts (basée sur les distances de Jaccard de profils de symptômes binaires) et une matrice de contrôle de domaine. La RSA est calculée comme la corrélation de rang de Spearman entre les entrées de la partie supérieure de ces matrices.
2. Analyse de la typicité et des frontières basée sur les prototypes : Pour examiner la structure locale, les auteurs calculent la typicité des documents (distance au prototype de catégorie) et les marges des prototypes. Ils définissent un « score d'alignement de frontière » ($\Delta_{align}$) pour mesurer si l'ambiguïté résiduelle des frontières est concentrée parmi les paires de catégories voisines selon l'expert (celles ayant un chevauchement de symptômes élevé) plutôt que parmi les paires de non-voisins.
3. Contrôles de biais multi-lignes de base : Pour s'assurer que l'alignement n'est pas piloté par des signaux non cliniques, les auteurs contrôlent quatre lignes de base : les scores affectifs Valence-Arousal-Dominance (VAD), les catégories linguistiques LIWC, les caractéristiques de style lexical et les structures de distribution de sujets (via des modèles de thèmes embarqués/Embedded Topic Models).

Résultats clés

• Récupération de la structure experte : Les plongements préentraînés montrent un alignement mesurable avec la structure de symptômes définie par les experts au sein du sous-ensemble de santé mentale, même sans supervision. Cet alignement est significativement plus fort que ce qui serait attendu d'une simple séparation de domaine grossière.
• Impact de la supervision : L'ajustement fin supervisé renforce l'alignement avec la structure experte, les gains les plus importants étant observés au niveau de la catégorie la plus fine (au sein du sous-ensemble de santé mentale). Le fine-tuning ne se contente pas d'augmenter la séparabilité globale ; il remodèle la géométrie pour réduire l'ambiguïté « hors-structure » tout en concentrant l'incertitude résiduelle parmi les paires de voisins experts.
• Effets de l'échelle du modèle : Les échelles de modèles plus grandes (4B vs 0.6B) améliorent à la fois l'alignement zero-shot et les gains induits par la supervision. Le modèle 4B atteint des scores RSA plus élevés et montre une réduction plus prononcée des associations avec les lignes de base non cliniques.
• Robustesse aux biais : L'alignement observé persiste même après contrôle de VAD, LIWC, du style lexical et des distributions de sujets. Bien que les lignes de base riches en contenu (comme les distributions de sujets) expliquent une partie de l'alignement, un alignement résiduel substantiel avec la structure experte demeure, suggérant que la géométrie capture plus que de simples régularités affectives ou de discours.
• Organisation locale : Le fine-tuning réduit l'ambiguïté diffuse des frontières. Les sujets associés au flou des frontières dans les modèles zero-shot (récits affectifs partagés) sont affinés dans les modèles fine-tunés, qui présentent des champs lexicaux plus concentrés et spécifiques à chaque catégorie.

Signification et affirmations
L'article soutient que les plongements de LLM peuvent récupérer la géométrie de catégorie pertinente pour l'expert, mais que cette récupération est partielle, dépendante du niveau et façonnée par la supervision et l'échelle. Les auteurs avertissent que la performance de classification seule est insuffisante pour inférer la structure sémantique ; des contrôles explicites des biais et des analyses stratifiées par niveau sont nécessaires.

Les contributions clés incluent :

• Un cadre de niveau représentationnel combinant la RSA, la typicité basée sur les prototypes et des contrôles de biais multi-lignes de base pour tester la récupération de la structure experte au-delà de la séparation de domaine.
• La preuve empirique d'un schéma dépendant du niveau où les modèles préentraînés encodent une organisation au niveau des symptômes, et où la supervision amplifie cet alignement de manière la plus efficace à la plus fine granularité.
• La démonstration que les échelles plus grandes et la supervision réduisent conjointement les associations avec les lignes de base non cliniques, produisant une géométrie plus spécifique aux catégories.

Limites
Les auteurs notent explicitement que leur référence experte est un benchmark structuré pour la comparaison de catégories, et non une ontologie diagnostique clinique capable de capturer la sévérité ou la comorbidité au niveau individuel. Les résultats soutiennent une affirmation limitée : les plongements préentraînés contiennent des signaux organisationnels significatifs mais incomplets, que la supervision renforce. L'étude est limitée à une famille de modèles spécifique et à un ensemble de données particulier ; la généralisabilité à travers d'autres architectures et des sources de langage moins communautaires reste une question ouverte. De plus, les analyses de sujets sont interprétatives plutôt que causales.