💬 NLP

A Hyperbolicity Atlas of Large Language Model Hidden States

Cet article présente la première étude systématique démontrant que l'hyperbolicité de Gromov dans les états cachés des LLM est principalement pilotée par la profondeur des couches — atteignant un sommet dans les couches intermédiaires et devenant plus semblable à un arbre dans les couches finales — plutôt que par l'échelle du modèle, offrant ainsi un diagnostic pratique pour comprendre les structures de distance hiérarchiques à travers différentes familles de modèles et domaines d'entrée.

Auteurs originaux : Zhichao Yang, Yuanze Hu, Gen Li, Qingchen Yu, Shiying Duan, Xinyu Wang, Ye Qiu, Zeming Liu, Guangxu Chen, Zhaoxin Fan

Publié 2026-09-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhichao Yang, Yuanze Hu, Gen Li, Qingchen Yu, Shiying Duan, Xinyu Wang, Ye Qiu, Zeming Liu, Guangxu Chen, Zhaoxin Fan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

À l'intérieur des ordinateurs qui alimentent l'intelligence artificielle moderne, il existe un monde caché de nombres. Lorsque ces machines lisent une phrase ou traitent une question, elles ne stockent pas les mots sous forme de texte. Au lieu de cela, elles traduisent chaque mot en une longue liste de nombres, un vecteur, qui existe dans un vaste espace multidimensionnel. Depuis des années, les scientifiques savent que les choses que ces machines traitent — comme la structure d'un arbre généalogique, les étapes d'un programme informatique ou la logique d'une histoire — sont souvent hiérarchiques. Elles ont un sommet, une base et de nombreuses branches entre les deux. Une question naturelle s'est posée : les listes de nombres internes que la machine crée pour comprendre ces choses s'organisent-elles également selon une forme d'arbre ? Si la carte interne de la machine ressemble à un arbre, cela pourrait signifier que l'ordinateur organise l'information d'une manière qui reflète les structures complexes du langage et de la logique humaine. Pour répondre à cela, les chercheurs se sont tournés vers un concept mathématique appelé hyperpolicité, qui agit comme une règle pour mesurer à quel point une collection de points est « semblable à un arbre ». Un score faible signifie que les points sont disposés selon une hiérarchie ordonnée et ramifiée, tandis qu'un score élevé signifie qu'ils sont dispersés de manière plus chaotique et plate.

Une équipe de chercheurs de Pékin et de Guangzhou s'est donné pour mission de cartographier cette géométrie cachée à travers les modèles de langage les plus avancés disponibles aujourd'hui. Ils n'ont pas construit une nouvelle machine ni modifié le fonctionnement des machines existantes. Au lieu de cela, ils ont agi comme des cartographes, prenant dix modèles open-source différents et les soumettant à quatre types de tâches très différents : résoudre des problèmes mathématiques, écrire du code informatique, répondre à des questions de bon sens et juger la véracité de déclarations. Pour chaque mot de l'entrée (prompt), ils ont mesuré la distance entre les listes de nombres créées par la machine. Ils ont effectué plus de 800 000 mesures spécifiques, couvrant dix modèles différents de tailles variées et chaque couche de traitement à l'intérieur de chaque machine. Leur objectif était de créer un atlas, une carte détaillée montrant exactement où la structure interne de ces machines ressemble à un arbre et où elle ne l'est pas.

La découverte la plus frappante est que la taille de la machine importait beaucoup moins que l'endroit où l'on regardait à l'intérieur de celle-ci. Beaucoup de gens supposent qu'un modèle plus grand, avec plus de paramètres, est automatiquement plus « intelligent » ou plus structuré. Les chercheurs ont découvert que cela était largement faux. Le simple fait de rendre un modèle plus grand ne rendait pas systématiquement sa structure plus semblable à un arbre. Dans certains cas, un modèle plus grand était en fait moins organisé qu'un modèle plus petit, et dans d'autres, il était plus organisé. Le véritable schéma est apparu lorsqu'ils ont examiné la profondeur du traitement de la machine. À mesure que l'information passait de la première couche du réseau au milieu, la structure devenait désordonnée et plate, perdant sa forme d'arbre. Les nombres dans les couches intermédiaires étaient encombrés et complexes, reflétant un mélange de nombreux types d'informations différents. Cependant, lorsque les données atteignaient les dernières couches, juste avant que la machine ne produise une réponse, la structure changeait radicalement. Les nombres revenaient brusquement à une disposition beaucoup plus claire et semblable à un arbre. Cela suggère que la machine commence par un mélange chaotique de possibilités, puis les comprime en une forme structurée juste à la fin.

Les chercheurs ont également découvert que le type spécifique de modèle et la tâche pour laquelle il a été entraîné changeaient considérablement la carte. Deux modèles de la même taille exacte peuvent avoir des géométries internes complètement différentes selon leur entraînement. Par exemple, un modèle spécialisé dans l'écriture de code présentait une structure très forte semblable à un arbre lors du traitement de tâches de programmation, mais un modèle entraîné pour les mathématiques générales ne présentait pas le même schéma, même lorsqu'on lui demandait de résoudre des problèmes mathématiques. En fait, le modèle spécialisé en code rendait la structure des invites de code plus semblable à un arbre que le modèle général, tandis que le modèle spécialisé en mathématiques maintenait sa structure plus complexe. Cela signifie que la « forme » de la pensée de la machine n'est pas une propriété fixe de sa taille, mais un résultat flexible de la manière dont elle a été entraînée et de ce qu'elle fait actuellement.

En fin de compte, cette étude offre une nouvelle façon de comprendre comment l'intelligence artificielle organise l'information. Elle montre que le monde interne de ces modèles n'est pas un paysage statique et uniforme. Il s'agit plutôt d'un voyage dynamique où l'information commence dans un état complexe et plat, erre à travers une section centrale encombrée, et finit par se stabiliser dans une forme structurée et semblable à un arbre à la toute fin. Les chercheurs concluent qu'examiner uniquement la réponse finale ou la taille totale d'un modèle ne suffit pas pour comprendre ses mécanismes internes. Pour vraiment voir comment ces machines pensent, il faut observer le chemin que prend l'information, en notant que les changements structurels les plus importants se produisent dans les instants précédant immédiatement la prise de décision. Cette carte offre un outil pratique aux scientifiques pour voir où ces modèles organisent leurs pensées et où ils sont encore en difficulté, révélant que la géométrie de l'intelligence est bien plus nuancée qu'une simple mesure de taille ne pourrait jamais le montrer.

Résumé Technique : Un Atlas de l'Hyperbolicité des États Cachés des Grands Modèles de Langage

Énoncé du Problème
Bien que les grands modèles de langage (LLM) stockent les informations relatives aux jetons sous forme de vecteurs euclidiens, les structures sémantiques et syntaxiques qu'ils traitent (par exemple, les taxonomies, l'implication, les arbres syntaxiques) sont intrinsèquement hiérarchiques. La géométrie hyperbolique est théoriquement bien adaptée à la représentation de telles hiérarchies avec une faible distorsion. Cependant, une question cruciale reste ouverte : même lorsque les LLM ne sont pas explicitement entraînés dans des variétés hyperboliques, leurs états cachés présentent-ils une organisation métrique de type arborescente ? Les analyses de représentation existantes (probing, anisotropie, dimension intrinsèque) caractérisent la dispersion ou la complexité locale, mais ne testent pas directement si les distances entre les états cachés se comportent comme une hiérarchie. Cet article comble cette lacune en investiguant systématiquement si les états cachés des jetons de prompt présentent une hyper-bolicité de Gromov (GH).

Méthodologie
Les auteurs construisent un « Atlas de l'Hyperbolicité » en mesurant la $\delta$ -hyperbolicité de Gromov normalisée ( $\delta_{rel}$ ) selon quatre axes : l'échelle des paramètres, la profondeur des couches, la famille de modèles et le domaine d'entrée.

Métrique : L'étude utilise la condition des quatre points de la hyperbolicité de Gromov. Pour un quadruplet de points, $\delta$ est calculé comme la moitié de la différence entre la plus grande et la deuxième plus grande somme des distances par paires. Pour permettre la comparaison entre des modèles ayant des dimensions cachées différentes, les auteurs utilisent une statistique normalisée par le diamètre : $\delta_{rel}(X) = \hat{\delta}(X) / \text{diam}(X)$ , où $X$ est un ensemble de vecteurs d'états cachés. Un $\delta_{rel}$ plus faible indique une structure plus proche d'une métrique d'arbre.
Étendue des données : L'analyse couvre 818 904 mesures échantillonnées par couche et par échantillon sur dix checkpoints de modèles en poids ouverts (Llama, Qwen2.5, Qwen2.5-Math, Qwen2.5-Coder, DeepSeek-R1-Distill-Qwen) allant de 1,5B à 8B de paramètres.
Domaines : Les expériences utilisent quatre ensembles de données distincts : MATH500 (raisonnement mathématique), HumanEval (génération de code), WinoGrande (résolution de pronoms de sens commun) et TruthfulQA (véracité).
Conception expérimentale : Crucialement, l'étude mesure uniquement les états cachés du prompt seul. Les réponses générées sont exclues pour garantir que les propriétés géométriques reflètent la distribution d'entrée plutôt que d'être confondues par la longueur du décodage, la justesse de la réponse ou les comportements de génération spécifiques au modèle.
Protocole : Pour chaque prompt et chaque couche, 2 000 quadruplets d'états cachés de jetons sont échantillonnés pour estimer $\delta_{rel}$ . Les comparaisons statistiques utilisent les médianes et les écarts interquartiles, avec des tests de Wilcoxon signés pour les comparaisons de couches appariées et des tests de Kruskal–Wallis pour les comparaisons de familles/domaines non appariées.

Résultats Clés
L'étude livre quatre conclusions principales concernant la géométrie des états cachés des LLM :

Les effets d'échelle sont faibles et non monotones : Le nombre de paramètres est un mauvais prédicteur de l'hyperbolicité. Bien que la piste « de base » montre un léger glissement vers des structures moins arborescentes ( $\delta_{rel}$ plus élevé) à plus grande échelle sur les tâches formelles (MATH500, HumanEval), elle glisse vers des structures plus arborescentes sur les tâches de sens commun. Inversement, les modèles spécialisés en mathématiques montrent une augmentation de $\delta_{rel}$ à travers les domaines à mesure que l'échelle croît. L'effet global est faible et masque des inversions significatives selon les domaines.
La profondeur domine la géométrie : La profondeur de la couche est le facteur le plus stable. Les états cachés suivent une trajectoire cohérente en trois parties :
- Couches précoces : Sensibles à l'entrée et à la tokenisation.
- Couches intermédiaires : Forment un plateau de $\delta_{rel}$ élevé (proche de 1,0), indiquant une organisation hautement non arborescente où de multiples contraintes relationnelles sont simultanément actives.
- Couches finales : Présentent une chute brutale de $\delta_{rel}$ , se rapprochant d'une structure de type arbre. Cette chute est cohérente à travers les modèles et les domaines, bien que l'ampleur varie.
Les familles appariées occupent des régimes distincts : À des échelles de paramètres égales (ex: 7B/8B), différentes familles de modèles présentent des profils géométriques significativement différents. Par exemple, les modèles Llama montrent systématiquement un $\delta_{rel}$ de couche finale inférieur aux variantes Qwen. De plus, la spécialisation importe plus que l'échelle : un modèle spécialisé en code (Qwen2.5-7B-Coder-Instruct) organise les prompts de code (HumanEval) selon une structure très arborescente ( $\delta_{rel} \approx 0,438$ ), tandis que le modèle de base et les modèles spécialisés en mathématiques traitent ces mêmes prompts comme moins arborescents.
Les domaines interagissent avec la spécialisation : La relation entre un jeu de données et l'hyperbolicité n'est pas fixe ; elle dépend de l'historique d'entraînement du modèle. Les prompts de code deviennent arborescents spécifiquement dans le modèle de codeur, tandis que la spécialisation mathématique ne réduit pas universellement le $\delta_{rel}$ à travers tous les domaines. Cela suggère qu'une faible hyperbolicité est un alignement entre l'organisation représentationnelle apprise par un modèle et la distribution spécifique des prompts.

Signification et Revendications
L'article positionne la hyperbolicité de Gromov non pas comme une preuve de raisonnement symbolique ou un identificateur de circuit causal, mais comme un outil de diagnostic pratique. Sa signification réside dans sa capacité à :

Cartographier où les structures de distance hiérarchiques apparaissent et disparaissent au sein de la profondeur d'un modèle.
Révéler comment la spécialisation (ex: code vs math) réorganise la géométrie de domaines spécifiques.
Démontrer que les comparaisons de modèles basées uniquement sur le nombre de paramètres sont insuffisantes ; la famille et la spécialisation sont des variables critiques.

Les auteurs soutiennent que l'hyperbolicité doit être interprétée comme une propriété du modèle-couche-domaine plutôt que comme un attribut statique d'un modèle. L'approche par « atlas » fournit un cadre nécessaire pour comprendre que l'organisation géométrique des états cachés est une trajectoire (passant d'un $\delta_{rel}$ élevé dans les couches intermédiaires à un $\delta_{rel}$ plus faible dans les couches finales) qui est modulée par les objectifs d'entraînement et les domaines d'entrée. Ce travail complète les analyses géométriques existantes en offrant une métrique de type « ressemblance à un arbre » basée sur la distance, comparable entre diverses architectures et échelles de modèles.

Articles similaires