💬 NLP

A Hyperbolicity Atlas of Large Language Model Hidden States

Este artículo presenta el primer estudio sistemático que demuestra que la hiperbolicidad de Gromov en los estados ocultos de los LLM es impulsada primordialmente por la profundidad de la capa —alcanzando su punto máximo en las capas medias y volviéndose más similar a un árbol en las capas finales— en lugar de la escala del modelo, ofreciendo un diagnóstico práctico para comprender las estructuras de distancia jerárquica a través de diferentes familias de modelos y dominios de entrada.

Autores originales: Zhichao Yang, Yuanze Hu, Gen Li, Qingchen Yu, Shiying Duan, Xinyu Wang, Ye Qiu, Zeming Liu, Guangxu Chen, Zhaoxin Fan

Publicado 2026-09-09

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zhichao Yang, Yuanze Hu, Gen Li, Qingchen Yu, Shiying Duan, Xinyu Wang, Ye Qiu, Zeming Liu, Guangxu Chen, Zhaoxin Fan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Dentro de las computadoras que impulsan la inteligencia artificial moderna, existe un mundo oculto de números. Cuando estas máquinas leen una oración o procesan una pregunta, no almacenan las palabras como texto. En su lugar, traducen cada palabra en una larga lista de números, un vector, que existe en un vasto espacio multidimensional. Durante años, los científicos han sabido que las cosas que estas máquinas procesan —como la estructura de un árbol genealógico, los pasos en un programa de código o la lógica de una historia— son a menudo jerárquicas. Tienen una parte superior, una inferior y muchas ramas intermedias. Surgió una pregunta natural: ¿se organizan también los listados numéricos internos que la máquina crea para entender estas cosas en una forma similar a un árbol? Si el mapa interno de la máquina tiene apariencia de árbol, podría significar que la computadora está organizando la información de una manera que refleja las complejas estructuras del lenguaje y la lógica humana. Para responder a esto, los investigadores recurrieron a un concepto matemático llamado hiperbolicidad, que actúa como una regla para medir qué tan "parecido a un árbol" es una colección de puntos. Una puntuación baja significa que los puntos están dispuestos en una jerarquía ordenada y ramificada, mientras que una puntuación alta significa que están dispersos de una manera más caótica y plana.

Un equipo de investigadores de Beijing y Guangzhou se propuso mapear esta geometría oculta en los modelos de lenguaje más avanzados disponibles hoy en día. No construyeron una nueva máquina ni cambiaron la forma en que funcionan las existentes. En su lugar, actuaron como cartógrafos, tomando diez modelos de código abierto diferentes y sometiéndolos a cuatro tipos de tareas muy distintas: resolver problemas matemáticos, escribir código de programación, responder preguntas de sentido común y juzgar la veracidad de las afirmaciones. Por cada palabra en los mensajes de entrada, midieron la distancia entre las listas de números que la máquina creó. Hicieron esto para más de 800,000 mediciones específicas, cubriendo diez modelos diferentes de diversos tamaños y cada capa de procesamiento dentro de cada máquina. Su objetivo era crear un atlas, un mapa detallado que mostrara exactamente dónde la estructura interna de estas máquinas se parece a un árbol y dónde no lo es.

El descubrimiento más sorprendente fue que el tamaño de la máquina importaba mucho menos que el lugar donde se buscara dentro de ella. Muchas personas asumen que un modelo más grande con más parámetros es automáticamente "más inteligente" o más estructurado. Los investigadores descubrieron que esto es en gran medida falso. Simplemente hacer un modelo más grande no hacía que su estructura interna fuera consistentemente más parecida a un árbol. En algunos casos, un modelo más grande era en realidad menos organizado que uno más pequeño, y en otros, era más organizado. El verdadero patrón surgió cuando observaron la profundidad del procesamiento de la máquina. A medida que la información se movía desde la primera capa de la red hacia la mitad, la estructura se volvía desordenada y plana, perdiendo su forma de árbol. Los números en las capas medias estaban amontonados y eran complejos, reflejando una mezcla de muchos tipos diferentes de información. Sin embargo, a medida que los datos llegaban a las capas finales, justo antes de que la máquina produjera una respuesta, la estructura cambiaba drásticamente. Los números volvían a encajar en una disposición mucho más clara y similar a un árbol. Esto sugiere que la máquina comienza con una mezcla caótica de posibilidades y luego las comprime en una forma estructurada justo al final.

Los investigadores también descubrieron que el tipo específico de modelo y la tarea para la que fue entrenado cambiaban el mapa significativamente. Dos modelos del mismo tamaño exacto podrían tener geometrías internas completamente diferentes dependiendo de su entrenamiento. Por ejemplo, un modelo especializado en escribir código mostró una estructura muy fuerte similar a un árbol al procesar tareas de programación, pero un modelo entrenado para matemáticas generales no mostró el mismo patrón, incluso cuando se le pidió resolver problemas matemáticos. De hecho, el modelo especializado en código hizo que la estructura de los mensajes de código se pareciera más a un árbol que el modelo general, mientras que el modelo especializado en matemáticas mantuvo su estructura más compleja. Esto significa que la "forma" del pensamiento de la máquina no es una propiedad fija de su tamaño, sino un resultado flexible de cómo fue entrenada y de lo que está haciendo actualmente.

En última instancia, este estudio proporciona una nueva forma de entender cómo la inteligencia artificial organiza la información. Muestra que el mundo interno de estos modelos no es un paisaje estático y uniforme. En cambio, es un viaje dinámico donde la información comienza en un estado complejo y plano, vaga a través de una sección media congestionada y finalmente se asienta en una forma estructurada, similar a un árbol, al final. Los investigadores concluyen que mirar solo la respuesta final o el tamaño total de un modelo no es suficiente para entender su funcionamiento interno. Para ver realmente cómo piensan estas máquinas, se debe observar el camino que toma la información, notando que los cambios estructurales más importantes ocurren en los momentos finales antes de que se tome una decisión. Este mapa ofrece una herramienta práctica para que los científicos vean dónde estos modelos están organizando sus pensamientos y dónde todavía están luchando, revelando que la geometría de la inteligencia es mucho más matizada de lo que una simple medida de tamaño podría mostrar jamás.

Resumen Técnico: Un Atlas de Hiperbolicidad de los Estados Ocultos de los Modelos de Lenguaje de Gran Escala

Planteamiento del Problema
Aunque los Modelos de Lenguaje de Gran Escala (LLMs) almacenan la información de los tokens en vectores euclidianos, las estructuras semánticas y sintácticas que procesan (por ejemplo, taxonomías, implicación, árboles de sintaxis) son inherentemente jerárquicas. La geometría hiperbólica es teóricamente adecuada para representar tales jerarquías con baja distorsión. Sin embargo, una cuestión crítica sigue abierta: incluso cuando los LLMs no están entrenados explícitamente en variedades hiperbólicas, ¿exhiben sus estados ocultos una organización métrica de tipo árbol? Los análisis de representación existentes (sondas, anisotropía, dimensión intrínseca) caracterizan la dispersión o la complejidad local, pero no prueban directamente si las distancias entre los estados ocultos se comportan como una jerarquía. Este artículo aborda esta brecha investigando sistemáticamente si los estados ocultos de los tokens de los prompts en los LLMs de pesos abiertos contemporáneos exhiben Hiperbolicidad de Gromov (HG).

Metodología
Los autores construyen un "Atlas de Hiperbolicidad" midiendo la Hiperbolicidad de Gromov normalizada ( $\delta_{rel}$ ) a través de cuatro ejes: escala de parámetros, profundidad de capa, familia de modelos y dominio de entrada.

Métrica: El estudio utiliza la condición de cuatro puntos para la Hiperbolicidad de Gromov. Para un cuádruple de puntos, $\delta$ se calcula como la mitad de la diferencia entre la suma más grande y la segunda más grande de las distancias por pares. Para permitir la comparación entre modelos con diferentes dimensiones ocultas, los autores utilizan un estadístico normalizado por diámetro: $\delta_{rel}(X) = \hat{\delta}(X) / \text{diam}(X)$ , donde $X$ es un conjunto de vectores de estados ocultos. Un $\delta_{rel}$ más bajo indica una estructura más cercana a una métrica de árbol.
Alcance de los Datos: El análisis cubre 818,904 mediciones de muestra-capa de diez checkpoints de pesos abiertos (Llama, Qwen2.5, Qwen2.5-Math, Qwen2.5-Coder, DeepSeek-R1-Distill-Qwen) que van desde 1.5B hasta 8B de parámetros.
Dominios: Los experimentos utilizan cuatro conjuntos de datos distintos: MATH500 (razonamiento matemático), HumanEval (generación de código), WinoGrande (resolución de pronombres de sentido común) y TruthfulQA (veracidad).
Diseño Experimental: Crucialmente, el estudio mide los estados ocultos de solo el prompt. Se excluyen las respuestas generadas para asegurar que las propiedades geométricas reflejen la distribución de entrada en lugar de verse confundidas por la longitud de la decodificación, la corrección de la respuesta o los comportamientos de generación específicos del modelo.
Protocolo: Para cada prompt y capa, se muestrean 2,000 cuádruples de estados ocultos de tokens para estimar $\delta_{rel}$ . Las comparaciones estadísticas utilizan medianas e intervalos intercuartílicos, con pruebas de Wilcoxon signed-rank para comparaciones de capas pareadas y pruebas de Kruskal–Wallis para comparaciones de familias/dominios no pareadas.

Resultados Clave
El estudio arroja cuatro conclusiones primarias sobre la geometría de los estados ocultos de los LLM:

Los efectos de escala son débiles y no monotónicos: El recuento de parámetros por sí solo es un mal predictor de la hiperbolicidad. Si bien la trayectoria "base" muestra un ligero desplazamiento hacia estructuras menos similares a árboles (mayor $\delta_{rel}$ ) en tareas formales (MATH500, HumanEval) al aumentar la escala, este se desplaza hacia estructuras más similares a árboles en tareas de sentido común. Por el contrario, los modelos especializados en matemáticas muestran un aumento de $\delta_{rel}$ a través de los dominios a medida que la escala crece. El efecto agregado es pequeño y enmascara reversiones significativas dependientes del dominio.
La profundidad de la capa domina la geometría: La profundidad de la capa es el factor más estable. Los estados ocultos siguen una trayectoria consistente de tres partes:
- Capas tempranas: Sensibles a la entrada y a la tokenización.
- Capas medias: Forman una meseta de alto $\delta_{rel}$ (cercana a 1.0), lo que indica una organización altamente no similar a un árbol donde múltiples restricciones relacionales están activas simultáneamente.
- Capas finales: Exhiben una caída pronunciada en $\delta_{rel}$ , moviéndose hacia una estructura más similar a un árbol. Esta caída es consistente en modelos y dominios, aunque la magnitud varía.
Las familias emparejadas ocupan regímenes distintos: En escalas de parámetros iguales (por ejemplo, 7B/8B), diferentes familias de modelos exhiben perfiles geométicos significativamente distintos. Por ejemplo, los modelos Llama muestran consistentemente un $\delta_{rel}$ de la capa final menor que las variantes de Qwen. Además, la especialización importa más que la escala: un modelo especializado en código (Qwen2.5-7B-Coder-Instruct) organiza los prompts de código (HumanEval) en una estructura altamente similar a un árbol ( $\delta_{rel} \approx 0.438$ ), mientras que el modelo base y los modelos especializados en matemáticas tratan los mismos prompts como menos similares a un árbol.
Los dominios interactúan con la especialización: La relación entre un conjunto de datos y la hiperbolicidad no es fija; depende de la historia de entrenamiento del modelo. Los prompts de código se vuelven similares a un árbol específicamente en el modelo de programador (coder), mientras que la especialización matemática no reduce universalmente el $\delta_{rel}$ en todos los dominios. Esto sugiere que una menor hiperbolicidad es un alineamiento entre la organización representacional aprendida por un modelo y la distribución específica del prompt.

Significancia y Reivindicaciones
El artículo posiciona la Hiperbolicidad de Gromov no como una prueba de razonamiento simbólico o un identificador de circuitos causales, sino como una herramienta de diagnóstico práctica. Su significancia radica en su capacidad para:

Mapear dónde aparecen y desaparecen las estructuras de distancia jerárquica dentro de la profundidad de un modelo.
Revelar cómo la especialización (por ejemplo, programación frente a matemáticas) reorganiza la geometría de dominios específicos.
Demostrar que las comparaciones de modelos basadas únicamente en el recuento de parámetros son insuficientes; la familia y la especialización son variables críticas.

Los autores argumentan que la hiperbolicidad debe interpretarse como una propiedad del modelo-capa-dominio en lugar de un atributo estático de un modelo. El enfoque de "atlas" proporciona un marco necesario para comprender que la organización geométrica de los estados ocultos es una trayectoria (pasando de un $\delta_{rel}$ alto en las capas medias a un $\delta_{rel}$ más bajo en las capas finales) que es modulada por los objetivos de entrenamiento y los dominios de entrada. Este trabajo complementa los análisis geométricos existentes al ofrecer una métrica de similitud a un árbol basada en la distancia que es comparable entre diversas arquitecturas y escalas de modelos.

Más como este