💬 NLP

Local and Global Regimes of Geometric Complexity in Language Model Representations

Este artículo revela que la relación entre la diversidad léxica y la dimensionalidad intrínseca en las representaciones de los modelos de lenguaje experimenta una reversión predecible y dependiente de la escala, demostrando que la dimensionalidad intrínseca no es una medida directa de la complejidad, sino que refleja un principio organizativo fundamental de los datos lingüísticos.

Autores originales: Arwa Osman, Marco Baroni, Iuri Macocco

Publicado 2026-08-17

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Arwa Osman, Marco Baroni, Iuri Macocco

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando comprender la forma de una enorme e invisible nube hecha de puro pensamiento. Este es el mundo de la Inteligencia Artificial, específicamente el "cerebro" de un Modelo de Lenguaje de Gran Escala (LLM). Estos modelos no solo almacenan palabras; convierten cada frase que leen en un complejo mapa multidimensional. Para averiguar qué tan complicados son estos mapas, los científicos utilizan una herramienta llamada Dimensionalidad Intrínseca (ID). Piensa en la ID como una forma de medir qué tan "dispersos" o "abarrotados" están los datos. Si un grupo de ideas es muy simple, podrían amontonarse todos en un círculo apretado y plano (baja ID). Si son salvajemente complejos y diversos, podrían extenderse en una selva de altas dimensiones (alta ID). A los científicos les encanta usar la ID para adivinar qué tan inteligente es un modelo o qué tan difícil es una tarea, asumiendo que un número más alto significa una estructura más rica y compleja. Pero aquí está el truco: ¿qué pasa si el número no nos está hablando de las ideas en absoluto, sino solo de cómo las contamos?

Este es el rompecabezas que abordan Arwa Osman, Marco Baroni e Iuri Macocco en su artículo, "Local and Global Regimes of Geometric Complexity in Language Model Representations". Descubrieron que la "puntuación de complejidad" (ID) del cerebro de un modelo de lenguaje no es una verdad fija. En cambio, cambia como un interruptor dependiendo de cuántas palabras diferentes le suministras frente a cuántas veces las repites. Descubrieron que si tienes una pequeña multitud de palabras únicas, el modelo parece sorprendentemente complejo. Pero si tienes una multitud enorme de palabras únicas, el modelo parece aún más complejo, pero por una razón completamente distinta. La parte más sorprendente es que, si comparas dos tipos de palabras (como "sustantivos" y "preposiciones") sin controlar cuántas palabras únicas hay en cada grupo, podrías obtener la respuesta al revés. Resulta que la "complejidad" que vemos puede ser solo una ilusión óptica causada por el tamaño del vocabulario, no por la dificultad real de las palabras en sí.

El Gran Truco del Vocabulario

Para entender esto, imaginemos el cerebro de un modelo de lenguaje como una gigantesca y mágica pista de baile. Cada vez que el modelo ve una palabra, envía a un bailarín a la pista para que adopte una pose. Si el modelo ve la palabra "gato" mil veces, envía a mil bailarines "gato". Aunque todos sean bailarines "gato", podrían posar de forma ligeramente distinta dependiendo de la frase en la que estén (por ejemplo, "El gato duerme" frente a "El gato salta").

Los investigadores querían saber: ¿Cómo cambia el número de palabras diferentes (diversidad léxica) la forma de esta pista de baile?

Realizaron un experimento masivo utilizando un conjunto de datos de 10,000 muestras. Crearon 11 escenarios diferentes. En un escenario, usaron solo 1 sustantivo único (como "gato") repetido 10,000 veces. En otro, usaron 10,000 sustantivos únicos (como "gato", "perro", "elefante", etc.), con cada palabra apareciendo solo una vez. Luego midieron la "Dimensionalidad Intrínseca" (ID) de las poses de los bailarines usando una regla especial llamada GRIDE.

Los Dos Regímenes: El Local vs. El Global

Los resultados fueron asombrosos. La relación entre el número de palabras únicas y la puntuación de complejidad no solo subía o bajaba, sino que se invertía dependiendo de la escala de la medición.

1. El Régimen Local (El efecto de la "Habitación Abarrotada")
Cuando los investigadores utilizaron una escala de medición pequeña (observando solo a unos pocos vecinos a la vez) y tuvieron una baja diversidad léxica (pocas palabras únicas, muchas repeticiones), algo extraño sucedió. Cuantas menos palabras únicas tenían, mayor era la puntuación de complejidad.

La Analogía: Imagina una pista de baile con un solo tipo de bailarín (digamos, "gatos"). Si tienes 10,000 gatos, todos están amontonados. Pero debido a que son tantos, se ven obligados a encontrar cada mínima y sutil manera de posar de forma diferente para evitar chocar entre sí. El área "local" alrededor de cualquier gato individual está repleta de variaciones. La regla ve esta variación densa y abarrotada y dice: "¡Vaya, este es un espacio muy complejo y de alta dimensión!".
El Resultado: Menos palabras únicas = Mayor ID (en esta vista local específica).

2. El Régimen Global (El efecto del "Gran Desfile")
Cuando cambiaron a una escala de medición más grande o aumentaron el número de palabras únicas, la regla se invirtió. Ahora, tener más palabras únicas conducía a una puntuación de complejidad más alta.

La Analogía: Ahora imagina un desfile con 10,000 tipos de bailarines diferentes (gatos, perros, elefantes, astronautas, etc.). Cada tipo tiene su propio lugar distintivo en la pista de baile. El área "local" alrededor de cualquier bailarín individual está vacía porque no hay otros "gatos" cerca para amontonarse. En cambio, la regla observa todo el desfile y ve que los bailarines están dispersos por todo el universo de posibilidades. El espacio es enorme porque hay tantas cosas de tipos diferentes.
El Resultado: Más palabras únicas = Mayor ID (en esta vista global).

El Punto de Cambio Mágico

La parte más emocionante del artículo es que los autores no solo observaron este giro, sino que predijeron exactamente dónde ocurriría.

Derivaron una fórmula simple y perfecta para el "punto de inflexión" donde la regla cambia de "menos palabras = mayor ID" a "más palabras = mayor ID". El cambio ocurre cuando el número de palabras únicas ( $n$ ) es igual al número total de muestras ( $N$ ) dividido por la escala de medición ( $k$ ).

La Fórmula: $n = N / k$
Qué significa: Si estás mirando un vecindario de 128 bailarines ( $k=128$ ) y tienes 10,000 muestras totales ( $N=10,000$ ), el cambio ocurre cuando tienes exactamente 78 palabras únicas ( $10,000 / 128 \approx 78$ ).
La Prueba: Probaron esto en dos modelos de IA gigantes diferentes (Qwen3-8B y Meta-Llama-3-8B) y encontraron que el cambio ocurría exactamente en este número predicho cada vez. No fue una suposición; fue una certeza matemática basada en cómo están dispuestos los datos.

Por Qué Esto Importa (Y Por Qué Estábamos Equivocados)

Este descubrimiento es una gran etiqueta de advertencia para los científicos que utilizan estas herramientas. El artículo muestra que si comparas dos grupos de palabras sin controlar cuántas palabras únicas hay en cada grupo, podrías obtener la respuesta completamente al revés.

La Trampa de "Sustantivo vs. Preposición":
Los autores mostraron un ejemplo clásico. En un texto natural, los "sustantivos" (como perro, casa, idea) son miles de palabras únicas, mientras que las "preposiciones" (como en, sobre, en) son solo unas pocas docenas.

La Visión Estándar: Si simplemente mides la complejidad de los sustantivos frente a las preposiciones, los sustantivos parecen vivir en un espacio mucho más complejo y de alta dimensión. Podrías pensar: "¡Los sustantivos son tan ricos y variados!".
La Realidad: Los autores emparejaron ambos grupos para que tuvieran exactamente 25 palabras únicas. ¡De repente, el resultado se invirtió! Las preposiciones ahora parecían más complejas que los sustantivos.
La Lección: La diferencia original no era porque los sustantivos fueran "mejores" o "más complejos". Era un artefacto (un error) causado por el hecho de que los sustantivos tenían miles de tipos únicos y las preposiciones solo unos pocos. La herramienta de medición simplemente estaba reaccionando al conteo de palabras únicas, no a la naturaleza de las palabras.

La Conclusión

Este artículo nos enseña que cuando miramos la "forma" del cerebro de una IA, debemos ser muy cuidadosos con lo que estamos midiendo realmente.

Si estás mirando un pequeño grupo de palabras repetidas, la puntuación de complejidad te dice cuánto varía el modelo su pose para esa única palabra en diferentes contextos.
Si estás mirando un enorme grupo de palabras únicas, la puntuación de complejidad te dice qué tan disperso está el vocabulario completo.

Estas son dos cosas diferentes. No puedes compararlas directamente sin darte cuenta de que estás midiendo dos regímenes distintos. Los autores encontraron una regla matemática precisa para decirte en qué régimen te encuentras. Es un recordatorio de que, en el mundo de la IA, a veces los números que parecen más "complejos" son solo un reflejo de cómo configuramos el experimento, no un secreto profundo de la mente de la máquina. La "verdad" de la geometría del modelo depende enteramente de la escala a la que elijas mirar.

Resumen Técnico: Regímenes Locales y Globales de la Complejidad Geométrica en las Representaciones de Modelos de Lenguaje

Planteamiento del Problema

La dimensionalidad intrínseca (ID, por sus siglas en inglés) se ha convertido en una métrica estándar para sondear la complejidad representacional de los modelos de lenguaje (LM), utilizándose a menudo para inferir propiedades de las estructuras lingüísticas (por ejemplo, si los sustantivos ocupan espacios de mayor dimensión que las preposiciones). Sin embargo, no está claro si las diferencias observadas en la ID reflejan propiedades lingüísticas genuinas o son meros artefactos de la construcción del conjunto de datos, específicamente la diversidad léxica (el número de tipos de palabras únicos).

El artículo destaca un factor de confusión crítico: las comparaciones entre clases de palabras con tamaños de vocabulario natural muy distintos (por ejemplo, sustantivos de clase abierta frente a preposiciones de clase cerrada) sin controlar la diversidad léxica producen resultados de ID engañosos. Cuando se controla la diversidad léxica, estos resultados pueden revertirse, lo que sugiere que los estimadores estándar de ID podrían estar midiendo propiedades del conjunto de datos en lugar de la complejidad geométrica intrínseca de las propias representaciones.

Metodología

Los autores aíslan la diversidad léxica como una variable experimental controlada para investigar su impacto en las estimaciones de la ID.

Construcción del Conjunto de Datos: Utilizando WikiText-103, los autores construyeron 11 condiciones distintas, cada una con exactamente $N = 10,000$ muestras. Estas condiciones variaban sistemáticamente en el número de sustantivos objetivo únicos ( $n$ ), que iba desde 1 sustantivo único (repetido 10,000 veces) hasta 10,000 sustantivos únicos (apareciendo una vez cada uno). Crucialmente, el contexto que precedía a la palabra objetivo se extrajo independientemente del corpus, asegurando que la diversidad léxica se aislara únicamente a la identidad del token objetivo.
Modelos: Los experimentos se realizaron en Qwen3-8B (principal) y Meta-Llama-3-8B (para validación de la arquitectura cruzada).
Estimación de la ID: El estudio empleó el Estimador de Dimensión Intrínseca de Razones Generalizadas (GRIDE) a través de seis escalas de vecindad ( $k \in \{16, 32, 64, 128, 256, 512\}$ ). GRIDE estima la ID basándose en la distribución de las razones de distancia entre los vecinos más cercanos.
Validación: El análisis se replicó utilizando el Estimador de Máxima Verosimilitud (MLE) y un conjunto de datos diversificado por Parte de la Oración (POS) (incluyendo verbos, adjetivos, etc.) para asegurar que los hallazgos no fueran específicos de los sustantivos o del algoritmo GRIDE.

Hallazgos Clave y Resultados

1. Una Transición Dependiente de la Escala

El estudio revela una transición brusca entre dos regímenes distintos de comportamiento de la ID, determinados por la relación entre la escala de vecindad ( $k$ ) y el número de muestras por palabra ( $m = N/n$ ).

Régimen Local ( $k < m$ ): Cuando la escala de vecindad es menor que el número de muestras por palabra, el estimador muestrea enteramente dentro de la "nube" de un único tipo de palabra. En este régimen, la ID está inversamente relacionada con la diversidad léxica: las condiciones con menos palabras únicas (y, por tanto, más muestras por palabra) exhiben una ID mayor. Esto refleja la capacidad del modelo para capturar la variabilidad contextual de los elementos léxicos individuales.
Régimen Global ( $k \ge m$ ): Cuando la escala excede el número de muestras por palabra, la vecindad incluye inevitablemente diferentes tipos de palabras. En este régimen, la ID está directamente relacionada con la diversidad léxica: las condiciones con más palabras únicas exhiben una ID mayor. Esto refleja la dispersión geométrica de todo el manifold del vocabulario.

2. El Punto de Transición Exacto

Los autores derivan una fórmula sin parámetros para el punto de transición donde el orden de la ID se invierte:
$n_{transition} = \frac{N}{k}$
Los resultados empíricos confirman que esta transición ocurre exactamente en este punto predicho en todas las escalas, modelos y capas probadas. Cuando las curvas de ID se grafican contra la razón $k/m$ , los datos de diferentes escalas colapsan en una única trayectoria, cruzando la transición en $k/m = 1$ .

3. Interpretación Geométrica

Régimen Local: El estimador mide la "riqueza" de la geometría local alrededor de un tipo de palabra específico. Más muestras permiten una mejor estimación de la varianza contextual de la palabra, lo que conduce a estimaciones de ID más altas para las condiciones de baja diversidad.
Régimen Global: El estimador mide la geometría del espacio de sustantivos más amplio. A medida que aumenta el número de palabras únicas, el estimador muestrea más direcciones independientes en el espacio de representación, lo que conduce a estimaciones de ID más altas para las condiciones de alta diversidad.
Saturación: En el régimen global, la ID eventualmente se satura a medida que la "razón global" (la fracción de vecinos que pertenecen a diferentes tipos de palabras) se acerca a 1. Más allá de cierta diversidad léxica, añadir más palabras únicas produce rendimientos decrecientes en la estimación de la ID.

4. Reversión de Efectos Lingüísticos Aparentes

El artículo demuestra que la diferencia de ID "Sustantivo vs. Preposición" observada en las comparaciones sin controlar la diversidad léxica (don donde los sustantivos muestran una ID mayor) es un artefacto de la diversidad léxica. Cuando las dos clases se igualan en tamaño de vocabulario (por ejemplo, 25 tipos únicos cada una), la relación se invierte, mostrando las preposiciones una ID mayor. Esto confirma que la diferencia original fue impulsada por la construcción del conjunto de datos, no por la categoría sintáctica.

Significación y Reivindicaciones

El artículo sostiene que las estimaciones de la ID no son medidas absolutas de complejidad, sino que son altamente sensibles a la interacción entre la construcción del conjunto de datos (diversidad léxica) y la escala del estimador.

Cautela en la Interpretación: Los investigadores deben ejercer extrema precaución al interpretar las diferencias de ID entre categorías (por ejemplo, clases de palabras, idiomas o dominios). Si las categorías difieren en diversidad léxica, las comparaciones de ID pueden ser inválidas a menos que las condiciones caigan dentro del mismo régimen (local o global).
Herramientas de Diagnóstico: Los autores proporcionan una fórmula ( $n_{transition} = N/k$ ) y un diagnóstico de "fracción de la misma palabra" para determinar en qué régimen ocupa un experimento específico. Esto permite a los investigadores verificar si están midiendo la variabilidad contextual local o la estructura del manifold global.
Estructura Fractal: La observación de que los perfiles de ID (como el "pico" o "joroba" de la capa intermedia) aparecen en ambos regímenes sugiere una organización "tipo fractal" de los datos lingüísticos en los LLM, donde patrones geométricos similares emergen tanto en escalas estrechas (locales) como amplias (globales).
Principio General: El descubrimiento de estos dos regímenes revela un principio general de cómo se organizan los datos lingüísticos en los LLM, arrojando nueva luz sobre las estructuras de los manifolds internos de estos modelos.

Los autores concluyen que, si bien la ID es una herramienta de sondeo valiosa, sus valores dependen de la "visión" del manifold proporcionada por la escala específica y la composición del conjunto de datos, y que las comparaciones entre diferentes regímenes no son sencillas.