🤖 machine learning

A Geometric Perspective on Next-Token Prediction in Large Language Models: Three Emerging Phases

Al reutilizar lentes de representación como herramientas de diagnóstico geométrico para rastrear la evolución de los subespacios de lectura predictiva a través de las capas, este estudio revela que los modelos de lenguaje grandes procesan la predicción del siguiente token a través de tres fases geométricas distintas: Multiplexación de Siembra, Elevación de Anulación y Convergencia Focal, donde el aumento de la profundidad del modelo mejora principalmente la desambiguación de candidatos en lugar de expandir la capacidad representacional.

Autores originales: Gianfranco Lombardo, Giuseppe Trimigno, Stefano Cagnoni

Publicado 2026-05-12

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Gianfranco Lombardo, Giuseppe Trimigno, Stefano Cagnoni

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un Modelo de Lenguaje Grande (LLM) como una fábrica masiva de varios pisos, donde un fragmento de información (una palabra) viaja desde la planta baja hasta el techo. En cada piso, un equipo de trabajadores añade un poco de información nueva al paquete antes de pasarlo hacia arriba. El gran misterio que resuelve este artículo es: ¿Cómo decide la fábrica qué palabra generar a continuación, y dónde ocurre realmente esa decisión?

Los autores no solo preguntaron qué predice el modelo en cada piso; preguntaron dónde vive esa predicción dentro de la maquinaria de la fábrica y cómo se mueve a medida que asciende.

Aquí está la historia de su descubrimiento, desglosada en conceptos y analogías simples.

La Herramienta: La "Lente de Representación"

Por lo general, si asomas la cabeza dentro de la fábrica en los pisos intermedios, los trabajadores parecen confundidos. Sostienen una mezcla desordenada de posibilidades, y si intentas adivinar la palabra final basándote en lo que sostienen, te equivocas. Esto se debe a que los trabajadores sostienen la información en una "superposición", como un mago que sostiene una baraja de cartas boca abajo donde todas las cartas están mezcladas.

Los investigadores utilizaron una herramienta especial llamada Lente de Representación. Imagina esto como un par de gafas mágicas que pueden rotar y enfocar la visión de los trabajadores. En lugar de simplemente mirar la pila desordenada de cartas, la lente encuentra el ángulo específico donde la "carta ganadora" (la siguiente palabra correcta) es realmente visible, incluso si está enterrada bajo otras cartas.

El Descubrimiento: Una Obra de Tres Actos

Al rastrear cómo se mueve la "carta ganadora" a través de la fábrica usando estas gafas, los autores descubrieron que el proceso no es aleatorio. Sigue una danza geométrica estricta de tres etapas que ocurre en casi todos los modelos que probaron (desde modelos pequeños de 1 mil millones de parámetros hasta enormes de 32 mil millones).

Fase 1: La "Multiplexación de Siembra" (La Multitud se Reúne)

Qué sucede: A medida que la información entra en la fábrica, los trabajadores comienzan a lanzar muchas posibles siguientes palabras a la vez. Aún no eligen a un ganador.
La Analogía: Imagina una habitación abarrotada donde todos gritan diferentes ideas. La habitación está llena de ruido, pero la idea "correcta" ya está allí, solo mezclada con cientos de otras.
La Geometría: La fábrica está expandiendo su "rango" (su capacidad para sostener muchas ideas diferentes). La palabra correcta está presente, pero es solo una voz en un coro. Es visible para la lente mágica, pero aún no es la voz más fuerte.

Fase 2: La "Sobrecarga de Izado" (El Filtro Silencioso)

Qué sucede: Esta es la parte más larga del viaje (aproximadamente el 60% de la altura de la fábrica). Los trabajadores dejan de añadir nuevos tipos de ideas. En su lugar, comienzan a bajar silenciosamente el volumen de las ideas incorrectas y a subir el volumen de la correcta.
La Analogía: Imagina a un ingeniero de sonido en una sala de control. No están trayendo nuevos cantantes; simplemente están desvaneciendo lentamente el ruido de fondo y potenciando al cantante principal. El cantante principal aún está rodeado por la multitud, pero se está convirtiendo en el foco claro.
La Geometría: El "rango" (el número de ideas activas) se mantiene estable. Los trabajadores son muy precisos aquí, realizando ajustes diminutos, casi invisibles, que no cambian la forma de la habitación, pero sí cambian quién es escuchado. Aquí es donde el modelo realiza el trabajo pesado: la desambiguación (averiguar cuál de los muchos candidatos es realmente correcto).

Fase 3: La "Convergencia Focal" (El Foco)

Qué sucede: En la recta final, la fábrica realiza un movimiento masivo y decisivo. Derrama toda su energía en una sola dirección.
La Analogía: El ingeniero de sonido corta repentinamente la energía a todos los demás en la habitación. El foco se enciende de golpe sobre el cantante principal. La multitud se calla, y el cantante es ahora la única cosa que importa.
La Geometría: Los trabajadores dejan de ser delicados. Realizan actualizaciones enormes y poderosas que se alinean perfectamente con la dirección de la salida final. El "rango" se reduce porque están concentrando toda su energía en un solo ganador. La lente mágica ahora puede ver la respuesta claramente sin ninguna ayuda.

La Gran Conclusión: Modelos Más Grandes = Mejores Filtros, No Mejores Inicios

El hallazgo más sorprendente es sobre cómo el tamaño del modelo afecta este proceso.

Los autores descubrieron que a medida que haces la fábrica más grande (añadiendo más pisos/capas):

Fase 1 (La Multitud) se mantiene aproximadamente del mismo tamaño.
Fase 3 (El Foco) se mantiene aproximadamente del mismo tamaño.
Fase 2 (El Filtro Silencioso) se vuelve mucho más larga.

La Metáfora: Si tienes una fábrica pequeña, la sala de "filtrado" es pequeña. Si tienes una fábrica gigante, la sala de "filtrado" es enorme.

Esto significa que cuando construimos modelos de IA más grandes y inteligentes, no necesariamente los hacemos mejores para empezar con las ideas correctas o terminar el trabajo. Les estamos dando una sala mucho más grande y detallada para ordenar la confusión y averiguar cuál de las muchas posibilidades es la correcta. El poder extra de los modelos grandes se utiliza principalmente para la desambiguación de candidatos: tomar una pila desordenada de "quizás esto, quizás aquello" y convertirla en un único y confiado "sí".

Resumen

El artículo revela que la predicción del siguiente token no es un destello repentino de intuición al final. Es un viaje geométrico:

Siembra: Lanza todo a la mezcla.
Izado: Filtra silenciosamente el ruido (aquí es donde el modelo se hace más grande).
Convergencia: Bloquea al ganador con alta energía.

La "magia" de los modelos de lenguaje grandes reside en esa fase intermedia, donde tienen el espacio y el tiempo para separar cuidadosamente la señal del ruido.

Resumen Técnico: Una Perspectiva Geométrica sobre la Predicción del Siguiente Token en Modelos de Lenguaje Grandes

Enunciado del Problema

Comprender cómo los Modelos de Lenguaje Grandes (LLM) procesan y refinan la información predictiva a través de su profundidad sigue siendo un desafío central en la interpretabilidad mecánica. Si bien la arquitectura transformer aplica actualizaciones aditivas a un flujo residual compartido, la evolución geométrica de la información requerida para la predicción del siguiente token no está clara. Los métodos de sondeo estándar, como LogitLens, sufren de "deriva representacional", donde los estados intermedios no están alineados con la base de incrustación final, volviéndolos "ciegos" a las señales predictivas presentes en las primeras capas. Además, el principio de superposición sugiere que las características predictivas pueden existir en direcciones superpuestas, ocultas dentro del flujo residual de alta dimensión. Este artículo aborda la pregunta: ¿Dónde reside la información predictiva en el flujo residual y cómo evoluciona su estructura geométrica a medida que se propaga a través de la profundidad de la red?

Metodología

Los autores proponen un marco que reutiliza las lentes de representación (mapas afines aprendidos entrenados para predecir el siguiente token a partir de flujos residuales intermedios) como herramientas de diagnóstico geométrico en lugar de meros mecanismos de decodificación.

Lentes de Representación: Siguiendo el enfoque TunedLens, los autores entrenan correcciones afines por capa $(A_\ell, b_\ell)$ para alinear las representaciones intermedias con la distribución de salida final mediante destilación KL.
Subespacio de Lectura Predictiva: En lugar de analizar la matriz de corrección completa, los autores realizan una Descomposición en Valores Singulares (SVD) sobre la matriz de corrección $A_\ell$ . Definen el subespacio de lectura predictiva $S^{(k)}_\ell$ como el subespacio de $k$ dimensiones abarcado por los $k$ vectores singulares derechos superiores. Este subespacio representa las direcciones dominantes en el flujo residual donde se concentra la información predictiva.
Trayectoria en la Variedad de Grassmann: La secuencia de subespacios $\{S^{(k)}_\ell\}_{\ell=1}^L$ se trata como una trayectoria en la variedad de Grassmann $Gr(k, d)$. La evolución de esta trayectoria se cuantifica utilizando la Similitud de Subespacio de Lectura (RSS), definida como el coseno medio de los ángulos principales entre subespacios consecutivos.
Análisis de Resolución: Los autores varían el parámetro de resolución $k$ (desde el 1% hasta el 50% de la dimensión oculta $d$ ) para trazar una frontera de Pareto entre Visibilidad (discriminabilidad geométrica entre capas) y Retención de Energía (fidelidad espectral). Identifican un régimen intermedio ( $k \in \{5\%, 10\%, 15\%\}$ ) que equilibra estas métricas.
Detección de Fases: El perfil de RSS exhibe una forma unimodal (ascenso, meseta, descenso). Utilizando un criterio Kneedle de dos etapas sobre el perfil suavizado, los autores detectan dos puntos de ruptura ( $\hat{b}_1, \hat{b}_2$ ) que dividen la profundidad de la red en tres fases geométricas distintas.
Configuración Experimental: El marco se aplica a ocho modelos de dos familias (QWEN2.5 y OLMO2) que van desde 1B hasta 32B parámetros, entrenados en el conjunto de datos SlimPajama. Las métricas incluyen el rango efectivo de los estados ocultos, la ortogonalidad de las actualizaciones ( $|\cos(\Delta_\ell, h_{\ell-1})|$ ) y la relación de las normas de actualización de FFN a MHA.

Contribuciones Clave

El artículo realiza dos contribuciones principales:

Un Marco Geométrico para el Análisis por Profundidad: Un método para rastrear la trayectoria de la información predictiva en la variedad de Grassmann, revelando que la información predictiva está presente desde las primeras capas pero oculta en superposición, requiriendo una proyección de baja dimensión para su decodificación.
Identificación de Tres Fases Geométricas Emergentes: El análisis revela una estructura tripartita consistente en el paso hacia adelante de los modelos autoregresivos, caracterizada por comportamientos geométricos distintos con respecto al rango, la ortogonalidad de las actualizaciones y la estabilidad del subespacio.

Resultados y Caracterización de las Fases

En todos los modelos y escalas, el perfil de similitud sigue una distribución unimodal, definiendo tres fases:

Fase 1: Multiplexación de Siembra

Comportamiento Geométrico: El subespacio predictivo se reorienta y estabiliza (RSS en ascenso). El rango efectivo de los estados ocultos aumenta, alcanzando un pico cerca del final de esta fase.
Actualizaciones: Las actualizaciones son aproximadamente ortogonales al flujo residual. En QWEN2.5, las contribuciones de FFN dominan; en OLMO2, las contribuciones están más equilibradas.
Estado Predictivo: El token final está presente entre los principales candidatos (Hit@1 $\approx$ 20-33%) pero no es dominante. LogitLens sigue siendo ineficaz, lo que indica que la señal está superpuesta.
Escalado: La duración de esta fase escala débilmente con la profundidad del modelo (pendiente $\le$ 0.26), lo que sugiere un costo fijo para la siembra de candidatos.

Fase 2: Desplazamiento y Anulación

Comportamiento Geométrico: El subespacio predictivo permanece altamente estable (RSS casi en meseta). El rango efectivo de los estados ocultos se estabiliza.
Actualizaciones: Las actualizaciones son máximamente ortogonales al flujo residual (menor $|\cos(\Delta_\ell, h_{\ell-1})|$ ). El rango de las actualizaciones alcanza su pico en esta fase.
Estado Predictivo: La distribución de candidatos se concentra progresivamente (Hit@1 sube a $\approx$ 56%, la relación Hit@5/Hit@1 disminuye). LogitLens permanece bajo, lo que implica que la desambiguación ocurre dentro del subespacio sin una alineación explícita con la base final.
Escalado: Esta fase se expande linealmente con la profundidad del modelo (pendiente $\approx$ 0.6–1.0), lo que indica que la capacidad adicional del modelo se absorbe principalmente por la desambiguación de candidatos.

Fase 3: Convergencia Focal

Comportamiento Geométrico: El subespacio predictivo se reorienta bruscamente hacia la dirección de incrustación no lineal (RSS en descenso). El rango efectivo de las actualizaciones disminuye, concentrándose en menos direcciones.
Actualizaciones: Las actualizaciones se alinean fuertemente con el flujo residual (mayor $|\cos(\Delta_\ell, h_{\ell-1})|$ ). Las normas de actualización crecen bruscamente (hasta 10 $\times$ ), y las contribuciones de FFN dominan en todas las familias.
Estado Predictivo: La distribución de candidatos colapsa hacia una predicción dominante. El rendimiento de LogitLens mejora significativamente (Hit@1 $\approx$ 30-50%), lo que indica que el token final ahora es directamente legible.
Escalado: La anchura de esta fase permanece aproximadamente constante o escala muy débilmente con la profundidad.

Significado y Afirmaciones

El artículo afirma que la capacidad adicional de los LLM más profundos se utiliza en gran medida para la desambiguación de candidatos (Fase 2) en lugar de para la siembra inicial de candidatos (Fase 1) o la convergencia final (Fase 3). Esto sugiere que la carga computacional central de la predicción del siguiente token en transformers profundos radica en resolver representaciones superpuestas dentro de un subespacio geométrico estable.

Los hallazgos se alinean, pero extienden distintivamente, las teorías de campo medio de la dinámica de los transformers (por ejemplo, Bruno et al.), mapeando las fases de "alineación", "calor" y "emparejamiento" a la progresión geométrica observada. El trabajo establece que la información predictiva no se genera tardíamente en la red, sino que está presente temprano, oculta en superposición, y refinada geométricamente a través de un proceso de actualizaciones ortogonales y concentración de subespacios.

Limitaciones: Los autores señalan que el análisis se restringe a arquitecturas densas, solo decodificador, con conexiones residuales estándar. Las interpretaciones se basan en evidencia correlacional, y se sugieren intervenciones causales (por ejemplo, parcheo de activaciones) como trabajo futuro para proporcionar una base mecánica más sólida.