💬 NLP

Convergent Evolution: How Different Language Models Learn Similar Number Representations

Este artículo demuestra que diversos modelos de lenguaje, a pesar de sus diferencias arquitectónicas y de entrenamiento, convergen evolutivamente en representaciones numéricas similares mediante la adquisición de características geométricamente separables a partir de señales de co-ocurrencia en texto natural o problemas de suma multitoque.

Autores originales: Deqing Fu, Tianyi Zhou, Mikhail Belkin, Vatsal Sharan, Robin Jia

Publicado 2026-04-23

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Deqing Fu, Tianyi Zhou, Mikhail Belkin, Vatsal Sharan, Robin Jia

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que las Inteligencias Artificiales (IA) son como estudiantes universitarios de diferentes facultades: uno estudia ingeniería, otro literatura y otro biología. Todos tienen que aprender a contar y a hacer sumas.

Este paper descubre algo fascinante sobre cómo estos "estudiantes" (los modelos de lenguaje) aprenden los números. Han encontrado que, aunque todos terminan usando una estrategia visual muy similar para entender los números, no todos logran entender realmente cómo funcionan las matemáticas detrás de esa imagen.

Aquí te lo explico con una analogía sencilla: El Reloj y el Mapa.

1. El Reloj (La "Convergencia Espectral")

Todos los modelos, sin importar si son modernos (como GPT-4 o Llama) o antiguos (como los embeddings de palabras de hace 10 años), aprenden a ver los números como si fueran puntos en un reloj.

La analogía: Imagina que tienes un reloj de 10 horas. El número 1, 11, 21 y 31 todos caen en la misma posición del reloj (la hora 1). El 2, 12 y 22 caen en la hora 2.
Lo que descubrieron: Casi todos los modelos aprenden a organizar los números de esta manera. Si miras sus "cerebros" matemáticos, ves picos de energía en las frecuencias 2, 5 y 10 (como los segundos, minutos y horas de un reloj).
La conclusión: Esto es una "evolución convergente". Al igual que los delfines y los tiburones (que no son parientes) desarrollaron aletas porque el agua es igual para ambos, estos modelos desarrollaron esta estructura de "reloj" porque los números en el texto humano aparecen con patrones similares. Es una solución natural al problema.

2. El Mapa (La "Convergencia Geométrica")

Aquí es donde las cosas se ponen interesantes. Tener el reloj no significa que sepas leerlo.

La analogía: Imagina que tienes un mapa del metro.
- Modelo A (El bueno): Tiene el mapa del reloj y además tiene un mapa de colores. Puede ver claramente que la "Línea Roja" (números que terminan en 0) está separada de la "Línea Azul" (números que terminan en 5). Puede decirte: "Este número es de la línea roja, ese es de la azul".
- Modelo B (El malo): Tiene el mismo dibujo del reloj en su cerebro, pero el mapa está borroso y mezclado. Los puntos rojos y azules se superponen tanto que, aunque el dibujo existe, no puede distinguir una línea de la otra. Si le preguntas "¿Este número es par o impar?", adivina al azar.

El paper demuestra que tener el dibujo del reloj (los picos de frecuencia) no garantiza tener el mapa claro (la capacidad de clasificar).

3. ¿Por qué algunos tienen el mapa claro y otros no?

Los investigadores hicieron experimentos para ver qué factores ayudan a que el modelo obtenga el "mapa claro". Descubrieron que depende de tres cosas:

Los Datos (La comida): Si el modelo lee textos donde los números aparecen mezclados con historias (ej: "Juan compró 5 manzanas"), aprende mejor. Si solo le das una lista de números sin contexto, el mapa se borra.
La Arquitectura (El cerebro): Algunos tipos de modelos (como los Transformers y los RNNs lineales) son como cerebros que pueden dibujar líneas rectas claras para separar los colores. Otros (como los LSTMs antiguos) son como cerebros que, aunque ven los colores, los mezclan en un remolino y no pueden separarlos.
El Entrenamiento (La tarea):
- Si le pides al modelo que resuelva sumas de números grandes (ej: 123 + 456), se ve obligado a pensar en "dígito por dígito" (como hacer una suma en papel). Esto fuerza al modelo a crear un mapa perfecto.
- Si le das sumas de un solo dígito (ej: 3 + 4), el modelo puede usar trucos de memoria y no necesita entender la estructura del reloj. El resultado es un mapa aleatorio.

En resumen: La Gran Lección

Este paper nos dice que ver una estructura en el cerebro de una IA no significa que la IA la entienda.

La metáfora final: Es como ver a alguien dibujando un reloj perfecto en una pizarra.
- Si el reloj tiene las manecillas bien colocadas y separadas, esa persona sabe la hora (tiene convergencia geométrica).
- Si el reloj tiene las manecillas todas juntas en un montón, aunque el dibujo del reloj esté ahí, esa persona no sabe la hora (tiene solo convergencia espectral).

Los autores llaman a esto "Evolución Convergente": diferentes modelos llegan a la misma forma básica (el reloj) porque el mundo de los números es así, pero solo algunos logran el siguiente paso de organizar esa forma para usarla realmente.

¿Por qué importa? Porque nos ayuda a entender que cuando una IA parece "inteligente" o tiene patrones matemáticos, no siempre significa que está razonando como un humano; a veces solo está imitando la forma, pero no la función.

Resumen Técnico: Evolución Convergente en Representaciones Numéricas

1. Problema y Motivación

Los modelos de lenguaje (LLMs) entrenados en texto natural desarrollan representaciones periódicas para los tokens numéricos. Estudios anteriores (como Zhou et al., 2024) han demostrado que las incrustaciones (embeddings) de enteros presentan picos consistentes en el dominio de Fourier en periodos $T = 2, 5, 10$ . Sin embargo, existe una ambigüedad crítica: ¿indican estos picos espectrales que el modelo ha aprendido una estructura numérica funcional (aritmética modular) o son simplemente artefactos estadísticos de la distribución de frecuencia de los tokens?

El problema central de este trabajo es distinguir entre dos niveles de convergencia:

Convergencia Espectral: La aparición de picos en el espectro de Fourier (indicando periodicidad).
Convergencia Geométrica: La capacidad de las representaciones para ser linealmente separables según sus clases residuales ( $n \mod T$ ), lo que permitiría a un clasificador lineal predecir el módulo de un número.

Los autores plantean la hipótesis de que, aunque la convergencia espectral es universal, la convergencia geométrica es selectiva y depende de factores específicos del entrenamiento.

2. Metodología

Los autores emplean un enfoque riguroso que combina teoría matemática y experimentación controlada a gran escala:

Análisis Teórico (Teorema 1): Demuestran formalmente que la presencia de picos de Fourier ( $\Phi_T > 0$ ) es una condición necesaria pero no suficiente para la separabilidad geométrica. Utilizan el análisis de la varianza entre clases ( $S_B$ ) y dentro de clases ( $S_W$ ) para mostrar que un gran poder de Fourier puede estar "oculto" por una alta varianza intraclase (ruido), impidiendo que un clasificador lineal funcione.
Configuración Experimental:
- Modelos: Entrenan modelos de ~300M parámetros desde cero en 10 mil millones de tokens (FineWeb-Edu) utilizando el tokenizador de Llama-3 (que asigna un token único a cada entero de 0 a 999).
- Arquitecturas: Comparan Transformers, RNNs lineales (Gated DeltaNet, Mamba-2), LSTMs y embeddings clásicos (GloVe, FastText).
- Optimizadores: Evalúan el impacto de AdamW frente a Muon.
- Perturbaciones de Datos: Realizan experimentos de "atribución estructural" modificando el conjunto de datos para aislar señales específicas:
  - Isolate-k: Limita la interacción entre tokens numéricos en una secuencia.
  - Context Length: Reduce la ventana de contexto.
  - Swap Numbers: Desvincula los números de su contexto textual pero mantiene las estadísticas de n-gramas numéricos.
  - Unigram Replace: Reemplaza tokens numéricos aleatoriamente, destruyendo toda estructura de co-ocurrencia.
Tareas de Evaluación:
- Espectro de Fourier: Miden la magnitud de los picos en frecuencias $1/2, 1/5, 1/10$ .
- Sondas Lineales (Probing): Entrenan clasificadores logísticos para predecir $n \mod T$ y reportan la precisión ajustada mediante el coeficiente de Cohen's $\kappa$ .
Estudio de Aritmética: Entrenan modelos específicamente en tareas de suma (9 dígitos vs. 3 dígitos) para observar cómo la tokenización afecta el aprendizaje.

3. Contribuciones Clave

Jerarquía de Dos Niveles: Establecen que la convergencia espectral (picos de Fourier) y la convergencia geométrica (separabilidad lineal) son fenómenos distintos. La primera es casi universal; la segunda es condicional.
Teorema de Insuficiencia: Proban matemáticamente que un espectro de Fourier "espigoso" no garantiza una buena precisión en sondas modulares. La clave reside en la relación entre la señal periódica y el ruido intraclase (condicionamiento de la matriz $S_W$ ).
Identificación de Factores Críticos: Determinan que la convergencia geométrica requiere la alineación de tres factores:
- Datos: Señales de co-ocurrencia texto-número e interacción cruzada entre números.
- Arquitectura: Los Transformers y RNNs lineales logran convergencia geométrica, mientras que los LSTMs (entrenados en los mismos datos) solo logran convergencia espectral.
- Optimizador: El optimizador Muon mejora el rendimiento geométrico en Transformers y DeltaNet en comparación con AdamW.
El Rol de la Tokenización en Aritmética: Descubren que en tareas de suma, la tokenización es determinante. La suma de 9 dígitos (multi-token) fuerza al modelo a resolver subproblemas modulares (acarreo), lo que induce convergencia geométrica. La suma de 3 dígitos (single-token) no impone esta restricción, resultando en representaciones que dependen del optimizador y la semilla aleatoria, sin convergencia consistente.

4. Resultados Principales

Universalidad Espectral: Todos los sistemas examinados (Transformers, Mamba, LSTMs, GloVe, e incluso la distribución de frecuencia cruda de los tokens) exhiben picos de Fourier en $T=2, 5, 10$ . Esto se interpreta como una evolución convergente impulsada por las restricciones compartidas de los datos y la tokenización.
Selectividad Geométrica:
- Transformers y RNNs Lineales: Logran alta precisión en sondas modulares ( $\kappa \approx 85-96\%$ para $T=2, 10$ ).
- LSTMs: Presentan picos de Fourier incluso más prominentes que los Transformers, pero su precisión en sondas modulares es al nivel del azar ( $\kappa \approx 0$ ). Esto se debe a que su varianza intraclase es altamente anisotrópica, "enterrando" la señal periódica.
- Embeddings Clásicos: Muestran un rendimiento intermedio.
Dependencia de los Datos:
- Eliminar la co-ocurrencia texto-número (Swap Numbers) degrada drásticamente la precisión geométrica, aunque los picos de Fourier persisten.
- Reducir el contexto o la interacción entre números (Isolate-k) también reduce la separabilidad, confirmando que la estructura modular se aprende de señales estadísticas complejas en el lenguaje natural, no solo de la frecuencia de los tokens.
Dinámica de Entrenamiento: A diferencia del fenómeno de "grokking" (aprendizaje abrupto) observado en tareas de aritmética modular sintética, en el preentrenamiento de lenguaje, tanto la convergencia espectral como la geométrica emergen de manera suave y gradual.

5. Significado e Implicaciones

Advertencia sobre Diagnósticos de Representación: El trabajo advierte que observar estructura en las representaciones (como picos de Fourier) no es suficiente para afirmar que el modelo ha aprendido una función o algoritmo subyacente. Una representación puede parecer estructurada estadísticamente pero carecer de utilidad funcional (separabilidad).
Nueva Perspectiva sobre la Evolución Convergente: Introduce el concepto de que diferentes arquitecturas pueden desarrollar representaciones superficialmente similares (espectro) debido a restricciones compartidas, pero divergir fundamentalmente en su capacidad funcional (geometría) dependiendo de cómo procesan la información (arquitectura, optimizador).
Marco para el Análisis Futuro: Proporciona una metodología de "atribución estructural" para descomponer qué componentes del entrenamiento (datos, arquitectura, optimizador) son responsables de la aparición de ciertas capacidades en los LLMs.
Generalización: Sugiere que este fenómeno de disociación espectral-geométrica podría aplicarse a otros conceptos cíclicos (días de la semana, meses), ofreciendo un marco para distinguir entre aprendizaje superficial y aprendizaje funcional en modelos de IA.

En conclusión, el paper demuestra que la "inteligencia" numérica en los LLMs no es un subproducto inevitable de la periodicidad estadística, sino el resultado de una convergencia evolutiva específica que requiere una alineación precisa entre la arquitectura del modelo, el optimizador y las señales estructurales de los datos.