Emergent Ordinal Geometry in Transformers Trained on Local Comparisons

Resumen Técnico: Geometría Ordinal Emergente en Transformers Entrenados en Comparaciones Locales

Planteamiento del Problema
El artículo investiga si los modelos Transformer, al ser entrenados exclusivamente en comparaciones locales (adyacentes) dentro de un orden total oculto, adquieren el mismo mecanismo primitivo utilizado por los sistemas biológicos para la inferencia transitiva (IT). La IT es la capacidad de inferir una relación no adyacente (por ejemplo, $A < C$) a partir de relaciones adyacentes conocidas ($A < B, B < C$). Mientras que la cognición biológica resuelve esto mediante una "línea numérica mental analógica" —evidenciada por el efecto de distancia simbólica (donde las comparaciones distantes se procesan más rápido/con mayor precisión que las adyacentes)—, los Transformers no están presionados explícitamente a representar el orden de forma lineal. El estudio pregunta si esta representación geométrica específica y su firma conductual emergen espontáneamente en redes neuronales entrenadas con el paradigma clásico de Bryant y Trabasso [1971].

Metodología
Los autores construyeron una tarea sintética utilizando un orden total oculto de $N$ entidades ($e_0 \prec e_1 \prec \dots \prec e_{N-1}$).

• Datos de Entrenamiento: El modelo es entrenado solo en pares adyacentes en ambas direcciones ($D_{train} = \{(e_i, e_{i+1}), (e_{i+1}, e_i)\}$).
• Datos de Evaluación: El modelo es evaluado en un conjunto disjunto de pares distantes ($D_{OOD} = \{(e_i, e_j) : |i-j| > 1\}$), lo que requiere la reconstrucción del orden global a partir de datos locales únicamente.
• Arquitectura del Modelo: Un Transformer de una sola capa con embeddings de entidad, un cabezal de atención (en el abstracto) o dos (en la sección de resultados), un MLP GELU de ancho 4d, y un cabezal de desembedding lineal. La relación se decodifica desde el residuo de la posición final.
• Métricas:
  1. Estructura Geométrica: Análisis de Componentes Principales (PCA) sobre los embeddings de las entidades para medir la linealidad (varianza en el primer componente principal, $\rho_1$) y la alineación de rango (correlación entre la posición proyectada y el rango real).
  2. Firmas Conductuales: La confianza en la decisión (margen de logit) y la separación geométrica ($g_{ij}$) se miden frente a la distancia de rango ($|i-j|$) para detectar el efecto de distancia simbólica.

Contribuciones Clave

1. Aislamiento de la Tarea Sintética: El artículo introduce una tarea controlada que aísla la generalización ordinal de las comparaciones locales, imitando estrictamente el paradigma de la IT biológica.
2. Manifold 1D Emergente: Proporciona evidencia de que los Transformers organizan espontáneamente los embeddings de las entidades en un manifold unidimensional. El eje principal de este manifold recupera el orden de rango oculto con una fidelidad casi perfecta.
3. Análogo Computacional del Efecto de Distancia: El estudio demuestra que incluso cuando la precisión alcanza un techo, el modelo exhibe el efecto de distancia simbólica: tanto la confianza en la decisión como la separación geométrica escalan monótonamente con la distancia de rango entre los elementos.

Resultados
Los experimentos se realizaron en conjuntos de $N=10, 15$ y $20$ entidades.

• Dinámicas tipo Grokking: La emergencia de la generalización fuera de la distribución (OOD) coincide con una reorganización geométrica de los embeddings. Esta transición es sensible a la optimización (específicamente al decaimiento de peso) y produce dinámicas transitorias similares al "grokking".
• Recuperación Geométrica: A medida que el modelo aprende, los embeddings colapsan sobre una línea donde el componente principal se alinea con el verdadero orden de rango.
• Reflejo Conductual: En el pico de precisión OOD, los representaciones internas del modelo y la confianza de salida siguen estrictamente el efecto de distancia simbólica. Los pares distantes no solo se clasifican correctamente, sino que se asocian con una mayor confianza y una mayor separación geométrica en el espacio de embeddings en comparación con los pares adyacentes.

Significancia
El artículo afirma fundamentar una regularidad conductual de 50 años (el efecto de distancia simbólica en la IT) en la geometría de las representaciones neuronales aprendidas. Al demostrar que los Transformers desarrollan espontáneamente una "línea numérica mental" sin supervisión explícita, el trabajo ofrece un relato mecanístico de la inferencia transitiva que une la ciencia cognitiva con la interpretabilidad de las redes neuronales modernas. Sugiere que la capacidad de realizar razonamiento relacional abstracto puede ser un subproducto natural de la optimización de restricciones locales dentro de un orden total.