🤖 machine learning

Sky sphere representation in language models

Este artículo demuestra que los modelos de lenguaje de gran tamaño (~100B de parámetros) poseen una representación de variedad curva, alta dimensional y decodificable del cielo nocturno dentro de sus flujos residuales, capaz de predecir proximidades celestiales con una precisión significativa y un error angular bajo.

Autores originales: Aleksandr Berdnikov, Yevgeny Liokumovich

Publicado 2026-07-30

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Aleksandr Berdnikov, Yevgeny Liokumovich

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes una biblioteca gigante e invisible donde cada libro es un pensamiento diferente, y los estantes no están organizados por autor o título, sino por cómo se sienten las ideas entre sí. Este es el mundo de la interpretabilidad mecanicista, un campo donde los científicos intentan asomarse al "cerebro" de la inteligencia artificial para ver cómo organiza la información. Sabemos que estos modelos de IA, llamados Modelos de Lenguaje de Gran Escala (LLM), son increíblemente buenos escribiendo y responrando preguntas, pero a menudo son como cajas negras: vemos la entrada y la salida, pero la parte intermedia es un misterio.

Para entender este misterio, los investigadores utilizan herramientas como las sondas lineales, que actúan como detectores de metales, escaneando las señales internas de la IA para ver si esconden patrones simples y rectilíneos (como una lista de números). Pero a veces, los patrones no son líneas rectas; son curvas, bucles o formas. Piensa en ello como intentar mapear la Tierra. Si intentas dibujar todo el mundo en un trozo de papel plano, obtendrás un mapa que estira y deforma las cosas. Pero si lo dibujas en un globo terráqueo, las distancias y las relaciones son perfectas. Los científicos han descubierto que las IA a veces utilizan estas formas tipo "globo" para organizar conceptos, como disponer los días de la semana en un círculo para que el modelo pueda calcular fácilmente que "viernes más dos días" es "domingo".

La gran pregunta es: ¿Qué tan profunda es esta capacidad de pensamiento geométrico? ¿La IA solo memoriza hechos, o construye un mapa mental del mundo que se parece a una esfera real? Aquí es donde entra en juego un nuevo estudio para explorar el cielo nocturno.

El mapa estelar secreto de la IA

En un artículo reciente titulado "Representación de la esfera celeste en modelos de lenguaje", los investigadores Aleksandr Berdendikov y Yevgeny Liokumovich decidieron probar si los modelos de IA masivos (específicamente aquellos con alrededor de 100 mil millones de parámetros) han construido secretamente un mapa 3D del cielo nocturno dentro de sus cerebros. No le pidieron a la IA que recitara coordenadas o dibujara una imagen. En su lugar, le hicieron preguntas conversacionales sencillas como "¿Qué hay cerca de este objeto en el cielo nocturno?" o "Los observadores de estrellas ven X justo al lado de...".

Alimentaron estas preguntas a siete modelos de IA de código abierto diferentes, incluyendo gigantes como Mistral Large 2 y Qwen3. Mientras la IA procesaba estas palabras, los investigadores observaban el "flujo residual" (residual stream)—una autopista de datos de alta velocidad dentro del modelo donde la información fluye de una capa a otra. Buscaban una señal específica: un patrón que pareciera una esfera, donde las estrellas y las constelaciones estuvieran dispuestas exactamente como están en el cielo real.

El Descubrimiento: Un Globo Oculto
Los resultados fueron sorprendentes. En casi todos los modelos probados, la IA sí tenía una representación del cielo nocturno. Cuando los investigadores examinaron las capas superiores del procesamiento de la IA, encontraron que las posiciones de las estrellas y las constelaciones estaban dispuestas en una superficie curva y esférica, tal como la esfera celeste real.

No era solo un eco tenue. Los investigadores pudieron decodificar este mapa oculto con una precisión impresionante. En la mayoría de los modelos, podían predecir la ubicación de una estrella o constelación con un error de solo 12° a 21° (aproximadamente el ancho de tu puño sostenido a la distancia de tu brazo). El modelo explicaba entre el 65% y el 85% de la varianza de los datos, lo que significa que la forma esférica era una característica muy fuerte y dominante en el proceso de pensamiento de la IA.

Por qué es Especial
Antes de esto, los científicos habían descubierto que las IA utilizan mapas planos (como un gráfico 2D de los estados de EE. UU.) o círculos simples (como los días de la semana). Esta es la primera vez que alguien encuentra una esfera curva y de alta dimensión que no es simplemente una combinación de líneas más simples. Es como si la IA no solo hubiera memorizado una lista de nombres de estrellas; construyó un "globo" mental para entender qué tan cerca están las cosas entre sí en el cielo.

Lo que NO es
Los investigadores fueron muy cuidadosos al descartar otras posibilidades. Preguntaron: "¿Está la IA simplemente recordando las cadenas de texto 'Ascensión Recta' y 'Declinación' (las coordenadas utilizadas por los astrónomos) y organizándolas en un gráfico plano 2D?".

El Mapa Plano fue Descartado: Probaron esto buscando una línea "discontinua" que existiría en un mapa plano (como el borde del mundo en un mapa de papel). No encontraron evidencia de esto. La IA no estaba usando un gráfico 2D plano; realmente estaba usando una esfera.
La Distancia 3D fue Descartada: También verificaron si la IA estaba mapeando la distancia real de las estrellas desde la Tierra (algunas están a años luz de distancia, otras más cerca). Descubrieron que el mapa de la IA no se preocupaba por la distancia real del mundo. En su lugar, la "profundidad" de la esfera parecía estar influenciada por la frecuencia con la que se menciona el objeto o por el tipo de objeto que es (las estrellas se colocaron "más cerca" en el mapa, mientras que las constelaciones se colocaron "más lejos").

El Misterio de "Gpt-Oss"
Hubo un caso extraño en el grupo: un modelo llamado gpt-oss-120b. En este modelo específico, el mapa estelar era mucho más difícil de encontrar. Los investigadores sospechan que esto se debe a que este modelo fue entrenado con un formato de "armonía" especial (una forma específica de formatear conversaciones), en lugar de texto puro, lo que podría haber desordenado la señal. Sin embargo, al preguntarle directamente por las coordenadas estelares, este modelo seguía siendo muy bueno respondiendo, lo que sugiere que conoce los hechos, pero simplemente no los organiza en una esfera visible de la misma manera que los otros.

Por qué Importa
Este descubrimiento sugiere que cuando le preguntamos a una IA sobre el cielo nocturno, no está simplemente buscando en una base de datos. Está accediendo a una comprensión geométrica estructurada de la proximidad. Los investigadores encontraron que este "mapa estelar" se vuelve más visible cuando se le pregunta a la IA sobre la cercanía (por ejemplo, "¿qué está al lado de X?"). Si haces preguntas genéricas como "¿Cuál es la historia de X?", el mapa se desvanece y se hunde más profundamente en el ruido.

En resumen, estos modelos de IA masivos han aprendido espontáneamente a disponer el cielo nocturno en una esfera dentro de sus redes neuronales. Es un ejemplo hermoso de cómo la IA puede desarrollar su propia geometría interna para dar sentido al mundo, creando un mapa curvo y 3D de las estrellas que es sorprendentemente preciso, a pesar de que nunca se le enseñó explícitamente a hacerlo.

Resumen Técnico: Representación de la Esfera Celeste en Modelos de Lenguaje

Planteamiento del Problema
La investigación en interpretabilidad mecánica busca comprender cómo los Modelos de Lenguaje de Gran Escala (LLM) representan conceptos dentro de sus espacios de activación de alta dimensión. Mientras que los métodos lineales (p. ej., sondas, autoencoders dispersos) y los métodos basados en aprendizaje profundo (p. ej., autoencoders de lenguaje natural) han identificado diversas estructuras, persiste una brecha en la comprensión de los colectores de características (manifolds) no lineales y curvos. Los descubrimientos previos de representaciones geométricas en los LLM se han limitado en gran medida a estructuras planas (p. ej., continentes, estados de EE. UU., espacio de color) o colectores unidimensionales (p. ej., días de la semana, meses, longitud de las oraciones). Este artículo investiga si los LLM poseen una representación del cielo nocturno que corresponda a la geometría esférica de los objetos celestes, probando específicamente si las posiciones de las estrellas y las constelaciones están codificadas como un colector curvo y de alta dimensión en el flujo residual (residual stream).

Metodología
Los autores analizaron siete LLM de código abierto que van desde 32B hasta 235B de parámetros (incluyendo Qwen3, Llama-3.3, Mixtral, Mistral Large 2, GLM-4.5-Air y gpt-oss-120b). El flujo de trabajo experimental consistió en los siguientes pasos:

Construcción de Datos: Se creó un conjunto de datos de 188 objetos astronómicos, compuesto por 85 estrellas brillantes, 88 constelaciones oficiales y 15 objetos misceláneos (galaxias, nebulosas, cúmulos).
Ingeniería de Prompts: Los objetos fueron introducidos en los modelos utilizando 25 plantillas de prompts distintas centradas en la proximidad en el cielo nocturno (p. ej., "la constelación más cercana a X es", "los observadores de estrellas ven X justo al lado de"). Crucialmente, estos prompts evitaron cadenas de coordenadas explícitas (Ascensión Recta/Declinación) para asegurar que el modelo no estuviera simplemente repitiendo las coordenadas de sus datos de entrenamiento, sino recuperando una noción conceptual de proximidad.
Extracción de Características: Para cada prompt, se extrajeron los vectores del flujo residual en el último token a través de todas las capas. Se computaron los 128 Componentes Principales (PC) superiores para cada capa.
Análisis de Decodificabilidad: Los autores emplearon una estrategia de validación de dejar uno fuera (Leave-One-Out, LOO). Entrenaron un modelo de regresión lineal para mapear los $n$ componentes PCA superiores (donde $n \in \{4, 8, 128\}$ ) del flujo residual a las verdaderas coordenadas de la esfera unitaria 3D de los objetos. El objeto excluido fue entonces predicho, y el rendimiento se midió utilizando el puntaje $R^2$ (varianza explicada) y el error angular mediano.
Prueba de Hipótesis Alternativas: Para verificar que la representación no era una "filtración" de un mapa 2D plano (RA/Dec) o de un mapa 3D euclidiano, los autores realizaron un análisis de RDM (Matriz de Disimilitud Representacional). Probaron si la dimensión discontinua inherente a los mapas planos o el componente de distancia radial de los mapas 3D estaban presentes en los componentes PCA superiores.

Resultos Clave

Existencia de un Colector Esférico: En seis de los siete modelos probados, se logró decodificar con éxito una representación esférica del cielo nocturno a partir del flujo residual. La representación típicamente emergió en los 8 componentes principales superiores.
Métricas de Rendimiento: Para los modelos exitosos, la validación LOO arrojó puntajes $R^2$ que oscilaron entre el 65% y el 85%. El error angular mediano para predecir la posición de objetos no vistos estuvo entre $12^\circ$ y $21^\circ$ .
Profundidad de Capa: La representación era débil y estaba dispersa en muchos componentes en las capas iniciales, pero se fortaleció y consolidó en los $\sim8$ PC superiores en las capas más profundas (p. ej., la capa 66 en Mistral Large 2).
Dependencia del Prompt: La señal dependía fuertmente de la redacción del prompt. Al utilizar prompts genéricos (p. ej., "la edad de X es..."), la representación se debilitó significamente, fallando en aparecer en los 8 PC superiores y decayendo en las capas profundas.
Exclusión de Alternativas:
- Mapas Planos: El análisis RDM mostró que la dimensión discontinua requerida para un mapa 2D plano (Ascensión Recta) tenía coeficientes cercanos a cero o negativos en el espacio de los 8 PC superiores, descartando una representación de mapa plano.
- Mapas Euclidianos 3D: No se encontró una correlación significativa entre el componente radial de la representación y la distancia física real a las estrellas. En su lugar, el componente radial se correlacionó con el tipo de objeto (constelaciones situadas más lejos, estrellas más cerca) y la frecuencia textual.
Anomalías del Modelo: El modelo gpt-oss-120b mostró una baja decodificabilidad del colector esférico. Sin embargo, los autores señalaron que este modelo funciona bien cuando se le pide explícitamente las coordenadas, lo que sugiere que el problema radica en la estructura específica de la representación y no en la falta de conocimiento.

Significancia y Reivindicaciones
El artículo afirma presentar el primer ejemplo conocido de un colector de características curvo, de alta dimensión e irreducible en los modelos de lenguaje. A diferencia de los hallazgos previos de colectores planos o unidimensionales, esta representación captura la geometría esférica intrínseca del cielo nocturno sin depender de cadenas de coordenadas explícitas en la entrada.

Los autores enfatizan que esta representación no es un eco trivial de las coordenadas de los datos de entrenamiento, sino que probablemente refleja un concepto aprendido de "proximidad" para los objetos del cielo nocturno. Posicionan este trabajo como un punto medio en las herramientas de interpretabilidad: capturando estructuras no lineales mientras permanece explícito e inspeccionable por humanos mediante sondas lineales en los componentes principales. El estudio deja abiertas preguntas sobre el mecanismo de construcción (memorización vs. razonamiento) y la función de esta representación en el proceso de razonamiento del modelo, señalando que la capacidad de los modelos para responder preguntas de coordenadas directamente supera con creces la precisión del colector decodificable.

El mapa estelar secreto de la IA

Resumen Técnico: Representación de la Esfera Celeste en Modelos de Lenguaje

Más como este