🤖 AI

Geometry of Human Perceptual Domains Emerges Transiently in LLM Representations

Este artículo demuestra que las geometrías perceptuales similares a las humanas en dominios como el color y la emoción emergen transitoriamente dentro de las capas intermedias de los modelos de lenguaje grandes, siguiendo una trayectoria de desarrollo distinta a pesar de la ausencia de entrenamiento perceptual directo.

Autores originales: Simardeep Singh, Paras Chopra

Publicado 2026-05-28

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Simardeep Singh, Paras Chopra

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un Modelo de Lenguaje Grande (LLM) como una biblioteca masiva de múltiples pisos, donde cada libro es una palabra y cada piso representa una etapa diferente del "pensamiento". Por lo general, consideramos que estos modelos son simplemente muy buenos para predecir la siguiente palabra en una oración. Han sido entrenados únicamente con texto: no tienen ojos para ver colores, ni orejas para escuchar música, ni lengua para probar alimentos.

Sin embargo, este artículo descubre algo sorprendente: aunque estos modelos nunca han experimentado el mundo con sus sentidos, la "geometría" (la forma y disposición) de cómo organizan los conceptos dentro de su cerebro se parece mucho a cómo los organizamos los humanos.

Aquí tienes un desglose de sus hallazgos utilizando analogías simples:

1. El "fantasma" de la percepción humana

Piensa en el cerebro interno del modelo como un mapa gigante e invisible. Los investigadores se preguntaron: Si dibujamos un mapa de cómo el modelo ve los "colores", las "emociones", las "notas musicales" o los "sabores", ¿se parece a un mapa humano?

Descubrieron que sí, lo es.

Colores: Los humanos vemos los colores en un círculo (una rueda cromática) donde el rojo se funde en el naranja, que a su vez se funde en el amarillo. El modelo, a pesar de solo leer texto, también organiza los colores en un círculo perfecto dentro de su mapa interno.
Emociones: Los humanos a menudo mapeamos las emociones en una cuadrícula basada en lo "feliz" frente a lo "triste" y lo "tranquilo" frente a lo "emocionado" que nos sentimos. El modelo crea esta misma cuadrícula.
Tono: Los humanos escuchamos las notas musicales como un deslizamiento suave de grave a agudo. El modelo organiza estas notas en un arco suave, tal como lo hacemos nosotros.

2. El efecto "linterna" (emergencia transitoria)

Esta es la parte más fascinante. Podrías pensar que si el modelo tiene un "mapa de colores", mantendría ese mapa perfectamente claro desde el piso inferior de la biblioteca hasta el superior.

Pero el artículo descubrió que la "percepción" del modelo es como una linterna que solo brilla intensamente en el medio de la habitación.

Capas tempranas (El piso inferior): El mapa es borroso y desordenado. El modelo solo está mirando las letras crudas y las palabras básicas. Aún no ha organizado los conceptos.
Capas intermedias (El piso medio): Aquí es donde ocurre la magia. La linterna se enciende a máxima potencia. Los puntos desordenados de repente se alinean en un círculo perfecto (para los colores) o en una curva suave (para el tono). La estructura interna del modelo se vuelve repentinamente muy similar a la humana aquí.
Capas tardías (El piso superior): A medida que el modelo avanza hacia la cima para preparar su respuesta final, la linterna se atenúa de nuevo. Las formas geométricas perfectas comienzan a difuminarse o descomponerse. El modelo deja de preocuparse por la "forma" del concepto y comienza a centrarse en la tarea específica (como responder una pregunta o terminar una oración).

La analogía: Imagina a un escultor trabajando en una estatua.

Temprano: Tiene un bloque de piedra tosco (datos desordenados).
Medio: Tallan la forma perfecta y suave del rostro (la estructura geométrica emerge).
Tardío: Comienzan a añadir detalles minúsculos para un propósito específico, y la curva suave y perfecta del rostro se altera ligeramente u oscurece por esos toques finales.

3. Velocidades diferentes para diferentes sentidos

No todos los sentidos "despiertan" al mismo tiempo.

Gusto: El modelo descifra la forma de los sabores (dulce, salado, ácido) muy temprano, pero se desordena rápidamente. Es como un boceto rápido que no dura.
Color: El modelo tarda un poco más en organizar los colores, pero la forma es muy clara y estable en las capas intermedias.
Emoción: Esta es la más persistente. Una vez que el modelo organiza las emociones, mantiene esa estructura incluso mientras avanza hacia las capas posteriores. Es como una escultura robusta que no se desvanece.

4. Por qué esto importa (según el artículo)

El artículo no dice que el robot esté "sintiendo" felicidad o "viendo" rojo. No afirma que el modelo sea consciente.

En cambio, sugiere que el lenguaje en sí mismo contiene el plano de la percepción humana. Dado que los humanos hablamos de colores, emociones y sabores de maneras específicas que se relacionan entre sí, el modelo aprende a organizar estas palabras en una forma que imita cómo nuestros cerebros organizan las sensaciones reales.

En resumen: El artículo muestra que, incluso sin ojos ni orejas, una IA entrenada únicamente con texto construye un "mapa" interno y temporal del mundo que se parece sorprendentemente al mapa de un humano. Sin embargo, este mapa es efímero: aparece con claridad en medio del procesamiento del modelo y luego se desvanece a medida que el modelo se prepara para hablar.

Resumen Técnico: La Geometría de los Dominios Perceptivos Humanos Emerge Transitoriamente en las Representaciones de los LLM

Enunciado del Problema

Aunque los Modelos de Lenguaje Grandes (LLM) se entrenan exclusivamente con datos textuales, investigaciones previas han establecido que sus espacios de incrustación internos exhiben estructuras geométricas ricas que corresponden a dominios conceptuales (por ejemplo, variedades cíclicas para los días de la semana o variedades unidimensionales para el tiempo). Sin embargo, sigue sin estar claro si estos modelos, al carecer de anclaje sensorial directo, desarrollan representaciones internas que se alineen con la organización perceptiva humana a través de modalidades sensoriales y afectivas como el color, el tono, el gusto y la emoción. Además, los estudios existentes se han centrado principalmente en los resultados del modelo o en la sondeo específico de tareas, dejando un vacío en la comprensión de cómo y dónde surgen y evolucionan dichas estructuras perceptivas a través de las capas intermedias de las arquitecturas transformadoras.

Metodología

Los autores proponen un marco de análisis intrínseco y por capas para investigar la emergencia de la geometría perceptiva sin entrenamiento adicional ni sondeo.

Estímulos y Extracción: Un conjunto de estímulos (por ejemplo, colores específicos, emociones, frecuencias de tono, compuestos de sabor) se procesa a través de modelos transformadores preentrenados (incluyendo variantes de LLaMA-3, Qwen y Gemma) utilizando prompts mínimos y estructurados para extraer las activaciones del estado oculto ( $h_i^{(l)}$ ) en cada capa $l$ .
Construcción Geométrica:
- Cálculo de Disimilitud: Se calculan disimilitudes coseno por pares entre las incrustaciones para formar una matriz de disimilitud $D$ , aislando la estructura direccional mientras se mantiene invariante a la escala.
- Reducción de Dimensionalidad: Se aplica Escalamiento Multidimensional (MDS) a $D$ para generar mapas geométricos de baja dimensionalidad (2D) que preserven las disimilitudes por pares, creando un "mapa de cualia" para cada capa.
Métricas de Alineación: Los mapas geométricos generados por el modelo se comparan cuantitativamente con líneas base perceptivas humanas (derivadas de conjuntos de datos psicológicos establecidos como ANEW y Marjieh et al., 2023) utilizando dos métricas:
- Análisis de Similitud Representacional (RSA): Correlación de rango de Spearman entre las entradas vectorizadas de la parte superior triangular de las matrices de disimilitud del modelo y las humanas.
- Análisis Generalizado de Procrustes (GPA): Mide la alineación geométrica encontrando la transformación ortogonal óptima entre los mapas del modelo y los humanos, generando una puntuación donde valores más altos indican una alineación más fuerte.
Perfilado: Esta tubería se aplica a través de todas las capas para rastrear la evolución de la estructura perceptiva, identificando dónde alcanza su máximo la alineación y cómo cambia con la profundidad.

Contribuciones Clave

El artículo presenta tres contribuciones principales:

Emergencia por Capas de la Geometría Perceptiva: Los autores demuestran que los LLM desarrollan espontáneamente representaciones geométricas estructuradas para múltiples dominios perceptivos (color, tono, gusto, emoción) dentro de sus flujos residuales. Estas estructuras se alinean cuantitativamente con las líneas base perceptivas humanas a pesar de la ausencia de supervisión sensorial directa.
Perfiles de Emergencia Específicos de Modalidad: El estudio revela que diferentes dominios perceptivos siguen trayectorias distintas. Aunque todos exhiben un patrón de ascenso y descenso, el momento del pico de alineación y la estabilidad de la estructura varían según el dominio (por ejemplo, el gusto alcanza su pico antes que la emoción) y según la arquitectura del modelo.
Codificación Perceptiva Transitoria: El artículo establece una trayectoria representacional consistente entre modelos: la geometría perceptiva es débil o difusa en las primeras capas, se organiza progresivamente en las capas intermedias y se atenúa en las capas posteriores. Esto sugiere que la geometría perceptiva se codifica transitoriamente como parte de la tubería de transformación interna del modelo en lugar de preservarse uniformemente.

Resultados

El análisis en cuatro modalidades arroja los siguientes hallazgos específicos:

Color: Los modelos recuperan una variedad circular que se asemeja a la rueda de colores humana, alcanzando su pico en capas tempranas a intermedias. Esta estructura es transitoria, debilitándose en capas más profundas a medida que las representaciones se especializan en características específicas de la tarea. Este perfil de "ascenso-pico-descenso" es consistente en LLaMA-3-8B, LLaMA-3.2-3B y Gemma-7B, aunque Qwen-3-4B muestra un breve rebote en capas tardías antes de la degradación final.
Emoción: Los modelos recuperan una variedad afectiva bien organizada alineada con la estructura de valencia-arousal humana. A diferencia del color, la geometría emocional permanece comparativamente estable en las capas posteriores, indicando una retención más persistente de esta estructura.
Tono: Surge una organización suave y en forma de arco, consistente con la naturaleza continua y ordinal de la percepción del tono, en las capas intermedias. La estructura se deforma en capas más profundas, lo que sugiere que el tono se representa de manera relacional en lugar de categórica.
Gusto: Los modelos recuperan una variedad de gustos que coincide con las disposiciones perceptivas humanas (por ejemplo, la ordenación de los gustos primarios). Sin embargo, el gusto exhibe puntuaciones RSA más bajas y perfiles por capas más ruidosos en comparación con otros dominios, con una geometría que emerge temprano pero se degrada rápidamente.

Significado y Afirmaciones

El artículo afirma proporcionar una nueva perspectiva sobre la naturaleza mecánica de las representaciones de los LLM, específicamente sobre cómo surge la geometría perceptiva similar a la humana a partir de un entrenamiento puramente lingüístico. Al demostrar que estas estructuras emergen transitoriamente en las capas intermedias, los autores ofrecen una vía principista para el análisis mecánico de las representaciones internas.

Los autores señalan explícitamente las limitaciones de su trabajo:

El análisis es descriptivo; identifica dónde y cómo emerge la geometría, pero no explica los mecanismos subyacentes que causan estas variedades.
El estudio se limita a cuatro dominios perceptivos y arquitecturas específicas.
La alineación geométrica con las líneas base humanas se interpreta como evidencia de una organización representacional estructuralmente similar, no como prueba de una percepción subjetiva similar a la humana.

El trabajo sugiere que los modelos de lenguaje codifican implícitamente estructuras perceptivas a través de las regularidades estadísticas del lenguaje, organizando estas estructuras de manera transitoria y dependiente de la profundidad, lo que refleja, aunque difiere de, la estabilidad perceptiva humana.