Resumen Técnico: Historias en el Espacio: Trayectorias de Aprendizaje en Contexto en el Espacio de Creencias Conceptuales

Enunciado del Problema

Los Modelos de Lenguaje Grandes (LLM) exhiben capacidades impresionantes de aprendizaje en contexto (ICL), adaptando su comportamiento a nueva información sin actualizaciones de pesos. Este proceso a menudo se enmarca como inferencia bayesiana, donde el modelo re-pesa conceptos latentes basándose en los datos de entrada. Sin embargo, la estructura del espacio de hipótesis latentes sobre el cual opera esta inferencia permanece poco clara. Específicamente, se desconoce cómo los LLM representan conceptos complejos y cómo actualizan dinámicamente las creencias sobre estos conceptos a medida que procesan texto libre, como historias, donde las actualizaciones de creencias pueden ser no lineales e idiosincrásicas en lugar de constantes y monótonas.

Metodología

Los autores proponen que los LLM asignan creencias sobre un espacio geométrico de baja dimensión, denominado espacio de creencias conceptuales, y que el ICL corresponde a una trayectoria a través de este espacio. Para investigar esto, combinan análisis conductuales y representacionales utilizando la comprensión de historias como un escenario natural para la actualización dinámica de creencias.

Marco Teórico

El trabajo extiende la teoría de los espacios conceptuales (Gärdenfors, 2000) para dar cuenta de la incertidumbre y la creencia.

• Espacio Conceptual ($C$): Un espacio métrico sobre atributos donde los conceptos se definen como sub-espacios convexos.
• Espacio de Creencias Conceptuales ($B$): Un espacio métrico de distribuciones de probabilidad sobre $C$, que representa los estados de creencia del modelo.
• Trayectorias de Creencia: Una secuencia de estados de creencia ($b_{1:T}$) a medida que el modelo procesa una historia $x_{1:T}$, formando un camino a través del espacio de creencias.

Configuración Experimental

• Conjunto de Datos: Los autores utilizan el conjunto de datos SimpleStories, compuesto por historias cortas generadas sintéticamente en diversos estilos (aventura, clásico, alegre, melancólico, trágico).
• Dominios: Se probaron tres dominios conceptuales:
  1. Emociones: Felicidad, Tristeza, Ira, Sorpresa, Miedo, Asco.
  2. Géneros: Alegre, Cuento de hadas, Aventura, Suspense, Trágico, Terror.
  3. Arbitrario: Magia, Animales, Curiosidad, Trabajo en equipo, Creatividad, Responsabilidad (sirviendo como contraejemplo sin estructura esperada).
• Modelo: Llama-3.1-8b-instruct (cuantizado a 4 bits).

Técnicas Principales

1. Elicitación de Creencias: Se solicita al modelo que, después de cada oración de una historia, califique la aplicabilidad de conceptos específicos en una escala de 0 a 10. El estado de creencia conductual $y_{t,c}$ se calcula como el valor esperado de las probabilidades de los tokens del modelo.
2. Reducción de Dimensionalidad: Se aplican Aproximación y Proyección de Variedad Uniforme (UMAP) y PCA tanto a los datos conductuales ($Y$) como a las activaciones residuales ($Z$) para identificar variedades de baja dimensión ($\mathcal{M}_y$ y $\mathcal{M}_z$).
3. Sondas Lineales: Se entrenan modelos de regresión lineal para predecir las creencias conductuales ($y_{t,c}$) a partir de las activaciones de capas ocultas ($z_{t,\ell}$) para probar si las creencias están codificadas linealmente.
4. Dirigido de Activación: Los autores intervienen en las activaciones latentes añadiendo vectores de dirección (derivados de los pesos de la sonda lineal o de la diferencia de medias) para probar el control causal sobre las trayectorias de creencia.

Contribuciones y Resultados Clave

1. Variedades Estructuradas de Baja Dimensión

El estudio encuentra que las actualizaciones de creencia en los LLM se describen bien como trayectorias en variedades estructuradas de baja dimensión.

• Alineación Conductual y Representacional: Las variedades derivadas del comportamiento del modelo ($\mathcal{M}_y$) y de las activaciones internas ($\mathcal{M}_z$) están altamente correlacionadas y comparten propiedades estructurales.
• Estructura del Dominio: Para los dominios de Emociones y Géneros, las variedades exhiben una estructura clara. Para Emociones, la geometría de la variedad aprendida coincide estrechamente con el espacio de Valencia-Arousal validado por humanos (Russell & Mehrabian, 1977), con una correlación de $r=0.93$ entre las calificaciones humanas y la variedad conductual del modelo.
• Contraste con Arbitrario: El dominio Arbitrario, careciendo de estructura semántica inherente, mostró una estructura de variedad menos clara y una correlación menor entre las variedades de comportamiento y activación ($r=0.71$), lo que respalda la hipótesis de que la estructura surge de relaciones conceptuales significativas.

2. Decodificabilidad Lineal de las Creencias

Las sondas lineales entrenadas en las activaciones ocultas pueden predecir con precisión las creencias conductuales del modelo.

• Las sondas en la capa $\ell=9$ lograron un Error Cuadrático Medio (RMSE) bajo al predecir la dinámica de creencias: 0.09 para Emociones, 0.09 para Géneros y 0.11 para Arbitrario.
• Esto sugiere que la información sobre las "creencias" del modelo sobre la historia es accesible linealmente en la corriente residual, incluso cuando el modelo no recibe instrucciones explícitas para considerar conceptos específicos.

3. Dirección Causal y Geometría

Las intervenciones en las representaciones ocultas dirigen causalmente las trayectorias de creencia, y los efectos de estas intervenciones son predecibles a partir de la geometría del espacio conceptual.

• Efecto de Dirección: Añadir vectores de dirección para un concepto objetivo (por ejemplo, tristeza) desplaza la trayectoria del modelo en la variedad de creencias hacia ese concepto.
• Entrelazamiento de Dirección: Dirigir un concepto a menudo afecta a conceptos relacionados (por ejemplo, dirigir hacia la tristeza aumenta la ira y disminuye la felicidad). Este entrelazamiento refleja las distancias geométricas entre los centroides de los conceptos en la variedad.
• Predecibilidad: El grado de entrelazamiento de dirección entre conceptos está significativamente correlacionado con la distancia entre sus centroides en la variedad aprendida ($r=0.65$ para Emociones).
• Dinámica de Capas: La dirección en una sola capa a menudo falla en persistir hasta la salida debido a la autocorrección del modelo; sin embargo, la dirección a través de un rango de capas (por ejemplo, capas 7–14) altera con éxito el comportamiento final de la salida.

Significado y Afirmaciones

El artículo afirma proporcionar una cuenta geométrica de la dinámica de creencias en los LLM, fundamentando las interpretaciones bayesianas del aprendizaje en contexto en representaciones conceptuales estructuradas.

• Unificación de Marcos: El trabajo cierra la brecha entre las teorías probabilísticas del aprendizaje (inferencia bayesiana) y las teorías geométricas de la representación conceptual (espacios conceptuales) en la ciencia cognitiva.
• Interpretabilidad: Demuestra que las actualizaciones de creencia complejas y dinámicas en texto libre pueden entenderse como trayectorias suaves a través de un espacio de baja dimensión, que pueden ser decodificadas y manipuladas.
• Modestia: Los autores reconocen limitaciones, señalando que el estudio depende de dominios y conceptos seleccionados manualmente, trata los conceptos como unitarios en lugar de composicionales, y se centra en creencias globales a nivel de historia en lugar de específicas de personajes. Enmarcan esto como un primer paso hacia una base teórica para la interpretabilidad de los LLM, sugiriendo que el trabajo futuro debería explorar métodos de "auto-interpretación" para descubrir dominios conceptuales e investigar cómo estos espacios dan forma a la incertidumbre en la generación de textos largos.

En resumen, el artículo argumenta que los LLM no procesan el texto meramente como una secuencia de tokens, sino que navegan un espacio de creencias conceptual estructurado y de baja dimensión, actualizando su estado interno a lo largo de trayectorias suaves que reflejan el contenido semántico y emocional de la narrativa.