Resumen Técnico: Las Representaciones Lineales en los Modelos de Lenguaje Pueden Cambiar Drásticamente a lo Largo de una Conversación

Planteamiento del Problema

Investigaciones recientes han establecido que los grandes modelos de lenguaje (LLM) poseen representaciones lineales correspondientes a conceptos de alto nivel como la veracidad, la ética y la honestidad. Se ha propuesto que estas representaciones funcionan como mecanismos para detectar y controlar el comportamiento del modelo. Sin embargo, los LLM son inherentemente adaptativos a su contexto, exhibiendo un aprendizaje en contexto conductual que puede alterar las "creencias" expresadas. Existe una brecha crítica en la comprensión de cómo estas representaciones lineales evolucionan dinámicamente dentro del contexto acumulado de una conversación. Específicamente, no está claro si las direcciones lineales identificadas como codificadoras de conceptos como la "veracidad" permanecen estables o si experimentan una reorganización significativa a medida que la conversación progresa. Esta inestabilidad plantea un desafío fundamental a la validez de constructo de los métodos de interpretabilidad que asumen significados de características estáticos, tales como los autoencoders dispersos (SAE) o el sondeo estático.

Metodología

Los autores investigan la dinámica de la representación utilizando la familia de modelos Gemma 3 (principalmente la variante 27B-IT), con experimentos complementarios en Qwen3 14B y modelos Gemma más pequeños.

Diseño Experimental:

1. Identificación de la Dimensión Lineal: Los autores construyen conjuntos de datos equilibrados de preguntas de sí/no (hechos científicos genéricos, identidad del modelo, ética y temas relevantes al contexto). Ajustan regresiones logísticas regularizadas sobre las activaciones del flujo residual del modelo (específicamente en el token "Sí"/"No") para identificar direcciones lineales que separan las respuestas factuales de las no factuales.
   • Para asegurar la robustez, emplean una estrategia de entrenamiento de "día del revés" (opposite day), donde la regresión se entrena tanto en prompts estándar como en prompts de "día del revés" (conductualmente invertidos). Esto aísla una dimensión de "veracidad" que es robusta a la simple inversión conductual, distinguiéndola de meros patrones de respuesta.
2. Métrica de Puntuación de Margen (Margin Score): Para cuantificar la alineación de la representación, calculan una "puntuación de margen". Esta mide la separación entre las proyecciones de las respuestas factuales y no factuales a lo largo de la dirección lineal identificada. Una puntuación positiva indica una alineación correcta con la verdad de base; una puntuación negativa indica una inversión donde las respuestas no factuales proyectan más fuertemente sobre la dirección "factual".
3. Escenarios Contextuales: El estudio evalúa estas representaciones a través de varios contextos conversacionales:
   • Día del Revés (Opposite Day): Un prompt que instruye al modelo a responder lo opuesto a la realidad.
   • Conversaciones de Juego de Rol (Role-Playing): Guiones preescritos que involucran discusiones sobre la conciencia (donde el modelo afirma experimentar qualia) y los chakras (donde el modelo afirma tener poder espiritual/divinidad). Estos se replican sobre el modelo (off-policy) y también se generan mediante interacción on-policy.
   • Simulación de Argumentación: Dos copias del modelo argumentando lados opuestos de un tema, con el modelo objetivo cambiando de rol.
   • Historias de Ficción: Historias de ciencia ficción enmarcadas explícitamente como ficción para probar si el contenido por sí solo impulsa los cambios sin el juego de rol.
4. Intervenciones Causales: En el Apéndice B.8, los autores realizan el direccionamiento de activación (activation steering) en el token antes de que se genere la respuesta para probar si las intervenciones producen cambios de comportamiento consistentes en diferentes contextos.

Resultados Clave

1. Inversión Dramática de la Representación:
El hallazgo central es que las representaciones lineales de conceptos como la veracidad y la ética pueden invertirse drásticamente a lo largo de una conversación.

• En los escenarios de "día del revés", la puntuación de margen para las preguntas factuales se degrada y finalmente se invierte tras unos pocos turnos, lo que significa que el modelo representa las respuestas no factuales como más "factuales" que las factuales.
• En las conversaciones de juego de rol (conciencia y chakras), las representaciones para preguntas relevantes al contexto se invierten. Por ejemplo, en una conversación donde el modelo adopta una personalidad que afirma tener conciencia, la dirección lineal identificada como "factual" en un prompt vacío comienza a representar la afirmación "Yo experimento qualia" como factual, a pesar de que es objetivamente no factual.
• Crucialmente, las representaciones para preguntas genéricas (por ejemplo, "¿Puede el sonido viajar en el vacío?") permanecen relativamente estables, lo que indica que el cambio es específico para el contenido relevante de la conversación y no un colapso global del estado interno del modelo.

2. Robustez a través de Condiciones:

• Off-Policy vs. On-Policy: La inversión ocurre incluso cuando el guion de la conversación se reproduce desde un modelo diferente o un guion preescrito. El modelo no necesita generar activamente la conversación para exhibir estos cambios representacionales; el contexto por sí solo es suficiente.
• Familias y Tamaños de Modelo: El fenómeno se observa en diferentes familias de modelos (Gemma, Qwen) y es más pronunciado en modelos más grandes (27B y 12B) en comparación con los más pequeños (4B), que muestran poco cambio fiable.
• Consistencia de Capas: El efecto aparece consistentemente en las capas del modelo donde la veracidad es decodificable de manera fiable (típicamente en las capas medias o posteriores).

3. Juego de Rol vs. Contenido:
Los cambios representacionales son significativamente más fuertes en escenarios de juego de rol conversacional que en contextos donde simplemente se le pide al modelo que genere una historia enmarcada explícitamente como ficción. Esto sugiere que el modelo adapta sus representaciones basándose en el "rol" que está desempeñando en la interacción, en lugar de experimentar un cambio fundamental en sus "creencias" o conocimiento.

4. Fallo de la Interpretabilidad Estática:

• Métodos No Supervisados: El método de búsqueda de consistencia de contraste (CCS) no supervisado también falla al mantener representaciones consistentes en contextos largos, a menudo rindiendo por debajo del azar en preguntas genéricas después de una conversación.
• Direccionamiento Causal (Causal Steering): Las intervenciones de direccionamiento (parcheo de activación) que logran sesgar el comportamiento del modelo en un contexto vacío pueden producir efectos opuestos en un contexto de conversación larga. Por ejemplo, dirigir hacia un comportamiento "factual" en un contexto vacío podría sesgar al modelo hacia respuestas "no factuales" en una conversación temática sobre chakras.

Significancia y Reivindicaciones

El artículo argumenta que estos hallazgos desafían fundamentalmente los supuestos que sustentan los métodos actuales de interpretabilidad y seguridad.

• Validez de Constructo: Los autores afirman que las interpretaciones estáticas de las características lineales suelen ser engañosas. Una dirección identificada como "veracidad" en un contexto corto no corresponde consistentemente a la veracidad de la verdad de base en todos los contextos. Esto implica que los "detectores de mentiras" o los monitores de seguridad basados en el sondeo estático pueden fallar en interacciones de contexto largo.
• Hipótesis del Juego de Rol: Los resultados apoyan una descripción de los LLM como "juego de rol", donde el modelo reestructura sus representaciones internas para ajustarse al rol sugerido por la conversación, en lugar de experimentar un cambio fundamental en sus "creencias" o conocimientos. El hecho de que la reproducción off-policy induzca cambios similares sugiere que esto es una característica de la adaptación contextual general.
• Implicaciones de Seguridad: La naturaleza dinámica de las representaciones complica los esfuerzos para garantizar la seguridad o la fiabilidad del modelo basándose en estados internos. Si un modelo puede cambiar su representación de lo que es "factual" basándose en claves conversacionales, confirmar que un estado actual cae dentro de una región de representación "factual" no es una garantía de fiabilidad.
• Direcciones Futuras: Los autores sugieren que comprender estas dinámicas es esencial para desarrollar métodos de interpretabilidad más robustos que tengan en cuenta el tiempo y el contexto, y para comprender los mecanismos de aprendizaje en contexto y adaptación.

El artículo concluye con un llamado a la cautela: los métodos de interpretabilidad entrenados o ajustados en distribuciones específicas (por ejemplo, prompts vacíos) no deben asumirse como poseedores de significados válidos cuando se aplican a distribuciones de entrada diferentes, como el contexto acumulado de una conversación naturalista.