Representation Without Control: Testing the Realization Effect in Language Models

Resumen Técnico: Representación sin Control

Enunciado del Problema
El artículo aborda una brecha crítica en la evaluación de los Modelos de Lenguaje Grande (LLM) utilizados como simuladores de comportamiento. Aunque los LLM se emplean cada vez más para modelar la cognición humana, sigue sin estar claro si sus salidas sensibles a las condiciones reflejan una implementación interna genuina de mecanismos cognitivos humanos o simplemente patrones superficiales sensibles al prompt. Los autores investigan esto probando el "efecto de realización", un fenómeno bien caracterizado en la economía conductual donde el comportamiento de asunción de riesgos cambia sistemáticamente según si las ganancias o pérdidas anteriores son "de papel" (cuenta mental abierta) o "realizadas" (cuenta mental cerrada). La pregunta central es si los LLM no solo exhiben sensibilidad conductual a este encuadre, sino que también codifican el constructo subyacente como una representación causal que impulsa decisiones posteriores.

Metodología
El estudio emplea un diseño experimental de tres etapas utilizando el modelo Gemma 3 4B para probar tres afirmaciones vinculadas: sensibilidad conductual, decodificabilidad lineal y control causal.

1. Tarea Conductual solo con Prompt: Los autores construyeron 11 condiciones de viñetas que abarcan resultados de papel y realizados (finanzas, casino, etc.) para probar si las respuestas del LLM (montos de apuesta y preferencias de riesgo) replican las predicciones direccionales de los efectos de realización humana.
2. Lectura de Activación: El equipo analizó las activaciones del flujo residual de Gemma para determinar si el "estado de realización" es linealmente decodificable. Construyeron un vector de dirección de diferencia de medias ($v_{realization} = \mu_{realized\_closed} - \mu_{paper\_open}$) utilizando un conjunto de entrenamiento de 756 pares coincidentes en la capa 18. Esta dirección se probó para su generalización en conjuntos de validación retenidos y en un nuevo conjunto de prompts generado por DeepSeek.
3. Intervención de Dirección Causal: Para probar si la representación decodificada gobierna causalmente el comportamiento, los autores implementaron la dirección del flujo residual. Sumaron la dirección de realización escalada y normalizada a las activaciones del modelo en la capa 18 durante la generación. Probaron diversas escalas de dirección (desde -50 hasta +150) para ver si desplazar la activación hacia los estados "realizado" o "de papel" alteraba de manera fiable las elecciones de apuesta y riesgo del modelo. También se ejecutó una tarea de clasificación de control positivo para verificar cambios semánticos en juicios directos.

Resultados Clave
Los resultados revelan una disociación significativa entre representación y control:

• Sensibilidad Conductual (Parcial): Los LLM son sensibles a las condiciones, produciendo respuestas diferentes según el encuadre. Sin embargo, el patrón direccional no coincide robustamente con las predicciones del efecto de realización humana. Por ejemplo, las pérdidas realizadas aumentaron la asunción de riesgos en el modelo, contrariamente a la tendencia humana de disminuir el riesgo tras pérdidas realizadas.
• Lectura Lineal (Éxito): El estado de realización es linealmente decodificable del flujo residual de Gemma en la capa 18. Una dirección entrenada en un conjunto de prompts separa con éxito los prompts "de papel" de los "realizados" en conjuntos retenidos, incluidos aquellos de una fuente diferente (DeepSeek).
• Control Causal (Fallo): La dirección a lo largo de la dirección de realización decodificada no desplaza de manera fiable el comportamiento de riesgo posterior.
  • Apuesta y Riesgo: A través de escalas de dirección positivas y negativas, los deltas medios de apuesta y riesgo fueron pequeños, y los deltas medianos fueron consistentemente cero.
  • Simetría: No se observó la inversión simétrica de signo esperada (la dirección hacia "papel" debería disminuir el riesgo, la dirección hacia "realizado" debería aumentarlo, o viceversa).
  • Correlación: Aunque la fuerza de proyección bruta se correlacionó débilmente con los montos de apuesta a nivel de prompt, esta asociación desapareció tras controlar la estructura del prompt. Dentro de los pares coincidentes, los deltas de proyección no predijeron los deltas conductuales.
• Control Positivo: Una tarea de clasificación mostró un desplazamiento direccional débil en el juicio semántico (aumentando las predicciones "realizadas" en escalas positivas altas), pero la precisión permaneció cerca del azar, y el desplazamiento fue asimétrico.

Contribuciones Clave
La contribución principal del artículo es la demostración empírica de que la sensibilidad conductual, la lectura latente y el control causal son tres propiedades distintas que no ocurren automáticamente juntas.

• Establece que una lectura lineal exitosa de una variable es evidencia insuficiente de que un modelo se basa en esa representación durante la toma de decisiones posterior.
• Proporciona un estudio de caso concreto donde un modelo supera las dos primeras pruebas de interpretabilidad mecánica (sensibilidad y decodificabilidad) pero falla en la tercera (control causal).
• Cuestiona la suposición de que el comportamiento sensible a las condiciones en los LLM implica la implementación de mecanismos cognitivos similares a los humanos.

Significado y Afirmaciones
Los autores argumentan que sus hallazgos requieren un cambio en cómo se realiza e interpreta la investigación del comportamiento de los LLM.

• Para la Evaluación Conductual: La sensibilidad a las condiciones por sí sola es una evidencia débil de cognición similar a la humana. Los modelos pueden rastrear características superficiales de los prompts (encuadre) sin codificar los constructos mentales subyacentes (por ejemplo, la contabilidad mental).
• Para la Interpretabilidad Mecánica: El estudio advierte contra el tratamiento de la decodificabilidad lineal como un proxy para la explicación causal. Una representación puede ser legible en las activaciones y, sin embargo, ser epifenoménica respecto a la política que gobierna las salidas. Los autores postulan que "la validación causal, no solo la decodificación correlacional, es necesaria para establecer que una representación está realizando un trabajo real".
• Conclusión: El artículo concluye que establecer que un modelo implementa genuinamente un constructo de toma de decisiones humana requiere demostrar que la representación relevante es causalmente anterior al comportamiento de interés. Este es un umbral más alto que el que aplica actualmente el campo, y los autores sugieren que el control causal debe tratarse como una condición necesaria para tales afirmaciones mecánicas.

Los autores permanecen modestos sobre el alcance, señalando que el resultado nulo es específico de la configuración Gemma 3 4B (capa 18, dirección de token final) y que la disociación podría variar entre modelos, capas o tipos de tareas. Sin embargo, el hallazgo motiva un estándar más estricto para afirmar que los LLM implementan mecanismos cognitivos específicos.