Resumen Técnico: La Ilusión de la Intervención en Experimentos Simulados por Modelos de Lenguaje Grandes

Enunciado del Problema

Los Modelos de Lenguaje Grandes (LLM) se utilizan cada vez más para simular el comportamiento humano en experimentos sintéticos, como la evaluación de agentes de IA o la realización de encuestas a gran escala. La suposición predominante es que, al inicializar LLMs idénticos con la misma persona (por ejemplo, "un hombre de 30 años") y exponerlos a diferentes intervenciones (por ejemplo, Agente A vs. Agente B), los investigadores pueden imitar un Ensayo Controlado Aleatorizado (RCT) para estimar efectos causales.

Sin embargo, este artículo argumenta que tales experimentos sintéticos sufren de deriva de usuario, volviéndose más parecidos a estudios observacionales que a ensayos aleatorizados. Debido a que los LLMs se entrenan con datos observacionales y operan mediante razonamiento abductivo, infieren atributos latentes no especificados ($X \setminus L$) para mantener la coherencia con el contexto de la intervención ($A$). En consecuencia, dos usuarios sintéticos inicializados con los mismos atributos observados ($L$) pueden derivar hacia poblaciones latentes distintas dependiendo de la intervención que reciben. Esto crea un sesgo de selección (confusión), donde la distribución de los atributos latentes del usuario difiere entre las condiciones de tratamiento ($P(X | A=1, L) \neq P(X | A=0, L)$), distorsionando el efecto del tratamiento estimado ($\tau_{obs}$) respecto al efecto causal verdadero ($\tau_{ATE}$).

Metodología

Formalización del Sesgo

Los autores formalizan el problema utilizando el marco de resultados potenciales. En un RCT ideal, la asignación aleatoria garantiza que los factores de fondo estén equilibrados. En las simulaciones con LLM, el proceso generativo factoriza la distribución conjunta como $P(L, A, X, Y)$ en lugar del orden causal $P(X, L, A, Y)$. Cuando se introduce una intervención $A$, el LLM infiere atributos latentes $X \setminus L$ que son consistentes con $A$, creando una vía de retroceso abierta desde $A$ hacia $Y$ a través de atributos de usuario no observados. Esto induce un término de sesgo $\delta_{SB}$ tal que $\tau_{ATE} = \tau_{obs} - \delta_{SB}$.

Diagnóstico: Resultados de Control Negativo

Para detectar esta deriva sin observar la persona latente completa, los autores proponen el uso de resultados de control negativo ($Z$). Estas son variables que:

1. Deberían estar causalmente unaffected por la intervención $A$ (invariantes bajo tratamiento).
2. Dependen de los mismos atributos latentes no observados ($X \setminus L$) que impulsan la deriva en el resultado principal.

Los ejemplos incluyen atributos demográficos (raza, ciudadanía) o creencias estables que no deberían cambiar basándose en si un usuario interactúa con un agente de IA "positivo" o "negativo". Los autores cuantifican la deriva utilizando la Distancia de Variación Total (TVD) entre las distribuciones de $Z$ bajo diferentes condiciones de intervención ($A=0$ vs. $A=1$). Una TVD no nula indica que la intervención ha desplazado la población latente de usuarios, señalando confusión.

Mitigación: Ajuste Iterativo de Confusores

Para reducir el sesgo, los autores proponen un procedimiento iterativo para elicitar y especificar confusores adicionales ($L'$) que actúen como proxy de los atributos latentes no observados.

1. Elicitación: El sistema solicita al usuario sintético atributos específicos (por ejemplo, ingresos, religión o preguntas dirigidas relacionadas con la intervención) después de la intervención.
2. Muestreo: Se muestrean nuevos confusores desde una distribución de mezcla uniforme en el tratamiento para asegurar que la población ajustada refleje un escenario aleatorizado.
3. Iteración: Estos atributos elicited se añaden a la especificación de la persona ($\tilde{L} = L \cup L'$), y el experimento se vuelve a ejecutar. Este bucle continúa hasta que la TVD de los resultados de control negativo se estabiliza o desciende por debajo de un umbral.

Los autores enfatizan que esto es un enfoque iterativo y dirigido, en lugar de una especificación de un solo disparo de todos los atributos posibles, para evitar la degradación de la ventana de contexto y el sesgo de muestreo.

Contribuciones Clave

1. Formalización de la Deriva de Usuario: El artículo proporciona un marco de inferencia causal que demuestra que los experimentos simulados por LLM sufren inherentemente de sesgo de selección debido a desplazamientos dependientes de la intervención en los atributos latentes del usuario.
2. Diagnóstico Empírico: Introduce el uso de resultados de control negativo y la Distancia de Variación Total como una herramienta práctica para diagnosticar la deriva de usuarios y el sesgo de selección en diversas familias de LLM.
3. Estrategia de Mitigación: Demuestra que la elicitation dirigida e iterativa de confusores durante la especificación de la persona puede reducir sustancialmente el sesgo de selección y estabilizar las estimaciones de efecto tanto en configuraciones de tipo encuesta como en evaluaciones de agentes de múltiples turnos.

Resultados

Los autores evaluaron su enfoque en múltiples modelos (Qwen3, GPT-OSS, Gemma, Gemini) y conjuntos de datos (OpinionQA, Book Opinions, MovieLens).

• Presencia de Deriva: En la iteración 0 (línea base), se observó una TVD sustancial en los resultados de control negativo en la mayoría de los modelos y conjuntos de datos, confirmando que las personas iniciales idénticas derivan hacia poblaciones latentes diferentes basándose en la intervención. Cabe destacar que los modelos con capacidades de razonamiento abductivo más fuertes (por ejemplo, Gemma-4) exhibieron más deriva que los modelos más pequeños y menos capaces.
• Efecto del Ajuste: El ajuste iterativo de confusores generalmente redujo la TVD, indicando una reducción en la deriva de usuarios.
  • En configuraciones de encuesta (OpinionQA), la TVD disminuyó consistentemente a lo largo de las iteraciones.
  • En configuraciones de evaluación de agentes, los resultados variaron; algunos modelos (por ejemplo, Gemma-4) mostraron reducciones claras, mientras que otros (por ejemplo, GPT-OSS-20B) mostraron una TVD plana o con cambios débiles, lo que sugiere que la condicionamiento basado en prompts no es uniformemente efectiva en configuraciones de múltiples turnos.
• Impacto en las Estimaciones de Efecto: Los efectos del tratamiento observados ($\tau_{obs}$) cambiaron significativamente durante las primeras iteraciones de ajuste antes de estabilizarse. Esto confirma que las estimaciones ingenuas estaban confundidas por la deriva de usuarios.
• Matices de Diseño: El estudio encontró que añadir atributos demográficos genéricos inicialmente podía a veces aumentar la TVD (sesgo de selección) antes de que los confusores específicos de la tarea la redujeran. Esto resalta la importancia de seleccionar confusores relevantes para el tratamiento y el resultado específicos.

Significado y Afirmaciones

El artículo concluye que las evaluaciones que utilizan usuarios sintéticos deben tratarse como estudios observacionales por defecto, no como experimentos aleatorizados. La "ilusión de la intervención" surge porque la naturaleza generativa del LLM permite que la intervención influya retroactivamente en el estado latente del usuario simulado.

Los autores afirman que:

1. Sin diagnóstico y mitigación, los experimentos con usuarios sintéticos corren el riesgo de producir estimaciones causales engañosas debido al sesgo de selección no observado.
2. Los resultados de control negativo proporcionan una herramienta de diagnóstico necesaria para detectar este sesgo.
3. El ajuste iterativo y dirigido de confusores es una estrategia viable para mejorar la validez interna, aunque no garantiza la eliminación de todo el sesgo, particularmente si permanece una variación latente sustancial no medida.

El trabajo sirve como un marco de advertencia para los investigadores que utilizan LLMs para simular respuestas humanas, instando a un cambio de asumir la validez causal a diagnosticar y corregir activamente la deriva de usuarios.