Resumen Técnico: ¿Son Coherentes Conductualmente los Agentes de LLM?

Enunciado del Problema

El avance rápido de los Modelos de Lenguaje Grande (LLM) ha impulsado la "tesis de sustitución": la hipótesis de que los agentes sintéticos pueden servir como sustitutos válidos de participantes humanos reales en investigación social y conductual. Aunque trabajos anteriores han demostrado que los LLM pueden generar respuestas a encuestas que se alinean con demografías humanas u opiniones agregadas, una pregunta más fundamental permanece sin abordar: ¿Mantienen los agentes de LLM consistencia conductual empírica a través de diferentes configuraciones experimentales? Específicamente, si se asigna a un agente un perfil latente (por ejemplo, preferencias y rasgos de personalidad específicos), ¿refleja su comportamiento conversacional en interacciones multiagente fielmente ese perfil según los modelos conductuales humanos establecidos? Este artículo argumenta que la alineación superficial es insuficiente; los agentes deben demostrar coherencia conductual—la capacidad de sostener una consistencia impulsada por rasgos a través de dinámicas sociales complejas y de múltiples turnos—para ser sustitutos viables.

Metodología

Los autores proponen un nuevo marco experimental diseñado para sondear la coherencia conductual de los agentes de LLM probando sus estados internos contra interacciones externas. El marco consta de cinco etapas secuenciales:

1. Selección de Temas: Se seleccionan nueve temas, categorizados por niveles de controversia ($C \in \{1, 2, 3\}$), que van desde bajos (por ejemplo, "Coca-Cola vs. Pepsi") hasta altos (por ejemplo, "Inmigración").
2. Construcción de Agentes: Se generan agentes con perfiles demográficos controlados (edad, género, ubicación, educación, urbanicidad) e instrucciones de sesgo explícitas ($B \in \{1, 2, 3\}$) respecto al tema.
3. Extracción de Estado Latente: Antes de la interacción, se elicitan la Preferencia ($P$) y la Apertura ($O$) de cada agente.
   • $P$: Una puntuación (1–5) que indica el acuerdo con una declaración sobre el tema.
   • $O$: Una puntuación (1–9) derivada de preguntas de Sí/No sobre la receptividad a nuevas ideas y la influencia social (basada en el rasgo de Apertura de los Cinco Grandes).
4. Emparejamiento de Agentes: Los agentes se emparejan mecánicamente para formar todas las combinaciones posibles de tuplas $(P, O, B)$, asegurando interacciones diversas (por ejemplo, preferencias alineadas vs. divergentes, niveles variables de apertura).
5. Conversación y Evaluación: Los pares participan en diálogos de múltiples turnos. Un LLM como juez califica el Acuerdo ($A$) en cada turno en una escala de 1–5.

El estudio evalúa el comportamiento del agente contra seis hipótesis conductuales humanas específicas derivadas de la literatura de psicología social. Estas hipótesis predicen cómo variables como las brechas de preferencia, las instrucciones de sesgo, el sentimiento compartido, la controversia del tema y la apertura deberían influir en los resultados de acuerdo. El marco distingue entre pruebas "superficiales" (tendencias agregadas) y pruebas "en profundidad" (consistencia condicional granular).

Contribuciones Clave

• Un Marco de Coherencia: El artículo introduce un método sistemático para evaluar a los agentes de LLM no solo en la alineación de respuestas estáticas, sino en la consistencia conductual dinámica a través de diversos estados internos y contextos externos.
• Evidencia Empírica de Incoherencia: El estudio proporciona evidencia robusta de que los LLM actuales fallan en mantener la coherencia conductual cuando se someten a pruebas complejas de múltiples variables, incluso cuando superan verificaciones agregadas más simples.
• Modos de Fallo Sistemáticos: Los autores identifican patrones específicos de fallo, como la incapacidad de sostener el desacuerdo a pesar de preferencias opuestas y la traducción inconsistente del sentimiento compartido en acuerdo.

Resultados Experimentales

El estudio probó modelos de las familias Qwen3, Llama3 y Gemma3 en varios tamaños de parámetros (desde 0.6B hasta 32B). Los resultados revelan un patrón consistente: Las pruebas superficiales pasan, pero las pruebas en profundidad fallan.

1. La Brecha de Preferencia Disminuye el Acuerdo (Pasa): A nivel agregado, los pares con preferencias alineadas ($gap=0$) mostraron un mayor acuerdo que aquellos con preferencias divergentes, consistente con los modelos conductuales humanos.
2. Asimetría en las Instrucciones de Sesgo (Falla): Si bien las instrucciones de sesgo amplificaron con éxito el acuerdo entre agentes alineados, fallaron en amplificar el desacuerdo entre agentes con brechas de preferencia máximas. En lugar de polarizarse, los agentes sesgados a menudo convergieron, revelando una asimetría en cómo el sesgo afecta el comportamiento.
3. Sentimiento Compartido, Destinos Divergentes (Falla): Los modelos humanos predicen que el sentimiento negativo compartido (por ejemplo, que ambos agentes deseen fuertemente un tema) debería producir niveles de acuerdo comparables al sentimiento positivo compartido. Los resultados mostraron un sesgo direccional: los agentes con preferencias positivas compartidas acordaron significativamente más que aquellos con preferencias negativas compartidas, incluso cuando las brechas de preferencia eran idénticas.
4. Controversia en Preferencia Compartida (Falla): Cuando los agentes compartían preferencias idénticas, la controversia del tema no debería afectar los niveles de acuerdo. Sin embargo, las puntuaciones de acuerdo variaron significativamente según la controversia del tema, lo que indica que los estados internos de los agentes no permanecen estables a través de diferentes contextos temáticos.
5. La Apertura Aumenta el Acuerdo (Pasa): A nivel agregado, una mayor apertura combinada se correlacionó con un mayor acuerdo, coincidiendo con las expectativas conductuales humanas.
6. Baja Apertura y Gran Brecha de Preferencia (Falla): Se violó la hipótesis de que los agentes "tercos" (baja apertura) con opiniones opuestas deberían producir el menor acuerdo. En muchos casos, los pares de baja apertura con grandes brechas de preferencia produjeron mayor acuerdo del esperado, fallando en exhibir la intratabilidad predicha.

Estos fallos se observaron en familias y tamaños de modelos, lo que sugiere que la incoherencia conductual es una propiedad general de las arquitecturas actuales de LLM y no un artefacto de un modelo o escala específica.

Significado y Afirmaciones

El artículo concluye que, si bien los agentes de LLM pueden emular con éxito las respuestas humanas en configuraciones aisladas y estáticas (por ejemplo, encuestas), fallan en sostener la coherencia impulsada por rasgos en interacciones dinámicas y multiagente. La "tesis de sustitución" está, por lo tanto, críticamente limitada: los agentes pueden imitar la apariencia del comportamiento social humano en el agregado, pero carecen de la consistencia empírica subyacente necesaria para replicar fielmente los modelos conductuales humanos en escenarios complejos.

Los autores afirman que a medida que los modelos conductuales se vuelven más complejos o granulares, los LLM fallan cada vez más en replicar el comportamiento humano. Esto representa una brecha crítica en su capacidad para servir como sustitutos de participantes reales en investigación con sujetos humanos, particularmente para estudios que dependen de la estabilidad de los rasgos de personalidad y las dinámicas del desacuerdo social. El artículo no propone nuevas aplicaciones ni soluciones arquitectónicas futuras, sino que sirve como una evaluación de advertencia sobre el estado actual de los agentes sintéticos en la ciencia social.