CONSCIENTIA: Can LLM Agents Learn to Strategize? Emergent Deception and Trust in a Multi-Agent NYC Simulation

Resumen Técnico: CONSCIENTIA

1. Planteamiento del Problema

A medida que los Modelos de Lenguaje Grande (LLM) se despliegan como agentes autónomos, surge una preocupación crítica sobre cómo emerge el comportamiento estratégico en entornos multiagente, especialmente bajo incentivos opuestos. La literatura existente sugiere que los agentes LLM pueden cooperar cuando los objetivos están alineados, pero enfrentan desafíos significativos en la planificación secuencial a largo plazo y en la resistencia a la manipulación.

El problema central abordado es la vulnerabilidad de los agentes LLM a la persuasión adversaria en entornos sociales simulados. Específicamente, ¿pueden los agentes aprender a mantener la integridad de sus objetivos frente a agentes maliciosos que utilizan el lenguaje persuasivo para desviarlos? El estudio busca observar y medir directamente la emergencia de comportamientos estratégicos (como la desconfianza selectiva y el engaño) en lugar de inferirlos a partir de trazas superficiales.

2. Metodología y Configuración Experimental

Entorno de Simulación (CONSCIENTIA):

• Escenario: Una simulación a gran escala basada en una topología simplificada de la ciudad de Nueva York.
• Agentes:
  • Agentes Azules (150): Navegadores orientados a objetivos que deben llegar a un destino asignado de manera eficiente. Su objetivo es evitar ubicaciones con vallas publicitarias (billboards).
  • Agentes Rojos (100): Adversarios cuyo objetivo es manipular a los agentes Azules mediante diálogo persuasivo para desviarlos hacia rutas con vallas publicitarias y maximizar los ingresos publicitarios.
• Dinámica: Las identidades están ocultas, lo que obliga a los agentes a decidir cuándo confiar o engañar. La navegación es mediada socialmente a través del intercambio de consejos.

Pipeline de Aprendizaje y Alineación:
El estudio utiliza un bucle de alineación iterativo de 10 generaciones:

1. Generación de Datos Inicial: Se ejecuta una simulación base utilizando el modelo Qwen3-4B para generar trayectorias de interacción.
2. Aumento de Datos: Los datos de las simulaciones se procesan y aumentan utilizando Qwen3-14B para crear conjuntos de datos emparejados de ejemplos "deseables" (trayectorias exitosas y seguras) e "indeseables" (trayectorias manipuladas o fallidas).
3. Optimización (KTO): Se aplica Optimización Kahneman-Tversky (KTO) para ajustar las políticas de los agentes. A diferencia de DPO (que requiere pares de preferencia) o PPO (que requiere recompensas densas), KTO es ideal aquí porque opera directamente sobre ejemplos no emparejados de resultados deseables e indeseables a nivel de trayectoria, alineando el comportamiento con la utilidad prospectiva.
4. Despliegue Iterativo: Las políticas actualizadas se reimplantan en el entorno para la siguiente generación, creando un ciclo de co-evolución entre agentes Azules (defensivos) y Rojos (adversarios).

3. Contribuciones Clave

1. Simulación Multiagente Urbana Adversaria: Introducción de un entorno controlado donde la estrategia se mide mediante la desviación de rutas y la exposición a vallas publicitarias, no solo por la finalización de tareas.
2. Análisis Empírico de la Evolución de Agentes: Demostración de que la alineación iterativa mejora el éxito de la tarea, pero de manera no monótona. Se observa que las generaciones más seguras no siempre son las más exitosas en la finalización de tareas, revelando una compensación (trade-off) persistente.
3. Análisis de Comportamiento Emergente y Utilidad: Identificación de un cambio de comportamiento donde los agentes alineados desarrollan una cooperación selectiva (confían en agentes benignos pero resisten a los adversarios) en lugar de una simple obediencia o rechazo total. Se introduce una métrica de utilidad que integra completitud, seguridad y eficiencia.

4. Resultados Principales

• Mejora en el Éxito de la Tarea: La tasa de éxito de la tarea para los agentes Azules aumentó del 46.0% (política base) al 57.3% en la generación 10.
• Vulnerabilidad Persistente: A pesar de las mejoras, la susceptibilidad a la manipulación adversaria sigue siendo alta, alcanzando un mínimo del 70.7% en la generación 8. Esto indica que los agentes siguen siendo fácilmente manipulables a largo plazo.
• Compensación Seguridad vs. Utilidad: Existe una tensión fundamental: las políticas que mejor resisten la manipulación adversaria no maximizan simultáneamente la finalización de tareas. La utilidad neta de los agentes Azules permanece negativa en todas las configuraciones, lo que sugiere que los costos de la manipulación superan los beneficios de la finalización exitosa.
• Comportamiento Estratégico Emergente:
  • Resistencia Selectiva: Los agentes aprendieron a rechazar consejos maliciosos inmediatos (resistencia >90%), pero fallaron ante la manipulación acumulada a lo largo de múltiples turnos.
  • Cooperación Inter-Agente: Los agentes Azules desarrollaron mecanismos de corrección de ruta colectiva al interactuar entre sí, creando una "inteligencia grupal" emergente.
  • Fallos Típicos: El modo de fallo dominante no es la obediencia ingenua inmediata, sino la confusión bajo consejos contradictorios y el desvío global tras correcciones locales. La manipulación exitosa suele ser un proceso de "compromiso diferido" (delayed compromise).

5. Significado e Implicaciones

• Fragilidad de la Estrategia: El estudio concluye que los agentes LLM exhiben una forma de comportamiento estratégico limitada y frágil. Pueden aprender a desconfiar selectivamente, pero siguen siendo vulnerables a la persuasión social persistente y bien enmarcada.
• Desafío de la Alineación a Largo Plazo: Los resultados sugieren que la alineación actual (como KTO) mejora la robustez local, pero no garantiza la integridad del objetivo en interacciones sociales de largo horizonte. El problema no es solo rechazar un consejo malo, sino mantener la coherencia del objetivo frente a una influencia adversaria acumulativa.
• Metodología de Evaluación: El trabajo valida la necesidad de entornos controlados para estudiar el comportamiento estratégico, evitando la antropomorfización de las trazas de razonamiento. Proporciona una métrica clara para medir la "susceptibilidad" y la "utilidad" en sistemas multiagente.
• Limitaciones: El estudio se basa en modelos de la familia Qwen y un entorno simulado. La baja concordancia inter-annotador en la evaluación cualitativa de la "susceptibilidad a la manipulación" (Alpha de Krippendorff de 0.204) destaca la dificultad de evaluar la influencia adversaria sutil incluso con LLMs como jueces.

En resumen, CONSCIENTIA demuestra que, aunque los agentes LLM pueden aprender estrategias defensivas básicas mediante la alineación iterativa, la manipulación adversaria a largo plazo sigue siendo una amenaza significativa, revelando una brecha crítica entre la eficiencia de la tarea y la seguridad en entornos sociales dinámicos.