Resumen Técnico: Las tendencias persuasivas y de cumplimiento predicen la toma de decisiones grupal en humanos y modelos de lenguaje

Planteamiento del problema

Los Modelos de Lenguaje de Gran Escala (LLM) se están desplegando cada vez más en escenarios de toma de decisiones grupales junto con otros LLM y humanos. Sin embargo, los mecanismos que impulsan su influencia siguen siendo poco claros. Específicamente, se desconoce si el impacto de un LLM es impulsado primordialmente por una expresión orientada a la persuasión (argumentación activa y asertividad) o por una acomodación orientada al cumplimiento (escuchar y adaptarse a los demás). Mientras que la investigación en redes sociales ofrece dos perspectivas sobre la influencia —aquellos con canales de comunicación salientes amplios frente a aquellos que agregan información entrante—, no se ha establecido qué orientación conductual produce mejores resultados grupales en sistemas de LLM. Además, es necesario determinar si estas tendencias conductuales intrínsecas son mensurables y si correlacionan con el rendimiento en las tareas, particularmente en entornos con información asimétrica y objetivos ocultos.

Metodología

Los autores proponen un marco de dos etapas para aislar y evaluar estas tendencias:

1. DecisionQE: Midiendo tendencias intrínsecas

Para separar las tendencias conductuales individuales de los factores de confusión de la dinámica de grupo interactiva (como la asignación de roles), los autores desarrollaron DecisionQE, un marco basado en cuestionarios.

• Estructura: El marco evalúa los modelos en seis dominios relacionados con la decisión: comunicación pública, toma de decisiones cotidiana, marketing y persuasión, presentación y expresión, comunicación interpersonal, y negociación e interacción estratégica.
• Calificación: Utiliza 70 ítems derivados de la literatura psicológica. Las respuestas se califican en un continuo de 0 (cumplimiento) a 100 (persuasión).
• Estabilidad: Los modelos fueron evaluados en cinco ejecuciones repetidas para asegurar la estabilidad de sus perfiles de tendencia.

2. Juego de Werewolf: Banco de pruebas interactivo

Los autores utilizaron el juego de Werewolf (Lobo) como un banco de pruebas interactivo para validar cómo estas tendencias medidas afectan la influencia social y los resultados grupales bajo información asimétrica.

• Configuración: Los juegos involucraron a ocho jugadores (dos lobos, cuatro aldeanos, una bruja, un adivino). Los lobos conocían a sus compañeros y buscaban eliminar a los aldeanos; los aldeanos buscaban identificar y eliminar a los lobos.
• Variables: El estudio manipuló la asignación de roles para crear configuraciones específicas:
  • Asignación Aleatoria: Para evaluar la correlación general de rendimiento.
  • Asignación Controlada: Seis configuraciones (Inversa, Alta, Baja) asignaron roles informativos (Lobo, Adivino, Bruja) a los modelos en diferentes posiciones en el continuo persuasivo-cumplimiento para probar efectos dependientes del rol.
• Integración Humano-LLM: Para verificar la consistencia conductual, los autores realizaron experimentos donde un participante humano reemplazaba a un LLM en un rol de "bueno" (aldeano/adivino/bruja) o de "lobo", interactuando con siete LLM.

Contribuciones clave

1. Cuantificación de tendencias conductuales: El artículo introduce un método estandarizado (DecisionQE) para medir y categorizar los LLM a lo largo de un espectro persuasivo-cumplimiento, demostrando que diferentes modelos ocupan posiciones distintas y estables en este continuo.
2. Desacoplamiento de la tendencia y el rendimiento: El estudio establece que una mayor puntuación de persuasión no se traduce automáticamente en mejores resultados grupales. Por el contrario, los modelos orientados al cumplimiento suelen demostrar un rendimiento superior en tareas cooperativas.
3. Efecto dual del cumplimiento: La investigación revela una naturaleza de "doble cara" del cumplimiento: apoya la cooperación cuando los modelos están en roles honestos (aldeanos), pero mejora el ocultamiento y el éxito cuando están en roles adversarios (lobos).
4. Consistencia Humano-LLM: Los hallazgos muestran que los patrones dependientes del rol observados en grupos de solo LLM persisten en interacciones mixtas humano-LLM, lo que sugiere que estas tendencias son un eje conductual compartido para analizar la toma de decisiones mediada tanto por inteligencia artificial como por humanos.

Resultados

Perfiles de tendencia

• Variación: Los modelos evaluados mostraron una variación sustancial en sus puntuaciones de tendencia. Por ejemplo, Kimi K2 y Gemini 3.5 puntuaron más alto (más persuasivos), mientras que Doubao 1.5 y GLM 4 puntuaron más bajo (más complacientes).
• Estabilidad: Las desviaciones estándar dentro de cada modelo fueron bajas (0.6–2.1 puntos), indicando perfiles conductuales estables a través de evaluaciones repetidas.

Rendimiento del juego (Asignación Aleatoria)

• Tasas de victoria: Los modelos con tendencias persuasivas más fuertes lograron tasas de victoria generales menores (40.28%–51.39%). Por el contrario, los modelos moderadamente complacientes y complacientes lograron tasas de victoria mayores (54.17%–56.94%).
• Supervivencia e identificación: Los modelos complacientes sobrevivieron más rondas (3.10–3.24 rondas vs. 2.94–3.15) y lograron una mayor precisión en la identificación de roles (43.75%–52.78% vs. 35.42%–41.67%).

Resultados dependientes del rol

• Éxito del equipo bueno: Las configuraciones donde se asignaron modelos persuasivos a roles de lobo (forzándolos a ser agresivos) y modelos complacientes a roles buenos (H1, R1) resultaron en las tasas de victoria más altas para el equipo bueno (90.00%).
• Éxito del equipo lobo: Las configuraciones donde se asignaron modelos complacientes a roles de lobo (R2, L1) resultaron en las tasas de victoria más altas para el equipo de lobos (45.00%).
• Interpretación: El comportamiento persuasivo aumenta la visibilidad e iniciativa, lo que ayuda a movilizar a un grupo pero atrae el escrutinio en juegos de roles ocultos. El comportamiento complaciente permite a los modelos mezclarse, facilitando la coordinación en roles honestos pero mejorando el ocultamiento en roles adversarios.

Experimentos Humano-LLM

• Alineación conductual: Los participantes humanos generalmente puntuaron más cerca del extremo complaciente del espectro que los LLM evaluados, aunque con mayor varianza.
• Consistencia de resultados: Cuando los humanos jugaron roles buenos, la tasa de victoria del equipo (70%) y los días de supervivencia se acercaron estrechamente a la condición H1 (solo LLM). Cuando los humanos jugaron roles de lobo, la tasa de victoria del equipo lobo (80%) se alineó con la condición R2, confirmando que los patrones dependientes del rol se mantienen en grupos mixtos.

Significancia y Reclamaciones

El artículo afirma que las interacciones grupales de los LLM sirven como un entorno de observación controlable para la investigación sociológica, revelando patrones mensurables de tendencias conductuales intrínsecas que van más allá del simple razonamiento de tareas.

• Implicaciones de seguridad: Los autores argumentan que las evaluaciones de seguridad deben incorporar las tendencias conductuales intrínsecas. Mientras que los resultados agresivos o manipuladores son fácilmente detectables, los modelos orientados al cumplimiento pueden representar un riesgo único en entornos adversarios. Su estilo de baja saliencia y cooperativo puede enmascarar objetivos inseguros, lo que los hace más difíciles de detectar durante el filtrado.
• Cambio de evaluación: Los hallazgos sugieren que los sistemas de LLM confiables requieren evaluaciones de seguridad "conscientes de la tendencia". Los modelos deben ser evaluados no solo por la seguridad de sus salidas aisladas, sino también por cómo sus tendencias intrínsecas (persuasivas vs. complacientes) afectan la visibilidad y detectabilidad de los riesgos en entornos interactivos de múltiples turnos.
• Lente sociológica: El estudio postula que los LLM pueden servir como un lente para observar la interacción mediada por el lenguaje, demostrando que los "oyentes influyentes" (agentes complacientes) pueden moldear los resultados grupales de manera tan efectiva como, o más que, los persuasores activos, dependiendo del contexto y los objetivos.