Agents with Feelings? Personality and Emotion in Multi-Agent Software Teams

Resumen Técnico: ¿Agentes con sentimientos? Personalidad y emoción en equipos de software multi-agente

Planteamiento del problema
Si bien los sistemas de modelos de lenguaje de gran tamaño (LLM) multi-agente para la ingeniería de software (SE) diferencian cada vez más a los agentes mediante la asignación de roles y flujos de trabajo (por ejemplo, planificador, implementador, revisor), existe una comprensión limitada de cómo los perfiles conductuales —específicamente la personalidad y la emoción— afectan el rendimiento de los equipos y la dinámica de colaboración. Se sabe que los equipos de software humanos están influenciados por rasgos de personalidad, estados emocionales y estilos de trabajo; sin embargo, no está claro si inducir perfiles similares en agentes LLM altera su efectividad en tareas colaborativas de SE. Investigaciones previas han explorado el uso de personas basadas en prompts en entornos de un solo agente o contextos ajenos a la SE, pero el impacto de las configuraciones sistemáticas de personalidad y emoción en equipos de SE colaborativos permanece mayormente inexplorado.

Metodología
Los autores llevaron a cabo un estudio empírico sistemático que involucró 78 configuraciones de perfiles de agentes en cuatro LLM (Qwen2.5-1.5B, Llama-3.1-8B, Mistral-Small-24B y Qwen2.5-32B) y dos tareas de SE: generación de código y revisión de código.

1. Marco basado en la psicología: El estudio construye "personas" integrando:

   • Personalidad: Tres rasgos de las "Cinco Grandes" (Responsabilidad, Apertura, Extraversión) establecidos en niveles Alto, Bajo o Neutral.
   • Emoción: Seis estados (Ira, Miedo, Asco, Tristeza, Felicidad, Neutral) basados en la teoría de las emociones básicas y la investigación en SE.
   • Estilos de trabajo: Siete tendencias relevantes para la SE derivadas de la taxonomía O*NET (por ejemplo, Innovación frente a Preferencia por Métodos Probados, Cautela frente a Decisión de Acción Inmediata).
   • Roles de tarea: Roles específicos para la generación de código (Planificador, Implementador, Revisor/Revisar) y la revisión de código (Escritor 1, Escritor 2, Supervisor).
   • Nota: El marco genera descripciones de persona coherentes en lenguaje natural (120–180 palabras) que combinan estos elementos, las cuales se asignan posteriormente a los agentes.

2. Diseño experimental:

   • Equipos de perfil compartido: Todos los agentes en un equipo reciben el mismo perfil de personalidad/emoción (54 configuraciones).
   • Equipos de perfiles mixtos: Los agentes reciben perfiles diferentes. El estudio seleccionó las tres mejores configuraciones de perfil compartido para cada par modelo-tarea y las recombinó a través de los roles para crear 24 configuraciones de perfiles mixtos.
   • Tareas:
     • Generación de código: Un flujo de trabajo de tres agentes (Planificar → Implementar → Revisar/Revisar) evaluado en 282 problemas de LiveCodeBench utilizando pass@1 como métrica.
     • Revisión de código: Un flujo de trabajo de tres agentes (Dos Escritores → Supervisor) evaluado en 377 instancias del conjunto de datos Hydra-Reviewer mediante BLEU-4 suavizado contra comentarios escritos por humanos.
   • Métricas: Rendimiento de la tarea (pass@1, BLEU), señales conductuales (tasas de revisión, tasas de sobre-revisión, uso de tokens) y polaridad del sentimiento (usando SentiCR).

Resultos clave

1. Impacto en el rendimiento (RQ1): La elección del perfil afecta significativamente el rendimiento. En la generación de código, la brecha entre las mejores y peores configuraciones de perfil compartido osciló entre 7.1 y 11.3 puntos porcentuales en pass@1 entre los modelos. En la revisión de código, las brechas oscilaron entre 0.5 y 1.1 puntos BLEU. Sin embargo, el perfil óptimo no es universal; varía significativamente según el modelo y la tarea (por ejemplo, "Miedo-Baja Responsabilidad-Baja Apertura-Alta Extraversión" fue el mejor para Qwen 1.5B, mientras que "Tristeza-Alta Responsabilidad-Alta Apertura-Alta Extraversión" fue el mejor para Qwen 32B).
2. Perfiles mixtos vs. compartidos (RQ2): Los equipos de perfiles mixtos (donde los agentes tienen perfiles distintos) superaron a la mejor configuración de perfil compartido en seis de los ocho entornos de modelo-tarea. Esto sugiere que la especialización de los perfiles conductuales por rol genera ganancias adicionales sobre las configuraciones de equipos homogéneos.
3. Influencia conductual (RQ3): Los perfiles alteran significamente la dinámica de colaboración:
   • Actividad de revisión: Los perfiles de "Miedo" y "Alta Responsabilidad" aumentaron consistentemente las tasas de revisión y el uso de tokens. Por ejemplo, el miedo aumentó las probabilidades de revisión en 3.95× en comparación con la felicidad.
   • Sobre-revisión: Los perfiles de alta responsabilidad y miedo provocaron mayores tasas de "sobre-revisión" (solicitar cambios incluso cuando la solución ya era correcta), sin ganancias consistentes en el rendimiento.
   • Costo: Estos perfiles aumentaron los costos computacionales (uso de tokens) debido a interacciones más frecuentes y respuestas más largas, aunque no mejoraron de manera confiable la calidad del resultado final.
   • Sentimiento: El sentimiento negativo no explicó de manera robusta las diferencias de rendimiento entre las mejores y peores configuraciones.

Contribuciones clave

• Marco de trabajo: Propone un marco basado en la psicología para construir personas de agentes de LLM en SE, integrando rasgos de personalidad, emociones, estilos de trabajo de O*NET y roles de tarea.
• Evidencia empírica: Proporciona un estudio a gran escala (78 configuraciones, 659 instancias de tareas) que demuestra que los perfiles de personalidad y emoción son una dimensión de diseño crítica que afecta tanto los resultados de las tareas como la eficiencia de la colaboración.
• Perspectiva de diseño: Establece que las estrategias de perfiles mixtos pueden superar a las estrategias de perfiles compartidos y que "más escrutinio" (impulsado por el miedo o la alta responsabilidad) no equivale necesariamente a un mejor rendimiento, resaltando un compromiso entre costo y rendimiento.

Significancia y afirmaciones
El artículo afirma que los perfiles de los agentes no son meramente texto decorativo de un prompt, sino que actúan como controles conductuales efectivos que dan forma a los flujos de trabajo multi-agente. Los hallazgos sugieren que:

• La efectividad del perfil es específica del modelo y de la tarea, no es universalmente transferible.
• Los diseñadores de sistemas de SE multi-agente deben tratar la asignación de perfiles como un factor experimental que debe optimizarse para contextos específicos de modelo-tarea, en lugar de adoptar un enfoque de "talla única".
• Existe una necesidad de mecanismos para distinguir las revisiones productivas de las innecesarias, ya que ciertos perfiles (miedo, alta responsabilidad) aumentan el esfuerzo de colaboración y el costo sin garantizar beneficios de rendimiento.
• Los sistemas futuros deberían explorar la búsqueda automatizada de perfiles y mecanismos de asignación adaptativa que equilibren el rendimiento y el costo computacional.

Los autores mantienen una postura modesta, señalando que estos resultados no implican que los LLM posean emociones o personalidades reales, sino que estos perfiles sirven como controles a nivel de prompt que influyen en el comportamiento dentro del flujo de trabajo definido.