Agents with Feelings? Personality and Emotion in Multi-Agent Software Teams

Sintesi Tecnica: Agenti con Sentimenti? Personalità ed Emozione nei Team di Software Multi-Agente

Problematica
Sebbene i sistemi multi-agente basati su Large Language Model (LLM) per l'Ingegneria del Software (SE) differenzino sempre più gli agenti attraverso ruoli e workflow assegnati (ad es. pianificatore, implementatore, revisore), esiste una comprensione limitata di come i profili comportamentali — specificamente la personalità e l'emozione — influenzino le prestazioni del team e le dinamiche di collaborazione. È noto che i team di software umani siano influenzati da tratti di personalità, stati emotivi e stili di lavoro, tuttavia rimane poco chiaro se indurre profili simili negli agenti LLM alteri la loro efficacia in compiti collaborativi di SE. La ricerca precedente ha esplorato il prompting basato su persona in contesti di singolo agente o in contesti non legati alla SE, ma l'impatto di configurazioni sistematiche di personalità ed emozione sui team di SE collaborativi rimane ampiamente inesplorato.

Metodologia
Gli autori hanno condotto uno studio empirico sistematico che coinvolge 78 configurazioni di profili di agenti su quattro LLM (Qwen2.5-1.5B, Llama-3.1-8B, Mistral-Small-24B e Qwen2.5-32B) e due compiti di SE: generazione di codice e revisione del codice.

1. Framework basato sulla Psicologia: Lo studio costruisce le "persone" integrando:

   • Personalità: Tre tratti delle "Big Five" (Coscienziosità, Apertura, Estroversione) impostati su livelli Alti, Bassi o Neutrali.
   • Emozione: Sei stati (Rabbia, Paura, Disgusto, Tristezza, Felicità, Neutro) basati sulla teoria delle emozioni di base e sulla ricerca nella SE.
   • Stili di Lavoro: Sette tendenze rilevanti per la SE derivate dalla tassonomia O*NET (ad es. Innovazione vs Preferenza per Metodi Provati, Prudenza vs Decisionismo orientato all'Azione).
   • Ruoli del Compito: Ruoli specifici per la generazione di codice (Pianificatore, Implementatore, Revisore/Revisionista) e per la revisione del codice (Scrittore 1, Scrittore 2, Supervisore).
   • Nota: Il framework genera descrizioni di persona in linguaggio naturale coerenti (120–180 parole) che combinano questi elementi, che vengono poi assegnate agli agenti.

2. Disegno Sperimentale:

   • Team con Profilo Condiviso: Tutti gli agenti in un team ricevono lo stesso profilo di personalità/emozione (54 configurazioni).
   • Team con Profili Misti: Agenti a cui vengono assegnati profili diversi. Lo studio ha selezionato le tre migliori configurazioni a profilo condiviso per ogni coppia modello-compito e le ha ricombinate tra i ruoli per creare 24 configurazioni a profilo misto.
   • Compiti:
     • Generazione di Codice: Un workflow a tre agenti (Pianifica → Implementa → Revisiona/Revisiona) valutato su 282 problemi da LiveCodeBench utilizzando pass@1 come metrica.
     • Revisione del Codice: Un workflow a tre agenti (Due Scrittori → Supervisore) valutato su 377 istanze dal dataset Hydra-Reviewer tramite BLEU-4 smussato rispetto ai commenti scritti da umani.
   • Metriche: Prestazioni del compito (pass@1, BLEU), segnali comportamentali (tassi di revisione, tassi di sovra-revisione, uso di token) e polarità del sentimento (utilizzando SentiCR).

Risultati Chiave

1. Impatto sulle Prestazioni (RQ1): La scelta del profilo influenza significativamente le prestazioni. Nella generazione di codice, il divario tra le migliori e le peggiori configurazioni a profilo condiviso variava da 7,1 a 11,3 punti percentuali in pass@1 tra i modelli. Nella revisione del codice, i divari variavano da 0,5 a 1,1 punti BLEU. Tuttavia, il profilo ottimale non è universale; varia significativamente per modello e compito (ad es. "Paura-Bassa Coscienziosità-Bassa Apertura-Alta Estroversione" era il migliore per Qwen 1.5B, mentre "Tristezza-Alta Coscienziosità-Alta Apertura-Alta Estroversione" era il migliore per Qwen 32B).
2. Profili Misti vs Condivisi (RQ2): I team a profili misti (dove gli agenti hanno profili diversi) hanno superato la migliore configurazione a profilo condiviso in sei dei otto setting modello-compito. Ciò suggerisce che la specializzazione dei profili comportamentali per ruolo produce guadagni aggiuntivi rispetto alle configurazioni di team omogenee.
3. Influenza Comportamentale (RQ3): I profili alterano significativamente le dinamiche di collaborazione:
   • Attività di Revisione: I profili "Paura" e "Alta Coscienziosità" hanno aumentato costantemente i tassi di revisione e l'uso di token. Ad esempio, la paura ha aumentato le probabilità di revisione di 3,95 volte rispetto alla felicità.
   • Sovra-revisione: I profili ad alta coscienziosità e paura hanno portato a tassi più elevati di "sovra-revisione" (richiedere modifiche anche quando la soluzione era già corretta), senza guadagni costanti nelle prestazioni.
   • Costo: Questi profili hanno aumentato i costi computazionali (uso di token) a causa di interazioni più frequenti e risposte più lunghe, pur non migliorando in modo affidabile la qualità dell'output finale.
   • Sentimento: Il sentimento negativo non ha spiegato in modo robusto le differenze di prestazione tra le migliori e le peggiori configurazioni.

Contributi Chiave

• Framework: Proposto un framework basato sulla psicologia per la costruzione di persone per agenti LLM nella SE, integrando tratti di personalità, emozioni, stili di lavoro O*NET e ruoli di compito.
• Evidenza Empirica: Fornito uno studio su larga scala (78 configurazioni, 659 istanze di compito) che dimostra come i profili di personalità ed emozione siano una dimensione di design critica che influenza sia i risultati del compito che l'efficienza della collaborazione.
• Intuizione di Design: Stabilito che le strategie a profili misti possono superare le strategie a profili condivisi e che "maggiore scrutinio" (guidato dalla paura o dall'alta coscienziosità) non equivale necessariamente a migliori prestazioni, evidenziando un compromesso tra costo e prestazioni.

Significatività e Rivendicazioni
Il paper sostiene che i profili degli agenti non sono semplici testi decorativi nel prompt, ma agiscono come controlli comportamentali efficaci che modellano i workflow multi-agente. Le scoperte suggeriscono che:

• L'efficacia del profilo è specifica per modello e compito, non universalmente trasferibile.
• I progettisti di sistemi SE multi-agente dovrebbero trattare l'assegnazione dei profili come un fattore sperimentale da ottimizzare per specifici contesti modello-compito, piuttosto che adottare un approccio unico per tutti.
• Esiste la necessità di meccanismi per distinguere le revisioni produttive da quelle non necessarie, poiché determinati profili (paura, alta coscienziosità) aumentano lo sforzo di collaborazione e i costi senza garantire benefici nelle prestazioni.
• I sistemi futuri dovrebbero esplorare la ricerca automatica dei profili e i meccanismi di assegnazione adattiva che bilancino prestazioni e costi computazionali.

Gli autori mantengono una posizione modesta, sottolineando che questi risultati non implicano che gli LLM possiedano reali emozioni o personalità, bensì che questi profili fungono da controlli a livello di prompt che influenzano il comportamento all'interno del workflow definito.