CAMO: An Agentic Framework for Automated Causal Discovery from Micro Behaviors to Macro Emergence in LLM Agent Simulations

Titolo: CAMO: Un Framework Agente per la Scoperta Causale Automatizzata dal Comportamento Micro all'Emergenza Macro nelle Simulazioni di Agenti LLM

1. Il Problema

Le simulazioni di agenti potenziati dai Large Language Models (LLM) sono diventate laboratori potenti per lo studio di fenomeni sociali complessi e di emergenza (es. coordinamento, formazione di norme, polarizzazione). Tuttavia, esiste una sfida fondamentale: il meccanismo causale che collega i comportamenti microscopici degli agenti e le interazioni di livello meso agli esiti macroscopici emergenti rimane spesso oscuro.

• Complessità: L'emergenza nasce da interazioni intrecciate, feedback di livello meso e non linearità, rendendo difficile isolare i meccanismi generativi.
• Limiti degli approcci attuali: I metodi esistenti tendono a descrivere i pattern emergenti senza svelarne le cause, o si basano su spazi di variabili statiche che non catturano la natura adattiva dei sistemi multi-agente.
• Mancanza di intervenibilità: Senza una comprensione causale chiara, le interventi sui prompt, sulle policy degli agenti o sulle impostazioni di interazione rimangono euristici e difficili da generalizzare.

L'obiettivo della ricerca è: come recuperare automaticamente i meccanismi causali che legano il comportamento micro/meso a un esito macro emergente ($Y$) in modo da supportare sia la spiegazione che l'intervento?

2. Metodologia: Il Framework CAMO

CAMO (Causal discovery from Micro behaviors to Agents to Outcome) è un framework multi-agente che non tenta di ricostruire l'intero grafo causale del simulatore (spesso impossibile), ma identifica un insieme minimo ma sufficiente di variabili a monte e percorsi causali che spiegano un esito emergente specifico.

Architettura Agente

Il sistema coordina cinque agenti LLM distinti che operano in due loop (veloce e lento):

1. Worldview Parser (A1): Converte conoscenze di dominio non strutturate in ipotesi causali strutturate, estraendo variabili candidate e relazioni da testi e documenti.
2. Worldview Integrator (A2): Unifica le prospettive conflittuali, risolve ambiguità semantiche e seleziona una "visione del mondo" decisionale per il ciclo di raffinamento.
3. Causal Cartographer (A3): È il motore principale.
   • Raffinamento Add-Prune: Aggiunge o rimuove fattori computabili (trasformazioni non lineari dei dati osservati) basandosi sul guadagno informativo per l'obiettivo $Y$.
   • Scoperta Locale: Applica metodi di scoperta causale vincolati per identificare il Markov Boundary ($MB_H(Y)$), ovvero l'insieme minimo di variabili necessario per prevedere e intervenire su $Y$.
   • Sottografo Spiegativo: Costruisce un sottografo minimo che collega le cause radice (comportamenti micro) al Markov Boundary, fornendo una narrazione causale completa.
4. Simulation Scriptwright (A4): Traduce gli archi causali ambigui in script di intervento eseguibili all'interno del simulatore (es. modifiche ai prompt o parametri ambientali).
5. Counterfactual Adjudicator (A5): Esegue interventi controfattuali (es. $do(X=x)$ vs $do(X=x')$) all'interno del simulatore per verificare la direzione delle relazioni causali e confermare o confutare le ipotesi.

Il Ciclo Fast-Slow

• Loop Veloce: Raffina il set di fattori e stabilizza il Markov Boundary sotto un'ipotesi fissa.
• Loop Lento: Se le evidenze controfattuali contraddicono l'ipotesi corrente, il sistema aggiorna o scarta la visione del mondo, avviando una revisione delle ipotesi di base.

3. Contributi Chiave

1. Nuovo Formulazione del Problema: Inquadra la scoperta causale micro-macro come il problema di identificare una spiegazione causale a monte minima ma sufficiente per un esito emergente, piuttosto che la ricostruzione globale.
2. Framework Multi-Agente Ibrido: CAMO è il primo framework che combina priors di dominio, dati osservazionali e interventi controfattuali interni al simulatore per studiare l'emergenza.
3. Robustezza e Riduzione delle Allucinazioni: Introduce un ciclo di auto-evoluzione che utilizza vincoli osservazionali e test controfattuali per limitare le allucinazioni dei LLM e le interferenze rumorose, senza assumere l'identificabilità globale.
4. Teoria e Convergenza: Fornisce prove teoriche sulla convergenza geometrica del processo di raffinamento verso una rappresentazione sufficiente per $Y$ e dimostra come i controfattuali risolvano le ambiguità di orientamento degli archi.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su quattro scenari di emergenza, incluso un simulatore di piattaforma di consegna cibo (O2O) basato su dati reali, Smallville (coordinamento agenti) e AgentSociety (polarizzazione e diffusione di messaggi infiammatori).

• Recupero della Struttura Causale (RQ1):

  • CAMO ha superato significativamente tutti i baseline (metodi statistici puri come PC/FCI, metodi puri LLM, e approcci ibridi) nel recuperare il Markov Boundary e l'insieme degli antenati causali.
  • Su dati O2O, CAMO ha raggiunto un F1 di 1.00 per il recupero del Markov Boundary e 0.98 per gli antenati, contro valori inferiori a 0.30 per i baseline puri LLM e circa 0.26 per i metodi statistici.
  • Il framework ha identificato un sottografo esplicativo minimale, riducendo al minimo gli archi ridondanti (SHD e FPR più bassi).

• Identificazione di Interventi Efficaci (RQ2):

  • In scenari senza verità fondamentale (ground truth), CAMO ha dimostrato la capacità di fornire indicazioni azionabili.
  • Ha ottenuto le migliori prestazioni nel Precision@5 e MAP@5 per il ranking degli interventi efficaci, superando i metodi basati su Random Walk o scoperta statistica tradizionale.

• Analisi dei Componenti (Ablation Study):

  • La rimozione degli agenti di parsing e integrazione (A1 & A2) ha causato un fallimento completo nel recupero dei fattori, confermando la necessità di una visione del mondo strutturata.
  • La rimozione del modulo controfattuale (A5) ha mantenuto l'interfaccia locale ma ha introdotto più strutture spurie, dimostrando il ruolo cruciale degli interventi nel filtrare le relazioni ridondanti.

5. Significato e Implicazioni

CAMO rappresenta un passo avanti fondamentale nella comprensione delle simulazioni basate su agenti LLM:

• Dalla Descrizione alla Causalità: Sposta il focus dalla semplice osservazione dei pattern emergenti alla comprensione dei meccanismi causali sottostanti.
• Interventi Azionabili: Fornisce ai ricercatori e ai progettisti di sistemi leve concrete per modificare il comportamento emergente (es. ridurre la polarizzazione o migliorare il coordinamento) intervenendo su cause specifiche identificate.
• Scalabilità e Robustezza: Dimostra che è possibile gestire la complessità dei sistemi multi-agente adattivi utilizzando un approccio ibrido che bilancia l'interpretazione semantica degli LLM con la rigore statistico dei test controfattuali.

In sintesi, CAMO offre un metodo sistematico per "aprire la scatola nera" delle simulazioni sociali basate su LLM, trasformando l'emergenza da un fenomeno osservabile in un processo spiegabile e controllabile.