Sintesi Tecnica: Valutazione di Agenti Generativi con Azioni Fondate in Ambienti di Compito Socialmente Distribuiti utilizzando Incognita

Problema

Un'agenzia efficace in ambienti sociali richiede che un agente determini quando cercare conoscenza, quando agire e se le proprie azioni siano giustificate dalle informazioni acquisite. I paradigmi di valutazione esistenti spesso separano questi requisiti: i benchmark radicati (es. WebArena, AppWorld) forniscono azioni eseguibili e risultati verificabili ma mancano di una ricca interazione sociale, mentre gli ambienti di simulazione sociale (es. Sotopia) offrono interazione multi-agente ma spesso mancano di cambiamenti di stato consequenziali e radicati.

Il problema centrale affrontato è la valutazione di agenti generativi in ambienti di compito socialmente distribuiti. In questi ambienti, la conoscenza rilevante per il compito è partizionata tra partecipanti isolati per ruolo (ad esempio, un cliente, un banco dei resi, un catalogo prodotti) e le azioni consequenziali sono raggiungibili solo attraverso l'interazione con questi specifici partecipanti. Gli agenti attuali faticano con questa struttura, mostrando fallimenti nella chiarificazione, nel mantenimento del contesto e nella finalizzazione prematura quando le informazioni sul compito vengono rivelate incrementalmente attraverso i turni.

Metodologia: Il Framework Incognita

Gli autori introducono Incognita, un framework di ambiente costruito sul substrato Concordia per istanziare ambienti di compito socialmente distribuiti. Incognita separa l'interazione sociale dall'esecuzione radicata, creando un Processo Decisionale di Markov Parzialmente Osservabile (POMDP) per l'agente di test.

1. Architettura dell'Ambiente

• Interazione Isolata per Ruolo: L'agente di test non ha accesso diretto agli strumenti. Interagisce tramite messaggi diretti a un UTENTE (che detiene la conoscenza lato domanda dietro un cancello di divulgazione) e a Entità Specialiste (che detengono la conoscenza specifica del ruolo nell'ambiente e mediano le operazioni).
• Livello di Esecuzione Radicato: Le entità specialiste propongono operazioni che vengono validate ed eseguite da un sub-ambiente deterministico su uno stato canonico.
  • Read (Letture): Restituiscono informazioni senza cambiare lo stato.
  • Write (Scritture): Mutano lo stato, creando conseguenze valutate successivamente.
• Valutazione Offline: La prova termina quando l'agente imposta un flag di finalizzazione ($f_t=1$). Un valutatore offline assegna poi un punteggio allo stato finale rispetto al reward del compito ereditato (ad esempio, da $\tau$-bench). Il valutatore non guida l'agente né ispeziona il suo stato di credenza interno durante la prova.

2. Inquadramento Teorico

Il framework adatta il paradigma esplorazione-sfruttamento a questo contesto:

• Esplorazione: La comunicazione funge da esplorazione della conoscenza partizionata per ruolo. L'agente deve aggiornare il proprio stato di credenza implicito riguardo all'intento dell'utente, alla conoscenza disponibile e alle operazioni fattibili.
• Sfruttamento: Le azioni radicate fungono da sfruttamento, impegnando lo stato di credenza dell'agente in operazioni che cambiano lo stato.
• Finalizzazione: L'azione di finalizzazione rappresenta l'impegno dell'agente che l'obiettivo dell'utente è soddisfatto. Una finalizzazione prematura indica un disallineamento tra la credenza dell'agente e lo stato canonico dell'ambiente.

3. Configurazione Sperimentale: Incognita-Retail

Per validare il framework, gli autori hanno trasformato i compiti $\tau$-bench retail in un ambiente multi-entità (Incognita-Retail).

• Compiti: 18 compiti stratificati per ampiezza sociale (il numero di entità specialiste distinte richieste dalla soluzione di riferimento, che varia da 1 a 6).
• Modelli: Sono stati valutati tre modelli di agenti generativi (gpt-5.2, gpt-5.4, gpt-5.5).
• Prove: 540 prove totali (18 compiti $\times$ 10 ripetizioni $\times$ 3 modelli).
• Vincoli: L'agente di test non riceve suggerimenti espliciti sull'obiettivo o sulla policy; deve inferire la struttura del compito attraverso l'interazione.

Risultati Chiave

1. Tassi di Successo dei Compiti

Il successo del compito radicato rimane rado anche per i modelli più forti, sebbene si noti un progresso:

• gpt-5.2: 0% di tasso di successo in tutte le ampiezze sociali.
• gpt-5.4: 8,9% di successo complessivo (successo solo con ampiezza sociale 3 e 4).
• gpt-5.5: 17,2% di successo complessivo (successo non nullo a tutti i livelli di ampiezza, sebbene l'ampiezza 6 rimanga quasi irrisolta).

2. Cambiamenti Comportamentali e Modalità di Fallimento

Lo studio rivela che il miglioramento del modello si manifesta in cambiamenti comportamentali prima che si raggiunga un successo affidabile nel compito:

• Finalizzazione Prematura: Il tasso di terminazione prematura (dichiarare il completamento del compito prima delle azioni necessarie) è diminuito significativamente:
  • gpt-5.2: 100%
  • gpt-5.4: 87%
  • gpt-5.5: 58%
• Metriche di Esplorazione e Sfruttamento: I modelli più forti hanno mostrato:
  • Maggiore Copertura di Divulgazione (frazione di campi utente bloccati rivelati): 0,06 $\to$ 0,17 $\to$ 0,45.
  • Maggiore Tasso di Scrittura (frazione di prove con scritture che cambiano lo stato accettate): 0 $\to$ 0,13 $\to$ 0,36.
  • Maggiore Ampiezza di Contatto con le Entità: Aumentata da 0,30 (gpt-5.2) a 0,68 (gpt-5.4/5.5).

3. Composizione dei Fallimenti

Man mano che i modelli miglioravano, le modalità di fallimento si sono spostate da una terminazione immediata a errori più complessi riguardanti ambiente-credenza, obiettivo-credenza ed errori di esecuzione. Ciò indica che gli agenti più forti trascorrono più tempo all'interno del regime di interazione previsto, ma incontrano ancora difficoltà con l'affidabilità della formazione delle credenze e del radicamento delle azioni.

Contributi e Significato

L'articolo apporta tre contributi primari:

1. Formalizzazione: Formalizza gli ambienti di compito socialmente distribuiti come un setting di valutazione distinto in cui la conoscenza è partizionata tra partecipanti isolati per ruolo, richiedendo agli agenti di navigare l'asimmetria informativa.
2. Framework: Presenta Incognita, un framework che accoppia l'interazione isolata per ruolo con l'esecuzione di stato deterministica e la verifica del reward offline, separando la formazione della credenza dalla verifica del risultato.
3. Analisi Empirica: Fornisce un'analisi preliminare mostrando che il progresso dei modelli in questi ambienti è osservabile nelle metriche di processo (elicitation della conoscenza, selezione della fonte, tentativi di azione radicata) anche quando i reward finali del compito rimangono bassi.

Significato:
Gli autori sostengono che gli ambienti di compito socialmente distribuiti espongono il comportamento dell'agente prima di un successo affidabile del compito. Misurando la comunicazione, le azioni che cambiano lo stato e gli impegni di completamento del compito all'interno di un singolo ambiente radicato, Incognita offre una strada per valutare l'agenzia collaborativa che va oltre la semplice qualità del dialogo aperto o il successo finale del compito. I risultati suggeriscono che i modelli attuali stanno iniziando a impegnarsi in una ricerca di conoscenza sostenuta e in una selezione di fonti più ampia, ma rimangono lacune significative nella affidabilità della formazione delle credenze e nella tempistica della finalizzazione.