Riepilogo Tecnico: COCORELI

Enunciato del Problema

Gli agenti autonomi che operano in contesti collaborativi (ad esempio, robotica, manifattura, uso di strumenti) incontrano frequentemente istruzioni umane incomplete o sottodeterminate. Gli esseri umani spesso fanno affidamento su un contesto condiviso o su una comunicazione incrementale, lasciando parametri essenziali del compito non specificati. Sebbene gli approcci recenti abbiano migliorato la rilevazione delle informazioni mancanti, la sola rilevazione è insufficiente. Gli agenti spesso procedono all'esecuzione anche dopo aver riconosciuto la sottodeterminazione, inferendo i dettagli mancanti invece di acquisirli attraverso l'interazione. Ciò porta ad azioni "plausibili ma errate", allucinazioni e esiti non sicuri.

Gli autori identificano questo fallimento come una disaccoppiamento strutturale tra la rilevazione delle informazioni mancanti e la prevenzione dell'esecuzione. I paradigmi esistenti, inclusi Chain-of-Thought (CoT) e framework agenziali, assumono tipicamente che le istruzioni siano eseguibili così come fornite o che i dettagli mancanti possano essere inferiti dalla conoscenza di fondo. L'aumento della scala del modello non risolve questo problema; i modelli più grandi tendono a generare ipotesi più plausibili piuttosto che rilevare e risolvere l'incertezza in modo affidabile. Il documento ipotizza che un'esecuzione collaborativa affidabile richieda un'imposizione architettonica in cui le informazioni mancanti agiscano come un prerequisito rigido per l'azione.

Metodologia: Architettura COCORELI

Per affrontare ciò, gli autori propongono COCORELI (Cooperative, Reconstitution & Execution of Language Instructions), un'architettura agenziale modulare progettata per imporre i prerequisiti di esecuzione. A differenza del prompting monolitico, COCORELI scompone il compito in sei componenti specializzati, tutti che utilizzano lo stesso LLM sottostante (LLaMA-3.1 8B) ma con prompt specializzati e input strutturati:

1. Analizzatore di Istruzioni: Identifica i tipi di oggetto ed estrae attributi preliminari, filtrando gli schemi pertinenti per evitare l'ingombro del prompt.
2. Costruttore: Risolve gli attributi specifici dell'oggetto (ad esempio, orientamento, configurazione delle parti).
3. Localizzatore: Interpreta le descrizioni spaziali e mappa le espressioni relazionali in coordinate candidate, applicando regole di posizionamento specifiche per oggetto.
4. Modulo di Discorso: Genera domande di chiarimento mirate (CQ) quando i campi richiesti rimangono irrisolti.
5. Memoria Esterna: Memorizza le strutture precedentemente costruite come grafi relazionali (nodi = parti, spigoli = relazioni spaziali). Supporta l'astrazione separando i pattern strutturali dai parametri specifici dell'istanza (ad esempio, colore, posizione assoluta).
6. Esecutore: Converte le rappresentazioni completate in azioni concrete JSON e le convalida rispetto ai vincoli ambientali.

Meccanismo Principale:
Il sistema rappresenta oggetti e azioni come strutture JSON tipizzate in cui i campi sono inizializzati a null. Man mano che il dialogo procede, i campi vengono riempiti con le informazioni estratte. Crucialmente, l'esecuzione è bloccata ogni volta che i campi richiesti rimangono irrisolti. Il sistema non inferisce valori mancanti; invece, attiva il Modulo di Discorso per richiedere chiarimenti. Ciò crea un accoppiamento strutturale: rilevare un parametro mancante blocca simultaneamente l'esecuzione, prevenendo azioni allucinate.

Configurazione Sperimentale

Gli autori valutano COCORELI in ENVIRONMENT, un benchmark collaborativo controllato di costruzione progettato per isolare la sottodeterminazione, i cambiamenti di stato sequenziali e il riutilizzo strutturale.

• Ambiente: Una griglia 3D discreta 16×16×16 con tipi di parti eterogenei (viti, ponti, ecc.) e vincoli fisici rigorosi (gravità, dipendenze di supporto). I posizionamenti errati sono irreversibili.
• Tipi di Compito:
  1. Istruzioni singole completamente specificate.
  2. Sequenze di istruzioni.
  3. Costruzione di strutture complesse (forme multicomponente).
  4. Istruzioni sottodeterminate: Parametri omessi, richiedenti rilevazione e chiarimento.
  5. Astrazione e riutilizzo in contesto: Riproduzione di strutture precedentemente costruite in nuovi contesti senza ridefinire le istruzioni originali.
• Baseline:
  • Prompting Singolo-LLM (CoT): Prompting monolitico utilizzando GPT-4.1 e Claude-3.5 Sonnet.
  • Decomposizione Agenziale LLM: Decomposizione modulare in cui i sottocompiti sono risolti end-to-end da un LLM (LLaMA-3-70B), inclusa la generazione di codice Python per l'astrazione.
  • COCORELI: Parsing strutturato con rappresentazioni esplicite del compito e controllo deterministico dell'esecuzione.

La valutazione include anche un test di trasferimento su compiti API di ToolBench per valutare la generalizzabilità del meccanismo di astrazione oltre la costruzione spaziale.

Risultati Chiave

1. Gestione della Sottodeterminazione (Compito iv)

• Rilevazione e Chiarimento: COCORELI e la baseline Agenziale hanno raggiunto il 100% di rilevazione dei parametri mancanti e hanno emesso con successo domande di chiarimento. Al contrario, le baseline CoT a singolo LLM hanno spesso fallito nell'identificare i parametri mancanti (ad esempio, 27,2% di rilevazione per GPT-4.1 su compiti a parte singola).
• Sicurezza dell'Esecuzione: COCORELI ha raggiunto lo 0% di allucinazioni su parti, colori e posizioni per istruzioni sottodeterminate. Al contrario, le baseline CoT hanno spesso inferito attributi mancanti, portando ad alti tassi di allucinazione (ad esempio, 100% di allucinazione di posizione per GPT-4.1 su compiti a due parti).
• Conclusione: La sola rilevazione è insufficiente; senza un'imposizione architettonica, le baseline procedono con valori inferiti (errati).

2. Costruzione di Strutture Complesse (Compito iii)

• COCORELI ha raggiunto la massima accuratezza a livello di passo (78,57%), superando le baseline CoT (54,67%–69,04%) e la baseline Agenziale (69,04%).
• COCORELI è stato l'unico sistema capace di ricostruire parzialmente la forma più complessa ("ponte marocchino"), che richiedeva astrazione e successiva referenziazione.

3. Astrazione e Riutilizzo (Compito v)

• COCORELI ha ricostruito con successo tutte le strutture valutate, incluse quelle complesse (ad esempio, "Teschio" con 62 parti), raggiungendo il 100% di accuratezza sulle forme complesse.
• Le baseline CoT hanno fallito sulle strutture più complesse (0% di successo), e la baseline Agenziale ha fallito sulle forme di dimensioni medie.
• Il documento attribuisce il successo di COCORELI al trattamento dell'astrazione come un problema di parsing strutturato (estrazione di grafi relazionali) piuttosto che richiedere al modello di inferire procedure riutilizzabili o generare codice da zero.

4. Trasferimento ToolBench

• Su 100 flussi di lavoro ToolBench, COCORELI ha raggiunto precisione, recall e F1 del 100%, superando significativamente la baseline CoT (30,9% F1).
• Ciò dimostra che il meccanismo di astrazione strutturata si generalizza a compiti non spaziali guidati da API.

Significato e Affermazioni

Il documento afferma che un'esecuzione collaborativa affidabile in condizioni di sottodeterminazione dipende non meramente dalla capacità del modello ma dall'imposizione architettonica.

• Accoppiamento Strutturale: Il contributo principale è l'accoppiamento strutturale tra rilevazione e prevenzione. In COCORELI, le rappresentazioni del compito incomplete non possono essere eseguite. Ciò elimina le azioni allucinate per costruzione, una proprietà assente nei paradigmi basati sul prompting in cui rilevazione ed esecuzione sono disaccoppiate.
• Istante Minimo: Gli autori non affermano che COCORELI sia una soluzione definitiva per tutti i dialoghi collaborativi, ma come un'istanza minima che dimostra che i paradigmi basati sul prompting mancano sistematicamente del meccanismo per bloccare l'esecuzione in condizioni di incertezza.
• Limitazioni: Gli autori riconoscono che COCORELI assume che i compiti possano essere rappresentati tramite schemi strutturati (JSON), astrae dalla percezione multimodale, modella solo una forma ristretta di dialogo di chiarimento (escludendo negoziazione o ragionamento complesso) e manca di un modulo esplicito di pianificazione di alto livello.

In sintesi, il documento sostiene che affinché gli agenti operino in modo affidabile in contesti collaborativi con istruzioni incomplete, l'architettura del sistema deve imporre esplicitamente che le informazioni mancanti siano risolte prima di intraprendere qualsiasi azione, piuttosto che affidarsi alla capacità implicita del modello di indovinare o inferire.