Collaborative Agent Reasoning Engineering (CARE): A Three-Party Design Methodology for Systematically Engineering AI Agents with Subject Matter Experts, Developers, and Helper Agents

1. Enunciato del Problema

Il paper affronta la "frontiera tecnologica frastagliata" dei Large Language Models (LLM), dove le prestazioni sono altamente incoerenti e dipendenti dalle competenze dell'utente. Sebbene gli LLM offrano potenzialità per i flussi di lavoro scientifici, esiste un divario tra analisti principianti ed esperti:

• I principianti spesso accettano risultati fluenti ma errati o sottodeterminano i vincoli.
• Gli esperti applicano coerentemente i vincoli di dominio, verificano gli output e strutturano flussi di lavoro multi-step.
• Limitazioni attuali: La creazione di agenti AI affidabili si basa tipicamente sull'iterazione di prompt per tentativi ed errori, il che porta a sistemi che falliscono in modo silenzioso, regrediscono dopo modifiche minori o si sovrappongono a casi di test ristretti. Manca una metodologia di ingegneria disciplinata per tradurre la conoscenza tacita degli esperti in specifiche di agente esplicite, verificabili e manutenibili.

2. Metodologia: CARE (Collaborative Agent Reasoning Engineering)

CARE è una metodologia guidata da artefatti e a stadi, che ripensa lo sviluppo degli agenti come un processo ingegneristico collaborativo. Introduce un flusso di lavoro a tre parti che coinvolge:

1. Esperti di Materia (SME): Forniscono conoscenze di dominio e vincoli.
2. Sviluppatori: Implementano soluzioni tecniche e orchestrazione degli strumenti.
3. Agenti Ausiliari: Facilitatori basati su LLM che agiscono come "infrastruttura di specifica", convertendo l'intento informale degli SME in artefatti strutturati e revisionabili.

Obiettivi di Progettazione Principali

CARE scompone un agente in quattro obiettivi di progettazione, ciascuno mappato su artefatti specifici:

1. Politica di Interazione e Strategia di Ragionamento: Come l'agente scompone i compiti, gestisce l'incertezza e verifica i passaggi.
2. Fondazione di Dominio: Fonti di conoscenza autorevoli e vincoli per prevenire allucinazioni.
3. Orchestrazione degli Strumenti: Logica per selezionare, invocare e validare strumenti esterni (API).
4. Valutazione e Verifica: Metriche e benchmark per rilevare regressioni.

Il Processo a Cinque Fasi

La metodologia procede attraverso cinque fasi con stadi di controllo rigorosi (è richiesta l'approvazione umana per procedere):

• Fase 1: Scopo e Scomposizione: Definire il flusso di lavoro, gli utenti e i vincoli. Gli agenti ausiliari redigono gli artefatti iniziali di ambito.
• Fase 2: Elicitazione delle Informazioni Chiave: Raccolta strutturata di Strumenti (API/limiti), Contesto (strategie di recupero) e Formato di Output (template/provenienza).
• Fase 3: Politica di Ragionamento e Recinzioni di Sicurezza: Definire esplicitamente le modalità di fallimento, i confini di sicurezza e la logica decisionale (ad esempio, quando chiedere chiarimenti rispetto a quando astenersi).
• Fase 4: Architettura del Prompt e Implementazione: Tradurre gli artefatti approvati nel prompt effettivo dell'agente utilizzando pattern consolidati (ad esempio, pianificazione, critica, impalcatura per l'uso degli strumenti).
• Fase 5: Benchmarking e Verifica: Definire set di query realistici e rubriche di punteggio per validare le prestazioni prima del dispiegamento.

Meccanismo Chiave: Gli agenti ausiliari mantengono la continuità riutilizzando gli artefatti dalle fasi precedenti, consentendo ai team di iterare senza perdere l'allineamento. Tutti gli artefatti sono versionati (ad esempio, su GitHub) per supportare l'auditabilità.

3. Contributi Principali

1. Framework CARE: Introduzione di una metodologia disciplinata a tre parti (SME, Sviluppatore, Agente Ausiliario) che sostituisce l'ingegneria dei prompt ad hoc con un approccio "specification-first".
2. Progettazione Guidata da Artefatti: Scomposizione delle funzioni agentiche in quattro obiettivi distinti (Politica, Fondazione, Orchestrazione, Verifica) mappati su artefatti Markdown concreti e revisionabili.
3. Agenti Ausiliari come Infrastruttura: Il concetto innovativo di utilizzare gli LLM non solo come agenti dispiegati, ma come strumenti di facilitazione per accelerare il processo di elicitation e specifica, mantenendo gli umani nel ciclo per l'approvazione.
4. Validazione Empirica: Uno studio di caso che dimostra come un agente ingegnerizzato con CARE superi una baseline con identico accesso a modello e strumenti, provando che è il processo di ingegneria stesso a guidare i guadagni di prestazioni.

4. Risultati: Studio di Caso NASA Earth Science

Gli autori hanno valutato CARE costruendo un Agente per la Scoperta di Dati di Scienze della Terra NASA che interroga l'API Common Metadata Repository (CMR).

• Confronto:
  • $cmr\_care\_v1$: Costruito utilizzando la metodologia CARE.
  • $cmr\_simple$: Una baseline "LLM + Strumento" costruita tramite prompting iterativo standard (nessun artefatto/stadio di controllo CARE).
• Strategia di Valutazione: Un approccio di benchmarking a due stadi:
  1. Stadio Sintetico: 621 query generate da articoli di ricerca (iterazione rapida).
  2. Stadio Gold: 43 query formulate dagli SME (validazione ad alta fiducia).
• Metriche: Recall@K (proporzione di dataset ground-truth trovati nei primi K risultati).

Risultati delle Prestazioni:

Metrica	Stadio Sintetico (n=621)	Stadio Gold (n=43)
Metrica	Recall@1	Recall@5
Agente CARE	71,7%	27,2%
Baseline	69,1%	20,2%
Miglioramento	+2,6%	+7,0%

Nota: L'agente CARE ha mostrato miglioramenti statisticamente significativi, in particolare nello Stadio Gold fondato sugli SME (Recall@5), indicando una migliore gestione di query complesse di livello esperto.

5. Significato e Limitazioni

Significato:

• Colmare il Divario di Competenze: CARE rende operativi i flussi di lavoro esperti, permettendo agli agenti di funzionare in modo affidabile senza richiedere a ogni utente di essere un esperto di ingegneria dei prompt.
• Manutenibilità: Trattando i prompt come output derivati da artefatti versionati, CARE rende gli agenti più facili da auditare, aggiornare e mantenere al variare di modelli o strumenti.
• Affidabilità: Il processo a stadi di controllo forza la definizione esplicita di recinzioni di sicurezza e modalità di fallimento, riducendo i "fallimenti silenziosi" comuni nello sviluppo per tentativi ed errori.

Limitazioni e Lavori Futuri:

• Qualità dell'Agente Ausiliario: La metodologia dipende fortemente dalla capacità dell'agente ausiliario di porre le domande giuste; un'elicitation scarsa può portare a vincoli mancanti.
• Sensibilità del Benchmark: I risultati dipendono dalla specifica costruzione del benchmark; esiste il rischio di "insegnare per il test" se l'agente ausiliario ottimizza involontariamente per la distribuzione del benchmark.
• Deriva del Modello: I cambiamenti negli LLM sottostanti possono alterare la conformità alle politiche di ragionamento, richiedendo una riveverifica periodica.
• Direzione Futura: Gli autori pianificano di testare CARE su più domini ed ecosistemi di strumenti per identificare quali fasi guidano i guadagni di prestazioni più significativi.

In conclusione, CARE dimostra che l'ingegneria sistematica—piuttosto che solo la capacità del modello—è il fattore critico nella costruzione di agenti AI robusti, affidabili e ad alte prestazioni per domini scientifici e tecnici.