Agentic AI for Safety-critical Multi-drone Systems: Challenges and Opportunities

Sintesi Tecnica: IA Agente per Sistemi Multi-drone in Ambienti Critici per la Sicurezza

Problematica
I sistemi multi-drone offrono un potenziale significativo per missioni critiche per la sicurezza, tra cui ricerca e soccorso (SAR), lotta antincendio e monitoraggio di infrastrutture critiche. Tuttavia, l'adozione nel mondo reale è ostacolata non solo dalle prestazioni dell'autonomia tecnica, ma dalla sfida socio-tecnica di integrare il comportamento agente nei flussi di lavoro professionali. Gli operatori devono comprendere, fidarsi e governare l'automazione in condizioni di incertezza, pressione temporale e alta responsabilità. Con l'aumentare delle dimensioni delle flotte, il tradizionale modello un-operatore/un-veicolo fallisce a causa del carico di coordinamento, della degradazione della consapevolezza situazionale condivisa e del rischio che piccole incertezze si trasformino in problemi di sicurezza a cascata (ad esempio, priorità contrastanti o responsabilità ambigue). Sebbene i recenti progressi nei Large Language Models (LLM) e nell'IA agente permettano l'assegnazione di compiti tramite linguaggio naturale e una pianificazione a iniziativa mista, essi introducono nuove sfide di interazione: rappresentare le intenzioni degli agenti, supervisionare le decisioni e garantire un comportamento corretto in ambienti operativi complessi.

Metodologia e Approccio di Ricerca
Il documento adotta un approccio di ricerca incentrato sull'uomo, partecipativo e iterativo, trattando l'IA agente come un "materiale di design socio-tecnico" piuttosto che come una soluzione tecnica fissa. Questa metodologia si basa su due progetti complementari in corso:

1. NAMUR: Si concentra sulla risposta alle emergenze in tempi critici (SAR e lotta antincendio), enfatizzando cicli decisionali rapidi, pericoli dinamici e la necessità di livelli di astrazione unificati attraverso piattaforme robotiche eterogenee.
2. PERSIST: Si concentra su operazioni persistenti a lungo termine presso infrastrutture critiche (ad esempio, centrali elettriche), enfatizzando l'attività sostenuta, la ripetibilità, i passaggi di turno e l'integrazione organizzativa.

Il processo di ricerca prevede:

• Scoperta dei Bisogni: Basata su scenari concreti e dimostrazioni con gli stakeholder (comandanti di incidenti, soccorritori sul campo, personale di sicurezza) per mappare le pratiche lavorative, i punti decisionali e i colli di bottiglia cognitivi.
• Prototipazione Partecipativa: Utilizzo di successivi prototipi funzionali come "oggetti limite" (boundary objects) per negoziare le capacità degli agenti, i requisiti di autorizzazione e gli indizi di incertezza.
• Design del Sistema: Sviluppo di un'architettura che decompone l'intento in linguaggio naturale in sottotari che siano soggetti a revisione, vincola l'esecuzione tramite strumenti deterministici e impone l'anteprima e l'approvazione dell'operatore.

Contributi Chiave: L'Architettura LLM-MAS
Il documento presenta un'architettura prototipale funzionale: un Sistema Multi-Agente basato su LLM (LLM-MAS) progettato per il controllo multi-drone. Questo sistema è composto da cinque agenti specializzati che si interfacciano con strumenti deterministici esterni (ad esempio, computazione spaziale, esecuzione del moto, archiviazione della memoria, pianificazione dei compiti):

1. Agente Coordinatore: Agisce come orchestratore centrale, inferendo l'intento dell'operatore e scomponendo i comandi in sotto-query delegate agli agenti subordinati.
2. Agente Eventi: Gestisce direttive periodiche, ritardate e orientate al futuro (ad esempio, stima programmata della biomassa o comandi di rientro alla base), garantendo che i compiti siano eseguiti o segnalati al momento appropriato.
3. Agente Spaziale: Fornisce consapevolezza situazionale accedendo a mappe GeoJSON e posizioni in tempo reale di droni e primi soccorritori. Identifica caratteristiche semantiche della mappa e calcola relazioni spaziali.
4. Agente Swarm: Gestisce la pianificazione del moto e l'esecuzione dei compiti. Seleziona le piattaforme drone più adatte in base alla disponibilità e al contesto. Fondamentalmente, tutte le richieste generate da questo agente sono soggette a anteprima e conferma da parte dell'operatore prima dell'esecuzione. Pubblica le azioni su un topic ROS per attivare le pipeline di controllo del volo.
5. Agente Summarizer (Sintetizzatore): Genera riassunti concisi e leggibili dall'uomo delle azioni eseguite e degli stati del sistema. Questi vengono memorizzati nella memoria di interazione per fornire contesto ai successivi turni di dialogo, consentendo interazioni coerenti multi-turno e la risoluzione dei riferimenti (ad esempio, "sposta quello verso la zona sicura più vicina").

Il sistema dipende dal deployment; per la SAR, gli strumenti supportano la pianificazione del percorso di copertura conforme, mentre per il monitoraggio delle infrastrutture, gli strumenti supportano la generazione di percorsi di volo per la stima della biomassa.

Risultati e Conclusioni
Il documento sintetizza le lezioni apprese dalle precedenti esperienze sul campo e dalle valutazioni dei prototipi per identificare opportunità e tensioni chiave:

• Opportunità: L'IA agente può ridurre il carico di coordinamento fornendo attenzione/sintesi selettiva, consentendo una pianificazione a iniziativa mista che mantiene la copertura al variare delle informazioni, e supportando l'orchestrazione a lungo termine (pianificazione, triage delle anomalie).
• Tensioni: Gli autori identificano tensioni critiche di sicurezza che l'autonomia da sola non può risolvere:
  • La necessità di sistemi che operino senza attenzione costante ma che resistano al comportamento "black-box".
  • Il rischio che un forte sistema di allerta migliori le prestazioni a breve termine ma causi "tunneling dell'attenzione", riducendo la supervisione olistica.
  • La necessità di una fiducia calibrata sotto percezione imperfetta, che richiede impostazioni predefinite conservative e flussi di lavoro di verifica.
  • Il requisito di idoneità operativa, inclusa l'allineamento con ruoli, protocolli e tracce decisionali verificabili.

Il prototipo funzionale è stato dimostrato nel controllo live di Veicoli Terrestri Non Umani (UGV) e Veicoli Aerei Non Umani (UAV), validando la decomposizione del linguaggio naturale in sottotari rivedibili e l'imposizione dell'approvazione esplicita dell'operatore.

Significatività e Rivendicazioni
Il documento sostiene che l'IA agente per il lavoro critico per la sicurezza debba essere affrontata come un problema di design socio-tecnico dove le interfacce, i meccanismi di supervisione e le pratiche di valutazione sono critici quanto gli algoritmi stessi. Gli autori affermano che il loro approccio supporta la ricerca futura attraverso l'operazionalizzazione dell' "autonomia agente governabile" attraverso tre implicazioni chiave:

1. Governabilità come Proprietà Fondamentale: I punti di autorizzazione, i vincoli e i meccanismi di intervento devono essere proprietà del sistema esplicite e verificabili, non semplici aggiunte all'interfaccia utente.
2. Uso di Strumenti Vincolati: Il comportamento agente deve essere costruito a partire dall'uso di strumenti vincolati e ispezionabili piuttosto che da un'azione libera e non vincolata, per garantire modalità di errore prevedibili e debugging riproducibile.
3. Valutazione nel Mondo Reale: La valutazione deve riflettere l'uso operativo effettivo, misurando non solo il successo del compito, ma anche la consapevolezza situazionale, la calibrazione della fiducia, il carico di coordinamento e il supporto per revisioni post-azione responsabili.

Il documento conclude che, sebbene l'IA agente offra promesse per la scalabilità delle operazioni multi-drone, il suo dispiegamento di successo dipende dall'impegno iterativo degli stakeholder per dare forma a sistemi che rimangano trasparenti, apprendibili e allineati con i protocolli locali e le pratiche di responsabilità.