Human-in-the-Loop Uncertainty Analysis in Self-Adaptive Robots Using LLMs

Questo articolo introduce RoboULM, una metodologia e uno strumento con intervento umano che sfruttano i grandi modelli linguistici per aiutare i professionisti a identificare, analizzare e mitigare sistematicamente le incertezze nei robot autoadattativi durante la fase di progettazione, come validato da feedback positivi provenienti da professionisti industriali in quattro casi d'uso.

L'essenziale

Immagina di costruire un robot che deve navigare in una città affollata, riparare un laptop o navigare una nave. Il mondo è disordinato, imprevedibile e pieno di sorprese. Se il tuo robot non è preparato per queste sorprese (che il documento definisce "incertezze"), potrebbe schiantarsi, rompere qualcosa o rimanere bloccato.

Il problema è che capire tutte le possibili cose che potrebbero andare storte è incredibilmente difficile. È come cercare di elencare ogni singolo modo in cui una casa potrebbe prendere fuoco prima ancora di costruirla. Di solito, gli ingegneri devono indovinare basandosi sulla loro esperienza, il che spesso trascura pericoli nascosti.

Questo documento presenta un nuovo strumento chiamato RoboULM per aiutare a risolvere il problema. Pensa a RoboULM come a un assistente super-intelligente e instancabile che aiuta gli ingegneri a brainstormare ogni possibile scenario "e se" prima che il robot venga mai costruito.

Ecco come funziona, usando semplici analogie:

1. La "Lista di Controllo Maestra" (La Tassonomia)

Prima di tutto, i ricercatori hanno creato una gigantesca e organizzata "Lista di Controllo Maestra" chiamata UncerTax.

• L'analogia: Immagina un manuale per meccanici che non elenca solo i pezzi dell'auto, ma categorizza ogni possibile cosa che potrebbe andare storta: è una gomma a terra (hardware)? È una mappa confusa (software)? È un improvviso temporale (ambiente)?
• Cosa fa: Questa lista di controllo aiuta gli ingegneri umani del robot e l'assistente informatico a parlare la stessa lingua. Assicura che non pensino solo a "pezzi rotti", ma anche a "dati confusi" o "questioni etiche".

2. Il "Partner per il Brainstorming" (L'LLM)

Lo strumento utilizza un Large Language Model (LLM), che è come un'intelligenza artificiale molto esperta ma a volte chiacchierona.

• L'analogia: Immagina di cercare un ago in un pagliaio. Chiedi a un amico (l'IA) di aiutarti. Se dici solo: "Trova l'ago", potrebbe perderlo. Ma se gli dai una strategia specifica, diventa molto più bravo.
• Cosa fa: RoboULM non chiede all'IA di "indovinare". Fornisce all'IA un insieme specifico di istruzioni (prompt) basato sulla Lista di Controllo Maestra. Dice all'IA: "Guarda i requisiti del robot e dimmi esattamente dove sono i rischi, usando queste 12 categorie specifiche".

3. L'"Uomo nel Ciclo" (La Rifinitura)

Questa è la parte più importante. L'IA non viene lasciata sola a fare il lavoro; un umano è sempre al volante.

• L'analogia: Pensa all'IA come a un tirocinante junior entusiasta ma che a volte commette errori. Tu (l'ingegnere senior) revisioni il suo lavoro.
  • Valutazione: Dai un punteggio al tirocinante. "Hai capito bene la parte sulla 'sicurezza' (10/10), ma la tua ipotesi sull' 'hardware' era debole (3/10). Riprova."
  • Esempi: Dici: "Ricorda quella volta che il robot ha scivolato su un pavimento bagnato? Pensaci quando indovini i rischi."
  • Lista di controllo: Indichi la Lista di Controllo Maestra e dici: "Hai saltato la categoria 'ambiente'. Torna indietro e compilala."
• Cosa fa: Lo strumento permette all'ingegnere umano di continuare a rifinire le risposte dell'IA fino a quando non sono perfette. È una conversazione continua, non un comando una tantum.

4. Il Test nel Mondo Reale

I ricercatori hanno testato questo strumento con 16 esperti reali che lavorano con quattro diversi tipi di robot:

1. Robot Mobili Autonomi (come i robot da consegna nei magazzini).
2. Robot Industriali per lo Smontaggio (robot che smontano laptop).
3. Robot Manifatturieri Collaborativi (robot che lavorano fianco a fianco con gli umani nelle fabbriche).
4. Navi Autonome (navi a guida autonoma).

I Risultati:

• Gli esperti hanno trovato lo strumento molto utile e facile da comprendere.
• Hanno apprezzato i prompt strutturati (le istruzioni chiare date all'IA).
• Hanno trovato la rifinitura iterativa (la capacità di valutare l'IA e chiederle di riprovare con esempi) la parte più utile.
• Gli esperti hanno sentito che questo strumento li ha aiutati a trovare rischi che altrimenti avrebbero potuto perdere, rendendo i robot più sicuri prima ancora che entrassero nel mondo reale.

Riepilogo

In breve, RoboULM è un laboratorio digitale dove ingegneri umani e un'IA intelligente lavorano insieme. L'umano fornisce l'esperienza e il giudizio finale, mentre l'IA agisce come un potente motore che scansiona una massiccia "Lista di Controllo Maestra" per trovare potenziali pericoli. Lavorando insieme in un ciclo di domande, verifiche e rifiniture, possono costruire robot più sicuri e affidabili, pronti per il mondo reale imprevedibile.

Sommario tecnico

Riepilogo Tecnico: Analisi dell'Incertezza con Umano nel Ciclo per Robot Autoadattivi che Utilizzano LLM

Enunciato del Problema
I robot autoadattivi (SAR) operano in ambienti dinamici e imprevedibili, dove incertezze non affrontate possono portare a violazioni della sicurezza e fallimenti operativi. Sebbene l'identificazione precoce delle incertezze durante la fase di progettazione sia più economica rispetto alla rimediazione post-deploy, l'analisi sistematica di tali incertezze rimane una sfida significativa. Gli approcci esistenti si basano spesso su intuizione, esperienza pregressa o tassonomie statiche, che individuano solo sottoinsiemi limitati di incertezze e faticano a tenere il passo con l'evoluzione delle tecnologie robotiche e l'integrazione dei Modelli Linguistici su Grande Scala (LLM). Il problema centrale è la mancanza di un metodo sistematico, rigoroso e scalabile che permetta ai professionisti di esplorare e categorizzare le incertezze in SAR complessi nella fase di progettazione.

Metodologia: RoboULM
Per affrontare ciò, gli autori propongono RoboULM, una metodologia e uno strumento con umano nel ciclo, progettati per supportare i professionisti nell'esplorazione sistematica delle incertezze utilizzando LLM. La metodologia integra tre componenti innovativi:

1. Tassonomia delle Incertezze (UncerTax): Una categorizzazione strutturata delle incertezze derivata da quattro studi di caso industriali e validata da professionisti. UncerTax organizza le incertezze attraverso 12 dimensioni: natura (statica/dinamica), tipo (epistemica/aleatoria), fase (progettazione/sviluppo/test/operativa), durata temporale, fonte di occorrenza (hardware/ambiente/software), fonte di adattamento, ambito (locale/globale), gravità del rischio, attributi di qualità interessati, pattern di propagazione, caratteristiche dei dati e implicazioni etiche.
2. Esplorazione Guidata da LLM: Lo strumento utilizza LLM per ragionare sui requisiti di sistema e identificare le incertezze. Impiega quattro strategie specifiche di prompting:
   • Prompting basato su ruoli: Stabilisce un contesto guidato da una persona.
   • Prompting basato su rubriche: Incorpora classifiche assegnate da umani per il raffinamento qualitativo.
   • Prompting few-shot: Fornisce esempi per una guida basata sull'esperienza.
   • Prompting vincolato da ontologia: Guida il modello utilizzando gli elementi di UncerTax.
3. Flusso di Lavoro di Raffinamento Iterativo: RoboULM opera tramite un processo in tre fasi:
   • Comprensione del Contesto: L'utente fornisce requisiti di sistema e definizioni di ruolo; l'LLM riassume la sua comprensione del contesto robotico.
   • Query Iniziale: L'utente pone una domanda relativa alle incertezze. L'LLM risponde con un output strutturato categorizzato secondo le 12 dimensioni di UncerTax, fornendo il ragionamento per ciascuna.
   • Raffinamento Iterativo: Se la risposta iniziale non è soddisfacente, l'utente affina l'output utilizzando uno dei tre metodi:
     • Raffinamento basato su classifiche: L'utente assegna un punteggio (1–10) ai segmenti della risposta per evidenziare le aree di miglioramento.
     • Raffinamento guidato da esempi: L'utente fornisce scenari reali concreti per chiarire le interpretazioni previste.
     • Raffinamento guidato dalla tassonomia: L'utente seleziona elementi specifici della tassonomia per indirizzare il ragionamento dell'LLM.

Lo strumento è implementato come applicazione web (frontend React, backend Express) utilizzando il modello Gemini 2.5 Flash (scelto per il suo ragionamento ibrido e la grande finestra contestuale), sebbene sia compatibile con altri modelli come ChatGPT e Llama.

Contributi Chiave

• UncerTax: Una tassonomia completa delle incertezze specifica per SAR, che dettaglia metodi di identificazione, fonti, impatti e strategie di mitigazione attraverso 12 dimensioni.
• Strumento RoboULM: Un prototipo funzionale che rende operativa l'analisi delle incertezze con umano nel ciclo, combinando prompting strutturato con capacità di raffinamento iterativo.
• Strategie di Prompting: Una suite di tecniche avanzate di prompting (basate su classifiche, guidate da esempi e guidate dalla tassonomia) progettate per affinare iterativamente le analisi delle incertezze generate dagli LLM.

Valutazione e Risultati
Gli autori hanno valutato RoboULM con 16 professionisti (inclusi ricercatori, ingegneri software e ingegneri robotici) attraverso quattro casi d'uso industriali: Robot Mobile Autonomo (AMR), Robot Industriale per Smontaggio (IDR), Robot di Manifattura Collaborativa (CMR) e Nave Autonoma (AV).

• Usabilità: Lo strumento è stato generalmente percepito come utile e facile da comprendere. Lo studio di caso AMR ha ricevuto le valutazioni più alte (mediana 4.5/5 per utilità e comprensione).
• Preferenza per le Funzionalità: Il prompting strutturato è stata la funzionalità più costantemente apprezzata (Media: 4.25, punteggio Top-Two-Box: 87.5%). Il raffinamento iterativo (Fase 3) è stato identificato dai partecipanti come l'aspetto più utile.
• Metodi di Raffinamento: Il raffinamento basato su classifiche è stato il più utilizzato e percepito come diretto. Il raffinamento guidato da esempi ha ricevuto valutazioni elevate quando i partecipanti potevano fornire esempi pertinenti. Il raffinamento guidato dalla tassonomia è stato meno favorito da alcuni partecipanti (in particolare nei casi CMR e AV) a causa della difficoltà nell'identificare elementi rilevanti della tassonomia e del fatto che l'LLM si concentrava talvolta sul spiegare la tassonomia piuttosto che sul raffinare la risposta.
• Log di Interazione: La maggior parte dei partecipanti ha completato i compiti, esplorando multiple domande sulle incertezze. L'analisi ha confermato che i partecipanti hanno coperto un'ampia gamma di fonti di incertezza (ambiente, hardware, software, umano) e impatti.

Significato e Affermazioni
Il paper afferma che RoboULM dimostra la fattibilità pratica dell'uso degli LLM per l'analisi sistematica delle incertezze in robot complessi. I risultati suggeriscono che combinare il prompting strutturato con il raffinamento iterativo guidato da umani permette ai professionisti di esplorare le incertezze in modo più completo rispetto ai metodi tradizionali. Gli autori posizionano RoboULM come una soluzione praticabile per affrontare la sfida dell'analisi rigorosa delle incertezze nei SAR, in particolare sfruttando le capacità di ragionamento degli LLM mantenendo al contempo la supervisione umana attraverso la tassonomia e i cicli di raffinamento.

Gli autori mantengono un tono modesto riguardo alle loro affermazioni, notando che questo lavoro presenta un "primo prototipo funzionante" e uno studio di usabilità. Riconoscono limiti nella validità esterna a causa della dimensione del campione (16 partecipanti), ma sostengono che la diversità dei casi industriali e dei ruoli dei partecipanti rafforzi i risultati. Sono previsti lavori futuri per incorporare le funzionalità suggerite dai partecipanti e valutare lo strumento su ulteriori casi robotici e LLM.