Sintesi Tecnica: BaTCAVe – Spiegazioni Affidabili per i Comportamenti Robotici

Definizione del Problema

La robotica moderna si affida sempre più a reti neurali profonde (DNN), in particolare per il processo decisionale e il controllo end-to-end. Tuttavia, la natura "black-box" di questi modelli pone sfide significative per l'impiego in scenari reali ad alto rischio. Gli stakeholder, inclusi ingegneri e organismi legislativi, mancano di intuizioni sui processi decisionali di questi sistemi, il che ostacola il debugging, la certificazione e la costruzione della fiducia.

Sebbene l'IA spiegabile (XAI) abbia fatto progressi nell'elaborazione del linguaggio naturale e nella visione artificiale, le tecniche esistenti risultano insufficienti per la robotica per due ragioni primarie:

1. Mancanza di Grounding (Ancoraggio Semantico): Molti metodi XAI (ad es., l'attribuzione delle caratteristiche tramite gradienti o l'evidenziazione dei pixel) identificano dove una rete si concentra nell'input, ma non riescono a spiegare quali attributi semantici di alto livello (concetti) guidano specifiche azioni del robot. Evidenziare un'auto in un'immagine non chiarisce se il modello ha reagito al suo colore, alla sua forma o al suo movimento.
2. Assenza di Valutazione dell'Affidabilità: Le attuali metodologie XAI forniscono tipicamente una singola spiegazione senza quantificare l'incertezza o l'affidabilità di tale spiegazione. Nella robotica critica per la sicurezza, una spiegazione potenzialmente errata o ambigua è pericolosa quanto l'assenza di una spiegazione.

Metodologia: BaTCAVe

Gli autori propongono BaTCAVe (Bayesian Testing with Concept Activation Vectors), una tecnica di spiegabilità post-hoc progettata per attribuire le decisioni del robot a concetti di alto livello interpretabili dall'uomo, fornendo al contempo i relativi punteggi di incertezza.

Componenti Core

1. Concetti d'Azione ($C_A$): A differenza dei compiti di classificazione statica, il processo decisionale robotico coinvolge sequenze di azioni. Il metodo definisce un "concetto d'azione" come un comportamento target specifico (ad es., "afferrare un cubo" o "sterzare a destra") estratto dalla traiettoria del robot utilizzando regole logiche applicate ai vettori d'azione nel tempo.
2. Concetti d'Input ($C_I$): Questi sono attributi di alto livello, interpretabili dall'uomo, degli input del robot (dati visivi, linguistici o propriocettivi), come "rossore", "oscurità", "distanza" o verbi specifici in un comando. Sono rappresentati da collezioni di input rappresentativi (ad es., un insieme di immagini che mostrano oggetti scuri).
3. Test Bayesiano con CAV:
   • Il metodo decompone la rete neurale in uno strato specifico $l$ in un encoder $f_{-l}(\cdot)$ e un decoder $f_{+l}(\cdot)$.
   • Opera nello spazio di attivazione di $f_{-l}(\cdot)$.
   • Inveve di trovare un singolo confine lineare tra le attivazioni positive (concetto presente) e negative (concetto assente), BaTCAVe utilizza l'Inferenza Variazionale per apprendere una distribuzione probabilistica sui iperpiani separatori (Concept Activation Vectors).
   • Questo approccio tratta il vettore di direzione $v$ come una variabile casuale, consentendo al sistema di campionare molteplici confini di separazione validi.

Punteggio e Incertezza

Il metodo calcola un punteggio $s$ che rappresenta la sensibilità della decisione del robot rispetto a un determinato concetto di input.

• Punteggio Medio ($\bar{s}$): La media empirica dei punteggi indica la forza della spiegazione. Un valore medio elevato suggerisce che il concetto è un driver significativo del comportamento.
• Incertezza (Deviazione Standard): La deviazione standard empirica dei punteggi riflette l'incertezza epistemica.
  • Bassa Incertezza + Alta Accuratezza: La spiegazione è precisa e affidabile (Caso 3).
  • Alta Incertezza + Alta Accuratezza: Esistono molteplici spiegazioni valide, oppure i dati di test mancano di diversità (Caso 2).
  • Bassa Accuratezza: Il concetto non riesce a delineare il comportamento, rendendo la spiegazione inaffidabile (Caso 1).

Contributi Chiave

1. Processo Decisionale Spiegabile Post-hoc: Una tecnica specificamente adattata per robot dotati di DNN che spiega perché sono state intraprese specifiche azioni basandosi su concetti di alto livello anziché su pixel grezzi.
2. Framework di Affidabilità: Un framework innovativo che utilizza l'inferenza variazionale per valutare l'affidabilità delle spiegazioni, fornendo intervalli di incertezza che aiutano gli stakeholder a distinguere tra intuizioni robuste e ambigue.
3. Scoperta di Concetti attraverso le Modalità: La capacità di scoprire e testare concetti spiegabili attraverso diverse attività robotiche (manipolazione, navigazione, guida) e modalità di input (immagini, propriocezione, linguaggio).

Risultati Sperimentali

Gli autori hanno validato BaTCAVe attraverso quattro distinti setup sperimentali:

1. Navigazione di un Robot Mobile basata su Visione (JetBot):

   • Risultato: Gli ingegneri avevano inizialmente ipotizzato che il robot avesse imparato a evitare ostacoli "arancioni". BaTCAVe ha rivelato che il modello in realtà faceva affidamento sull' "oscurità" (luminosità nella scala HSV), poiché la scatola arancione era semplicemente una tonalità scura.
   • Utilità: Il metodo ha identificato con successo che il fine-tuning dell'intera rete rispetto all'ultimo strato cambiava la dipendenza da "arancione" rispetto a "oscurità", dimostrando la sua utilità per il debugging di strategie di data augmentation e di addestramento.

2. Manipolazione Propriocettiva (Braccio Panda):

   • Task: Sollevamento Cubo, Pick & Place, Assemblaggio Dado.
   • Risultato: I punteggi di BaTCAVe con bassa incertezza hanno confermato che le informazioni precise sull'oggetto dai sensori propriocettivi erano critiche per il successo del task. Ad esempio, nel task "Lift", la posizione verticale dell'end-effector ($\Delta Z$) e lo stato della pinza erano i concetti dominanti.

3. Manipolazione Visione-Linguaggio:

   • Setup: Un modello che elabora immagini RGB e istruzioni linguistiche (ad es., "Pick up the cube").
   • Risultato: Il metodo ha isolato che specifici verbi nel comando linguistico erano i driver primari per le azioni di sollevamento, mentre i concetti d'immagine mostravano un'incertezza maggiore, evidenziando la dipendenza del modello dai segnali linguistici per le fasi specifiche del task.

4. Guida Autonoma (Simulatore Donkey):

   • Risultato: L'agente faceva forte affidamento sulle "ombre nere" (che rappresentano la strada) per le decisioni di sterzata.
   • Utilità Diagnostica: Applicando BaTCAVe a diversi strati, gli autori hanno determinato che gli errori nel recupero della sterzata originavano nella testa della policy (MLP), e non nell'encoder d'immagine (CNN), guidando sforzi mirati di riaddestramento.

Significato e Rivendicazioni

Il paper posiziona BaTCAVe non come un sostituto dei modelli intrinsecamente interpretabili, ma come uno strumento diagnostico necessario per le DNN "black-box" che dominano attualmente la robotica.

• Fiducia e Sicurezza: Quantificando l'incertezza, BaTCAVe affronta la lacuna critica dell'attuale XAI dove le spiegazioni vengono presentate come fatti assolti. Ciò consente agli ingegneri e ai regolatori di valutare se una spiegazione sia abbastanza affidabile per decisioni ad alto rischio (ad es., certificare un veicolo autonomo).
• Miglioramento Iterativo: Gli autori affermano che lo strumento assiste i robotici nel migliorare iterativamente la robustezza del modello identificando vulnerabilità nella data augmentation, nel fine-tuning e nei cambiamenti di dominio.
• Debugging Centrato sull'Uomo: A differenza delle mappe di salienza a livello di pixel, BaTCAVe fornisce spiegazioni semantiche (ad es., "importanza del verbo" o "oscurità") che si allineano con l'intuizione umana, rendendo il processo di debugging più azionabile per gli ingegneri.

Il lavoro conclude che, sebbene i fallimenti nei modelli robusti siano inevitabili, strumenti come BaTCAVe sono essenziali per comprendere il "perché" dietro i comportamenti dei robot, facilitando così un impiego più sicuro e affidabile.