Riassunto Tecnico: Rappresentazioni d'Immagine Strutturate per l'Apprendimento Robotico Spiegabile (SIR)

Definizione del Probleamento

Le attuali policy robotiche basate su embedding visivi appresi mancano di una struttura esplicita e sono sensibili alle distrazioni visive. Sebbene questi embedding forniscano codifiche compatte dell'informazione visiva, rimangono opachi, rendendo difficile l'interpretazione del processo decisionale. Inoltre, poiché gli agenti robotici operano in ambienti complessi con numerosi oggetti osservati, vi è una crescente necessità di rappresentazioni della scena strutturate ed espressive che facilitino sia le prestazioni che la spiegabilità nel Goal-Conditioned Imitation Learning (GCIL). Gli approcci attuali spesso si affidano a feature visive non strutturate o richiedono algoritici di pianificazione complessi, limitando la loro applicabilità all'apprendimento step-wise senza key-point espliciti.

Metodologia: Rappresentazioni d'Immagine Strutturate (SIR)

Gli autori propongono Structured Image Representations (SIR), un framework che sfrutta i Scene Graphs (SG) come rappresentazione intermedia per l'apprendimento di policy robotiche. A differenza dei metodi di spiegabilità post-hoc, SIR è intrinsecamente spiegabile perché lo grafo sparso funge da stato intermedio appreso durante la generazione dell'azione.

L'architettura si compone di quattro componenti principali:

1. Generazione del Scene Graph:

   • Il sistema costruisce un Grafo Completamente Connesso (FC-Graph) iniziale dove i nodi rappresentano gli oggetti rilevati nella scena (tramite segmentazione ground-truth o predetta).
   • Le rappresentazioni iniziali dei nodi derivano da diverse modalità d'immagine, tra cui:
     • Label: Etichette degli oggetti codificate one-hot.
     • Cropped-Image-Feature: Embedding visivi da reti pre-addestrate (es. ResNet18) applicati ai ritagli dei bounding box degli oggetti.
     • BB-Coordinates: Coordinate 2D del bounding box normalizzate.
     • Point-Cloud-Feature: Embedding da reti pre-addestrate (es. PointNet) applicati alle nuvole di punti degli oggetti.
   • Le feature degli archi sono inizializzate in base alle distanze geometriche o impostate a 1.

2. Sparsificazione del Grafo Apprendibile:

   • Un modulo addestrabile, denominato FiLMDecoder (un Transformer-Decoder a due strati con Adaptive Layer Normalization condizionata dagli obiettivi linguistici), predice un punteggio per ogni nodo.
   • Il sistema impiega una selezione dei nodi basata sull'istruzione per mantenere solo i top-$k$ nodi con il punteggio più alto, creando un sotto-grafo minimale e rilevante per il compito.
   • Per garantire che la sparsificazione sia apprendibile e differenziabile, gli autori introducono:
     • Una soft histogram loss per incoraggiare una distribuzione uniforme dei punteggi dei nodi e prevenire il collasso.
     • Una L1 loss sui pesi dei nodi per guidare la selezione dei nodi rilevanti per l'istruzione.
     • Un meccanismo in cui i pesi dei nodi ($NW$) sono incorporati nei pesi degli archi e nel passaggio di pooling. Ciò assicura che l'informazione dai nodi "rimossi" non si propaghi nell'embedding finale del grafo, rendendo la sparsificazione realmente end-to-end.

3. Generazione dell'Embedding del Scene Graph:

   • Il sotto-grafo sparso è elaborato da una Graph Attention Network (GATv2) a due strati con connessioni residue.
   • Un livello di global average pooling aggrega le feature dei nodi mantenuti per produrre la rappresentazione finale della scena (embedding del grafo).

4. Generazione dell'Azione:

   • L'embedding del grafo risultante, combinato con un obiettivo linguistico embedded (tramite CLIP), funge da input di stato per i generatori di azioni a valle. Gli autori valutano due generatori: il Multimodal Diffusion Transformer (MDT) e un Behavior Cloning (BC)-Transformer.

Contributi Chiave

1. Investigazione degli SG nel GCIL: Il paper fornisce un'approfondita investigazione sull'uso dei Scene Graphs come rappresentazioni di stato dirette per l'apprendimento robotico, analizzando sistematicamente quali modalità d'immagine (simboliche, geometriche, visive) fungano da efficaci feature iniziali dei nodi.
2. Sparsificazione Apprendibile: Gli autori propongono un nuovo metodo per la sparsificazione end-to-end apprendibile degli SG. Questo crea un sotto-grafo sparso che funge da spiegazione diretta del processo decisionale del modello, rivelando quali oggetti e interazioni sono ritenuti critici.
3. Spiegabilità Intrinseca: Analizzando le deviazioni tra i sotto-grafi appresi e le aspettative umane (es. inclusione di distrattori o omissione di oggetti chiave), il metodo permette di rilevare i bias del dataset, come le correlazioni spurie e i bias posizionali.

Risultati Sperimentali

Il metodo è stato valutato sugli benchmark RoboCasa e CALVIN utilizzando 100 rollout per configurazione.

• Performance: Su RoboCasa, SIR ha raggiunto un tasso di successo medio del 19,5%, superando i baseline basati su immagini (14,81%) e i modelli a grafo completamente connesso senza sparsificazione (16,98%).
• Integrazione delle Modalità: I modelli basati su grafi hanno dimostrato una capacità superiore di integrare diverse modalità. Ad esempio, mentre i baseline basati solo su point-cloud hanno performato scarsamente (4,13%), i modelli basati su grafi che utilizzano feature di point-cloud hanno ottenuto tassi di successo significativamente più alti (11,08% - 15,04%).
• Robustezza ai Distrattori: Quando sono stati introdotti nuovi oggetti distrattori durante l'inferenza, i baseline basati su immagini hanno subito un calo di performance di circa il 3,3%. Al contrario, SIR e altri modelli basati su grafi hanno mostrato quasi nessuna degradazione delle prestazioni, dimostrando un'alta robustezza alle distrazioni visive.
• Studi di Ablazione: Lo studio ha confermato che la sparsificazione guidata dall'istruzione con soft histogram loss produce le migliori prestazioni rispetto alla rimozione casuale, alla rimozione ingenua o ai metodi basati su soglia.

Significato e Rivendicazioni

Il paper sostiene che SIR offra un avanzamento significativo nell'apprendimento robotico spiegabile, passando da opachi embedding visivi a rappresentazioni relazionali strutturate.

• Intrinseco vs Post-hoc: Gli autori sottolineano che SIR non è un metodo di spiegazione post-hoc (come l'uso di un VLM per filtrare gli oggetti dopo l'addestramento). Inve di ciò, il grafo sparso è una rappresentazione intermedia appresa. Ciò consente al modello di rivelare la sua effettiva logica decisionale, inclusi i potenziali difetti.
• Rilevamento dei Bias: Un risultato critico è che l'analisi dei sotto-grafi appresi può svelare i bias del dataset. Ad esempio, gli autori hanno osservato che in certi compiti, il modello eseguiva con successo le azioni ignorando l'oggetto target e facendo affidamento esclusivamente sullo stato del robot (bias posizionale), o sfruttando correlazioni spurie con oggetti di sfondo irrilevanti.
• Interpretabilità: La capacità di visualizzare i sotto-grafi di "spiegazione del compito" fornisce un'intuizione diretta per capire se il modello sta avendo successo per i motivi corretti o se sta sfruttando scorciatoie nei dati di addestramento.

Gli autori concludono che, sebbene SIR migliori le prestazioni e la robustezza, il suo contributo più prezioso è la capacità di utilizzare i grafi sparsi appresi come strumento di debugging sia per il comportamento del modello che per la qualità del dataset.