See and Switch: Vision-Based Branching for Interactive Robot-Skill Programming

Il paper presenta "See & Switch", un framework interattivo per la programmazione robotica tramite dimostrazione che utilizza la visione artificiale per selezionare dinamicamente i rami di esecuzione e rilevare contesti anomali, permettendo un adattamento robusto a scenari reali complessi.

L'essenziale

Ecco una spiegazione semplice e creativa del paper "See & Switch", pensata per chiunque, anche senza conoscenze tecniche.

Immagina di dover insegnare a un robot come fare le faccende di casa. Fino a poco tempo fa, era come insegnare a un bambino a camminare: gli facevi fare un solo passo alla volta, e se inciampava su un tappeto o trovava un ostacolo, si bloccava o cadeva. Il robot seguiva il "film" che gli avevi girato, punto e basta. Non sapeva adattarsi.

"See & Switch" (Vedi e Cambia) è come dare al robot un cervello che non solo guarda, ma capisce cosa sta succedendo e decide di cambiare strada se necessario.

Ecco come funziona, spiegato con delle metafore:

1. Il problema: Il robot "testa di legno"

Immagina di aver insegnato a un robot come aprire una porta per prendere una mela. Gli hai mostrato la mano che gira la maniglia.

• Scenario A: La porta è aperta. Il robot prende la mela. Perfetto!
• Scenario B: La porta è chiusa. Il robot prova a girare la maniglia, ma la porta non si apre. Il vecchio robot si sarebbe bloccato, confuso, o avrebbe cercato di attraversare la porta come un fantasma.
  Il vecchio metodo non sapeva dire: "Ehi, la porta è chiusa! Devo prima aprirla!".

2. La soluzione: Il "Semaforo Intelligente" (I Decision States)

Gli autori hanno creato un sistema dove il compito non è una singola linea retta, ma una mappa con bivi.
In punti specifici del compito (chiamati Decision States o "Stati di Decisione"), il robot si ferma e chiede: "Cosa vedo?".

• Se vede la porta aperta, prende il ramo della mappa che dice "Prendi la mela".
• Se vede la porta chiusa, prende il ramo che dice "Apri la porta, poi prendi la mela".

3. L'occhio magico: "See" (Vedi)

Come fa il robot a sapere quale ramo prendere? Non usa sensori strani sul suo corpo, ma una telecamera montata sulla sua mano (come se avesse un occhio al posto del polso).
Questa telecamera guarda la scena e confronta quello che vede con le "foto" che gli hai mostrato durante l'insegnamento.

• L'analogia: È come se il robot avesse un album fotografico. Quando arriva al bivio, guarda la foto nella sua mano e dice: "Questa scena assomiglia alla foto 'Porta Chiusa', quindi devo seguire quel percorso".

4. Il cambio di marcia: "Switch" (Cambia)

Se il robot vede qualcosa di nuovo che non ha mai visto prima (ad esempio, un gatto che si è seduto davanti alla porta), il sistema dice: "Attenzione! Questa situazione è fuori dal manuale!".
Invece di bloccarsi, il sistema ti chiede: "Cosa devo fare ora?".
Tu, l'umano, gli mostri come aggirare il gatto. Il robot impara questo nuovo "ramo" della mappa e lo salva. La prossima volta che vede un gatto, saprà cosa fare da solo.

5. Insegnare in qualsiasi modo (Il "Trucco" Modale)

Una cosa geniale di questo sistema è che non ti importa di COME insegni.
Puoi usare tre metodi diversi, e il robot capisce lo stesso:

1. Guida fisica (Kinesthetic): Prendi il braccio del robot e lo muovi tu con le mani (come se guidassi un'auto a mano).
2. Joystick: Usi un telecomando.
3. Gesti: Muovi le mani nell'aria e il robot ti segue (come se fosse un'ombra).

Il sistema traduce tutto questo in un linguaggio comune. È come se avessi tre lingue diverse (Italiano, Inglese, Francese) per dare ordini, ma il robot ha un traduttore istantaneo che capisce tutti e tre allo stesso modo.

Cosa hanno scoperto?

Hanno fatto degli esperimenti con 8 persone comuni (non esperti di robotica) su tre compiti difficili:

1. Prendere un perno.
2. Misurare una presa elettrica (a volte dietro una porta chiusa).
3. Avvolgere un cavo.

I risultati sono stati incredibili:

• Il sistema ha imparato a scegliere la strada giusta nel 90% dei casi, anche quando le persone che insegnavano erano principianti.
• Ha saputo dire "C'è qualcosa di strano qui" (rilevare un'anomalia) nell'88% dei casi.
• Insegnare fisicamente (spostando il braccio) è stato il metodo più veloce e naturale.

In sintesi

"See & Switch" è come dare al robot un GPS visivo. Invece di seguire un percorso fisso e rigido, il robot guarda fuori dal finestrino, legge la mappa, e se la strada è bloccata, cambia rotta da solo o ti chiede come procedere. Questo rende i robot molto più utili nella vita reale, dove le cose non vanno mai esattamente come previsto.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "See and Switch: Vision-Based Branching for Interactive Robot-Skill Programming" in italiano.

1. Il Problema

La programmazione dei robot tramite dimostrazione (PbD - Programming by Demonstration) è un approccio intuitivo che permette agli utenti non esperti di insegnare compiti ai robot senza scrivere codice. Tuttavia, un limite fondamentale degli attuali sistemi PbD è la loro rigidità: un'unica dimostrazione è valida solo per le condizioni specifiche dell'ambiente in cui è stata eseguita. Se l'ambiente cambia (es. un oggetto è nascosto dietro una porta chiusa o la posizione di un oggetto varia), il robot non riesce ad adattarsi e fallisce il compito perché manca di condizionalità.

I sistemi esistenti che utilizzano grafi di task condizionali spesso si affidano a segnali di basso livello (come la forza o la propriocezione) o richiedono una specifica manuale delle condizioni di ramificazione. Manca un meccanismo robusto che permetta al robot di:

1. Rilevare contesti inaspettati (anomalie) basandosi su osservazioni visive ad alta dimensionalità.
2. Selezionare automaticamente il ramo di abilità corretto (branching) durante l'esecuzione.
3. Permettere agli utenti di aggiungere nuove dimostrazioni correttive in tempo reale (in-situ) senza dover ristrutturare l'intero compito.

2. Metodologia: Il Framework "See & Switch"

Gli autori propongono un framework interattivo di insegnamento ed esecuzione che rappresenta i compiti come grafi di parti di abilità (skill parts) collegate tramite Stati di Decisione (DS - Decision States).

A. Architettura del Sistema

Il sistema integra tre componenti principali:

1. Rappresentazione del Task: Il compito è modellato come un grafo diretto dove i nodi sono parti di abilità (segmenti di traiettoria) e gli archi sono transizioni consentite. Durante l'esecuzione, il robot può cambiare ramo in corrispondenza di finestre temporali definite come Stati di Decisione.
2. Switcher (Il Selettore Visivo): È il cuore del sistema. Utilizza una telecamera eye-in-hand (montata sul robot) per analizzare l'immagine in tempo reale agli Stati di Decisione. Lo Switcher deve compiere due azioni:
   • Selezione del ramo: Identificare quale parte di abilità successiva è appropriata per il contesto visivo corrente.
   • Rilevamento di Anomalie (OOD): Determinare se la situazione osservata è fuori distribuzione (es. un nuovo ostacolo, un oggetto mancante) e non corrisponde a nessun ramo noto.
3. Livello di Astrazione delle Modalità di Ingresso: Il sistema è agnostico rispetto alla modalità di insegnamento. Supporta:
   • Insegnamento cinestetico (guida manuale).
   • Joystick.
   • Gestualità (teleoperazione con le mani).
     Questo permette all'utente di fornire dimostrazioni correttive o recuperare da errori in qualsiasi momento.

B. Algoritmo di Esecuzione e Apprendimento Incrementale

• Esecuzione: Il robot riproduce una traiettoria. Al raggiungimento di una finestra DS, lo Switcher analizza l'immagine. Se rileva un'anomalia o seleziona un ramo diverso, il robot passa alla nuova parte di abilità.
• Gestione delle Anomalie: Se lo Switcher rileva un'anomalia (es. la porta è chiusa quando ci si aspettava aperta), l'utente può:
  • Approvare: Continuare l'esecuzione (i dati vengono usati per affinare il modello esistente).
  • Correggere: Fornire una nuova dimostrazione per la situazione specifica. Il sistema inserisce automaticamente un nuovo ramo condizionale nel grafo, espandendo le capacità del robot per quel contesto.

C. Implementazione Tecnica dello Switcher

Per la classificazione visiva e il rilevamento di anomalie, gli autori utilizzano modelli Vision Transformer basati su DINO (DINOv2/DINOv3) come estrattori di feature congelati (frozen feature extractors).

• Input: Immagini eye-in-hand.
• Strategie di Inferenza: Vengono testate diverse strategie per aggregare le patch embeddings, tra cui:
  • Prototype inference (media delle feature).
  • Multi-Instance Learning (MIL) con attenzione.
  • Attention-gated features (pesatura delle patch in base all'attenzione).
• Rilevamento Anomalie: Viene calcolato un punteggio di similarità rispetto al set di training. Se l'immagine è troppo dissimile (OOD), viene segnalata un'anomalia.

3. Contributi Chiave

1. Inserimento Automatico di Stati di Decisione: Il sistema crea dinamicamente punti di ramificazione basati sul rilevamento di anomalie visive o sull'intervento dell'utente.
2. Espansione del Grafo Online: Permette l'aggiunta di nuove varianti di abilità (rami) tramite dimostrazioni di recupero guidate dall'utente, senza modificare la struttura esistente del task.
3. Insegnamento Agnostico alla Modalità: Un'interfaccia unificata che supporta cinestetica, joystick e gesti, facilitando il recupero in-situ con minimo sforzo cognitivo per l'utente.
4. Validazione su Dati Reali: Il metodo è stato testato su robot reali con utenti novizi, dimostrando efficacia in scenari di manipolazione complessa.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su un robot Franka Panda con tre compiti di manipolazione dattilica:

1. Peg pick: Prendere un perno e inserirlo in una ciotola.
2. Probe measure: Misurare un punto con una sonda (richiede di aprire una porta se chiusa).
3. Cable wrap: Avvolgere un cavo.

Dati dello Studio Utente:

• Partecipanti: 8 utenti (novizi).
• Dati: 192 dimostrazioni totali e 576 esecuzioni (rollouts).
• Modalità testate: Cinestetica, Joystick, Gestualità.

Performance dello Switcher:

• Selezione del Ramo (Branch Selection): Il modello DINOv2 small attn ha ottenuto la migliore accuratezza complessiva (81.7%). Quando sono stati filtrati i casi in cui le informazioni discriminanti non erano visibili (es. la porta non inquadrata), l'accuratezza è salita al 90.7%.
• Rilevamento Anomalie: Il sistema ha raggiunto un'accuratezza del 87.9% nel rilevare contesti fuori distribuzione.
• Scalabilità: Il modello DINO-based ha mantenuto un'alta affidabilità (>90%) anche con un numero crescente di classi concorrenti (fino a 5-6 rami), superando significativamente i baselines tradizionali (SIFT/ORB e Autoencoder+GP) che degradavano rapidamente all'aumentare della complessità.

Efficienza dell'Insegnamento:

• L'insegnamento cinestetico è risultato il più veloce (19.5s - 24.2s) e più robusto per compiti complessi come l'avvolgimento del cavo.
• Il Joystick ha mostrato ottime prestazioni per compiti semplici (Peg pick: 99.2% di successo), ma tempi di insegnamento più lunghi per compiti che richiedono precisione.
• I Gesti sono stati i più lenti e sensibili al rumore, specialmente per le correzioni di orientamento fine.

5. Significato e Implicazioni

Il lavoro "See & Switch" rappresenta un passo avanti significativo verso robotica collaborativa più accessibile e robusta.

• Adattabilità: Risolve il problema della fragilità dei sistemi PbD permettendo ai robot di adattarsi a variazioni ambientali non previste inizialmente.
• Accessibilità: Dimostra che utenti non esperti possono insegnare compiti condizionali complessi in modo incrementale, senza bisogno di competenze di programmazione.
• Visione come Sensore Primario: Sposta il focus dai sensori di forza/propriocezione alla visione per la decisione, offrendo una comprensione più ricca del contesto ambientale.
• Limiti e Futuro: Il principale limite identificato è l'osservabilità: se la telecamera non vede l'elemento discriminante (es. la porta è nascosta), la selezione del ramo fallisce. Il lavoro suggerisce futuri sviluppi verso sistemi multi-view o controllo attivo del punto di vista.

In sintesi, il paper presenta un framework pratico e validato che combina visione artificiale avanzata (DINO) e interazione uomo-robot flessibile per creare robot capaci di imparare e adattarsi in tempo reale a scenari del mondo reale.