ROSER: Few-Shot Robotic Sequence Retrieval for Scalable Robot Learning

Il paper introduce ROSER, un framework di recupero few-shot leggero che risolve la scarsità di dati etichettati nell'apprendimento robotico estraendo segmenti di task pertinenti da log di interazione non etichettati utilizzando solo pochi esempi di riferimento, superando i metodi esistenti in accuratezza ed efficienza.

L'essenziale

Immagina di avere una biblioteca immensa di video che mostrano un robot che lavora tutto il giorno, 24 ore su 24. In questi video, il robot apre cassetti, gira rubinetti, guida auto e fa milioni di cose diverse. Il problema? Questi video sono come un unico, lunghissimo filmato senza interruzioni, senza titoli e senza indici. Se vuoi insegnare al robot a "aprire un cassetto", non puoi semplicemente dargli tutto il filmato: devi prima trovare esattamente quel piccolo spezzone di tempo in cui lo fa, e poi tagliarlo fuori.

Fino a oggi, per fare questo, servivano migliaia di persone a guardare i video e scrivere etichette a mano: "Qui il robot apre il cassetto". È costoso, lento e noioso.

ROSER (il titolo del paper) è come un assistente bibliotecario super-intelligente e velocissimo che risolve questo problema.

Ecco come funziona, spiegato con metafore semplici:

1. Il Problema: Il "Muro di Mattoni"

Immagina di avere un muro di mattoni (i dati grezzi del robot) e vuoi trovare un singolo mattone rosso specifico (l'azione di "aprire il cassetto").

• I metodi vecchi erano come cercare di smontare il muro mattone per mattone, controllando ogni pezzo uno a uno con un metro. Funzionava, ma richiedeva anni.
• I metodi basati sull'Intelligenza Artificiale moderna (come i grandi modelli linguistici) erano come avere un lettore che conosce tutte le parole del mondo, ma che quando deve cercare un'azione fisica, si confonde perché parla troppo e pensa troppo. Sono lenti e costosi.

2. La Soluzione: ROSER, il "Cacciatore di Somiglianze"

ROSER cambia le regole del gioco. Invece di cercare di capire tutto il video, usa un trucco geniale chiamato "Few-Shot Learning" (Apprendimento con pochi esempi).

Immagina di voler trovare tutti i momenti in cui il robot apre un cassetto.

1. L'Esempio: Tu mostri al sistema solo 3 o 5 video brevi (diciamo 5 secondi ciascuno) in cui un robot apre un cassetto. Questi sono i tuoi "esempi di riferimento".
2. La Mappa Mentale: ROSER non memorizza i video come filmati. Invece, crea una mappa mentale astratta. Immagina una stanza dove ogni punto è un'azione. Se due azioni sono simili (es. "aprire il cassetto" e "aprire il forno"), i loro punti sono vicini. Se sono diverse (es. "aprire il cassetto" e "guidare un'auto"), i punti sono lontani.
3. La Caccia: Una volta creata questa mappa con i tuoi 3-5 esempi, ROSER guarda l'intero archivio di video (il muro di mattoni) e chiede: "Quali pezzi di questo muro assomigliano di più ai miei 3-5 esempi?".
4. Il Risultato: In pochi millisecondi, ROSER ti restituisce una lista di tutti i momenti esatti in cui il robot apre un cassetto, anche se nel video originale non c'era scritto nulla.

3. Perché è così speciale? (Le Analogie)

• Non serve un dizionario, serve un "fiuto":
  I vecchi metodi cercavano di leggere le istruzioni (etichette). ROSER usa il "fiuto". Se gli mostri un cane, riconoscerà un altro cane anche se è di una razza diversa o se è in una stanza diversa, basandosi sulla forma e sul movimento, non sulle parole. Questo è fondamentale perché i robot si muovono in modo diverso a seconda del contesto.

• La velocità di un fulmine:
  I grandi modelli di intelligenza artificiale (come quelli che scrivono testi o generano immagini) sono come elefanti: potenti, ma lenti a muoversi. ROSER è come un ghepardo. È così leggero e veloce che può analizzare milioni di secondi di video in tempo reale, trovando l'azione giusta in meno di un millisecondo per ogni confronto.

• Adattabilità:
  Se domani vuoi insegnare al robot a "girare un rubinetto", non devi riaddestrare tutto il sistema da zero. Basta mostrare 3-5 esempi di "girare rubinetto" e ROSER aggiornerà la sua mappa mentale istantaneamente. È come cambiare la destinazione sul GPS: non devi costruire una nuova strada, basta dire "voglio andare lì" e il sistema trova il percorso migliore.

In sintesi

ROSER è la chiave per sbloccare il potenziale dei robot. Trasforma montagne di dati inutilizzabili (video lunghi e confusi) in biblioteche organizzate e pronte all'uso, usando solo pochi esempi come guida.

Invece di assumere migliaia di persone per etichettare i video, ora possiamo dire al computer: "Ecco come si fa, trovami tutti gli altri casi simili". Questo rende l'apprendimento dei robot più veloce, più economico e, soprattutto, più intelligente.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "ROSER: FEW-SHOT ROBOTIC SEQUENCE RETRIEVAL FOR SCALABLE ROBOT LEARNING", presentata al workshop DATA-FM @ ICLR 2026.

1. Il Problema: La Crisi di Utilizzo dei Dati Robotici

Il lavoro affronta un collo di bottiglia critico nell'apprendimento robotico: la discrepanza strutturale tra la raccolta dei dati e i requisiti dei moderni framework di apprendimento.

• Il Contesto: Esistono enormi dataset robotici su larga scala (es. LIBERO, DROID, nuScenes) registrati come log di interazione continui e lunghi. Tuttavia, questi dati mancano di segmentazione, etichette di task o confini semantici.
• La Sfida: I modelli moderni (come Vision-Language-Action models o World Models) richiedono traiettorie pulite, segmentate ed etichettate per l'addestramento.
• L'Impatto: Estrarre segmenti riutilizzabili da questi log grezzi richiede attualmente un'annotazione umana proibitiva o euristiche specifiche per dominio che non generalizzano. Questo crea una "crisi di utilizzo dei dati", dove vaste quantità di informazioni comportamentali rimangono inaccessibili.

2. Metodologia: ROSER (Robotic Sequence Retrieval)

Gli autori propongono ROSER, un framework leggero di retrieval (recupero) few-shot che riformula la curatela dei dati come un problema di recupero di sequenze semanticamente simili utilizzando solo pochi esempi di riferimento.

A. Formulazione del Problema

L'obiettivo è recuperare tutte le sotto-sequenze corrispondenti a un task specifico da un dataset non etichettato ($U$), utilizzando un piccolo set di supporto ($S^{(t)}$) di soli 3-5 esempi per task. Non è richiesto alcun addestramento specifico per il task durante la fase di deployment.

B. Architettura e Apprendimento Metrico

ROSER si basa su una rete di apprendimento metrico task-agnostic addestrata su finestre temporali:

1. Encoder Temporale: Viene utilizzata una CNN 1D (Convolutional Neural Network) invece di architetture più pesanti come i Transformer.
   • Motivazione: Le CNN offrono induttive bias cruciali per i segnali robotici: località (lo stato al tempo $t$ è correlato ai vicini immediati) ed equivarianza allo shift temporale (un'azione come "afferrare" è semanticamente identica indipendentemente da quando avviene nella finestra). Questo previene l'overfitting su set di supporto piccoli.
2. Prototypical Networks: L'architettura adotta il paradigma delle Prototypical Networks. Per ogni task, viene calcolato un "prototipo" ($c^{(t)}$) come la media delle embedding dei campioni di supporto nel spazio metrico appreso.
3. Addestramento Episodico: Il modello viene addestrato tramite episodi (meta-learning). In ogni iterazione, vengono campionati $N_{way}$ task, con $K_{shot}$ esempi di supporto e $N_{query}$ esempi di query. L'obiettivo è minimizzare la distanza euclidea tra le query e il loro prototipo di task, massimizzando la distanza tra task diversi.

C. Fase di Recupero (Inference)

1. Costruzione del Prototipo: Dati i pochi esempi di riferimento per un nuovo task, si calcola il prototipo nel spazio metrico.
2. Ricerca a Finestra Scorrevole: Si scorre il dataset non etichettato con finestre temporali di dimensione $W$ e passo $s$.
3. Calcolo della Distanza: Ogni finestra viene codificata e confrontata con il prototipo tramite distanza euclidea quadrata.
4. Post-Processing (NMS): Per gestire la densità di candidati sovrapposti, viene applicata la Non-Maximum Suppression (NMS) per filtrare i duplicati temporali e mantenere solo le finestre migliori, garantendo il recupero di manovre fisiche distinte.

3. Contributi Chiave

1. Formalizzazione del Task: Definizione formale del "Robotic Sequence Retrieval" come problema di apprendimento few-shot su segnali temporali propriocettivi.
2. Framework ROSER: Introduzione di un metodo leggero che non richiede addestramento specifico per task e funziona con soli 3-5 esempi.
3. Protocolli di Valutazione Completi: Stabilimento di protocolli di benchmark rigorosi su tre dataset su larga scala (LIBERO, DROID, nuScenes), valutando non solo l'accuratezza ma anche la distribuzione statistica, la dinamica temporale e la diversità.
4. Efficienza e Scalabilità: Dimostrazione che un approccio basato su metriche apprese supera i metodi classici e i grandi modelli linguistici (LLM) in termini di velocità e precisione.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su LIBERO (manipolazione robotica simulata), DROID (manipolazione robotica reale) e nuScenes (guida autonoma).

• Prestazioni di Accuratezza: ROSER ha superato sistematicamente tutti i baseline, inclusi:
  • Metodi classici (DTW, STUMPY, Shapelets).
  • Embedding basati su LLM (Gemma, Llama, Qwen) e modelli fondazione per serie temporali (MOMENT).
  • ROSER ha ottenuto i migliori o secondi migliori risultati in quasi tutte le metriche (Wasserstein Distance, DTW Nearest Neighbor, Correlazione Temporale).
• Efficienza Computazionale:
  • ROSER raggiunge un'inferenza sub-millisecondo per match (es. ~0.5ms su LIBERO), rendendolo praticabile per lo scavo di log su larga scala.
  • I modelli basati su LLM sono ordini di grandezza più lenti, rendendo il loro uso per il recupero su finestre scorrevoli impraticabile.
• Robustezza Few-Shot: L'analisi di ablazione mostra che le prestazioni rimangono competitive anche con soli 3-5 esempi di riferimento. Un numero di 5-7 esempi rappresenta il punto di equilibrio ottimale tra sforzo di etichettatura e accuratezza.
• Qualità del Recupero:
  • ROSER recupera segmenti che preservano la struttura cinematica e dinamica del task (es. traiettorie di evitamento ostacoli), mentre i metodi classici tendono a fallire su variazioni esecutive o a recuperare manovre superficialmente simili ma semanticamente diverse (es. confondere "aprire un cassetto" con "afferrare un oggetto").
  • È stato osservato un compromesso (trade-off) tra diversità e similarità distribuzionale: un recupero più stretto (bassa distanza di Wasserstein) tende a ridurre la diversità delle traiettorie recuperate.

5. Significato e Implicazioni

Questo lavoro ha un impatto fondamentale per il futuro dell'apprendimento robotico:

• Democratizzazione dei Dati: Permette di sbloccare dataset robotici esistenti e sottoutilizzati senza la necessità di costose annotazioni umane.
• Adattabilità Rapida: Consente ai ricercatori di curare rapidamente dati di addestramento per nuovi task fornendo solo poche dimostrazioni.
• Trasferibilità: Facilita il trasferimento di conoscenze tra diversi robot (embodiments) e ambienti identificando comportamenti analoghi.
• Scalabilità: Fornisce una via pratica per convertire log grezzi in dataset strutturati pronti per l'addestramento di modelli fondazione e policy di imitazione.

In sintesi, ROSER risolve il problema della "mancanza di etichette" trasformando la curatela dei dati in un problema di recupero efficiente, ponendo le basi per un apprendimento robotico generalista scalabile.