ROSER: Few-Shot Robotic Sequence Retrieval for Scalable Robot Learning

Dit paper introduceert ROSER, een lichtgewicht few-shot retrieval-framework dat ongelabelde robot-interactielogs omzet in bruikbare, taakgerichte trajecten met slechts enkele voorbeelden, waardoor de schaarste aan getrainde data voor robotleren wordt opgelost en bestaande datasets effectiever benut kunnen worden.

De kern

Stel je voor dat je een enorme bibliotheek hebt, vol met video's van robots die urenlang aan het werk zijn. Ze doen van alles: deuren openen, kopjes pakken, auto's sturen. Het probleem is dat deze video's één lange, ononderbroken stream zijn, zonder titels, zonder "start" of "stop", en zonder uitleg over wat er precies gebeurt. Het is alsof je een filmkabel hebt die 1000 uur lang aan één stuk doordraait, maar je wilt alleen het fragment zien waarin iemand een kopje thee zet.

Tot nu toe was het vinden van die specifieke stukjes een nachtmerrie. Mensen moesten urenlang naar de video's kijken en handmatig markeren: "Hier begint het theezetten, hier eindigt het." Dat is extreem duur en tijdrovend.

ROSER is de oplossing voor dit probleem. Het is een slim, lichtgewicht systeem dat dit hele proces automatiseert. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Naaimachine" zonder Garen

Stel je voor dat je een naaimachine hebt met een enorme berg stof (de robotdata), maar je hebt geen garen om de stukken aan elkaar te naaien of te markeren. Bestaande methoden waren als proberen de stof te snijden met een zware, trage machine die niet goed begrijpt wat een "kraag" is en wat een "mouw". Ze zochten op exacte gelijkenis (bijvoorbeeld: "de hand moet op exact dezelfde plek staan"), maar robots bewegen soms net iets anders, en dan faalde de zoektocht.

2. De Oplossing: ROSER als een Slimme Zoekhond

ROSER (Robotic Sequence Retrieval) werkt als een getrainde zoekhond. Je hoeft de hond niet te vertellen hoe hij een "kraag" moet zien door hem duizenden foto's te tonen. Je geeft hem gewoon 3 tot 5 voorbeelden (een paar stukjes garen) van wat je zoekt.

• De "Few-Shot" truc: Je zegt tegen ROSER: "Kijk naar deze 4 video's van een robot die een lade opent. Onthoud hoe dat voelt en eruit ziet."
• De Zoektocht: ROSER loopt dan door die enorme, ongemarkeerde bibliotheek van 1000 uur aan video's. Het zoekt niet naar exacte kopieën, maar naar soortgelijke gevoelens en bewegingen. Het denkt: "Ah, dit stukje hier lijkt heel veel op die 4 voorbeelden, ook al is de robot net iets sneller of staat hij een beetje scheef."

3. Hoe werkt het technisch? (De "Receptuur")

In plaats van een zware, dure supercomputer te gebruiken die alles uit zijn hoofd moet leren, gebruikt ROSER een slimme, lichte methode:

• Het Prototypen: ROSER maakt een "gemiddeld beeld" (een prototype) van de 3-5 voorbeelden die je gaf. Dit is als het maken van een ideale receptuur voor "Lade Openen".
• De Vergelijking: Het neemt elke kleine stukje van de lange video en vergelijkt het met dit recept. Als het past, is het een match!
• Snelheid: Dit gaat razendsnel. Terwijl andere systemen minuten nodig hebben om één stukje te vinden, doet ROSER dit in een fractie van een seconde (minder dan een milliseconde). Het is alsof je een boek doorzoekt met een zoekfunctie in plaats van elke pagina handmatig te lezen.

4. Waarom is dit een revolutie?

Vroeger dachten we dat we duizenden voorbeelden nodig hadden om een robot iets te leren. ROSER bewijst het tegenovergestelde: met heel weinig voorbeelden kun je al enorm veel vinden.

• Voor Robotmakers: Je kunt nu eindelijk die enorme, onbenutte databases van robots gebruiken. Je hoeft niet meer urenlang te annoteren. Je geeft een paar voorbeelden, en ROSER haalt alle relevante stukjes eruit.
• Voor Auto's: Het werkt ook voor zelfrijdende auto's. Geef het een voorbeeld van een "remmen bij een kruising", en het vindt alle momenten in duizenden uren rijdata waar dat gebeurde, zelfs als de auto's op verschillende manieren remden.

Samenvattend

ROSER is de magische schaar voor robotdata. Het knipt die ene lange, saaie video in duizenden kleine, bruikbare stukjes, puur op basis van een paar voorbeelden die je erin stopt. Het maakt de wereld van robotleren veel sneller, goedkoper en toegankelijker, zodat robots echt kunnen leren van alles wat ze al hebben gedaan, zonder dat mensen urenlang hoeven te klikken en markeren.

Het is alsof je eindelijk een manier hebt gevonden om uit een berg rommel precies de schatten te halen die je nodig hebt, zonder dat je de hele berg hoeft te doorzoeken.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "ROSER: FEW-SHOT ROBOTIC SEQUENCE RETRIEVAL FOR SCALABLE ROBOT LEARNING", vertaald en samengevat in het Nederlands.

Titel: ROSER: Few-Shot Robotische Sequenceretrieval voor Schaalbaar Robotleren

Publicatie: 3rd DATA-FM workshop @ ICLR 2026, Brazilië.

---

1. Het Probleem: De Data-Utilisatie Crisis

Een kritieke bottleneck in het veld van robotleren is de schaarste aan taak-gelabelde, gesegmenteerde trainingsdata. Hoewel er enorme hoeveelheden robuuste datasets bestaan die zijn opgenomen als lange, continue interactielogs (bijv. LIBERO, DROID, nuScenes), zijn deze structureel incompatibel met moderne leerframeworks.

• De mismatch: Moderne modellen (zoals Vision-Language-Action modellen) vereisen schoon gesegmenteerde, taak-specifieke trajecten. Real-world robotlogs zijn echter ononderbroken stromen zonder semantische labels of taakgrenzen.
• De huidige oplossing: Het handmatig annoteren van deze logs is prohibitief duur en tijdrovend. Bestaande methoden voor het extraheren van relevante segmenten maken vaak gebruik van heuristieken die niet schaalbaar zijn of zijn afhankelijk van dichte supervisie.
• Het doel: Het probleem wordt herformuleerd als een few-shot retrieval-probleem: het vermogen om herbruikbare, taakgerelateerde segmenten te extraheren uit ongelabelde logs met slechts een handvol referentiedemonstraties (3-5 voorbeelden), zonder taak-specifiek training.

2. Methodologie: ROSER Framework

ROSER (Robotic Sequence Retrieval) is een lichtgewicht framework dat gebruikmaakt van metrisch leren om een taak-agnostische ruimte te creëren voor tijdsreeksen.

• Architectuur:

  • Encoder: In plaats van zware Transformers of LLM's, gebruikt ROSER een gestroomlijnde 1D Convolutional Neural Network (CNN). Dit wordt gekozen vanwege de sterke inductieve bias voor robotica: localiteit (toestand $t$ is sterk gecorreleerd met buren) en tijdsverschuivings-equivalentie (een beweging blijft semantisch hetzelfde ongeacht wanneer deze optreedt).
  • Prototypical Networks: Het systeem baseert zich op Prototypical Networks. Voor een specifieke taak $t$ wordt een prototype ($c_t$) berekend als het gemiddelde van de embedding van een kleine steunset (support set) van $K$ voorbeelden.
  • Episodisch Trainen: Het model wordt getraind in "episodes". In elke iteratie worden $N$ taken geselecteerd, elk met een steunset en een query-set. De loss-functie minimaliseert de afstand tussen query-embeddings en hun taak-prototype, terwijl de afstand tot andere taken wordt gemaximaliseerd.

• Retrieval Proces:

  1. Prototype Constructie: Gegeven een nieuwe taak met slechts 3-5 voorbeelden, wordt het prototype in de geleerde metriekruimte berekend.
  2. Sliding Window Search: De encoder wordt toegepast op lange, ongesegmenteerde logs met een gleedvenster (window size $W$, stride $s$).
  3. Matching: De afstand (Euclidische afstand) tussen elk venster en het prototype wordt berekend.
  4. Post-processing: Non-Maximum Suppression (NMS) wordt toegepast om redundante, overlappende segmenten te filteren, zodat alleen de meest representatieve, unieke manoeuvres worden behouden.

3. Belangrijkste Bijdragen

1. Formalisatie van Robotische Sequenceretrieval: Het paper introduceert een formeel kader voor het extraheren van taakcentrische segmenten uit ongelabelde logs met minimale supervisie.
2. ROSER Framework: Een lichtgewicht, few-shot oplossing die werkt op ruwe proprioceptieve tijdreeksen (joint-standen, gripper-status, snelheid, etc.) zonder taak-specifieke fine-tuning tijdens de inzet.
3. Uitgebreide Evaluatie: De auteurs stellen nieuwe evaluatieprotocollen op en benchmarken ROSER tegen drie categorieën baselines op drie grote datasets:
   • Klassieke methoden: DTW, STUMPY, Shapelets.
   • Geleerde embeddings: Time-series foundation models (MOMENT).
   • Foundation Modellen: LLM-based embeddings (Gemma, Llama, Qwen).
   • Datasets: LIBERO (robotmanipulatie), DROID (real-world manipulatie), en nuScenes (autonoom rijden).

4. Resultaten

De experimenten tonen aan dat ROSER consequent beter presteert dan alle bestaande methoden op zowel nauwkeurigheid als efficiëntie.

• Nauwkeurigheid: ROSER behaalt de beste of tweede beste scores op bijna alle metrieken, waaronder:
  • Distributionele Similariteit: Lagere Wasserstein Distance (WD) en Spectral WD, wat aangeeft dat de gevonden data statistisch beter overeenkomt met de referentie.
  • Temporele Dynamiek: Hogere Temporele Correlatie en lagere DTW Nearest Neighbor afstanden.
  • Kwaliteit: ROSER slaagt erin semantisch correcte bewegingen te vinden (bijv. "deur openen" in plaats van "grijpen") zelfs bij variatie in uitvoering, waar klassieke methoden vaak vastlopen op oppervlakkige gelijkenis.
• Efficiëntie:
  • Snelheid: ROSER bereikt een inferentie van sub-millisecond per match (bijv. ~0.5ms op LIBERO). Dit is orde van grootte sneller dan LLM-baselines (die honderden milliseconden tot seconden nodig hebben) en sneller dan klassieke methoden zoals STUMPY bij grote datasets.
  • Few-Shot Robuustheid: Het systeem presteert uitstekend met slechts 3 tot 5 voorbeelden. Een ablatiestudie toont aan dat de prestaties slechts marginaal dalen bij vermindering van de steunset, wat aantoont dat het model zeer data-efficiënt is.
• Feature Importance: Ablatie-studies tonen aan dat voor manipulatie-taken (LIBERO/DROID) de gewrichtsstanden (joint states) en end-effector posities cruciaal zijn, terwijl voor navigatie (nuScenes) snelheid en versnelling de belangrijkste factoren zijn.

5. Betekenis en Impact

ROSER biedt een praktische oplossing voor het "data-gebruik" probleem in robotica:

• Unlocking Underutilized Data: Het stelt onderzoekers in staat om enorme, onbenutte datasets van robotlogs te benutten voor trainingsdoeleinden zonder dure handmatige annotatie.
• Schaalbaarheid: Door de lage rekentijd en het ontbreken van taak-specifieke training, kan ROSER worden ingezet voor continue leerprocessen en het indexeren van nieuwe data in real-time.
• Generalisatie: Het framework faciliteert cross-dataset transfer, waarbij gedrag uit één omgeving (bijv. simulatie) kan worden gebruikt om vergelijkbare taken in een andere omgeving (bijv. real-world) te identificeren.

Kortom, ROSER bewijst dat het herformuleren van data-curatie als een few-shot retrieval-probleem een fundamentele stap is naar het schaalbaar maken van robotleren, waarbij de afhankelijkheid van dichte supervisie wordt doorbroken ten gunste van slimme, metrische zoekstrategieën.