Uni-Skill: Building Self-Evolving Skill Repository for Generalizable Robotic Manipulation

Het paper introduceert Uni-Skill, een kader dat een zelfevoluerende vaardighedenbibliotheek (SkillFolder) combineert met adaptieve planning om robotmanipulatie te generaliseren via automatische vaardigheidsontwikkeling en few-shot inferentie zonder handmatige annotatie.

De kern

Uni-Skill: De Robot die Zelf Leert en Groeit

Stel je voor dat je een robot hebt die alles kan doen wat je vraagt, zolang het maar in zijn "handboek" staat. Maar wat als je vraagt: "Veeg de tafel schoon"? Als dat specifieke commando niet in zijn handboek staat, stopt de robot en zegt hij: "Ik kan dat niet." Dat is het probleem met de meeste robots vandaag de dag. Ze zijn slim, maar ze zitten vast in een starre lijst van dingen die ze al kunnen.

De onderzoekers van dit paper hebben Uni-Skill bedacht. Het is als een robot die niet alleen een handboek heeft, maar ook een levende, groeiende bibliotheek die zichzelf bijwerkt.

Hier is hoe het werkt, uitgelegd met een paar simpele vergelijkingen:

1. De Slimme Chef-kok (Het "Skill-Aware Planning" Deel)

Stel je Uni-Skill voor als een zeer slimme chef-kok in een keuken.

• Het oude probleem: Als je een chef vraagt om "pannenkoeken te bakken" en hij heeft alleen een recept voor "eiwit", dan faalt hij. Hij kan niet improviseren.
• De Uni-Skill oplossing: Als deze chef-kok een opdracht krijgt die hij niet kent (bijvoorbeeld: "Veeg de tafel"), kijkt hij eerst in zijn bestaande receptenboek. Als hij ziet dat hij een ontbrekend ingrediënt of een nieuwe techniek nodig heeft (zoals "vegen" in plaats van alleen "pakken"), schrijft hij zelf een nieuw recept.
• Hij zegt niet: "Ik kan dat niet." Hij zegt: "Oké, ik heb een nieuwe techniek nodig: 'vegen met een doek'. Ik ga die nu zelf beschrijven zodat ik het kan doen."

2. De Oneindige Videobibliotheek (SkillFolder)

Nu heeft de chef-kok een nieuw recept geschreven, maar hoe leert hij hoe je een tafel veegt? Hij kan niet elke keer een mens vragen om het te laten zien.

• De oplossing: Uni-Skill heeft een enorme, ongeordende berg aan robotvideo's verzameld (duizenden uren aan beelden van robots die van alles doen).
• De "VerbNet" Bibliotheek: Stel je voor dat deze video's een enorme, rommelige stapel zijn. Uni-Skill bouwt er een super-georganiseerde bibliotheek omheen, genaamd SkillFolder.
  • Het is als een bibliotheek die niet alleen boeken op alfabet sorteert, maar ook op actie. Er is een hele afdeling voor "vegen", een voor "draaien", een voor "openen".
  • Het systeem kijkt naar de video's, begrijpt wat er gebeurt, en plakt er automatisch een label op: "Ah, dit is een voorbeeld van 'vegen met een spons'".
• Het resultaat: Als de chef-kok (de planner) een nieuw recept nodig heeft, zoekt hij in deze bibliotheek. Hij vindt direct duizenden voorbeelden van robots die al hebben laten zien hoe je een tafel veegt. Hij hoeft niemand meer te bellen; hij leert gewoon door te kijken.

3. De "Kijk en Leer" Methode (Few-Shot Learning)

Dit is het magische deel. Als de robot nu een nieuwe taak moet doen, zoals "een deur sluiten" (wat hij nog nooit heeft gedaan), doet hij het volgende:

1. Hij vraagt aan zijn bibliotheek: "Wie heeft er ooit een deur gesloten?"
2. De bibliotheek toont hem een paar video-fragmenten van robots die deuren sluiten.
3. De robot kijkt naar deze voorbeelden en zegt: "Oké, ik zie dat ze eerst de hendel vastpakken, dan duwen, en dan draaien."
4. Hij past dit patroon toe op de nieuwe deur in de kamer, zelfs als de deur er anders uitziet dan in de video.

Het is alsof je iemand een nieuwe sport leert door te zeggen: "Kijk naar deze drie filmpjes van professionals, en probeer het dan zelf." Je hoeft niet urenlang te oefenen; je leert in één keer door te kijken.

Waarom is dit zo belangrijk?

• Geen menselijke hulp nodig: Vroeger moest een mens elke nieuwe taak handmatig programmeren of laten zien. Nu doet de robot dat zelf door te zoeken in zijn eigen bibliotheek.
• Aanpasbaar: Als de robot een taak niet kan, maakt hij er gewoon een nieuwe vaardigheid bij. Hij groeit mee met de wereld.
• Beter dan de rest: De onderzoekers hebben getest of dit werkt in een virtuele wereld en in het echt. Het bleek veel beter te zijn dan de beste robots tot nu toe, vooral bij moeilijke, nieuwe taken die ze nooit eerder hadden gedaan.

Kortom: Uni-Skill is de robot die niet vastzit in zijn handboek. Hij is nieuwsgierig, zoekt zelf naar voorbeelden in een enorme videobibliotheek, schrijft zijn eigen nieuwe instructies en leert zo elke dag iets nieuws, zonder dat jij er iets voor hoeft te doen.

Technische samenvatting

Probleemstelling

Huidige robotische manipulatiesystemen die gebruikmaken van "skill-centric" (vaardigheidsgerichte) benaderingen, vertrouwen vaak op vaste vaardigheidsbibliotheken. Hoewel deze methoden foundation-modellen (zoals Large Language Models) gebruiken voor generalisatie in samenstellende taken, zijn ze fundamenteel beperkt door hun inability om zich aan te passen aan nieuwe taken zonder menselijke tussenkomst.

• Beperkingen: Als een specifieke vaardigheid (bijv. "kleding vouwen") niet voorkomt in de vooraf gedefinieerde API-bibliotheek, kan het systeem de taak niet uitvoeren.
• Afhankelijkheid van menselijke supervisie: Bestaande methoden vereisen vaak handmatig verzamelde demonstraties of waypoint-annotaties bij de implementatie voor elke nieuwe vaardigheid.
• Ongestructureerde data: Er bestaat een enorme hoeveelheid ongestructureerde robotische video's, maar deze ontberen de nodige koppelingen en annotaties om direct gebruikt te worden voor het uitbreiden van vaardigheidsbibliotheken.

Het paper stelt dat er een verschuiving nodig is: vaardigheden moeten niet worden gezien als statische, geïsoleerde API-primitieven, maar als uitbreidbare, evoluerende entiteiten die automatisch kunnen worden aangeleerd uit grote datasets.

Methodologie: Uni-Skill Framework

De auteurs stellen Uni-Skill voor, een unified framework dat twee kerncomponenten integreert: Vaardigheidsbewuste Planning (Skill-Aware Planning) en Automatische Vaardigheidsevolutie (Automatic Skill Evolution).

1. Vaardigheidsbewuste Planning (Skill-Aware Planning)

Dit module stelt het systeem in staat om te detecteren of bestaande vaardigheden voldoende zijn voor een gegeven taak (bijv. "veeg de tafel schoon").

• Sufficiency Discriminator ($E$): Beoordeelt of de basisvaardigheidsbibliotheek ($L_{base}$) toereikend is voor de instructie.
• Vaardigheidsgenerator ($G$): Als er een gat wordt gedetecteerd, genereert dit onderdeel automatisch een beschrijving voor de ontbrekende vaardigheid (bijv. def wipe_table()).
• Planner ($P$): Genereert uitvoerbare policy-code op basis van de uitgebreide bibliotheek ($L_{base} \cup L_{ext}$).
• Resultaat: Het systeem kan dynamisch nieuwe vaardigheden definiëren en plannen genereren die verder gaan dan de oorspronkelijke set.

2. SkillFolder: Een Hiërarchische Vaardigheidsrepository

Om de automatisch gegenereerde vaardigheidsbeschrijvingen te koppelen aan uitvoerbare acties, introduceren de auteurs SkillFolder. Dit is een VerbNet-geïnspireerde repository die is afgeleid van grote hoeveelheden ongestructureerde robotische video's.

• Automatische Annotatie: Een VLM-pijplijn (met Extractor, Descriptor en Aligner) segmenteert video's en koppelt ze aan vaardigheidsbeschrijvingen. Hieruit zijn meer dan 10.000 vaardigheidsdemonstraties gehaald.
• Hiërarchische Structuur: SkillFolder organiseert vaardigheden in vier lagen:
  1. VerbNet-klassen: Abstracte actiecategorieën (bijv. wipe-manner).
  2. Voorbeeld-woorden: Specifieke werkwoordinstanties binnen een klasse.
  3. Vaardigheidsbeschrijving: Object-gerichte interactietemplates (bijv. wipe_table).
  4. Visuele voorbeelden: Fijngestemde, visueel verankerde video-segmenten.
• Few-Shot Implementatie: Wanneer een nieuwe vaardigheid nodig is, zoekt het systeem in SkillFolder naar semantisch relevante voorbeelden. Deze voorbeelden leveren:
  • Semantische constraints: Hoog-niveau regels (bijv. contactpunten, richting).
  • Ruimtelijke trajecten: Gedetailleerde 6-DoF (Degrees of Freedom) trajecten en oriëntatiepatronen.
  • Het systeem gebruikt deze voorbeelden als "in-context" voorbeelden om de robot de nieuwe taak te laten uitvoeren zonder extra demonstraties tijdens de deploy.

Belangrijkste Bijdragen

1. Self-Evolving Framework: Uni-Skill is het eerste systeem dat automatisch nieuwe vaardigheden kan detecteren, beschrijven en implementeren zonder menselijke supervisie bij de deploy.
2. SkillFolder Dataset: Een schaalbare, hiërarchisch gestructureerde dataset van >10.000 vaardigheidsdemonstraties, gekoppeld aan 106 VerbNet-klassen en 1.659 unieke vaardigheidsformuleringen.
3. Paradigmaverschuiving: Verplaatsing van handmatige annotatie naar efficiënte offline structurele retrieval en automatische implementatie via few-shot learning.
4. Geïntegreerde Planning en Actie: Een naadloze koppeling tussen hoog-niveau taakplanning (via VLM) en laag-niveau uitvoering (via getrainde policy-code en visuele prompting).

Resultaten

De auteurs hebben Uni-Skill uitgebreid getest in zowel simulatie (RLBench) als real-world omgevingen (Franka Emika robotarm).

• Simulatie (RLBench):
  • Voor taken die buiten de basisvaardigheidsset vallen, overtreft Uni-Skill de state-of-the-art methode MOKA met 31,0% in zero-shot succespercentages.
  • Het presteert aanzienlijk beter dan CaP (Code-as-Policies), dat faalt bij taken die nieuwe API's vereisen.
• Real-World:
  • Uni-Skill toont een verbetering van 20,0% op lange-horizon taken en 34,0% op ongezette vaardigheden.
  • Het systeem slaagt erin complexe taken zoals "kleding vouwen" en "blokken roeren" uit te voeren, waarbij het gebruik maakt van gerecupereerde vaardigheidsvoorbeelden voor nauwkeurige trajecten.
• Ablatie Studies:
  • Het uitschakelen van het vaardigheids-update-mechanisme leidt tot een faalpercentage van bijna 100% op nieuwe taken.
  • Zowel semantische constraints als ruimtelijke trajectreferenties zijn cruciaal; het ontbreken van één van beide leidt tot significante prestatievermindering afhankelijk van de taaktype (contact-gevoelig vs. ruimtelijk nauwkeurig).

Betekenis en Toekomstperspectief

Uni-Skill markeert een belangrijke stap in de richting van algemene robotische manipulatie. Door de afhankelijkheid van handmatige annotaties te doorbreken en in plaats daarvan gebruik te maken van de overvloed aan bestaande videodata, maakt het systeem robots veel flexibeler en aanpasbaarder aan nieuwe omgevingen.

• Schalbaarheid: Het framework maakt het mogelijk om robotvaardigheden te schalen naar duizenden nieuwe taken zonder extra menselijke kosten.
• Robuustheid: Het systeem toont sterke zero-shot generalisatie en kan zelfs fouten (zoals verkeerde trajecten) corrigeren via een zelfcorrigerend mechanisme.
• Toekomst: De auteurs suggereren dat toekomstig werk zich kan richten op het combineren van semantische hiërarchieën met mechanische eigenschappen voor nog efficiëntere retrieval en het uitbreiden van de data-bronnen naar ego-centrische (menselijke) video's, ondanks de uitdagingen qua kwaliteit.

Kortom, Uni-Skill transformeert robotleren van een statisch, handmatig proces naar een dynamisch, zelfevoluerend ecosysteem dat continu kan groeien met de beschikbare data.