Technische Samenvatting: CLIFT – Het transformeren van Gemini Robotics On-Device naar humanoïde specialisten via niet-invasieve, gesloten lus iteratieve fijnafstemming

1. Probleemstelling

De robotica-gemeenschap staat voor een fundamentele spanning: de meest capabele Vision-Language-Action (VLA) fundamentmodellen zijn doorgaans getraind op propriëtaire data en blijven closed-source, wat de mogelijkheid voor eindgebruikers om deze aan te passen beperkt. Hoewel een opkomend paradigma Managed Supervised Fine-Tuning (SFT) API's biedt (bijv. Gemini Robotics On-Device of GROD) waarmee gebruikers data kunnen indienen en getunede policies kunnen ontvangen zonder toegang te krijgen tot gewichten of gradiënten, presenteert dit regime significante beperkingen voor wendbare, contactrijke humanoïde manipulatie.

Huidige API-gebaseerde adaptatie leunt primair op demonstratie-only SFT. Deze aanpak stuit op een prestatieplafond omdat:

1. Distributie-mismatch: Het traint op een vaste distributie van menselijke teleoperatie-data, terwijl de uitvoering plaatsvindt onder de eigen closed-loop observatie-distributie van de policy.
2. Executiekwaliteit: Taakvoltooiing alleen garandeert geen succes; factoren zoals vloeiendheid, contactkwaliteit en veiligheid zijn cruciaal.
3. Controller-koppeling: VLA-policies zijn nauw gekoppeld aan downstream whole-body controllers. Dezelfde actie-chunk kan verschillende fysieke uitkomsten opleveren door latentie, compliantie en tracking-dynamiek, wat een kloof creëert tussen de policy-output en het uitgevoerde gedrag.

Bestaande methoden voor closed-loop verbetering (bijv. PPO, residual RL) vereisen toegang tot interne signalen zoals gradiënten, likelihoods of critic-netwerken, die niet beschikbaar zijn in restrictieve API-regimes met beperkte toegang. De centrale vraag is: Hoe effectief is het managed-API regime voor humanoïde adaptatie, en hoe kan closed-loop verbetering binnen dit regime worden gerealiseerd om taakbeheersing te bereiken?

2. Methodologie: CLIFT

De auteurs stellen CLIFT (Closed-Loop Iterative Fine-Tuning) voor, een niet-invasieve pipeline die managed SFT-interfaces verbindt met closed-loop policy-verbetering. CLIFT werkt als een "vliegwiel" dat reward-feedback uit de deployment-fase omzet in API-compatibele supervised data zonder ooit de interne gewichten of losses van het model aan te raken.

De pipeline bestaat uit drie iteratieve stappen:

A. Preference-Calibrated Dense Reward Modeling

Om rollouts tijdens deployment te scoren, gebruikt CLIFT een tweestaps proces voor reward-generatie:

1. Candidate Generation: Een zero-shot VLM genereert meerdere kandidaat per-step reward-sequenties voor een gegeven rollout.
2. Human Selection & Distillation: Menselijke operators geven voorkeuren (pairwise preferences) op de kwaliteit van de rollouts. De kandidaten waarvan de cumulatieve return-rangschikking het best overeenkomt met de menselijke voorkeuren, worden geselecteerd. Deze geselecteerde sequenties worden vervolgens gedestilleerd in een generatief reward-model ($R_\theta$). Dit model levert dense, preference-gekalibreerde rewards die de executiekwaliteit vangen die verder gaat dan grove voortgang in de taak.

B. Retrieval-Based Advantage Conditioning

In plaats van mislukte rollouts te verwerpen of episodes als binair succes/falen te behandelen, voert CLIFT chunk-level credit assignment uit:

1. Retrieval: Voor elke actie-chunk die start bij staat $o_t$, extraheert het systeem een set vergelijkings-chunks uit andere rollouts die starten vanuit visueel vergelijkbare staten.
2. Scoring: De chunk wordt gescoord op basis van de gedisconteerde return over een look-ahead window met behulp van het reward-model $R_\theta$.
3. Labeling: De chunk krijgt een binair Advantage Token ($I \in \{positive, negative\}$). Als de return van de chunk in de top 30% van de geretourneerde set ligt (auto-kalibrerend naar de moeilijkheidsgraad van de staat), ontvangt het een positieve label; anders is het negatief.
4. Data Conversie: Elke rollout-chunk wordt omgezet in een SFT-tuple: (observatie, instructie, actie-chunk, advantage_token).

C. Iteratieve Zelfverbetering

De loop verloopt als volgt:

1. Deployment: De huidige policy $\pi_k$ wordt ingezet op de robot om closed-loop rollouts te verzamelen.
2. Relabeling: Rollouts worden gescoord door $R_\theta$, en chunks worden voorzien van advantage tokens.
3. Dataset Constructie: Een cumulatieve dataset $D_k$ wordt gevormd door de originele menselijke demonstraties (altijd gelabeld als positief) te combineren met de nieuw gelabelde rollout-chunks.
4. Fine-Tuning: Het basismodel wordt vanaf nul gefinetuned op $D_k$ via de managed SFT API om $\pi_{k+1}$ te produceren.
5. Inference: Tijdens deployment wordt de policy geconditioneerd op de positieve advantage token om het gedrag te sturen naar hoogwaardige acties.

3. Experimentele Opstelling

• Platform: Unitree G1 humanoïde robot met dubbele armen, behendige handen en een hoofd-gemonteerde RGB-camera.
• Controle: Hiërarchische whole-body controle waarbij de VLA bovenlichaam-gewrichtshoeken en onderlichaam-snelheden output, die worden gevolgd door een via RL geleerde controller.
• Taken: Drie contactrijke, wendbare manipulatietaken:
  1. Box Packing: Precisie grijpen en plaatsen.
  2. Cup Insertion: Asymmetrische bimanuele coördinatie (het stabiliseren van een drager terwijl een fles wordt ingevoerd).
  3. Bimanual Plate Handover: Gecoördineerde overdracht tussen beide handen.
• Vergelijkingmodellen:
  • GROD: Closed-weight model via managed SFT API.
  • $\pi_{0.5}$: Open-weight VLA (Physical Intelligence) met directe toegang tot gewichten.
• Protocol: Beide modellen werden geïnitialiseerd met 2 uur aan teleoperatie-demonstraties en werden onderworpen aan twee cycli van CLIFT.

4. Belangrijkste Resultaten

Prestatiewinst

• GROD (Closed-Weight): CLIFT slaagde erin om GROD na twee vliegwiel-cycli bijna tot perfecte taakbeheersing te brengen, ondanks de uitsluitend API-gebaseerde toegang.
  • Box Packing: 93% $\to$ 100%
  • Cup Insertion: 70% $\to$ 98%
  • Bimanual Plate Handover: 53% $\to$ 96%
• $\pi_{0.5}$ (Open-Weight): CLIFT verbeterde ook het open-weight model, maar dit model vlakte af op een aanzienlijk lager plafond (bijv. 5% $\to$ 30% bij Bimanual Plate Handover).
• Vergelijking: Directe SFT op GROD presteerde al beter dan $\pi_{0.5}$ getraind op dezelfde data. Zelfs toen $\pi_{0.5}$ werd voorzien van "invasieve" adaptatie (FiLM-stijl conditionering om preferentie-signalen direct in het netwerk te injecteren), bleef het achter bij de via API-adaptatie verbeterde GROD.

Dense vs. Episode Selectie

De auteurs vergeleken twee varianten van CLIFT:

1. Dense Advantage-Conditioned: Labelt elke chunk in elke rollout (positief of negatief).
2. High-Return Episode Selection: Houdt alleen de top 30% van de succesvolle episodes aan (standaard DAgger-stijl).

• Bevinding: Bij eenvoudige taken presteerden beide vergelijkbaar. Bij de moeilijkste taak (Bimanual Plate Handover) presteerde de Dense variant aanzienlijk beter dan episode-selectie (96% vs. ~84%). Dit toont aan dat het behouden van mislukte rollouts en het herlabelen van goed uitgevoerde chunks als positieve voorbeelden (en slechte chunks als negatief) cruciaal is om te leren van fouten.

Emergente Gedragingen

CLIFT stelde de policy in staat om gedragingen aan te leren die niet aanwezig waren in de originele demonstraties:

• Pre-manipulatie: Het heroriënteren van een doos met vingers/pols om het grijpen te vergemakkelijken.
• Herstel: Een tweede poging tot invoeren ondernemen na een eerste mislukte poging, in plaats van stil te blijven staan.

5. Betekenis en Claims

Het artikel claimt dat CLIFT aantoont dat managed SFT API's niet alleen als aanpassingsinterfaces kunnen dienen, maar ook als praktische mechanismen voor closed-loop policy-verbetering.

• Niet-invasieve Beheersing: Het is mogelijk om een closed-weight fundamentmodel naar bijna perfecte succesratio's te duwen op complexe, contactrijke taken zonder de "black box" van het model te openen (toegang tot gewichten, gradiënten of losses).
• Belang van het Fundamentmodel: De keuze van het basismodel is cruciaal. Een sterker closed-weight fundamentmodel (GROD) dat via een smalle API-interface wordt aangepast, presteert beter dan een zwakker open-weight model ($\pi_{0.5}$), zelfs wanneer de laatste volledige interne toegang heeft gekregen. Dit suggereert dat voor closed-loop adaptatie de kracht van de pre-trained prior belangrijker kan zijn dan het niveau van toegang tot de training.
• Data-efficiëntie: Door deployment-fouten om te zetten in dense, chunk-niveau training-signalen, extraheert CLIFT maximale waarde uit real-robot rollouts, waardoor falen wordt omgezet in een leer-signaal in plaats van het simpelweg te verwerpen.

De auteurs concluderen dat hoewel real-robot rollouts kostbaar zijn, deze aanpak een levensvatbaar pad biedt naar taakbeheersing voor humanoïde robots in het tijdperk van propriëtaire foundationmodellen.