Riepilogo Tecnico: Imparare a Piegare al LeHome Challenge 2026

Definizione del Problema

Il documento affronta il LeHome Challenge 2026, una competizione focalizzata sulla manipolazione bimanuale robotica di oggetti deformabili (indumenti). Il compito richiede un robot con due braccia a 6 gradi di libertà (configurazione SO-ARM101) e tre telecamere RGB per piegare quattro tipi di indumenti (top a maniche lunghe/corte, pantaloni a gamba lunga/corta) distesi su un tavolo.

La sfida è divisa in due fasi:

1. Round Online (Simulazione): I team competono in NVIDIA Isaac Sim. Il successo è binario e geometrico, definito da specifiche condizioni di distanza tra i keypoint (es. incontro delle maniche, allineamento dell'orlo). Il dataset include 10 indumenti "visti" con dimostrazioni scriptate e 10 indumenti "non visti" (2 pubblici, 8 privati) senza dati di addestramento.
2. Finale nel Mondo Reale: I migliori team vengono implementati su robot fisici. I criteri di successo includono crediti parziali per i passaggi intermedi, valutati da una giuria. Un vincolo critico è che il tipo di indumento non viene fornito come input; la policy deve inferirlo.

Le sfide chiave identificate includono la natura deformabile del tessuto (sensibile alla traiettoria), ricompense binarie sparse, generalizzazione a indumenti non visti senza dati di addestramento e un difficile trasferimento sim-to-real, dato che il robot di valutazione non era accessibile durante lo sviluppo.

Metodologia

La soluzione è un caso di studio ingegneristico che combina una policy Vision-Language-Action (VLA) con un ciclo di Reinforcement Learning (RL), piuttosto che uno studio di ablazione controllato.

1. Architettura della Policy

Il sistema si basa sull'architettura $\pi_0.5$ (estesa nel BEHAVIOR-1K Challenge 2025), che utilizza un encoder d'immagine SigLIP congelato, un prefix transformer Gemma-2B e un esperto d'azione Gemma-300M che genera chunk di azione di 30 step tramite flow matching.

• Modifiche per LeHome:
  • Token del Tipo di Indumento: Un embedding appreso sostituisce i prompt testuali. Durante l'inferenza, un bootstrap "System-2" predice il tipo di indumento all'inizio dell'episodio per condizionare il resto del rollout.
  • Condizionamento dell'Advantage: La policy è condizionata su un token di advantage appreso (stile RECAP), consentendo il Classifier-Free Guidance (CFG) durante l'inferenza.
  • AdaRMS Multi-Segnale: L'advantage e il tipo di indumento vengono iniettati nelle layer norm dell'esperto d'azione tramite un vettore appreso, rafforzando il condizionamento.
  • Exclusive Self-Attention (XSA): Applicata per evitare che i token instradino trivialmente i propri valori, migliorando la stabilità dell'addestramento.
  • Normalizzazione Smooth: I delta delle azioni sono normalizzati per timestep per gestire la crescente varianza della traiettoria simile a un random walk.

2. La Policy come Propria Funzione di Valore

Invece di un critic separato, il modello VLA include teste lineari ausiliarie che predicono:

• Probabilità di Successo: Agisce come la funzione di valore ($V$).
• Progresso di Completamento: Predice $t/T$ per lo shaping basato sul potenziale.
• Distanze dei Keypoint: Predice i rapporti specifici utilizzati nel controllo del successo.
• Predizioni Future: Una testa "Q-function" predice il residuo di successo ($\Delta_{success}$) 30 frame in avanti, condizionato al chunk di azione proposto. Ciò consente la selezione Best-of-N durante l'inferenza.

3. Ciclo di Addestramento RL (Il Flywheel)

Il sistema utilizza una pipeline asincrona che comunica tramite HuggingFace Hub:

• Algoritmi: Combina AWR (Advantage Weighted Regression) e RECAP (condizionamento dell'advantage).
  • AWR: I frame con alto advantage vengono campionati più frequentemente ($P \propto e^{A/\beta}$) invece di essere ripesati nella loss, garantendo un utilizzo del 100% dei batch su dati ad alto valore.
  • RECAP: L'advantage viene fornito come token di input, permettendo al modello di imparare a "predire solo buone azioni" e abilitando il CFG.
• Strategia dei Dati:
  • Campionamento Multi-dataset: Il loader mescola dati di Behavior Cloning (BC), rollout di RL e dati DAgger (Human-in-the-loop).
  • Decadimento: I dati RL decadono nel tempo per dare priorità ai dati on-policy.
  • Recupero: Un ciclo DAgger permette agli umani di correggere gli stati di fallimento in simulazione (sebbene ciò sia stato difficile in sim) e sul robot reale.
  • Rollback: Il processo di addestramento torna periodicamente a checkpoint precedenti per sfuggire agli ottimi locali utilizzando nuovi dati off-policy.

4. Design di Reward e Advantage

Poiché il vero reward è binario, il sistema ingegga reward intermedi densi:

• Checkpoint: Reward intermedi (0.5) vengono assegnati al raggiungimento di specifici traguardi di distanza dei keypoint.
• Ritiro in caso di Fallimento: Se un episodio fallisce, tutto l'accumulo di reward viene ritirato per mantenere un ritorno binario, evitando che il modello impari a "giocare con il sistema" negli stati intermedi.
• Stima dell'Advantage: Utilizza la Generalized Advantage Estimation (GAE) combinando la probabilità di successo smorzata e il progresso di completamento. Per i rollout obsoleti, l'advantage decade con grazia verso un segnale di successo relativo stile GRPO.
• Boost di Precisione: Gli episodi di successo che soddisfano le condizioni in modo "stretto" ricevono un bonus di advantage per incoraggiare pieghe di alta qualità.

5. Ottimizzazione al Tempo di Inferenza

Lo stesso checkpoint viene ottimizzato al deployment senza riaddestramento:

• Thompson Sampling: Un algoritmo multi-armed bandit sintonizza gli iperparametri (lunghezza di esecuzione, scala di guida, temperatura del rumore, numero di candidati) per ogni tipo di indumento durante la raccolta dei rollout.
• Best-of-N: Moltiplici chunk di azione vengono campionati dallo stesso prefix; quello con il $\Delta_{success}$ predetto più alto viene eseguito.

• Soft Inpainting: I chunk di azione sovrapposti sono ancorati per garantire traiettorie fluide e persistenza del modo (mode stickiness).

6. Trasferimento Sim-to-Real

Il trasferimento nel mondo reale è stato uno "sprint" che ha coinvolto:

• Pruning del Modello: Rimozione delle teste solo per la sim (distanze keypoint, world model) e del condizionamento dell'advantage, mantenendo solo l'esperto d'azione, la testa del tipo di indumento e la testa di completamento.
• Mixing dei Dati: Fine-tuning su un mix di dati BC di organizzatore, dati personali di teleop/DAgger e replay della simulazione pesantemente aumentati.
• Allineamento e Augmentation: Utilizzo di uno strumento di overlay della telecamera per allineare il rig fisico al target. Applicazione di estreme augmentation (jitter del colore, rumore, dropout della telecamera, riscalamento dell'intensità del movimento) per colmare il gap di dominio.
• DAgger sul Robot Reale: Raccolta di dati di recupero facendo intervenire un umano quando la policy falliva, pesando i frame in base alla prossimità dell'intervento.

Risultati

• Round Online (Simulazione): Ha ottenuto il 1° posto su 62 team con un tasso di successo complessivo del 79,63%, superando la seconda squadra di 6,1 punti percentuali.
  • Performance per tipo: Top Lunghi (74,5%), Top Corti (70,0%), Pantaloni Lunghi (80,5%), Pantaloni Corti (93,5%).
• Finale nel Mondo Reale: Ha ottenuto il 2° posto. Il punteggio è stato di 865 su un massimo di 1080 punti.
  • La policy ha piegato con successo indumenti non visti e ha gestito la dinamica del robot fisico, sebbene abbia fatto affidamento pesantemente sui dati DAgger per il recupero piuttosto che sull'esplorazione autonoma.

Significato e Claim

L'autore inquadra questo lavoro come un caso di studio ingegneristico piuttosto che un esperimento scientifico controllato, notando che il sistema è stato costruito iterativamente sotto la pressione della competizione con studi di ablazione limitati.

• Ricetta Pratica: Il documento sostiene che la soluzione sia una "ricetta" di idee esistenti ricombinate (AWR, RECAP, Flow Matching, DAgger) che possono essere usate insieme o singolarmente.
• Policy come Funzione di Valore: Dimostra che un singolo modello VLA può fungere efficacementamente sia da policy che da funzione di valore (predittori di successo/completamento), semplificando la pipeline di addestramento e abilitando una selezione Best-of-N efficiente.
• Tuning al Tempo di Inferenza: Il lavoro evidenzia come si possano ottenere significativi guadagni di performance ottimizzando gli iperparametri di inferenza (tramite Thompson sampling) senza ulteriore addestramento.
• Sim-to-Real tramite Diversità: Sostiene che una forte augmentation e una deliberata randomizzazione del rig, combinate con una strategia di trasferimento "sim-to-real-to-real", possano superare significativi gap di dominio anche senza accesso al robot di valutazione.
• Limitazioni: L'autore ammette che il sistema manca di una robusta esplorazione/recupero autonomo. La policy eccelle nel raffinare comportamenti noti ma fatica a recuperare da stati completamente fuori dalla sua distribuzione di addestramento senza l'intervento umano (DAgger). L'autore suggerisce che una pipeline unificata che combini la meccanica di RL del round di simulazione con i dati di recupero del mondo reale del round finale potrebbe potenzialmente raggiungere un successo >90%.