Riepilogo Tecnico: Qwen-RobotManip: L'allineamento sblocca la scalabilità per i modelli di fondazione della manipolazione robotica

Problematica

Sebbene i modelli di fondazione nel linguaggio e nella multimodalità abbiano raggiunto una forte capacità di generalizzazione allineando fonti di dati eterogenee sotto una formulazione unificata, l'applicazione di questa "ricetta di scalabilità" alla manipolazione robotica rimane una sfida significativa. A differenza del testo, i dati di manipolazione sono intrinsecamente eterogenei, costosi da raccogliere e limitati nella diversità. Gli attuali modelli Vision-Language-Action (VLA) mostrano spesso una generalizzazione superficiale, performando bene nei benchmark standard in-distribution, ma fallendo quando testati oltre ambiti ristretti (ad esempio, diversi embodiment robotici, perturbazioni visive o istruzioni inedite). Il problema centrale identificato è che, senza un framework di allineamento unificato, la scalabilità del volume di dati attraverso diversi embodiment porta all'interferenza piuttosto che alla sinergia, poiché rappresentazioni di osservazione e azione incompatibili impediscono al modello di apprendere abilità fisiche trasferibili.

Metodologia

1. Framework di Allineamento Cross-Embodiment Unificato

Il cuore di Qwen-RobotManip è un framework di allineamento unificato progettato per rendere coerente l'addestramento su larga scala da molteplici fonti. Questo framework opera su tre dimensioni:

• Allineamento della Rappresentazione: Il modello utilizza un vettore stato-azione canonico a 80 dimensioni. Questa struttura accoglie diverse morfologie robotiche (braccio singolo, doppio braccio, mani destre, basi mobili) mappando specifici gradi di libertà in slot semantici fissi (posizioni dei giunti, posa dell'end-effector, stato della pinza) e applicando il padding zero per le dimensioni non utilizzate. Una maschera binaria per dimensione assicura che i gradienti fluiscano solo attraverso le voci semanticamente popolate.
• Allineamento del Movimento: Per affrontare la frammentazione causata dai diversi sistemi di coordinate tra i dataset, il modello adotta una rappresentazione della posa delta nel frame della telecamera per le azioni dell'end-effector. Invece di pose assolute nei frame della base del robot, le azioni sono espresse come delta relativi nel sistema di coordinate della telecamera. Ciò garantisce che movimenti visivamente simili siano numericamente prossimi tra diversi embodiment, facilitando il trasferimento cross-embodiment. La geometria della telecamera viene iniettata nell'esperto d'azione tramite la Camera Positional Encoding (CaPE).
• Allineamento del Comportamento: Il modello impiega un meccanismo di adattamento della policy in-context. Condizionando le predizioni di azione correnti su una finestra strutturata di cronologia di esecuzione recente (coppie osservazione-azione) dello stesso episodio, la policy si adatta alle specifiche firme cinematiche e dinamiche comportamentali del robot corrente senza aggiornamenti dei parametri. Il campionamento stocastico del contesto durante l'addestramento impedisce al modello di fare affidamento su scorciatoie di prossimità temporale, costringendolo a imparare profili comportamentali coerenti.

2. Corpus di Dati Scalabile Multi-Fonte

Per raggiungere la scala necessaria, gli autori hanno costruito un corpus di pre-addestramento di circa 38.100 ore utilizzando esclusivamente dataset open-source e video di dimostrazioni umane, evitando la raccolta di dati proprietari.

• Sintesi Human-to-Robot: Una pipeline converte circa 1.933 ore di video egocentrici di manipolazione umana con le mani in traiettorie robotiche su 15 diverse piattaforme robotiche. Questo processo include il retargeting dell'azione (mappatura dei keypoint della mano su pose della pinza), l'allineamento visivo (inpainting delle mani umane e rendering di modelli robotici) e l'ottimizzazione della posa della base. Questo processo genera circa 24.808 ore di dati sintetizzati.
• Curatela dei Dati: Una rigorosa pipeline multi-stadio filtra i dati eterogenei per cambiamenti improvvisi, allineamento dei trend stato-azione, valori estremi e coerenza cinematica (controlli di Forward Kinematics). Include anche controlli di qualità cross-modali per la coerenza delle istruzioni e la sovrapposizione video-stato.
• Co-addestramento Vision-Language: Per prevenire l'oblio catastrofico delle capacità percettive e di ragionamento, il modello è addestrato tramite una strategia a doppio stream. Ottimizza congiuntamente il corpus di manipolazione e uno stream vision-language curato (~28M di punti dati), che include ragionamento Embodied Chain-of-Thought (ECoT), comprensione di video egocentrici e compiti di ragionamento spaziale generale.

3. Architettura del Modello

Qwen-RobotManip è costruito sulla base di Qwen-VL (Qwen3.5-4B), che codifica input multimodali. La generazione dell'azione è gestita da un Flow-Matching Diffusion Transformer (DiT) che funge da esperto d'azione. Il backbone e l'esperto sono accoppiati tramite cross-attention, dove l'esperto ancora le predizioni d'azione sia alle osservazioni spaziali che alle istruzioni linguistiche. Il modello è addestrato con un obiettivo di flow-matching per predire campi di velocità per la generazione di azioni continue.

Contributi Chiave

1. Framework di Allineamento Unificato: Introduzione di una rappresentazione stato-azione canonica, parametrizzazione della posa delta nel frame della telecamera e adattamento della policy in-context che consente un addestramento coerente attraverso diversi embodiment.
2. Motore di Dati Scalabile: Una pipeline di sintesi human-to-robot e un processo di curatela che aggrega circa 38.100 ore di dati di manipolazione da fonti aperte, dimostrando che il pre-addestramento su larga scala è fattibile senza dati proprietari.
3. Nuovo Standard di Valutazione: Uno spostamento dai benchmark in-distribution ai benchmark Out-of-Distribution (OOD). Il paper introduce nuovi benchmark (RoboTwin-IF per il rispetto delle istruzioni, RoboTwin-XE per il trasferimento cross-embodiment) e utilizza impostazioni OOD esistenti (LIBERO-Plus, RoboCasa365, EBench) per misurare la reale generalizzazione.
4. Validazione nel Mondo Reale: Validazione estesa su quattro piattaforme fisiche (AgileX ALOHA, Franka, UR, ARX) e primo posto nel track generalista RoboChallenge Table30-v1.

Risultati

Qwen-RobotManip dimostra miglioramenti sostanziali rispetto ai precedenti modelli allo stato dell'arte (inclusi $\pi0.5$, GR00T-N1.7 e StarVLA) in tutti gli assi di valutazione OOD:

• Generalizzazione di Task e Scenari: Supera $\pi0.5$ di 7,0 punti su LIBERO-Plus, di 21,5 punti sull'impegnativo setting RoboTwin-Clean2Rand Hard e di 18,5 punti su EBench.
• Rispetto delle Istruzioni: Raggiunge il 72,2% sul nuovo benchmark RoboTwin-IF, un miglioramento di 22,6 punti rispetto a $\pi0.5$, indicando un robusto condizionamento linguistico.
• Trasferimento Cross-Embodiment: Nei test di trasferimento zero-shot (addestrato su AgileX, testato su ARX, UR5, Franka), il modello raggiunge un tasso di successo del 23,9% usando azioni EEF nel frame della telecamera, che è 3,2 volte superiore a $\pi0.5$ (7,5%) e supera significativamente i baseline nello spazio dei giunti.
• Performance nel Mondo Reale: Nel track generalista RoboChallenge Table30-v1, raggiunge un tasso di successo del 45% e un punteggio di processo di 59,83, classificandosi al primo posto. Mostra capacità emergenti come il comportamento spontaneo di riprova quando le prese falliscono e una robusta coordinazione bimanuale in compiti complessi come versare patatine fritte o inserire cavi.
• Leggi di Scalabilità: Gli studi di ablazione confermano che, con un corretto allineamento (UnifiedEEF), le prestazioni scalano log-linearmente con il volume dei dati, mentre le rappresentazioni non allineate non mostrano benefici di scalabilità.

Significato e Rivendicazioni

Il paper sostiene che l'allineamento è un prerequisito per la scalabilità dei dati nella robotica. Senza una formulazione unificata che renda i movimenti fisici numericamente coerenti tra diversi embodiment, l'aumento del volume di dati produce segnali contrastanti anziché un miglioramento delle capacità.

Gli autori affermano che Qwen-RobotManip fornisce una risposta affermativa alla domanda se la ricetta di scalabilità dei modelli linguistici possa essere applicata alla robotica. Dando priorità all'allineamento, il modello raggiunge capacità di generalizzazione emergenti — inclusi il rispetto delle istruzioni zero-shot, la robustezza alle perturbazioni, il recupero reattivo dagli errori e il trasferimento cross-embodiment — utilizzando solo dati open-source.

Inoltre, il paper postula che i normali benchmark in-distribution siano insufficienti proxy per la capacità dei modelli di fondazione, poiché spesso premiano la memorizzazione di pattern piuttosto che la vera generalizzazione. Gli autori sostengono che i setting di valutazione OOD siano il "punto di riferimento" per misurare i modelli di fondazione robotica, sostenendo che la vera generalizzazione si rivela solo quando i modelli vengono testati su task, ambienti ed embodiment inediti. Il lavoro suggerisce che la barriera dei dati per i modelli di fondazione della manipolazione potrebbe essere inferiore a quanto assunto, a condizione che siano presenti infrastrutture robuste di sintesi e curatela.