Sintesi Tecnica: Harness VLA

Problematica

La manipolazione robotica condizionata dal linguaggio richiede un sistema capace sia di un controllo preciso e ricco di contatto, sia di un ragionamento robusto su linguaggio, scene e compiti a lungo orizzonte. Gli approcci attuali affrontano un compromesso fondamentale:

• Modelli End-to-End Vision-Language-Action (VLA): Questi modelli eccellono in compiti di contatto locale condizionati dall'immagine (ad es., afferrare oggetti irregolari, girare rubinetti), ma sono addestrati su traiettorie in-distribution. Spesso falliscono sotto perturbazioni di deployment come il retargeting semantico, il re-binding degli obiettivi, gli spostamenti del layout spaziale o quando brevi skill devono essere composte in routine più lunghe. Un singolo fallimento di contatto instabile può far deragliare un intero rollout monolitico.
• Agenti di Coding LLM: Questi agenti forniscono un forte ragionamento semantico e compositivo sintetizzando programmi eseguibili su API di percezione e controllo. Tuttavia, le primitive puramente analitiche (ad es., trasporto tramite cinematica inversa, controllo della pinza) faticano con la presa irregolare, il posizionamento vincolato e l'interazione con oggetti articolati. Inoltre, scalare questi sistemi spesso richiede l'espansione della libreria di skill, costringendo l'agente a validare la sicurezza e la riutilizzabilità delle nuove skill generate.

La sfida centrale è combinare i punti di forza visuomotori locali dei VLA con il ragionamento compositivo degli agenti senza richiedere il fine-tuning del VLA o l'espansione del vocabolario delle primitive al momento del deployment.

Metodologia: Harness VLA

Gli autori propongono Harness VLA, un framework agentico aumentato dalla memoria che tratta un VLA congelato non come una policy monolitica, ma come una primitiva riprovarebile e ricca di contatto all'interno di una libreria fissa di controller analitici.

1. Architettura del Sistema

Il sistema opera tramite un'interazione autoregressiva a turni tra un Planner Agentico ($\Pi$) di alto livello e un motore fisico.

• Libreria di Primitive Fisse ($\mathcal{P}$): Il planner è limitato a un piccolo set fisso di primitive. Questo include:
  • Primitive Analitiche: Controller deterministici, basati su modelli, per compiti non di contatto (ad es., MOVE TO, ROTATE WRIST, SET GRIPPER, NAVIGATE TO). Questi gestiscono il trasporto in spazio libero, lo staging, la regolazione della postura e il rilascio.
  • Primitive VLA (VLA ACT): Una singola primitiva appresa che incapsula un VLA pre-addestrato e congelato. Viene invocata solo per fasi locali ricche di contatto (ad es., afferrare, inserire, azionare componenti).
• Moduli di Memoria:
  • Memoria Specifica del Compito (Task Specific Memory): Memorizza le tracce di composizione delle primitive di successo (formato JSONL) da un seed di riferimento. Queste tracce sono parametrizzate (sostituendo le coordinate concrete con query simboliche) per consentire il re-grounding few-shot in nuovi layout spaziali.
  • Memoria Globale (Global Memory): Memorizza regole di successo e modelli di fallimento riutilizzabili (ad es., "evitare prese vuote", "re-staggiare se il contatto fallisce") distillati dall'esplorazione.

2. Ciclo di Esecuzione

Il framework segue un'esecuzione in stile Read-Eval-Print Loop (REPL):

1. Bootstrapping Esplorativo: Su un seed di riferimento, il planner scopre autonomamente una soluzione iterando attraverso composizioni di primitive. Utilizza una primitiva RESET per riprovare i fallimenti. In caso di successo, astrae la traccia in Task Specific Memory ed estrae euristiche per la Global Memory.
2. Valutazione del Deployment: Su perturbazioni impreviste (ad es., scambi di posizione, redirection delle istruzioni), il planner recupera la traccia dalla Task Specific Memory. Re-grounda dinamicamente la traccia usando osservazioni RGB-D dal vivo e consulta la Global Memory per evitare modalità di fallimento note. Il planner orchestra la sequenza: utilizza primitive analitiche per lo staging e il trasporto, e invoca VLA ACT solo quando il robot si trova in una configurazione locale favorevole per il contatto.

3. Principi di Design Chiave

• Delega Asimmetrica: Il grounding semantico, la composizione a lungo orizzonte e il ragionamento a livello di scena sono gestiti dal planner. Il VLA congelato è strettamente riservato alle operazioni locali ricche di contatto dove la sua distribuzione di addestramento è informativa.
• Contatto Riprovabile (Retryable Contact): Il planner tratta VLA ACT come un tentativo locale. Se una fase di contatto fallisce (ad es., presa instabile), il planner può re-staggiare il robot (cambiare posa di approccio o viewpoint) e riprovare l'invocazione del VLA, invece di far fallire l'intero episodio.
• Nessun Fine-tuning: Il backbone VLA rimane congelato. Il sistema estende l'operatività del VLA cambiando quando e come viene invocato, non aggiornando i suoi pesi.

Contributi Chiave

1. Framework Agentico Aumentato dalla Memoria: Un'architettura innovativa che espone un VLA congelato come una primitiva all'interno di una libreria fissa, consentendo la manipolazione a lungo orizzonte e perturbata senza fine-tuning del VLA o espansione del vocabolario.
2. Analisi Empirica delle Primitive Fisse: Dimostra che una piccola libreria di primitive fisse è sufficiente quando il planner impara a orchestrarle. Le invocazioni ripetute orchestrate dal planner possono riformulare tentativi VLA fragili, mentre le primitive analitiche risolvono la struttura non di contatto.
3. Prestazioni Robust Benchmark: Il framework raggiunge risultati allo stato dell'arte attraverso benchmark standard e pesantemente perturbati.

Risultati Sperimentali

Gli autori hanno valutato Harness VLA su quattro famiglie di benchmark: LIBERO, LIBERO-Pro, RoboCasa365 e RoboTwin C2R.

• LIBERO Standard: Harness VLA (usando un planner Codex o Claude Code) ha raggiunto un tasso di successo aggregato del 96.0%, mantenendo prestazioni competitive con il VLA congelato sottostante (95.3%) pur abilitando la robustezza alle perturbazioni.
• LIBERO-Pro (Perturbato): Sotto perturbazioni di redirection delle istruzioni e scambio di posizione, Harness VLA ha superato significativamente il baseline più forte (RATS).
  • Harness VLA (CC): 82.4% di successo complessivo.
  • Harness VLA (Codex): 72.1% di successo complessivo.
  • Miglioramento rispetto a RATS (43.8%): +38.6 punti percentuali.
  • Miglioramento rispetto al baseline RLinf congelato (50.0%): +32.4 punti percentuali.
• RoboCasa365 (Cucina Domestica): Harness VLA ha migliorato il baseline RLDX-1 congelato (30.0%) portandolo al 55.4% (Codex) e 48.6% (CC), un guadagno di +25.4 punti percentuali.
• RoboTwin C2R (Bimanual Zero-Shot): In un setting di trasferimento da clean-to-randomized, Harness VLA ha elevato il tasso di successo del backend LingBot-VLA congelato (50.4%) al 58.4%.

Analisi del Meccanismo:

• Re-grounding Semantico: Il planner analizza esplicitamente le descrizioni dei compiti e ri-vincola i target, impedendo al VLA di ripetere comportamenti del tempo di addestramento quando le istruzioni cambiano.
• Invocazione Adattiva: I tassi di successo aumentano rapidamente con i primi tentativi di VLA orchestrati dal planner, dimostando che riprovare i tentativi di contatto dopo lo staging è critico per la robustezza.
• Divisione del Lavoro: Le primitive analitiche gestiscono la maggior parte del trasporto e dello staging non di contatto (ad es., 84.2% delle chiamate in LIBERO), riservando il VLA per le specifiche fasi ricche di contatto dove è più efficace.

Significato e Claim

Il paper sostiene che Harness VLA dimostra che i VLA pre-addestrati sono più efficaci quando isolati al controllo visuomotorio ricco di contatto, mentre l'astrazione dei vincoli semantici e spaziali a un agente di livello superiore previene i fallimenti catastrofici comuni nei deployment monolitici.

Gli autori argomentano che il loro approccio offre una via pratica per una manipolazione robusta senza il costo computazionale del fine-tuning di grandi modelli VLA per ogni nuovo compito o ambiente. Trattando il VLA come uno "specialista del contatto" e l'agente come l'"orchestratore", il sistema estende l'utilità dei modelli congelati a scenari out-of-distribution. Il lavoro evidenzia che la chiave della robustezza non risiede nell'espandere la libreria di skill, ma nell'imparare l'ambito operativo delle primitive fisse attraverso la composizione guidata dalla memoria e i meccanismi di retry adattivi.

Limitazioni: Gli autori notano che il sistema si basa su un loop di feedback aperto tra il planner e il VLA, manca di un fine-tuning congiunto tramite reward ambientali (suggerendo lavori futuri con reinforcement learning) ed è limitato dall'assenza di captioning d'immagine fine-grained per scene altamente affollate. Suggeriscono inoltre l'integrazione futura con sistemi di scoperta automatica delle skill (come ASPIRE) per espandere la libreria di primitive quando necessario.