Breaking Lock-In: Preserving Steerability under Low-Data VLA Post-Training

Riassunto Tecnico: DeLock

1. Il Problema: Il Fenomeno del "Lock-In"

Il paper affronta una criticità fondamentale nell'adattamento dei modelli Vision-Language-Action (VLA) generalisti (come $\pi_0$). Quando questi modelli vengono sottoposti a un post-training (fine-tuning supervisionato o SFT) utilizzando dataset molto limitati e con una copertura ristretta di istruzioni, manifestano un fenomeno che gli autori definiscono "Lock-In".

Il lock-in si manifesta in due forme:

• Concept Lock-In (Blocco Concettuale): Il modello perde la capacità di distinguere tra diversi oggetti o attributi. Se durante il training impara solo a "prendere il pane", continuerà a cercare il pane anche se l'istruzione cambia in "prendi la mela", poiché la sua capacità di grounding linguistico è collassata verso i concetti visti nel training.
• Spatial Lock-In (Blocco Spaziale): Il modello diventa ancorato alle coordinate o alle relazioni spaziali presenti nei dati di training (es. "a destra"). Anche se l'istruzione richiede un'azione "a sinistra", il modello esegue comunque il movimento verso la posizione appresa precedentemente.

Questo accade perché il fine-tuning su pochi dati spinge il modello a sovra-specializzarsi sulla distribuzione dei dati di training, degradando le capacità di generalizzazione pre-addestrate.

2. Metodologia: Il Framework DeLock

Per risolvere il problema senza ricorrere a dataset massivi o modelli ausiliari complessi, gli autori propongono DeLock, un framework che si basa sull'idea che le conoscenze pre-addestrate del modello siano sufficienti se preservate correttamente. La soluzione si articola in due componenti:

A. Visual Encoder Weight-Drift Regularization (Durante il Training)
Invece di permettere a tutti i parametri di aggiornarsi liberamente, DeLock introduce una regolarizzazione $L_2$ specifica per l'encoder visivo. L'obiettivo è impedire che i pesi dell'encoder si allontanino troppo dai pesi pre-addestrati ($\theta_{pre}^v$).

• Perché: Il grounding visivo (la capacità di collegare una parola a una regione dell'immagine) è mediato dall'encoder. Se l'encoder "deriva" troppo verso i pochi esempi del training, il modello perde la capacità di "vedere" concetti diversi.
• Implementazione: Si utilizza LoRA per adattare i moduli linguistici e di azione, mentre l'encoder viene regolarizzato per mantenere le sue capacità di rappresentazione generale.

B. Contrastive Prompt Guidance - CPG (Durante l'Inferenza)
Per correggere il bias residuo durante l'esecuzione, DeLock applica una tecnica di guida al tempo di test (test-time guidance).

• Meccanismo: Durante la generazione dell'azione (processo di denoising/flow-matching), il modello viene interrogato due volte: una volta con il prompt positivo $\tau^+$ (l'istruzione nuova/desiderata) e una volta con il prompt negativo $\tau^-$ (l'istruzione usata nel training, che rappresenta il bias).
• Formula: Il campo vettoriale di denoising viene guidato dalla differenza tra i due prompt:
  $$v_{CPG} = v_{\tau^-} + w(v_{\tau^+} - v_{\tau^-})$$
  dove $w$ è un fattore di scala. Questo amplifica la direzione dell'azione che risponde alla nuova istruzione e sopprime quella legata al bias del training.

3. Contributi Chiave

1. Formalizzazione del Lock-In: Identificazione e distinzione sistematica tra lock-in concettuale e spaziale nei modelli VLA.
2. Nuovo Benchmark: Creazione di una suite di valutazione (sia in simulazione LIBERO che nel mondo reale con DROID) progettata specificamente per testare la capacità di seguire istruzioni out-of-distribution (OOD) dopo un fine-tuning limitato.
3. Approccio "Preserve-and-Steer": Un metodo elegante che non richiede modelli esterni (come VLM o modelli dinamici), ma sfrutta le capacità interne del modello attraverso la regolarizzazione e la guida contrastiva.

4. Risultati Sperimentali

Gli esperimenti dimostrano che DeLock supera significativamente i baseline:

• Rispetto a RETAIN (Weight Merging): DeLock è molto più efficace nel seguire istruzioni che cambiano concetti o posizioni, mentre RETAIN tende a ripetere i comportamenti del training.
• Rispetto a $\pi_{0.5}$-DROID (Large-scale post-training): Sorprendentemente, DeLock (addestrato con pochissimi dati) riesce a eguagliare o superare le prestazioni di modelli addestrati su dataset molto più vasti e curati, specialmente nei compiti di ragionamento spaziale fine-grained.
• Analisi Meccanicistica: Le visualizzazioni dell'attenzione (cross-attention) confermano che DeLock mantiene un grounding visivo-linguistico attivo, mentre i modelli standard mostrano un'attenzione "collassata" sui soli oggetti del training.

5. Significato e Impatto

Il lavoro è significativo perché dimostra che la specializzazione non deve necessariamente comportare la perdita di generalizzazione. In contesti robotici reali, dove raccogliere migliaia di dimostrazioni per ogni singola variazione di un compito è impossibile, DeLock offre una via per rendere i robot "steerable" (guidabili tramite linguaggio) anche dopo che sono stati addestrati su compiti molto specifici e limitati.