Breaking Lock-In: Preserving Steerability under Low-Data VLA Post-Training

Resumo Técnico: Breaking Lock-In (DeLock)

O artigo aborda um problema crítico no treinamento de modelos de fundação para robótica: o fenômeno de "lock-in" (aprisionamento) que ocorre durante o ajuste fino (fine-tuning) de políticas de Visão-Linguagem-Ação (VLA) com poucos dados.

1. O Problema: O Fenômeno de "Lock-In"

Quando um modelo VLA generalista é submetido ao Supervised Fine-Tuning (SFT) utilizando um conjunto de demonstrações pequeno e com cobertura limitada de instruções, ele tende a sofrer de especialização excessiva. Os autores identificam duas formas de "lock-in":

• Concept Lock-In (Aprisionamento de Conceito): A política perde a capacidade de distinguir conceitos linguísticos e fixa-se nos objetos ou atributos vistos no treinamento (ex: se treinou apenas com "maçã", ela tentará pegar uma maçã mesmo que a instrução seja "pegue a banana").
• Spatial Lock-In (Aprisionamento Espacial): A política torna-se ancorada aos alvos espaciais do treinamento (ex: se treinou sempre para colocar algo à "direita", ela ignorará instruções para colocar à "esquerda").

Este problema cria um dilema: o modelo aprende a habilidade motora, mas perde a direcionabilidade (steerability), tornando-se incapaz de seguir novas instruções que variam apenas em conceitos ou posições.

2. Metodologia: O Framework DeLock

Para mitigar esse problema sem a necessidade de grandes volumes de dados ou modelos auxiliares complexos, os autores propõem o DeLock, que utiliza o conhecimento pré-treinado interno do próprio modelo através de duas estratégias complementares:

A. Regularização de Deriva de Pesos do Codificador Visual (Visual Encoder Weight-Drift Regularization):
Durante o treinamento (SFT), os autores observam que a atualização livre dos pesos do codificador visual destrói o "grounding" (ancoragem) visual pré-treinado. O DeLock introduz uma penalidade $L_2$ que impede que os parâmetros do codificador visual ($\theta_v$) se afastem muito dos parâmetros pré-treinados ($\theta_{pre}^v$). Isso preserva a capacidade do modelo de entender conceitos visuais e espaciais genéricos enquanto as camadas de ação e linguagem (via LoRA) aprendem a nova tarefa específica.

B. Orientação por Prompt Contrastivo (Contrastive Prompt Guidance - CPG):
Aplicada durante a inferência (tempo de teste), esta técnica utiliza a dinâmica de denoising do modelo para guiar a ação. Em vez de usar apenas o prompt novo ($\tau^+$), o DeLock compara o fluxo de denoising do prompt novo com o fluxo do prompt usado no treinamento ($\tau^-$).
A fórmula de orientação é:
$$v_t^{CPG} = v_t^{\tau^-} + w(v_t^{\tau^+} - v_t^{\tau^-})$$
Onde $w$ é uma escala de orientação. Isso amplifica a diferença entre o comportamento enviesado (treinado) e o comportamento desejado (novo), "empurrando" a trajetória da robô para longe do alvo antigo e em direção ao novo alvo instruído.

3. Principais Contribuições

1. Formalização do "Lock-In": Definição rigorosa de concept lock-in e spatial lock-in como falhas de generalização em VLAs.
2. Novo Benchmark: Criação de um conjunto de testes (simulação LIBERO e mundo real DROID) projetado especificamente para testar a resposta a mudanças de instrução (conceito e espaço) mantendo o cenário fixo.
3. Framework DeLock: Uma solução simples que combina preservação de conhecimento (via regularização) e direcionabilidade (via CPG) sem depender de modelos externos (como VLMs ou modelos de dinâmica).

4. Resultados

Os experimentos em simulação e no mundo real demonstraram que:

• O DeLock supera consistentemente os baselines de SFT padrão e métodos de interpolação de pesos (como RETAIN).
• Desempenho Superior: O DeLock iguala ou supera o desempenho de políticas generalistas de última geração (como $\pi_{0.5}$-DROID) que foram treinadas com conjuntos de dados curados muito maiores.
• Eficácia das Ablações: A análise mostrou que a regularização visual é essencial para manter o grounding, enquanto o CPG é indispensável para corrigir o viés espacial durante a execução.

5. Significância

A importância deste trabalho reside na sua eficiência e simplicidade. Ele prova que, em vez de tentar "ensinar tudo de novo" com mais dados, é mais eficaz preservar o que o modelo já sabe e usar técnicas de inferência para extrair esse conhecimento de forma direcionável. Isso abre caminho para a adaptação rápida de robôs em ambientes domésticos ou industriais onde a coleta de dados exaustiva é impossível.