Resumo Técnico: Decodificando o Progresso da Tarefa a partir de Representações VLA

Declaração do Problema

Modelos de Visão-Linguagem-Ação (VLA) estão emergindo como políticas de propósito geral para manipulação robótica, aproveitando backbones de Modelos de Visão-Linguagem (VLM) pré-treinados para suportar tarefas de vocabulário aberto. No entanto, a implantação desses modelos frequentemente requer ajuste fino (fine-tuning) específico para a tarefa, o que pode degradar a generalização, reduzir a sensibilidade linguística e aumentar a fragilidade a perturbações perceptivas. Existe uma lacuna crítica na capacidade de monitorar o estado interno desses modelos em tempo de execução. Embora ferramentas de interpretabilidade existentes possam decodificar o que uma política "sabe" sobre o mundo (ex: estados de objetos), elas não abordam atualmente onde a política se encontra em relação à sua tarefa específica. Especificamente, há uma falta de ferramentas para monitorar o progresso da tarefa — a fração de tempo restante normalizada em uma trajetória — internamente, o que é essencial para detectar execuções travadas ou falhas fora de distribuição (OOD) sem a necessidade de sinais de recompensa externos ou rótulos OOD.

Metodologia

Os autores investigam se o progresso da tarefa é linearmente decodificável a partir das ativações internas do modelo VLA $\pi_{0.5}$ (baseado no backbone PaliGemma). A metodologia é estruturada em torno de três conceitos centrais: decodificabilidade e direcionabilidade (steerability), e a aplicação desses sinais à detecção de OOD.

1. Definição e Extração de Características

• Progresso da Tarefa ($\tau$): Definido como a fração normalizada de uma trajetória restante até a conclusão ($1 - t/T$), onde $t$ é o passo de tempo atual e $T$ é o comprimento total da trajetória. Este rótulo é derivado diretamente de demonstrações de especialistas offline, sem anotação adicional.
• Extração de Embedding: Os autores extraem ativações do fluxo residual ($z_i$) das camadas do transformer de $\pi_{0.5}$ para cada observação no conjunto de dados.
• Probing Linear: Um probe linear $\phi(z) = w^\top z + b$ é treinado para prever $\tau$ a partir das ativações.

2. Formalizando Representações

O artigo formaliza três níveis distintos de representação de características:

• Decodificabilidade Fraca: A capacidade de extrair um sinal linear correlacionado com $\tau$ a partir de ativações dentro da distribuição (in-distribution).
• Decodificabilidade Forte: A capacidade de um único probe (sem retreinamento) de generalizar para entradas transformadas contrafatualmente (ex: trocar o substantivo alvo no prompt de linguagem). Isso testa se o sinal depende dos inputs semânticos corretos em vez de correlações espúrias.
• Direcionabilidade (Steerability): A capacidade de intervir nas ativações (deslocando-as ao longo do vetor de peso do probe) para alterar causalmente o comportamento da política (ex: forçar o modelo a agir como se tivesse progredido mais).

3. Mecanismo de Detecção de OOD

Um detector de tempo de execução é construído usando o probe de progresso. Ele compara o progresso previsto ($\tau_{pred}$) contra o progresso esperado baseado no tempo decorrido ($1 - t/E[T|\ell]$). Um resíduo significativo ($V_\tau(t) > \delta$) indica que a política está estagnada, sinalizando o estado como OOD. Este método não requer rótulos OOD durante o treinamento.

Principais Contribuições

1. Definições: Os autores introduzem definições formais para decodificabilidade fraca, decodificabilidade forte e direcionabilidade no contexto de modelos generativos, distinguindo entre a existência de um sinal, sua dependência de inputs corretos e seu efeito causal nos outputs.
2. Descobertas de Decodificabilidade: Eles demonstram que o progresso da tarefa é tanto fracamente quanto fortemente decodificável do fluxo residual de $\pi_{0.5}$.
   • O sinal está presente no backbone PaliGemma pré-treinado antes de qualquer fine-tuning específico para robótica, sugerindo que ele emerge do pré-treinamento robótico em larga escala.
   • Um probe treinado com contrafatuais de linguagem (troca de substantivos da tarefa) ajusta corretamente sua saída, provando que o sinal é fundamentado em linguagem e não é apenas uma função de tempo ou características visuais.
3. Limitação de Direcionabilidade: Apesar de ser decodificável, o sinal de progresso da tarefa não é direcionável. Injetar um "impulso" de progresso nas ativações não propaga através da rede para alterar as ações futuras da política ou direcionar com sucesso o modelo para o comportamento contrafatual.
4. Detecção de OOD: O probe de progresso serve como um detector de OOD livre de rótulos. Ele detecta progresso estagnado quando a política encontra perturbações (ruído, desfoque, oclusão) ou tarefas não vistas.

Resultados

• Emergência do Sinal: A característica de progresso é observável em todos os modelos testados, incluindo o backbone bruto do PaliGemma, o $\pi_{0.5}$ base e variantes com fine-tuning. No entanto, as variantes $\pi_{0.x}$ (treinadas em dados robóticos) superam significativamente o backbone VLM bruto, indicando que a característica é estabelecida durante o pré-treinamento robótico.
• Robustez Contrafatual: Um probe treinado com contrafatuais de linguagem alcança decodificabilidade forte ($R^2 \approx 0,33$ em dados in-distribution devido a proxies ruidosos, mas rastreia corretamente $\tau=1,0$ sob instruções trocadas), enquanto um probe padrão falha em responder a mudanças de linguagem.
• Falha de Direcionabilidade: Experimentos injetando um impulso de progresso ($\tau_{boost} = 0,2$) na camada 0 mostram que o progresso previsto não muda nas camadas subsequentes, e as ações resultantes não se alinham com o alvo contrafatual. As ações injetadas permanecem distantes das ações futuras reais.
• Desempenho de Detecção de OOD:
  • Generalização entre Tarefas: O detector baseado em progresso ($V_\tau$) atinge um AUROC de 0,833 em tarefas não vistas (comparado a 0,796 em tarefas vistas), demonstrando robustez sem retreinamento. Ele supera métodos baseados em densidade (Mahalanobis, VAE) em tarefas não vistas e é competitivo com baselines supervisionados (SAFE-MLP) sem exigir supervisão OOD.
  • Generalização entre Perturbações: Quando treinado apenas em dados in-distribution e testado em modos de ruído não vistos (ex: treinado em ruído A/B, testado em C/D), $V_\tau$ atinge um AUROC por episódio de 0,960, superando detectores supervisionados que foram treinados em tipos de ruído específicos.

Significância e Alegações

O artigo afirma que os VLAs possuem representações internas linearmente legíveis de quantidades semânticas como o progresso da tarefa. Esta descoberta sugere que:

1. Monitoramento é Viável: Aprender a ler esses sinais oferece um caminho leve e interpretável para monitorar políticas visuomotoras implantadas sem a necessidade de modelos externos complexos ou dados de falha rotulados.
2. Pré-treinamento é a Chave: A emergência do progresso da tarefa no backbone pré-treinado indica que o pré-treinamento robótico em larga escala instila uma compreensão estruturada da conclusão da tarefa que persiste através do fine-tuning.
3. Observabilidade vs. Controlabilidade: Existe uma distinção clara entre o que uma política representa (progresso observável) e aquilo sobre o qual ela age (direcionabilidade). A incapacidade de direcionar o modelo via injeção de progresso destaca que a política não utiliza este sinal interno específico como uma variável de controle direta para a tomada de decisão.

Os autores posicionam este trabalho como um passo em direção ao instrumental de VLAs implantados, fornecendo uma ferramenta para detectar falhas silenciosas (progresso estagnado) que é robusta tanto a variações de tarefas quanto a perturbações ambientais.