Early Warning Signals for OpenVLA Failure under Visual Distribution Shift

Resumo Técnico: Sinais de Alerta Precoce para Falhas de OpenVLA sob Desvio de Distribuição Visual

Declaração do Problema
Modelos de Visão-Linguagem-Ação (VLA), como o OpenVLA, integram percepção, fundamentação linguística e controle em uma única política. Embora eficazes, seus modos de falha são difíceis de diagnosticar uma vez que as condições visuais sofrem desvios. Um pequeno erro perceptual pode levar um sistema de malha fechada a uma trajetória irrecuperável muito antes que a falha final seja observável. Este artigo aborda uma questão diagnóstica restrita: as ativações de feedforward internas de uma política OpenVLA fixa contêm informação linearmente decodificável sobre falhas de tarefa a curto prazo sob desvios de distribuição visual? O estudo foca em se monitores leves podem detectar esses sinais sem o retreinamento da própria política.

Metodologia
Os autores avaliam o OpenVLA no benchmark de manipulação LIBERO-10. A configuração experimental envolve os seguintes componentes:

• Desvios Visuais: O teste de estresse primário é a oclusão, onde um patch preto é aplicado à imagem de entrada durante a inferência. Isso reduz a observabilidade enquanto mantém as instruções de linguagem, a dinâmica do simulador e as condições de sucesso fixas. Desvios secundários incluem desvio de cor global e jitter de câmera, avaliados sem o ajuste dos monitores.
• Coleta de Dados: A política é fixa. Durante a execução, as ativações internas são registradas para 100 episódios por condição (limpo vs. ocluído).
• Definição de Falha: Uma falha é definida como ocorrendo dentro de um horizonte de $K=15$ passos ($y^{(K)}_{e,t} = \mathbb{I}[0 \le \tau_e - t \le K]$). Episódios bem-sucedidos servem como exemplos negativos.
• Monitores de Ativação: Os autores extraem estados ocultos da projeção descendente MLP de camadas específicas do transformer (8, 10 e 16). Dois tipos de monitores são ajustados pós-coleta:
  1. Direção de Diferença de Média: Uma projeção linear baseada na diferença normalizada entre as médias das ativações de episódios falhos e bem-sucedidos.
  2. Sonda Logística: Um classificador de regressão logística leve treinado para prever a falha dentro do horizonte de $K$ passos.
• Políticas de Aviso: Para testar a utilidade em tempo de execução, os scores dos monitores são calibrados em rollouts limpos (usando o limiar do percentil 95) e aplicados a rollouts ocluídos. As políticas incluem "no-op" (nenhuma ação), "abort" (abortar) e "hold last action" (manter última ação).

Principais Resultados

1. Indução de Falha: A oclusão cria com sucesso uma distribuição de falha, reduzindo as taxas de sucesso do OpenVLA de 57% (limpo) para 17% (ocluído) ao longo de 100 episódios.
2. Decodificabilidade de Sinais de Falha: Sob oclusão, a falha a curto prazo é linearmente decodificável a partir das ativações de feedforward.
   • A sonda logística na Camada 16 atinge um AUROC de 0,972 e um AUPRC de 0,352 para prever a falha dentro de 15 passos.
   • Isso supera significativamente a baseline de direção de diferença de média (AUROC 0,654) e a baseline de discordância de ação (AUROC 0,496, essencialmente aleatória).
3. Dependência de Camada: A capacidade de decodificar sinais de falha não é uniforme através da profundidade da rede. A Camada 16 é a mais forte entre as camadas testadas (8, 10, 16). A Camada 8 permanece informativa, enquanto a Camada 10 é mais fraca. Esse comportamento não monotônico sugere que a Camada 16 captura o estado relevante para a ação sem que o sinal colapse em direção à interface final de ação.
4. Transferibilidade:
   • Desvio de Cor: Não produziu falhas, servindo como um controle benigno.
   • Jitter de Câmera: Induziu falhas. O monitor treinado para oclusão teve desempenho acima do aleatório (AUROC 0,689–0,725), sugerindo que o sinal não é puramente um detector de oclusão, embora o desempenho tenha caído significamente em comparação com o cenário de oclusão.
5. Comportamento em Tempo de Execução: Quando calibrados em dados limpos, os monitores mantêm taxas de aviso ativas baixas (2,63%–4,92%) em rollouts limpos, indicando que não disparam constantemente durante a operação nominal.

Alegações e Significância
O artigo faz alegações diagnósticas modestas, em vez de propor um mecanismo de segurança completo:

• Existência de Sinal: Os estados internos do OpenVLA contêm estrutura relevante para a falha sob desvios perceptuais controlados. Essa informação é acessível via sondas lineares leves ajustadas após a coleta de rollouts.
• Especificidade de Camada: O sinal de falha é localizado, com a Camada 16 mostrando a maior decodificabilidade entre as camadas testadas.
• Generalização Parcial: O sinal não é exclusivo para oclusão (como evidenciado pelos resultados de jitter), mas não demonstra robustez ampla através de todos os desvios.
• Limitações: O estudo afirma explicitamente que não estabelece:
  • Um mecanismo causal (não identifica neurônios ou cabeças de atenção específicos).
  • Generalização para tarefas não vistas (os resultados são de monitoramento de mesma distribuição).
  • Um sistema de recuperação implantável (as políticas de aviso testadas são intervenções diagnósticas, não mecanismos de recuperação completos).
  • Otimalidade global da Camada 16 (o varredura foi esparsa).

Conclusão
O trabalho demonstra que informações relevantes para a falha estão presentes nas ativações internas do OpenVLA durante a execução em malha fechada sob desvio visual. Embora os resultados atuais sejam limitados a cenários controlados e não provem a recuperação causal, eles estabelecem que monitores de ativação leves podem expor sinais de falha sem o retreinamento da política. Os autores sugerem que trabalhos futuros foquem em divisões agrupadas por episódio, avaliações de tarefas não vistas, varreduras de camadas mais densas e o desenvolvimento de políticas de recuperação reais além de simples ações de abortar ou manter ação.