Resumo Técnico: Hide-and-Seek em Trajetórias

Definição do Problema

Modelos de Visão-Linguagem-Ação (VLA) demonstraram um potencial significativo para permitir que robôs sigam instruções de linguagem natural e generalizem através de diversas tarefas. No entanto, sua implantação em ambientes do mundo real é dificultada pela suscetibilidade a falhas de execução, o que pode levar a resultados catastróficos (ex: deixar objetos cair). Detectar essas falhas durante a execução é crítico para a robustez.

Os métodos atuais de detecção de falhas enfrentam duas limitações primárias:

1. Custo de Supervisão: Obter anotações de nível de passo (identificando o timestamp exato de um erro) é caro e difícil de escalar, particularmente para trajetórias de longo horizonte e estocásticas. As abordagens existentes que dependem de rótulos de nível de trajetória frequentemente propagam esses rótulos uniformemente para cada passo temporal. Essa "propagação uniforme" rotula incorretamente ações normais que precedem a falha como falhas, introduzindo ruído substancial nos rótulos e obscurecendo sinais de falha localizados.
2. Praticidade Computacional: Métodos que dependem de reamostragem de ação ou de juízes externos de Modelos de Linguagem-Visão (VLM) incorrem em um overhead de inferência proibitivo, impedindo a implantação em tempo real. Além disso, muitos detectores existentes são projetados para políticas especialistas em tarefas fixas, limitando sua aplicabilidade a VLAs generalistas em ambientes de mundo aberto.

O desafio central abordado é a Detecção de Falhas com Supervisão Coarse (Grosseira): aprender um detector de falhas de passo fino usando apenas rótulos de resultado de nível de trajetória (sucesso/falha) sem quaisquer anotações de nível de passo.

Metodologia: Hide-and-Seek (Esconde-Esconde)

Os autores propõem o Hide-and-Seek, um framework de detecção de falhas em tempo de execução leve que trata o problema como uma tarefa de aprendizado com supervisão coarse. O método é nomeado pela metáfora de que os sinais de falha estão "escondidos" entre comportamentos majoritariamente normais dentro de uma trajetória, e o detector deve "procurá-los" usando apenas o resultado da trajetória como uma pista.

Framework Central

O framework aprende um detector sequencial $f_\phi$ que mapeia um prefixo de trajetória $\tau_{\le t}$ (composto por embeddings de ação internos) para um score de falha escalar $s_t \in [0, 1]$. Em vez de atribuir uniformemente o rótulo da trajetória, o método emprega um objetivo contrastivo em dois níveis complementares para localizar ações indicativas de falha:

1. Perda Contrastiva Inter-trajetória ($\mathcal{L}_{inter}$):

   • Objetivo: Distinguir a ação mais indicativa de falha em uma trajetória de falha da ação que mais se assemelha à falha (falso positivo mais difícil) em uma trajetória de sucesso.
   • Mecanismo: Para um par de trajetórias de falha ($\tau_f$) e sucesso ($\tau_s$), a perda impõe que o valor máximo de falha em $\tau_f$ exceda o valor máximo em $\tau_s$ por uma margem $m_r$.
   • Efeito: Isso guia o modelo para focar nos sinais de falha mais salientes sem assumir onde eles ocorrem, descobrindo adaptativamente o passo crítico.

2. Perda Contrastiva Intra-trajetória ($\mathcal{L}_{intra}$):

   • Objetivo: Moldar a dinâmica temporal dentro de uma trajetória de falha para separar as fases pré-falha (normal) e pós-falha.
   • Mecanismo: O método define um proxy de início de falha $t_{onset}$ como o ponto de aumento mais acentuado no score ($\arg\max_t (s_t - s_{t-1})$). A perda incentiva o score médio após $t_{onset}$ a exceder o score médio antes de $t_{onset}$ por uma margem $m_o$.
   • Efeito: Isso converte a supervisão de nível de trajetória em um sinal temporalmente estruturado, garantindo que os scores permaneçam baixos durante a execução normal e subam bruscamente no início da falha.

O objetivo total é $\mathcal{L} = \mathcal{L}_{inter} + \lambda \mathcal{L}_{intra}$.

Monitoramento em Tempo de Execução

Durante a inferência, o detector produz um score $s_t$ em cada passo temporal. Para determinar um alarme de falha, o sistema utiliza Predição Conforme Funcional (CP). Um limiar variável no tempo $\zeta_t$ é construído a partir de um conjunto de calibração de trajetórias de sucesso retido. Isso garante que, para qualquer nova execução bem-sucedida, a taxa de falso alarme de nível de trajetória seja limitada por um nível de significância $\alpha$ especificado pelo usuário. Uma falha é declarada no passo temporal mais precoce onde $s_t \ge \zeta_t$.

Arquitetura

O detector $f_\phi$ é um modelo de sequência leve (padrão: LSTM de camada única) que processa embeddings de ação extraídos do token ou cabeça de ação do VLA. Para mitigar a redundância temporal, os autores utilizam agregação de janela deslizante não sobreposta com pooling médio.

Principais Contribuições

1. Framework Inovador: Introdução do Hide-and-Seek, que une o aprendizado com supervisão coarse e a detecção de falhas incorporada, permitindo a descoberta de ações indicativas de falha a partir da supervisão de nível de trajetória isoladamente.
2. Design de Objetivo Contrastivo: Um mecanismo de perda dupla (inter e intra-trajetória) que distingue sinais de falha entre e dentro das trajetórias, convertendo efetivamente a supervisão grosseira em sinais temporalmente estruturados sem anotações de nível de passo.
3. Avaliação Abrangente: Avaliação extensa em benchmarks de simulação (LIBERO-10, VLABench) e em uma plataforma robótica no mundo real (UFactory xArm 6) utilizando três políticas VLA representativas: OpenVLA (autorregressiva), $\pi_0$ e $\pi_0.5$ (flow-matching).

Resultados Experimentais

O método foi avaliado contra 12 baselines, incluindo métodos de detecção de OOD, abordagens de múltiplas amostragens e métodos baseados em classificadores (ex: SAFE).

• Desempenho: O Hide-and-Seek atinge o estado da arte em todas as métricas (Acurácia Balanceada, Acurácia Ponderada, Acurácia Ponderada no Tempo) tanto em tarefas vistas quanto não vistas.
  • No LIBERO-10 com OpenVLA, supera o baseline de classificador mais forte (SAFE-MLP) em +6,8% em bACC em tarefas vistas e +7,2% em tarefas não vistas.
  • No VLABench com $\pi_0.5$, supera o SAFE-MLP em +8,1% em TWA em tarefas vistas e +10,8% em tarefas não vistas.
  • Em experimentos no mundo real, mantém desempenho estável em tarefas vistas e não vistas, alcançando um ganho de +11,7% em bACC sobre o SAFE-MLP em tarefas não vistas.
• Eficiência: Comparado a um monitor de tempo de execução baseado em VLM (Qwen3-VL-8B), o Hide-and-Seek é >2.000× mais rápido (0,001s vs. 2,343s por passo) enquanto atinge +13,1% de maior acurácia.
• Estudos de Ablação:
  • Rotulagem Uniforme: O método proposto supera significativamente um baseline que atribui uniformemente rótulos de trajetória a todos os passos (+19,4% bACC no OpenVLA), confirmando que a propagação uniforme introduz ruído de rótulo.
  • Arquitetura: Backbones recorrentes (LSTM, GRU) superam MLPs e Transformers, sugerindo o benefício de modelar o contexto temporal.
  • Componentes de Perda: Tanto $\mathcal{L}_{inter}$ quanto $\mathcal{L}_{intra}$ são necessários; $\mathcal{L}_{inter}$ sozinho performa bem, mas a combinação deles gera melhorias consistentes.

Significância e Alegações

O artigo afirma que o Hide-and-Seek fornece uma solução prática e leve para o monitoramento de falhas em tempo real na IA incorporada. Sua significância reside em:

• Eliminação de Custos de Anotação: Remove a necessidade de anotações de falha de nível de passo caras, baseando-se apenas no resultado de nível de trajetória, que é naturalmente disponível.
• Generalização: Demonstra forte generalização para tarefas não vistas e diferentes arquiteturas VLA (autorregressivas e flow-matching), abordando uma limitação chave de métodos anteriores focados em especialistas.
• Viabilidade no Mundo Real: Ao evitar alto overhead de inferência (ao contrário de reamostragem ou juízes VLM) e alcançar um trade-off favorável entre acurácia e tempo via predição conforme, ele permite a implantação robusta em sistemas robóticos reais.

Os autores posicionam este trabalho como uma nova conexão entre paradigmas de aprendizado com supervisão fraca e os desafios específicos de segurança de agentes incorporados, oferecendo um caminho escalável para o implante confiável de VLAs.