Resumo Técnico: FailSafe – Raciocínio e Recuperação de Falhas em Modelos de Visão-Linguagem-Ação

Declaração do Problema

Avanços recentes em modelos de Visão-Linguagem-Ação (VLA) permitiram que robôs executem tarefas de manipulação complexas ao integrar controle de baixo nível em Modelos de Visão-Linguagem (VLMs). No entanto, esses modelos dependem fortemente de conjuntos de dados de larga escala compostos por trajetórias de verdade fundamental (ground-truth) limpas, que raramente incluem cenários de falha. Consequentemente, embora os VLAs tenham um bom desempenho dentro da distribuição, eles têm dificuldade em detectar ou recuperar-se de falhas abruptas e imprevisíveis encontradas durante a execução no mundo real.

Abordagens existentes para o raciocínio de falhas enfrentam limitações significativas:

• Falta de Ações Executáveis: Muitos conjuntos de dados fornecem apenas explicações textuais de falhas (ex: "o gripper deve mover-se para a esquerda"), que são ambíguas quanto à magnitude e aos pontos finais, tornando-as difíceis de serem executadas diretamente pelos modelos VLA.
• Dependência de Supervisão Humana: Métodos como OLAF e YAY exigem observadores humanos externos para monitorar operações e intervir, o que é impraticável para sistemas totalmente autônomos.
• Incapacidade de Escalar: Embora alguns pipelines gerem trajetórias de falha, eles frequentemente falham em produzir ações corretivas correspondentes que sejam simultaneamente válidas e executáveis por robôs.

O desafio central abordado por este trabalho é a ausência de um pipeline escalável que possa gerar automaticamente o raciocínio de falha de alto nível pareado com ações de recuperação de baixo nível e executáveis para aumentar a robustez dos VLAs.

Metodologia: O Pipeline FailSafe

Os autores propõem o FailSafe, um novo framework projetado para gerar automaticamente casos de falha diversos pareados com ações de recuperação executáveis dentro de simuladores que suportam planejamento de movimento (demonstrado no ManiSkill). O pipeline consiste em cinco estágios principais:

1. Geração de Falhas

O FailSafe define três modos fundamentais de falha para modelar erros robóticos comuns:

• Falha de Translação: Perturbações ao longo dos eixos cartesianos ($x, y, z$).
• Falha de Rotação: Desvios angulares em roll, pitch ou yaw.
• Falha de No-ops: O braço robótico ficando travado por um período sem movimento.

Essas falhas são injetadas em etapas arbitrárias de execuções (rollouts) de verdade fundamental. O sistema utiliza uma configuração YAML para especificar intervalos de ruído (ex: $\pm0.1$ para translação, $\pm1$ radiano para rotação) e as etapas onde as falhas ocorrem. Isso mimetiza a implantação no mundo real, onde erros podem acontecer inesperadamente.

2. Coleta de Ações

Diferente de métodos anteriores que produzem texto, o FailSafe coleta ações de recuperação do efetor final de 7-DoF ($\Delta A$).

• Mapeamento: Para uma pose desviada ($P_d$) em uma trajetória de falha, o sistema a mapeia para uma pose corretiva correspondente ($P_c$) na trajetória correta.
• Restrições: Para evitar colisões, $P_c$ é selecionada de uma janela que começa 10 passos após o início da falha e termina 3 passos antes da conclusão da tarefa.
• Diversidade: O sistema gera múltiplos pares candidatos $(P_d, P_c)$. A ação corretiva resultante $\Delta A$ é a diferença de 7-DoF entre essas poses. Crucialmente, mesmo que um tipo específico de falha (ex: Translação X) seja injetado, a $\Delta A$ resultante não é restrita a uma única dimensão; ela fornece ajustes em todas as sete dimensões para lidar com modos de falha simultâneos ou complexos.

3. Verificação Sistemática

Antes da inclusão no conjunto de dados, cada ação de recuperação candidata passa por uma verificação rigorosa:

• O sistema reproduz a trajetória: $A \to P_d \to P_c \to \text{Resto da Tarefa}$.
• Se a tarefa, que originalmente falhou, tiver sucesso após a aplicação da pose corretiva $P_c$, o par é validado.
• Isso garante que as ações coletadas sejam robustas e eficazes quando aplicadas em vários passos temporais.

4. Construção do Conjunto de Dados

O pipeline foi aplicado a três tarefas no ManiSkill: Pick Cube, Push Cube e Stack Cube.

• Escala: O conjunto de dados resultante contém aproximadamente 131.000 pares falha-ação e 56.000 trajetórias de verdade fundamental (sucesso).
• Formato: Cada entrada inclui 10 imagens consecutivas multivisão (frente, lateral, pulso), instruções da tarefa, identificação de sub-tarefa, classificação de falha (sim/não), tipo de falha e o vetor de ação corretiva de 7-DoF.

5. Treinamento do Modelo (FailSafe-VLM)

Os autores realizaram o ajuste fino (fine-tuning) do LLaVa-OneVision-7B (LLaVa-OV-7B) no conjunto de dados FailSafe.

• Arquitetura: O modelo utiliza o Qwen2-7B-Instruct como base de linguagem e o SigLIP como torre de visão, com um projetor MLP de duas camadas GELU.
• Treinamento: O ajuste fino de instrução completo foi realizado com co-treinamento em uma mistura de VQA RoboPoint para melhorar a generalização.
• Estratégia de Inferência: O FailSafe-VLM opera como um assistente externo a um modelo VLA base. A cada 10 passos, ele analisa o estado atual para determinar se uma falha é provável. Se "Sim", ele emite uma ação corretiva; se "Não", o controle retorna ao VLA base.

Principais Contribuições

1. Pipeline Escalável de Falha-Ação: O primeiro framework capaz de gerar automaticamente tanto explicações de raciocínio de falha quanto ações de recuperação de 7-DoF precisas e executáveis para robôs, adaptável a simuladores com suporte a planejamento de movimento.
2. Melhoria de Desempenho: Demonstrou que o conjunto de dados FailSafe permite que os VLAs racionem sobre falhas, aumentando significativamente as taxas de sucesso de três modelos VLA de última geração ($\pi$o-FAST, OpenVLA, OpenVLA-OFT).
3. Generalização: Mostrou que o FailSafe-VLM pode generalizar através de diversas configurações espaciais, visões de câmera, categorias de objetos (incluindo objetos não vistos como esferas e carregadores) e implementações robóticas (ex: transferindo de Franka Emika Panda para xArm 6).

Resultados Experimentais

Os autores avaliaram o FailSafe-VLM no braço Franka Emika Panda no ambiente ManiSkill:

• Ganhos de Desempenho VLA:

  • OpenVLA: Alcançou o maior aumento, com um aumento médio na taxa de sucesso de 22,6% (de 14,7% para 37,3%).
  • OpenVLA-OFT: Melhorou em 8,0% (de 90,7% para 98,7%).
  • $\pi$o-FAST: Melhorou em 4,0% (de 78,7% para 82,7%).
  • Esses ganhos foram alcançados mesmo quando a visão de câmera usada pelo FailSafe-VLM era nova (diferente de sua visão de treinamento), enquanto correspondia à visão de treinamento do VLA.

• Generalização:

  • Objetos Não Vistos: Ao testar em Pick Sphere, Place Sphere e Pick Charger, o FailSafe-VLM melhorou o desempenho do OpenVLA-OFT em uma média de 17,4%.
  • Implementações Não Vistas: Quando aplicado a um robô xArm 6 (treinado apenas com dados de Franka), melhorou a taxa de sucesso de Stack Cube de 56% para 76%.

• Comparação com VLMs de Última Geração:

  • O FailSafe-VLM superou significativamente o GPT-4o, Gemini-2.5-flash e Qwen2.5-VL em detecção de falhas (Sucesso Binário: 0,9094 vs. ~0,70 para GPT-4o), identificação de tipo de falha (Acurácia: 0,8368 vs. ~0,20) e previsão de ação de recuperação (Similaridade de Cosseno: 0,6522 vs. próximo de zero para os outros).
  • Notavelmente, o Qwen2.5-VL frequentemente exibia "nenhuma falha" e zero ações, falhando em auxiliar na recuperação.

• Eficiência:

  • A integração acarretou um overhead de inferência marginal de +3,8s a +9,1s por tarefa, principalmente devido ao replanejamento do simulador.

Significância e Alegações

O artigo posiciona o FailSafe como um passo crítico em direção a uma IA incorporada (embodied AI) robusta e explicável. Os autores afirmam que:

• Autonomia: Ao remover a necessidade de supervisão humana na detecção e recuperação de falhas, o FailSafe aproxima os sistemas VLA de uma autonomia total.
• Raciocínio Acionável: A mudança de descrições textuais de falhas para ações delta executáveis preenche a lacuna entre o raciocínio de alto nível e o controle de baixo nível, uma limitação em trabalhos anteriores.
• Escalabilidade: O design do pipeline permite a criação escalável de dados de falha-recuperação, o que é proibitivamente difícil de coletar no mundo real.
• Fundação para Trabalhos Futuros: Embora o método atual foque na recuperação de nível de movimento e ainda não aborde erros de nível de objeto (ex: deixar um objeto cair), ele estabelece uma fundação para sistemas futuros capazes de autocorreção em ambientes complexos e dinâmicos.

Os autores concluem que o FailSafe serve como uma tentativa inicial de permitir um raciocínio de falha e autonomia mais fortes, pavimentando o caminho para uma manipulação robótica mais confiável em ambientes não estruturados.