I-FailSense: Towards General Robotic Failure Detection with Vision-Language Models

1. Problema e Motivação

O artigo aborda um desafio crítico na robótica de manipulação em ambientes do mundo real: a capacidade de um robô detectar autonomamente falhas em suas tarefas, especialmente quando guiado por instruções de linguagem.

• Limitação Atual: Embora os Modelos Visão-Linguagem (VLMs) tenham avançado no raciocínio espacial e no planejamento de tarefas, eles ainda falham em reconhecer suas próprias falhas.
• Foco Específico: O trabalho concentra-se em um tipo de erro subexplorado, mas fundamental: erros de desalinhamento semântico. Diferente de erros de controle (ex: o robô não consegue agarrar o objeto), erros de desalinhamento semântico ocorrem quando o robô executa uma ação que é semanticamente válida (ex: agarrar um objeto), mas inconsistente com a instrução dada (ex: agarrar o objeto errado ou realizar a ação errada no objeto certo).
• Desafio: Detectar esses erros exige alinhar a instrução textual não apenas com a interação objeto-ação, mas também com as dimensões espaciais e temporais do movimento do robô, algo que VLMs padrão (zero-shot) têm dificuldade em fazer.

2. Metodologia: I-FailSense

Os autores propõem o I-FailSense, um framework de código aberto baseado em VLMs, projetado especificamente para a detecção de falhas através de uma abordagem de "arbitragem fundamentada" (grounded arbitration).

A. Construção de Dados (DSMF)

Para treinar o modelo, os autores criaram datasets dedicados de Falhas de Desalinhamento Semântico (Semantic Misalignment Failures - SMF) a partir de benchmarks existentes (como CALVIN e DROID):

• Exemplos Positivos: Trajetórias de demonstração de especialistas com suas instruções originais.
• Exemplos Negativos: As mesmas trajetórias de sucesso pareadas com instruções diferentes (mas da mesma categoria de tarefa, ex: "levantar o bloco azul" vs. "levantar o bloco vermelho"). Isso força o modelo a aprender a distinguir nuances semânticas sutis.

B. Arquitetura e Pipeline de Treinamento (Duas Etapas)

O I-FailSense utiliza uma base VLM (PaliGemma2-mix-3B) e segue um pipeline de pós-treinamento em duas etapas:

1. Ajuste Fino Eficiente de Parâmetros (Stage 1 - LoRA):

   • O VLM base é ajustado para a tarefa de detecção de falhas usando LoRA (Low-Rank Adaptation) nas camadas de linguagem e ajustando o MLP de projeção.
   • A maior parte dos pesos do modelo pré-treinado permanece congelada para eficiência.
   • O modelo recebe como entrada uma trajetória de observação (agregada em uma única imagem) e uma instrução textual, aprendendo a prever se a trajetória corresponde à instrução.

2. Arbitragem Fundamentada (Stage 2 - FS Blocks):

   • O VLM é congelado.
   • São adicionadas cabeças de classificação leves (FS Blocks - FailSense blocks) conectadas a múltiplas camadas internas do modelo de linguagem (LLM).
   • Cada bloco FS processa representações em diferentes níveis de abstração do raciocínio do modelo.
   • Mecanismo de Votação: As previsões de todos os blocos FS e a saída original do VLM são agregadas através de um mecanismo de votação ponderada para produzir a previsão final binária (Sucesso/Falha). Isso permite que o sistema aproveite tanto o raciocínio de baixo nível quanto o de alto nível.

3. Principais Contribuições

1. Novo Foco em Erros Semânticos: Identificação e criação de datasets focados especificamente em desalinhamento semântico, uma lacuna na literatura atual que priorizava erros de controle físico.
2. Framework I-FailSense: Uma arquitetura inovadora que desacopla a capacidade explicativa do VLM de cabeças de classificação treináveis, utilizando representações internas múltiplas para maior precisão.
3. Generalização Robusta: Demonstração de que treinar especificamente para erros semânticos permite a generalização para outros tipos de falhas e ambientes.

4. Resultados Experimentais

Os experimentos foram conduzidos em simulação (CALVIN, RLBench/AHA) e no mundo real (DROID).

• Detecção de Desalinhamento Semântico (In-Distribution):

  • O I-FailSense alcançou 90,6% de precisão no dataset DSMF-CALVIN (1 câmera), superando significativamente VLMs de ponta zero-shot como GPT-4o (57,6%) e Qwen2.5-VL-7B (67,9%).
  • O modelo demonstrou alta precisão e recall, reduzindo falsos positivos comuns em modelos generativos.

• Generalização para Erros de Controle (Out-of-Distribution):

  • Treinado apenas em erros semânticos, o I-FailSense generalizou para o dataset AHA, que contém majoritariamente erros de controle (ex: objeto caindo, agarra incompleta).
  • Alcançou 89% de precisão, superando modelos AHA (7B e 13B) treinados especificamente no dataset AHA (que atingiram ~69-70%). Isso sugere que aprender a alinhar linguagem e movimento ajuda a detectar tanto erros de "fazer a coisa errada" quanto "não conseguir fazer a coisa".

• Transferência Sim-to-Real:

  • Ao ser testado no dataset real DSMF-DROID, o modelo transferiu-se com sucesso.
  • O ajuste fino dos blocos FS em dados reais (ou mistos) permitiu atingir 74% de precisão, superando VLMs zero-shot de tamanho similar e competindo com modelos muito maiores (como o Qwen2.5-VL-7B), mas com metade dos parâmetros.
  • Observou-se que, no mundo real, o uso de duas perspectivas de câmera (egocêntrica e exocêntrica) melhorou o desempenho, devido à maior complexidade visual e distratores.

5. Significado e Conclusão

O trabalho I-FailSense representa um avanço significativo para a robótica autônoma em ambientes abertos:

• Autonomia: Permite que robôs fundamentais (Foundation Models) avaliem seu próprio desempenho sem supervisão externa constante.
• Eficiência: Demonstra que é possível obter alta precisão em tarefas complexas de detecção de falhas utilizando modelos menores e técnicas de ajuste fino eficientes, em vez de depender apenas de modelos massivos zero-shot.
• Fundamentação (Grounding): O sucesso do método valida a hipótese de que a detecção de falhas semânticas é uma tarefa fundamental para melhorar a "ancoragem" (grounding) entre instruções de linguagem, observações visuais e ações motoras.

Em suma, o I-FailSense oferece uma solução escalável e generalizável para que robôs não apenas executem tarefas, mas também compreendam quando falham e por quê, um passo essencial para a implantação segura e robusta de robôs no mundo real.