A VLM-based Method for Visual Anomaly Detection in Robotic Scientific Laboratories

1. Problema e Motivação

Em laboratórios científicos automatizados, a detecção visual de anomalias é crucial para identificar falhas ou desvios em tempo real, garantindo a segurança e a estabilidade dos processos experimentais. O desafio central reside na dependência de contexto: o mesmo estado visual pode ser considerado normal ou anômalo dependendo da etapa específica do fluxo de trabalho (ex.: a presença de um tubo de ensaio é normal antes de um procedimento de transferência, mas anômala se o tubo deveria ter sido removido).

Métodos tradicionais de detecção de anomalias (baseados em aprendizado profundo supervisionado ou não supervisionado) frequentemente falham nesses cenários devido à:

• Falta de generalização entre diferentes configurações experimentais.
• Incapacidade de compreender a semântica e o contexto dinâmico das tarefas.
• Dependência de grandes conjuntos de dados rotulados específicos para cada domínio.

O artigo propõe superar essas limitações utilizando Modelos de Linguagem Visuais (VLMs) para realizar raciocínio multimodal baseado em contexto.

2. Metodologia

A abordagem proposta utiliza VLMs para analisar imagens de primeira pessoa capturadas por braços robóticos, combinando-as com instruções textuais estruturadas.

A. Formulação do Problema

A tarefa é definida como uma classificação binária (Normal vs. Anômala) baseada em uma observação visual $x$, informações de contexto $I$ e um controle de granularidade de prompt $\phi$. O objetivo é determinar se o estado atual do experimento desvia do esperado.

B. Design de Prompt Hierárquico

Para investigar como a granularidade da informação textual afeta o raciocínio do modelo, os autores propõem quatro níveis de prompts progressivamente informativos:

1. Nível 1 (Contexto): Apenas uma descrição geral do experimento.
2. Nível 2 (Descrição da Etapa): Adiciona a descrição da subtarefa atual (operador, objeto, origem/destino).
3. Nível 3 (Conteúdo de Detecção): Especifica exatamente o que deve ser verificado visualmente (ex.: "Verificar se o recipiente está na bancada").
4. Nível 4 (Descrição do Rótulo de Anomalia): Inclui definições semânticas explícitas do que constitui um estado normal versus anômalo.

C. Processo de Raciocínio

O sistema utiliza Chain-of-Thought (CoT), incentivando o modelo a raciocinar passo a passo antes de emitir uma decisão final. O fluxo de entrada inclui a imagem RGB (640x480) e o prompt estruturado. O modelo gera uma resposta em linguagem natural com o raciocínio, que é posteriormente processada por um analisador baseado em regras para extrair a decisão binária.

3. Contribuições Principais

1. Método Baseado em VLM: Propõe uma nova abordagem de detecção de anomalias que utiliza imagens de primeira pessoa e semântica dependente da etapa, permitindo uma investigação sistemática do efeito da granularidade do prompt.
2. Benchmarks Visuais para Laboratórios Científicos: Construiu um novo conjunto de dados e benchmark baseado em um fluxo de trabalho real de preparação de silicone em um laboratório químico. O dataset contém 1.001 imagens (501 normais, 500 anômalas) cobrindo 15 etapas e 20 pontos de monitoramento, com anotações detalhadas de contexto.
3. Validação no Mundo Real: Realizou experimentos físicos em um laboratório robótico, demonstrando a aplicabilidade prática da detecção de anomalias visuais de primeira pessoa para interromper processos e solicitar intervenção humana quando necessário.

4. Resultados Experimentais

Os experimentos foram conduzidos em dois modelos VLM representativos: GPT-4o e Qwen2.5-VL-72B-Instruct, sem fine-tuning (apenas inferência via API).

• Impacto da Granularidade do Prompt:
  • A precisão (Accuracy) aumentou significativamente à medida que mais contexto foi fornecido.
  • GPT-4o: A precisão saltou de 41,6% (Nível 1) para 79,2% (Nível 4). A taxa de detecção de falhas (MDR) caiu drasticamente para 3,0%.
  • Qwen2.5-VL-72B: Mostrou melhoria mais modesta, indo de 41,6% para 61,4%, indicando uma dependência maior de descrições explícitas de anomalias (Nível 4) para reduzir falsos negativos.
• Taxa de Falsos Positivos (FPR): O GPT-4o manteve uma FPR estável e baixa (16,8% no Nível 4), enquanto o Qwen tendeu a superestimar anomalias com prompts menos detalhados.
• Análise Qualitativa: O estudo de caso (Fig. 5) revelou que prompts muito específicos podem, em alguns casos, confundir o modelo se a descrição não estiver perfeitamente alinhada com a nuance visual, destacando a importância do alinhamento semântico.

5. Significado e Conclusão

Este trabalho estabelece uma base fundamental para a detecção de anomalias em fluxos de trabalho científicos complexos e dinâmicos. Ao demonstrar que o raciocínio baseado em contexto via VLMs supera métodos tradicionais de classificação cega, o artigo oferece:

• Um framework de avaliação padronizado para tarefas de detecção de anomalias em laboratórios.
• Evidências de que a integração de conhecimento de domínio (via prompts) é essencial para a robustez em ambientes não estruturados.
• Um caminho viável para a criação de assistentes robóticos autônomos capazes de garantir a segurança e a integridade de experimentos científicos complexos, reduzindo a necessidade de supervisão humana constante.

Em suma, a pesquisa valida que a combinação de visão de primeira pessoa, raciocínio linguístico e prompts hierárquicos é uma solução eficaz e adaptável para a segurança em laboratórios robóticos do futuro.