Resumo Técnico: AnomalyClaw

Declaração do Problema

A Detecção de Anomalias Visuais (VAD) é crítica para inspeção industrial, imagem médica e monitoramento de infraestrutura. No entanto, as abordagens existentes enfrentam dois desafios principais:

1. Fragmentação de Domínio: Definições de anomalias, modalidades de dados e padrões de anotação variam significativamente entre domínios (por exemplo, defeitos industriais versus lesões médicas). Modelos treinados em um domínio raramente transferem-se efetivamente para outros.
2. Limitações dos Modelos Visão-Linguagem (VLMs): Embora VLMs pré-treinados ofereçam potencial entre domínios, seus julgamentos de inferência única são frequentemente pouco confiáveis. Eles dependem fortemente de conhecimento prévio geral em vez de evidências granulares provenientes de referências de amostras normais. Consequentemente, podem produzir julgamentos de alta confiança, mas incorretos (por exemplo, confundir uma textura natural com um defeito ou vice-versa), pois carecem de um mecanismo para verificar explicitamente hipóteses contra referências normais específicas.

Metodologia: AnomalyClaw

Os autores propõem o AnomalyClaw, um agente VAD livre de treinamento e agnóstico em relação à arquitetura de base (backbone), que reformula a detecção de anomalias como um processo de refutação multi-rota em vez de uma classificação de passagem única.

Arquitetura Central

O sistema opera sobre uma base VLM congelada e consiste em três componentes concorrentes:

1. Agente de Refutação (Inovação Principal):
   • Processo: Em vez de acumular evidências para confirmar uma anomalia, o agente engaja-se em um loop de refutação. Ele propõe características candidatas de anomalia e tenta refutá-las comparando-as com imagens de referência normais.
   • Biblioteca de Ferramentas: O agente utiliza um catálogo de 13 ferramentas, incluindo verificação visual (recortes lado a lado, zoom), recuperação de referência (similaridade DINOv2), sondagem de especialistas (modelos SubspaceAD congelados) e consultas de conhecimento de domínio.
   • Adaptabilidade: As ferramentas são controladas por cláusulas de aplicabilidade de domínio (por exemplo, ferramentas de diferença em nível de pixel são desativadas para domínios não alinhados, como imagem médica). O agente seleciona ferramentas com base em uma escada ordenada por custo (L1–L7) para resolver incertezas.
   • Trajetória: O agente executa até $K=5$ turnos. Em cada turno, ele seleciona uma característica suspeita, reúne evidências fundamentadas em ferramentas e emite um veredito (found_in_ref, not_found ou inconclusive), atualizando a pontuação de anomalia de acordo.
2. Classificador VLM Direto (Sinal Coadjuvante):
   • Uma chamada VLM de passagem única, sem descritores, que fornece uma pontuação de anomalia grosseira ($s_D$). Isso serve como uma rede de segurança robusta, particularmente para backbones onde a refutação multi-turno pode ter dificuldades.
3. Fusão:
   • A pontuação final é uma média ponderada fixa: $s_{final} = 0.5 \cdot s_D + 0.5 \cdot s_R$. Essa combinação é aplicada uniformemente em todos os backbones, sem ajuste específico de domínio.

Auto-Evolução Verbalizada (Extensão Opcional)

Endereçando a falta de dados positivos rotulados na VAD entre domínios, os autores introduzem um mecanismo de Refinamento Online Automático (OSR):

• Mecanismo: O sistema monitora a discordância entre o ramo Direto e o ramo de Refutação. Se a diferença $|s_D - s_R| > 0.30$, o item é colocado em fila.
• Geração de Regras: Uma vez que uma fila específica de domínio se enche (N=10 itens), um VLM "refletor" analisa as trajetórias (sem rótulos de verdade fundamental) e gera regras textuais corretivas.
• Aplicação: Essas regras são recuperadas via RAG e adicionadas ao início das consultas subsequentes, permitindo que o agente "aprenda" com suas próprias inconsistências internas online.

Contribuições Principais

1. Primeiro Agente VAD Universal: O AnomalyClaw é o primeiro agente livre de treinamento e agnóstico em relação à arquitetura de base que enquadra a VAD como percepção composicional com refutação explícita. Ele usa uma única receita em diversos backbones VLM (GPT-5.5, Seed2.0-lite, Qwen3.5-VL-27B).
2. Refutação em vez de Acumulação: O artigo argumenta que a detecção de anomalias é inerentemente comparativa. Ao transformar cada turno de inferência em uma tentativa explícita de refutar uma candidata contra referências normais, o agente evita o viés de confirmação comum em loops de estilo de acumulação.
3. Auto-Evolução sem Rótulos: A extensão OSR demonstra que agentes podem melhorar através da discordância interna de ramos sem rótulos de oráculo, uma capacidade distinta da engenharia de prompts padrão ou ajuste fino supervisionado.
4. BenchMark CrossDomainVAD-12: Um novo benchmark unificando 12 domínios distintos (industrial, médico, sensoriamento remoto, etc.) em um único protocolo de AUROC baseado em referência para expor modos de falha dependentes de backbone e de domínio mascarados por avaliações de domínio único.

Resultados Experimentais

Avaliado no CrossDomainVAD-12 (1.418 itens de teste em 12 domínios):

• Ganhos de Desempenho: O AnomalyClaw supera consistentemente a inferência Direta de passo único em todos os backbones:
  • GPT-5.5: +6,23 pontos percentuais (pp) de AUROC macro.
  • Seed2.0-lite: +7,93 pp de AUROC macro.
  • Qwen3.5-VL-27B: +3,52 pp de AUROC macro.
  • Todos os ganhos são estatisticamente significativos (95% de confiança via bootstrap pareado estratificado).
• Generalização Entre Domínios: O agente supera significativamente VLMs especializados e ajustados finamente (por exemplo, AD-Copilot, IAD-R1) em tarefas entre domínios. Enquanto modelos ajustados frequentemente colapsam em domínios não industriais (por exemplo, caindo para quase aleatório em sensoriamento remoto), o AnomalyClaw mantém desempenho robusto sem treinamento específico de tarefa.
• Auto-Evolução: A extensão OSR produz um ganho médio de +2,09 pp no Qwen3.5-VL-27B, comparável a uma linha de base usando 10 rótulos de oráculo por domínio para aprendizado de regras, mas alcançado com zero rótulos de oráculo.
• Análise Comportamental: Backbones mais fortes (GPT-5.5) utilizam mais turnos de raciocínio e ferramentas de forma eficaz. A trajetória de refutação atua como uma rede de segurança, compensando falhas específicas de domínio (por exemplo, recuperando o desempenho na endoscopia GI D11 onde a ablação apenas de refutação falhou).

Significado e Alegações

O artigo afirma que a refutação agêntica melhora fundamentalmente as capacidades de compreensão e raciocínio de anomalias dos VLMs, em vez de apenas agregar saídas de ferramentas.

• Adaptabilidade Livre de Treinamento: O sistema oferece uma solução "pronta para uso" para qualquer cenário de novo domínio, sem o custo de coletar anotações de anomalias em grande escala ou retreinar modelos.
• Melhoria Nativa do Agente: O mecanismo de auto-evolução verbalizada demonstra que agentes podem criar suas próprias regras a partir de discordância interna, uma capacidade que loops baseados em rótulos não podem replicar em configurações zero-shot.
• Correção de Erros Complementar: A fusão de um classificador Direto grosseiro com um agente de refutação detalhado cria um sistema robusto onde o ramo Direto previne falhas catastróficas em domínios onde o agente multi-turno pode super-refinar ou regredir.

Os autores posicionam o AnomalyClaw não apenas como um impulso de desempenho, mas como uma mudança de paradigma em direção a agentes de percepção composicional que podem transferir-se entre backbones, domínios e tarefas sem atualizações de parâmetros.