Resumen Técnico: AnomalyClaw

Enunciado del Problema

La Detección de Anomalías Visuales (VAD) es crítica para la inspección industrial, la imagenología médica y la monitorización de infraestructuras. Sin embargo, los enfoques existentes enfrentan dos desafíos principales:

1. Fragmentación de Dominios: Las definiciones de anomalías, las modalidades de datos y los estándares de anotación varían significativamente entre dominios (por ejemplo, defectos industriales vs. lesiones médicas). Los modelos entrenados en un dominio rara vez se transfieren eficazmente a otros.
2. Limitaciones de los Modelos de Lenguaje y Visión (VLM): Aunque los VLM preentrenados ofrecen potencial interdominio, sus juicios de inferencia única suelen ser poco fiables. Dependen en gran medida de conocimientos previos generales en lugar de evidencia detallada procedente de referencias de muestras normales. En consecuencia, pueden producir juicios incorrectos pero de alta confianza (por ejemplo, confundir una textura natural con un defecto o viceversa) porque carecen de un mecanismo para verificar explícitamente hipótesis frente a referencias normales específicas.

Metodología: AnomalyClaw

Los autores proponen AnomalyClaw, un agente de VAD libre de entrenamiento y agnóstico al backbone, que replantea la detección de anomalías como un proceso de refutación multirredonda en lugar de una clasificación de un solo paso.

Arquitectura Central

El sistema opera sobre un backbone de VLM congelado y consta de tres componentes concurrentes:

1. Agente de Refutación (Innovación Principal):
   • Proceso: En lugar de acumular evidencia para confirmar una anomalía, el agente se involucra en un bucle de refutación. Propone características anómalas candidatas e intenta refutarlas comparándolas con imágenes de referencia normales.
   • Biblioteca de Herramientas: El agente utiliza un catálogo de 13 herramientas que incluye verificación visual (recortes lado a lado, zoom), recuperación de referencias (similitud DINOv2), sondeo de expertos (modelos SubspaceAD congelados) y consultas de conocimiento de dominio.
   • Adaptabilidad: Las herramientas se activan mediante cláusulas de aplicabilidad de dominio (por ejemplo, las herramientas de diferencia a nivel de píxel están deshabilitadas para dominios no alineados como la imagenología médica). El agente selecciona herramientas basándose en una escalera ordenada por costo (L1–L7) para resolver la incertidumbre.
   • Trayectoria: El agente se ejecuta durante un máximo de $K=5$ turnos. En cada turno, selecciona una característica sospechosa, recopila evidencia fundamentada en herramientas y emite un veredicto (encontrado_en_ref, no_encontrado o inconcluso), actualizando la puntuación de anomalía en consecuencia.
2. Puntador VLM Directo (Señal Coadyuvante):
   • Una llamada a VLM de un solo paso y sin descriptores que proporciona una puntuación de anomalía gruesa ($s_D$). Esto sirve como una red de seguridad robusta, particularmente para backbones donde la refutación de múltiples turnos podría tener dificultades.
3. Fusión:
   • La puntuación final es un promedio ponderado fijo: $s_{final} = 0.5 \cdot s_D + 0.5 \cdot s_R$. Esta combinación se aplica uniformemente en todos los backbones sin ajuste específico de dominio.

Autoevolución Verbalizada (Extensión Opcional)

Abordando la falta de datos positivos etiquetados en la VAD interdominio, los autores introducen un mecanismo de Refinamiento Online Autónomo (OSR):

• Mecanismo: El sistema monitorea la discrepancia entre la rama Directa y la rama de Refutación. Si la diferencia $|s_D - s_R| > 0.30$, el elemento se pone en cola.
• Generación de Reglas: Una vez que se llena una cola específica de dominio (N=10 elementos), un VLM "reflector" analiza las trayectorias (sin etiquetas de verdad fundamental) y genera reglas textuales correctivas.
• Aplicación: Estas reglas se recuperan mediante RAG y se añaden al principio de consultas posteriores, permitiendo que el agente "aprenda" de sus propias inconsistencias internas en línea.

Contribuciones Clave

1. Primer Agente Universal de VAD: AnomalyClaw es el primer agente libre de entrenamiento y agnóstico al backbone que enmarca la VAD como percepción composicional con refutación explícita. Utiliza una única receta en diversos backbones de VLM (GPT-5.5, Seed2.0-lite, Qwen3.5-VL-27B).
2. Refutación sobre Acumulación: El artículo argumenta que la detección de anomalías es inherentemente comparativa. Al plantear cada turno de inferencia como un intento explícito de refutar un candidato frente a referencias normales, el agente evita el sesgo de confirmación común en los bucles de estilo de acumulación.
3. Autoevolución Libre de Etiquetas: La extensión OSR demuestra que los agentes pueden mejorar mediante la discrepancia interna de ramas sin etiquetas de oráculo, una capacidad distinta de la ingeniería de prompts estándar o el ajuste fino supervisado.
4. Benchmark CrossDomainVAD-12: Un nuevo benchmark que unifica 12 dominios distintos (industrial, médico, teledetección, etc.) en un único protocolo de AUROC basado en referencias para exponer modos de fallo dependientes del backbone y del dominio, enmascarados por evaluaciones de dominio único.

Resultados Experimentales

Evaluado en CrossDomainVAD-12 (1.418 elementos de prueba en 12 dominios):

• Mejoras de Rendimiento: AnomalyClaw supera consistentemente a la inferencia Directa de un solo paso en todos los backbones:
  • GPT-5.5: +6.23 puntos porcentuales (pp) en AUROC macro.
  • Seed2.0-lite: +7.93 pp en AUROC macro.
  • Qwen3.5-VL-27B: +3.52 pp en AUROC macro.
  • Todas las mejoras son estadísticamente significativas (95% de confianza mediante bootstrap apareado estratificado).
• Generalización Interdominio: El agente supera significativamente a VLM especializados y ajustados finamente (por ejemplo, AD-Copilot, IAD-R1) en tareas interdominio. Mientras que los modelos ajustados a menudo colapsan en dominios no industriales (por ejemplo, cayendo a niveles cercanos al azar en teledetección), AnomalyClaw mantiene un rendimiento robusto sin entrenamiento específico de tareas.
• Autoevolución: La extensión OSR produce una ganancia media de +2.09 pp en Qwen3.5-VL-27B, comparable a una línea base que utiliza 10 etiquetas de oráculo por dominio para el aprendizaje de reglas, pero lograda con cero etiquetas de oráculo.
• Análisis Conductual: Los backbones más potentes (GPT-5.5) utilizan más turnos de razonamiento y herramientas de manera efectiva. La trayectoria de refutación actúa como una red de seguridad, compensando fallos específicos de dominio (por ejemplo, recuperando el rendimiento en endoscopia GI D11 donde la ablación solo de refutación falló).

Significado y Afirmaciones

El artículo afirma que la refutación agencial mejora fundamentalmente las capacidades de comprensión y razonamiento de anomalías de los VLM, en lugar de simplemente agregar salidas de herramientas.

• Adaptabilidad Libre de Entrenamiento: El sistema ofrece una solución "lista para usar" para cualquier escenario de nuevo dominio sin el costo de recopilar anotaciones de anomalías a gran escala o reentrenar modelos.
• Mejora Nativa del Agente: El mecanismo de autoevolución verbalizada demuestra que los agentes pueden generar sus propios manuales de reglas a partir de la discrepancia interna, una capacidad que los bucles basados en etiquetas no pueden replicar en configuraciones zero-shot.
• Corrección de Errores Complementaria: La fusión de un puntador Directo grueso con un agente de refutación detallado crea un sistema robusto donde la rama Directa previene fallos catastróficos en dominios donde el agente de múltiples turnos podría sobre-refinar o retroceder.

Los autores posicionan a AnomalyClaw no solo como un impulso de rendimiento, sino como un cambio de paradigma hacia agentes de percepción composicional que pueden transferirse entre backbones, dominios y tareas sin actualizaciones de parámetros.