A Structured Benchmark for Text-Guided Anomaly Detection: When Language Stops Conditioning the Decision

Planteamiento del Problema
La detección de anomalías (AD) industrial ha sido históricamente una tarea unimodal, basada en entradas visuales para aprender representaciones de la normalidad y señalar desviaciones. Si bien los modelos de visión-lenguaje recientes (LVLMs) han introducido capacidades de inspección guiadas por texto, de cero disparos (zero-shot) y de pocos disparos (few-shot), sus protocolos de evaluación heredan los benchmarks unimodales como MVTec AD. Estos protocolos estándar mantienen las condiciones textuales efectivamente constantes en todas las muestras de prueba, tratando los prompts como etiquetas de clase estáticas en lugar de instrucciones controlables. En consecuencia, no está claro si las mejoras de rendimiento reportadas provienen de una verdadera toma de decisiones guiada por el texto o simplemente de potentes características visuales preentrenadas aumentadas por un conocimiento lingüístico genérico. El problema central abordado es la falta de un protocolo capaz de medir si el lenguaje realmente condiciona la decisión de detección de anomalías.

Metodología: El Benchmark TGAD
Los autores presentan el Benchmark de Detección de Anomalías Guiada por Texto (TGAD), un benchmark estructurado diseñado para aumentar progresivamente el rol funcional del lenguaje en la decisión de inspección a través de tres escenarios:

1. Escenario 1: Sensibilidad de Prompt Controlada (MVTec AD): Este escenario aísla si las predicciones varían en función del lenguaje. La entrada visual y la verdad de campo (ground truth) son fijas mientras que la entrada textual se varía sistemáticamente. Las variantes van desde descripciones completas hasta consultas mínimas, probando específicamente la eliminación del sustantivo del objeto, las aserciones de normalidad y las listas de defectos.
2. Escenario 2: Detección de Anomalías por Componente (Extensión de MVTica AD): Este escenario instruye al modelo para que inspeccione un componente específico de un objeto, tratando los defectos en otros componentes como normales. Esto obliga al modelo a seguir selectivamente las restricciones textuales en lugar de reportar cualquier defecto visualmente evidente. Los autores lanzan una extensión de MVTec AD etiquetada por componentes con configuraciones de evaluación específicas (EV1 y EV2) para probar esto.
3. Escenario 3: Robustez Industrial (Dataset de Paneles Ensamblados - APD): Un nuevo dataset industrial realista de paneles electrónicos que presentan componentes interactuantes. Este escenario requiere el conocimiento simultáneo del tipo de defecto y la ubicación del componente, representando la convergencia natural de los dos primeros escenarios bajo condiciones realistas.

Modelos Evaluados
El estudio evalúa un modelo representativo por cada paradigma multimodal:

• LVLM Generativo: AnomalyGPT.
• Discriminativo sin entrenamiento (Training-free): LogSAD (aumentado con una extensión de enmascaramiento de primer plano para permitir la inspección por componente).
• Discriminativo de Embebido Adaptativo: AA-CLIP.

Hallazgos Clave y Resultados
A través de todos los paradigmas y escenarios, la interfaz textual condiciona la decisión solo superficialmente:

• Colapso del Anclaje del Objeto (Object-Anchor Collapse): En el Escenario 1, el contenido del prompt es absorbido en gran medida a menos que se elimine el sustantivo del objeto. Para AnomalyGPT, eliminar el sustantivo del objeto causó una caída significativa en el AUROC de nivel de imagen (I-AUROC) de 97.4 a 82.6, mientras que parafrasear o eliminar las listas de defectos no tuvo efecto. Esto indica que el modelo se ancla en el sustantivo del objeto por sí solo, tratando el prompt como un prior estático en lugar de una instrucción dinámica.
• Disociación de Localización-Decisión (Localization-Decision Dissociation): En el Escenario 2, cuando se le instruye ignorar defectos fuera de un componente específico, las puntuaciones de detección a nivel de imagen colapsaron (por ejemplo, el I-AUROC de AnomalyGPT cayó de 90.3 a 66.3), mientras que las métricas de localización a nivel de píxel (AUPRO) se degradaron significativamente menos. Esto sugiere que los modelos pueden localizar defectos correctamente pero fallan al suprimir la decisión global basada en las restricciones textuales.
• Fallo Industrial (APD): En el Escenario 3, bajo una carga realista, la discriminación a nivel de imagen para todos los modelos cayó muy por debajo de los niveles de MVTec, con AA-CLIP cayendo a 31.5 (por debajo del azar). El prompting guiado por texto mejoró la localización para AnomalyGPT pero no logró condicionar la decisión para ningún modelo.

Contribuciones Clave

1. Benchmark y Datasets TGAD: El lanzamiento de un benchmark estructurado con tres escenarios crecientes, una extensión de MVTec AD etiquetada por componentes y el nuevo Dataset de Paneles Ensamblados (APD).
2. Análisis Crítico: Una demostración de que los modelos actuales de AD multimodales utilizan el texto como un débil prior de nivel de clase en lugar de un mecanismo de inferencia. El estudio destaca el "Colapso del Anclaje del Objeto" y la "Disociación de Localización-Decisión" como firmas de fallo recurrentes.
3. Firma Diagnóstica: La identificación de la Disociación de Localización-Decisión, donde la detección a nivel de imagen colapsa bajo estrés de instrucción mientras que la localización a nivel de región permanece relativamente estable, revelando que el texto selecciona lo que el modelo encuentra pero no puede decirle qué ignorar.

Significancia y Reivindicaciones
El artículo argumenta que los benchmarks estándar sobreestiman las capacidades guiadas por texto de los sistemas actuales de detección de anomalías multimodales. Los autores afirman que, para el despliegue industrial, un protocolo como TGAD es un prerrequisito para asegurar que los modelos puedan ser controlados de manera fiable mediante el lenguaje. Concluyen que los sistemas actuales no tratan las instrucciones como señales de control para el proceso de toma de decisiones; más bien, el prompt simplemente selecciona lo que el modelo ya encuentra visualmente. El artículo postula que cerrar esta brecha requiere arquitecturas donde la decisión a nivel de imagen esté condicionada por la instrucción, yendo más allá de nombrar objetos para especificar configuraciones correctas.