PASTA: Vision Transformer Patch Aggregation for Weakly Supervised Target and Anomaly Segmentation

1. Planteamiento del Problema

El trabajo aborda el desafío crítico de la detección y segmentación de anomalías en entornos industriales y agrícolas no estructurados (como el reciclaje de chatarra o el deshierbe en agricultura). Los sistemas de percepción tradicionales fallan en estos dominios debido a:

• Escasez de datos: La necesidad de conjuntos de datos exhaustivamente anotados a nivel de píxel es económicamente inviable o imposible cuando los objetos son desconocidos o raros.
• Generalización: Los modelos supervisados cerrados (como YOLO o Mask R-CNN) no pueden generalizar a objetos no vistos (zero-shot).
• Supervisión Débil: En muchos escenarios reales, solo se dispone de diferencias estructurales entre dos conjuntos de datos (uno "mezclado" con anomalías y otro de "referencia" limpio), sin etiquetas manuales explícitas.

El objetivo es desarrollar un pipeline que identifique y segmente tanto objetos objetivo (normales) como anomalías (objetos no deseados o desconocidos) utilizando únicamente supervisión a nivel de imagen y comparando distribuciones de características.

2. Metodología: PASTA

El método propuesto, PASTA (Patch Aggregation for Segmentation of Targets and Anomalies), es un pipeline de aprendizaje débilmente supervisado que combina Vision Transformers (ViT) auto-supervisados con el modelo Segment Anything Model 3 (SAM 3). Se basa en la premisa de que las anomalías aparecen como clusters distintivos en un conjunto de datos base (mezclado) que están ausentes en una referencia limpia.

El proceso se divide en tres fases principales:

A. Fase 1: Creación del Modelo Base (Aprendizaje de Características)

• Se utiliza un ViT pre-entrenado (como DINOv3, CLIP o BioCLIP) para extraer embebidos de parches (patch-level embeddings) de un conjunto de datos base ($D_{T \cup A}$) que contiene una mezcla de objetos objetivo y anomalías.
• Se aplica clustering (K-Means) sobre estos embebidos para cuantizar el espacio de características continuo en unidades semánticas discretas (clusters).
• Se calcula la distribución de probabilidad de estos clusters en el conjunto base.

B. Fase 2: Definición de la Clase de Anomalía (Análisis de Distribución)

• Se utiliza un conjunto de datos de referencia limpio ($D_T$), que contiene solo objetos objetivo (sin anomalías).
• Se proyectan las características de $D_T$ en el mismo espacio de clusters definido en la Fase 1.
• Identificación de Anomalías: Se comparan las distribuciones. Los clusters que son prominentes en el conjunto base ($D_{T \cup A}$) pero están ausentes o muy suprimidos en la referencia ($D_T$) se identifican como anomalías.
• Se calcula una relación $R_i$ para cada cluster; si es cercana a cero, el cluster se marca como anómalo.

C. Fase 3: Clasificación de Objetos Mejorada con SAM 3 (Fusión Máscara-Feature)

• Para superar la resolución espacial gruesa de los parches del ViT, se integra SAM 3.
• Se utiliza un prompt de texto semántico genérico (ej. "plantas" o "objetos en la cinta transportadora") para generar máscaras de instancias precisas.
• Se superpone cada máscara generada por SAM 3 sobre el mapa de clusters del ViT.
• Si la proporción de píxeles dentro de la máscara que pertenecen a clusters de "anomalía" supera un umbral ($\gamma$), toda la instancia se clasifica como anomalía. De lo contrario, se clasifica como objetivo normal.

3. Contribuciones Clave

1. Abstracción Semántica sin Heurísticas: Reemplaza las heurísticas específicas del dominio (como índices de color ExG para agricultura) con prompts de texto semántico de vocabulario abierto mediante SAM 3. Esto elimina la dependencia de marcadores de color rígidos y permite generalización cruzada.
2. Detección de Anomalías sin Etiquetas: Identifica objetivos y anomalías de manera completamente libre de etiquetas (label-free) analizando las discrepancias de modos en el espacio de características del ViT, sin necesidad de datos de entrenamiento puramente nominales.
3. Pipeline Unificado y Agnóstico al Dominio: Ofrece un marco de inspección unificado que funciona tanto en entornos industriales (chatarra) como agrícolas (maleza), logrando una reducción del 75.8% en el tiempo de entrenamiento en comparación con baselines específicos del dominio.

4. Resultados y Evaluación

El método fue evaluado en tres conjuntos de datos: PhenoBench (agricultura), SteelDS (reciclaje industrial) y SteelDS Extended.

• Rendimiento de Segmentación:
  • Logró un IoU (Intersección sobre Unión) de hasta 88.3% para objetos objetivo y 63.5% para anomalías en el dominio industrial (SteelDS Extended) usando DINOv3 ViT-Small.
  • En el dominio agrícola (PhenoBench), aunque más desafiante debido a la similitud visual entre cultivos y maleza, superó significativamente a los baselines en la detección de anomalías.
• Eficiencia Computacional:
  • La extracción de parches mediante SAM 3 redujo el número de parches de características extraídos en un 75.8% (de ~64k a ~15k en PhenoBench), disminuyendo el tiempo de procesamiento total de ~2.8 horas a ~0.7 horas.
• Comparación con Baselines:
  • Superó al método de referencia Weeds Are Weird (WaW) en segmentación de objetivos en todos los conjuntos de datos.
  • En la detección de anomalías en PhenoBench, superó al baseline específico del dominio por un margen considerable, demostrando que el enfoque agnóstico al dominio es viable incluso en tareas difíciles.
• Análisis de Sensibilidad: Se demostró que la densidad del hiperesfera ($k_{sphere}$) afecta de manera diferente a los dominios industriales (donde mayor densidad ayuda) y agrícolas (donde una densidad muy alta puede degradar la detección de anomalías al absorber variaciones normales).

5. Significado e Impacto

El trabajo de PASTA es significativo porque:

• Democratiza la inspección robótica: Permite desplegar sistemas de visión en entornos donde la anotación de datos es imposible o prohibitiva.
• Robustez Operativa: Cumple con los requisitos estrictos de procesamiento en tiempo real y precisión a nivel de píxel necesarios para la robótica industrial y agrícola.
• Generalización: Al eliminar la dependencia de heurísticas manuales y características específicas de color, el sistema puede adaptarse a nuevos dominios (metales, plásticos, diferentes cultivos) simplemente cambiando el prompt de texto, sin reentrenar modelos complejos desde cero.
• Eficiencia: Demuestra que el análisis de distribución en espacios de características auto-supervisados es una alternativa superior y más rápida a los métodos de detección de anomalías tradicionales que requieren datos de entrenamiento "limpios" perfectos.

En conclusión, PASTA establece un nuevo estándar para la segmentación de objetivos y anomalías en entornos no estructurados, equilibrando la precisión de la segmentación con la eficiencia computacional y la capacidad de generalización zero-shot.