OASIC: Occlusion-Agnostic and Severity-Informed Classification

Resumen Técnico: OASIC

1. El Problema

La clasificación de imágenes de gran detalle (fine-grained classification) enfrenta un desafío crítico en escenarios del mundo real: la oclusión severa. Cuando los objetos están parcialmente ocultos (por vegetación, humo, escombros, etc.), se pierden dos elementos fundamentales:

1. Información visible: Se reduce la cantidad de detalles necesarios para distinguir entre clases similares.
2. Patrones distractores: Los ocluyentes introducen texturas y patrones visuales que engañan a los modelos de visión por computadora, desviando la atención de las características relevantes del objeto.

Existe una brecha significativa entre los modelos entrenados con imágenes limpias y las condiciones reales de oclusión. Además, los conjuntos de datos con anotaciones de oclusión son escasos y las oclusiones en la vida real son impredecibles en cuanto a su tipo y severidad.

2. Metodología (OASIC)

Los autores proponen OASIC (Occlusion-Agnostic Severity-Informed Classification), un marco unificado que aborda simultáneamente la pérdida de información y la distracción visual. El enfoque se basa en cuatro componentes principales:

• Segmentación de Oclusión Agnóstica (Anomaly Detection):

  • En lugar de entrenar un modelo para reconocer tipos específicos de ocluyentes (que requieren conocimiento previo), OASIC trata la oclusión como una anomalía visual respecto al objeto de interés.
  • Utiliza AnomalyDINO para generar mapas de probabilidad de oclusión a nivel de píxel. Estos mapas identifican regiones irregulares sin necesidad de etiquetas de oclusión específicas.
  • Se aplica un umbral adaptativo (método de Otsu) para convertir el mapa de anomalías en una máscara binaria.

• Enmascaramiento en Gris (Gray Masking):

  • Una vez identificadas las regiones ocluidas, se reemplazan por un tono de gris uniforme (valor 127 en canales RGB).
  • Objetivo: Eliminar las texturas distractores de los ocluyentes (como hojas o humo) para que el modelo no se distraiga, preservando al mismo tiempo las características visibles del objeto.

• Estimación de Severidad:

  • La severidad de la oclusión se cuantifica como la fracción de la imagen afectada.
  • Se estima calculando la media de las puntuaciones de anomalía de los píxeles en el mapa original. Esto proporciona un valor $\hat{s} \in [0, 1]$ que indica cuánto está oculto el objeto.

• Selección de Modelo Informada por Severidad:

  • Los autores descubrieron que un modelo único no es óptimo para todos los niveles de oclusión.
  • Se entrena un conjunto (pool) de modelos base, donde cada uno se ajusta (finetuning) en datos sintéticos con un rango máximo de oclusión específico (ej. $[0, p]$ donde $p$ varía).
  • En la fase de inferencia, se estima la severidad $\hat{s}$ de la imagen de prueba y se selecciona dinámicamente el modelo del conjunto que fue optimizado para un rango de oclusión más cercano a esa severidad.

3. Contribuciones Clave

1. Marco Unificado OASIC: Un método que aborda explícitamente tanto la pérdida de información visual como la distracción causada por los ocluyentes.
2. Segmentación Agnóstica: Capacidad de localizar y segmentar cualquier tipo de ocluyente (vegetación, humo, etc.) tratándolo como una anomalía visual, sin necesidad de conocimiento previo sobre la apariencia del ocluyente ni etiquetas de segmentación específicas.
3. Estrategia de Selección de Modelos: Una técnica novedosa que utiliza la severidad estimada de la oclusión para seleccionar dinámicamente el modelo más adecuado, superando la limitación de los modelos estáticos entrenados para un rango fijo.

4. Resultados Experimentales

Los experimentos se realizaron en el conjunto de datos Stanford Cars (196 categorías de coches), utilizando oclusiones sintéticas texturizadas (vegetación, humo, escombros) y grises.

• Impacto de la Textura: Se demostró que las oclusiones texturizadas degradan el rendimiento mucho más que las oclusiones grises uniformes, confirmando que los patrones distractores son un problema mayor que la simple pérdida de píxeles.
• Localización: El método basado en anomalías (AnomalyDINO) superó consistentemente a modelos de segmentación basados en prompts (como OVSeg) en la detección de oclusiones no vistas previamente, logrando un mAUROC superior en todos los tipos de oclusión.
• Rendimiento de Clasificación:
  • OASIC logró un aumento de +18.5 puntos en el área bajo la curva de oclusión (AUCocc) en comparación con el entrenamiento estándar en imágenes ocluidas.
  • Logró un aumento de +23.7 puntos en AUCocc en comparación con el ajuste fino (finetuning) en imágenes no ocluidas.
  • La combinación de enmascaramiento en gris y selección de modelos adaptativa fue superior a usar solo una de estas técnicas o modelos fijos.

5. Significado e Impacto

OASIC representa un avance significativo en la robustez de la visión por computadora para aplicaciones del mundo real donde la visibilidad es variable e impredecible.

• Generalización: Al no depender de la identificación específica del ocluyente, el método es aplicable a dominios diversos como navegación autónoma, vigilancia visual e imágenes médicas.
• Eficiencia: Demuestra que es posible mejorar drásticamente el rendimiento sin necesidad de grandes conjuntos de datos anotados con oclusiones específicas, utilizando en su lugar detección de anomalías y estrategias de entrenamiento adaptativas.
• Futuro: El trabajo sugiere que la integración de la estimación de oclusión y la clasificación en una sola arquitectura end-to-end podría ser el siguiente paso para sistemas de visión aún más robustos.

En resumen, OASIC transforma el problema de la oclusión de un obstáculo estático a un proceso dinámico de detección, limpieza y selección de modelo, logrando una clasificación robusta incluso cuando solo el 10% del objeto es visible.