AnomalyMatch: Discovering Rare Objects of Interest with Semi-supervised and Active Learning

Resumen Técnico: AnomalyMatch

Planteamiento del Problema
La identificación de anomalías —valores atípicos raros e inusuales— en conjuntos de datos de imágenes a gran escala es un desafío crítico en la astronomía y la visión artificial. Mientras que los observatorios de próxima generación, como Euclid y el Observatorio Vera C. Rubin, liberarán volúmenes de datos sin precedentes (miles de millones de galaxias), la escasez de ejemplos etiquetados para objetos raros (a menudo <0,1% de un conjunto de datos) hace que los métodos tradicionales de aprendizaje supervisado sean inviables. Los enfoques existentes enfrentan obstáculos significativos: los métodos no supervisados suelen tener dificultades con la complejidad de los datos de imagen de alta dimensión, mientras que los métodos supervisados requieren grandes conjuntos de datos etiquetados que no existen para muchas morfologías raras. Además, las iniciativas de ciencia ciudadana, aunque valiosas, enfrentan desafíos para definir criterios de anomalía consistentes y no pueden escalar para inspeccionar manualmente los vastos volúmenes de datos de los sondeos modernos. El problema central es desarrollar un marco escalable y eficiente que pueda detectar anomalías raras con un mínimo de datos etiquetados iniciales, aprovechando al mismo tiempo la abundancia de datos no etiquetados e incorporando la retroalimentación humana experta para refinar la detección.

Metodología: AnomalyMatch
Los autores presentan AnomalyMatch, un marco de detección de anomalías semi-supervisado diseñado para tratar la detección de anomalías como un problema de clasificación binaria fuertemente desbalanceado ("normal" frente a "anomalía"). La metodología integra tres componentes principales:

1. Aprendizaje Semi-Supervisado (FixMatch): La estrategia de entrenamiento central adapta el algoritmo FixMatch (Sohn et al. 2020). Utiliza un pequeño conjunto de datos etiquetados ($D_L$) y un gran grupo de datos no etiquetados ($D_U$). El modelo, basado en un backbone EfficientNet (específicamente EfficientNetLite0), se entrena utilizando una función de pérdida combinada:

   • Pérdida Supervisada: Entropía cruzada estándar sobre el conjunto etiquetado.
   • Pérdida No Supervisada: Regularización de consistencia aplicada a los datos no etiquetados. Se utilizan imágenes con aumentos débiles para generar pseudo-etiquetas de alta confianza (si la confianza del modelo supera un umbral $\tau=0,95$). Estas pseudo-etiquetas se utilizan luego para penalizar las predicciones del modelo en versiones de las mismas imágenes con aumentos fuertes.
   • Manejo de Desbalance: El marco emplea sobremuestreo mediante un muestreador aleatorio ponderado para abordar el severo desbalance de clases, asegurando que las muestras de anomalías raras estén adecuadamente representadas durante el entrenamiento.

2. Bucle de Aprendizaje Activo: Para mitigar la escasez de anomalías etiquetadas, AnomalyMatch incorpora un proceso iterativo de humano-en-el-bucle (human-in-the-loop). Tras el entrenamiento inicial, el modelo califica el grupo no etiquetado. Una interfaz de usuario (GUI) permite a los expertos en el dominio:

   • Inspeccionar visualmente los candidatos con puntuaciones altas.
   • Verificar anomalías reales y corregir falsos positivos (por ejemplo, distinguir anomalías reales de artefactos de imagen como CCDs defectuosos o regiones desenfocadas).
   • Expandir iterativamente el conjunto de entrenamiento etiquetado con estas muestras verificadas.
   • Reentrenar el modelo sobre el conjunto expandido.

3. Implementación Escalable: El sistema está construido para un alto rendimiento, capaz de procesar cientos de millones de imágenes en una sola GPU. Soporta diversos formatos de entrada (PNG, JPEG, TIFF, FITS) y se integra con los estándares de almacenamiento de datos astronómicos (HDF5, Zarr) y la plataforma ESA Datalabs. La GUI, construida con ipywidgets, facilita la exploración interactiva dentro de los cuadernos de Jupyter.

Contribuciones Clave

• Pipeline Novel: Un pipeline de detección de anomalías semi-supervisado que combina FixMatch (simplificado para un fuerte desbalance de clases), EfficientNet y aprendizaje activo, reduciendo significativamente el requisito de datos etiquetados.
• GUI Interactiva: Una interfaz de usuario amigable que permite a los expertos guiar iterativamente la selección de anomalías, corregir errores del modelo y refinar el rendimiento sin interacción directa con el backend.
• Integración: Integración fluida de herramientas astronómicas establecidas (normalización de Astropy, soporte para FITS) y despliegue dentro del ecosistema ESA Datalabs.
• Benchmarking Exhaustivo: Evaluación extensa en diversos conjuntos de datos (miniImageNet, GalaxyMNIST y Galaxy Zoo 2) demostrando el rendimiento con una cantidad extremadamente limitada de etiquetas iniciales (5–10 anomalías).
• Escalabilidad: Una implementación capaz de analizar 100 millones de imágenes en cuestión de días, adecuada para los próximos sondeos a gran escala.

Resultados Experimentales
El marco fue evaluado en tres conjuntos de datos bajo un severo desbalance de clases:

• miniImageNet: Tratando clases de objetos específicas (ej. Hourglass, Guitar) como anomalías (1% de los datos). Comenzando con solo 5 anomalías etiquetadas, AnomalyMatch logró un AUROC promedio de 0,96 y un AUPRC de 0,82. Tras tres ciclos de aprendizaje activo, alcanzó una precisión del 76% en el 1% superior de las imágenes clasificadas.
• GalaxyMNIST: Un conjunto de datos de morfologías de galaxias donde una clase fue tratada como la anomalía (25% de los datos). Comenzando con 10 anomalías etiquetadas, el sistema logró un AUROC promedio de 0,89 y un AUPRC de 0,77. La precisión en el 1% superior alcanzó el 94%.
• Galaxy Zoo - The Galaxy Challenge: Un subconjunto de ~65,000 galaxias con clasificaciones "extrañas" (odd). En comparación con el software establecido Astronomaly, AnomalyMatch logró un rendimiento comparable con un AUROC promedio de 0,83. Los autores señalan que el rendimiento es sensible a la definición de "anomalía" (cortes de fracción de votantes) en este conjunto de datos de etiquetas suaves (soft-label).

Estudios de Ablación

• Etiquetas Iniciales: Aumentar el número inicial de muestras etiquetadas (de 100 a 1000) produjo rendimientos decrecientes, con las métricas de rendimiento manteniéndose robustas incluso con un mínimo de etiquetas iniciales.
• Iteraciones de Entrenamiento: Se encontró que el número óptimo de iteraciones de entrenamiento por ciclo de aprendizaje activo era de alrededor de 100. Los ciclos de entrenamiento más largos (250–500 iteraciones) llevaron al sobreajuste de los datos etiquetados iniciales, reduciendo la eficiencia general de detección.

Significancia y Reivindicaciones
El artículo afirma que AnomalyMatch ofrece una utilidad y escalabilidad excepcionales para el descubrimiento de anomalías en dominios caracterizados por una severa escasez de etiquetas, como la astronomía. Al combinar el aprendizaje semi-supervisado con el aprendizaje activo, el marco permite a los expertos en el dominio definir y detectar anomalías científicamente interesantes en lugar de simplemente valores atípicos estadísticos generales. Los autores enfatizan que el método aprovecha eficazmente los datos no etiquetados para reducir la carga de revisión manual, convirtiéndolo en una herramienta práctica para la era de los sondeos celestes ricos en datos. Los resultados subrayan que los enfoques especializados que combinan la experiencia humana con un aprendizaje automático eficiente son clave para avanzar en la detección de anomalías en campos donde los datos etiquetados son inherentemente raros. El artículo concluye que, si bien el método es altamente efectivo, el trabajo futuro debería explorar la IA explicable, la integración de datos multimodales y el impacto de los errores de etiquetado para mejorar aún más la robustez.