The effects of image augmentations when training machine learning models in astronomy

1. Planteamiento del Problema

El aprendizaje automático (ML) es cada vez más vital en astronomía para procesar conjuntos de datos masivos de sondeos como Euclid, LSST y DESI. Sin embargo, entrenar redes neuronales profundas (DNN) es computacionalmente costoso y consume mucho tiempo.

• La Suposición: Los astrónomos a menudo asumen que añadir aumentaciones de imagen (transformaciones aleatorias como rotación, volteo, zoom) a los datos de entrenamiento siempre mejora el rendimiento del modelo al aumentar la diversidad de datos y prevenir el sobreajuste.
• La Brecha: No está claro si estas aumentaciones ofrecen rendimientos decrecientes a medida que crecen los tamaños de los conjuntos de datos, o si inflan innecesariamente los tiempos de entrenamiento sin ganancias significativas de precisión.
• El Objetivo: Cuantificar el impacto de aumentaciones de imagen específicas y tamaños de conjuntos de datos de entrenamiento en el rendimiento de un modelo de aprendizaje profundo de tamaño fijo (Zoobot) utilizado para la clasificación de morfología galáctica.

2. Metodología

Fuente de Datos

• Conjunto de Datos: 230.000 imágenes de galaxias del sondeo Galaxy Zoo DECaLS (GZD-5), derivadas del Dark Energy Camera Legacy Survey (DECaLS).
• Preprocesamiento: Las imágenes (originalmente de 424×424 píxeles) se convirtieron a escala de grises, se reescalaron basándose en radios Petrosian y se recortaron a 224×224 píxeles.
• Etiquetas: Clasificaciones morfológicas derivadas de votos de voluntarios (ciencia ciudadana). Se utilizaron dos conjuntos de prueba:
  1. Todas las Galaxias de Prueba: Galaxias con ≥34 votos.
  2. Galaxias Confiadas: Un subconjunto donde los voluntarios coincidieron en la respuesta ≥80% de las veces (etiquetas de alta confianza).

Arquitectura del Modelo

• Modelo: Zoobot, una red neuronal convolucional basada en EfficientNet B0 (5,3 millones de parámetros).
• Tarea: Clasificación binaria para 10 preguntas morfológicas distintas (por ejemplo, "¿Es suave o tiene características?", "¿Tiene brazos espirales?").
• División de Entrenamiento: 80% entrenamiento, 20% prueba (división aleatoria pero consistente en todos los experimentos).

Diseño Experimental

Los autores crearon 24 configuraciones de modelo distintas variando dos factores:

1. Tamaño del Conjunto de Datos: Entrenando con el 10%, 25%, 50% y 100% de las ~180.000 imágenes de entrenamiento disponibles.
2. Estrategia de Aumentación: Seis pipelines de transformación diferentes:
   • Original: Pipeline completo (Escala de grises → Rotación Aleatoria → Recorte Aleatorio → Zoom/Estiramiento → Volteo Horizontal).
   • Rotación + Volteo: Rotación + Volteo (Sin Zoom/Estiramiento).
   • Rotación: Solo rotación (Sin Volteo/Zoom).
   • Volteos: Volteos vertical y horizontal (Sin Rotación/Zoom).
   • Zoom: Zoom + Estiramiento + Recorte (Sin Rotación/Volteo).
   • Ninguna: Solo recorte (Sin transformaciones aleatorias).

• Protocolo de Entrenamiento: Parada temprana con una paciencia de 8 épocas (el entrenamiento se detiene si la pérdida de validación no mejora durante 8 épocas). Los modelos se entrenaron en una GPU Tesla V100S.

3. Resultados Clave

A. Impacto del Tamaño del Conjunto de Datos vs. Aumentación

• Conjuntos de Datos Pequeños (10-25%): Las aumentaciones de imagen mejoran significativamente el rendimiento. La configuración "Ninguna" (sin aumentaciones) tuvo el peor rendimiento universalmente, a menudo rezagándose en más del 10% en precisión en comparación con los modelos aumentados.
• Conjuntos de Datos Grandes (50-100%): La brecha de rendimiento entre modelos aumentados y no aumentados disminuye drásticamente.
  • Con un 100% del tamaño del conjunto de datos, la configuración "Ninguna" a menudo tuvo un rendimiento casi tan bueno como la configuración "Original".
  • Para muchas preguntas, las curvas de precisión de diferentes estrategias de aumentación convergieron, lo que sugiere que el modelo alcanzó un punto de saturación donde la diversidad de datos crudos era suficiente para llenar la capacidad del modelo.

B. Capacidad del Modelo y Saturación

• El estudio identificó un punto de saturación para la arquitectura Zoobot. Una vez que el modelo se entrena con un conjunto de datos suficientemente grande y diverso, añadir más datos o aumentaciones complejas produce ganancias de rendimiento neglegibles.
• Diferentes preguntas morfológicas alcanzaron la saturación a diferentes ritmos. Tareas complejas (por ejemplo, "Conteo de Brazos Espirales") mostraron más varianza y precisión absoluta más baja que tareas más simples (por ejemplo, "Suave o con Características").

C. Especificidad de las Aumentaciones

• No hay una "Mejor" Aumentación: Ninguna estrategia de aumentación única (por ejemplo, Rotación vs. Volteos) superó consistentemente a las demás en las 10 preguntas cuando se entrenó con conjuntos de datos grandes.
• Simplicidad vs. Complejidad: Las aumentaciones más simples (como el volteo) a menudo produjeron una precisión similar a las complejas (como rotación + zoom) pero requirieron menos épocas de entrenamiento.

D. Tiempo de Entrenamiento y Eficiencia

• Costo de Tiempo: Las aumentaciones aumentaron significativamente el tiempo de entrenamiento.
  • La configuración "Ninguna" fue la más rápida (por ejemplo, ~13 minutos para el 10% de datos, ~2,5 horas para el 100% de datos).
  • La configuración "Original" fue la más lenta (por ejemplo, ~56 minutos para el 10% de datos, ~7,5 horas para el 100% de datos).
• Épocas Requeridas: Los modelos con aumentaciones complejas (rotación, zoom) requirieron significativamente más épocas para converger porque el modelo tuvo que "ver" una variedad más amplia de imágenes transformadas.
• Compensación de Eficiencia: Para conjuntos de datos grandes, la ganancia marginal de precisión de las aumentaciones complejas no justificó el aumento sustancial en el tiempo computacional (a menudo duplicando o triplicando la duración del entrenamiento).

4. Contribuciones Clave

1. Cuantificación de Rendimientos Decrecientes: El artículo proporciona evidencia empírica de que el beneficio de la aumentación de imagen es inversamente proporcional al tamaño del conjunto de datos. Para conjuntos de datos grandes, las aumentaciones ofrecen poco o ningún impulso de rendimiento.
2. Identificación de Puntos de Saturación: Demuestra que para una arquitectura de modelo fija (Zoobot/EfficientNet B0), existe un límite de datos más allá del cual el rendimiento no puede mejorarse solo con aumentación.
3. Directrices de Optimización de Recursos: Los autores proponen que, para sondeos astronómicos a gran escala, los astrónomos deberían considerar aumentaciones más simples (o incluso mínimas) para ahorrar recursos computacionales, ya que las transformaciones complejas rara vez producen resultados superiores en conjuntos de datos grandes.
4. Validación de Subconjuntos "Confiados": El estudio confirma que los modelos tienen un rendimiento significativamente mejor en galaxias "confiadas" (alto acuerdo entre votantes), lo que sugiere que entrenar con datos ambiguos limita el techo del modelo.

5. Significado y Conclusión

Este trabajo desafía la heurística de "más es mejor" en el aprendizaje automático astronómico.

• Para Sondeos Grandes (por ejemplo, LSST, Euclid): A medida que los conjuntos de datos crecen hasta miles de millones de objetos, la utilidad marginal de las aumentaciones de imagen complejas disminuye. Los investigadores pueden reducir el tiempo de entrenamiento y la huella de carbono utilizando pipelines de aumentación más simples sin sacrificar la precisión del modelo.
• Para Conjuntos de Datos Pequeños: Las aumentaciones siguen siendo críticas para prevenir el sobreajuste y mejorar la generalización.
• Trabajo Futuro: Los autores sugieren que, aunque este modelo (Zoobot) alcanzó la saturación, arquitecturas más complejas podrían requerir conjuntos de datos más grandes antes de alcanzar sus propios puntos de saturación. Sin embargo, el principio de rendimientos decrecientes para las aumentaciones probablemente se mantenga cierto a través de las arquitecturas.

Conclusión Final: Los astrónomos deben evaluar cuidadosamente el tamaño de su conjunto de datos y la capacidad del modelo antes de aplicar aumentaciones computacionalmente costosas. En muchos casos, transformaciones más simples o datos crudos son suficientes, lo que permite ahorros significativos en tiempo y energía.