The effects of image augmentations when training machine learning models in astronomy

1. Declaração do Problema

O aprendizado de máquina (ML) é cada vez mais vital na astronomia para processar conjuntos de dados massivos de levantamentos como Euclid, LSST e DESI. No entanto, treinar redes neurais profundas (DNNs) é computacionalmente caro e consome muito tempo.

• A Premissa: Astrônomos frequentemente assumem que adicionar aumentações de imagem (transformações aleatórias como rotação, inversão, zoom) aos dados de treinamento sempre melhora o desempenho do modelo, aumentando a diversidade dos dados e prevenindo o sobreajuste (overfitting).
• A Lacuna: Não está claro se essas aumentações proporcionam retornos decrescentes à medida que os tamanhos dos conjuntos de dados crescem, ou se inflam desnecessariamente os tempos de treinamento sem ganhos significativos de precisão.
• O Objetivo: Quantificar o impacto de aumentações de imagem específicas e tamanhos de conjuntos de dados de treinamento no desempenho de um modelo de aprendizado profundo de tamanho fixo (Zoobot) usado para classificação de morfologia de galáxias.

2. Metodologia

Fonte de Dados

• Conjunto de Dados: 230.000 imagens de galáxias do levantamento Galaxy Zoo DECaLS (GZD-5), derivado do Dark Energy Camera Legacy Survey (DECaLS).
• Pré-processamento: As imagens (originalmente 424×424 pixels) foram convertidas para escala de cinza, reescalonadas com base nos raios Petrosian e recortadas para 224×224 pixels.
• Rótulos: Classificações morfológicas derivadas de votos de voluntários (ciência cidadã). Dois conjuntos de teste foram utilizados:
  1. Todas as Galáxias de Teste: Galáxias com ≥34 votos.
  2. Galáxias Confiáveis: Um subconjunto onde os voluntários concordaram com a resposta ≥80% do tempo (rótulos de alta confiança).

Arquitetura do Modelo

• Modelo: Zoobot, uma rede neural convolucional baseada no EfficientNet B0 (5,3 milhões de parâmetros).
• Tarefa: Classificação binária para 10 perguntas morfológicas distintas (por exemplo, "É lisa ou possui características?", "Possui braços espirais?").
• Divisão de Treinamento: 80% treinamento, 20% teste (divisão aleatória, mas consistente em todos os experimentos).

Desenho Experimental

Os autores criaram 24 configurações distintas de modelo variando dois fatores:

1. Tamanho do Conjunto de Dados: Treinamento com 10%, 25%, 50% e 100% das ~180.000 imagens de treinamento disponíveis.
2. Estratégia de Aumentação: Seis pipelines de transformação diferentes:
   • Original: Pipeline completo (Escala de cinza → Rotação Aleatória → Recorte Aleatório → Zoom/Estiramento → Inversão Horizontal).
   • Rotação + Inversão: Rotação + Inversão (Sem Zoom/Estiramento).
   • Rotação: Apenas Rotação (Sem Inversão/Zoom).
   • Inversões: Inversões Vertical e Horizontal (Sem Rotação/Zoom).
   • Zoom: Zoom + Estiramento + Recorte (Sem Rotação/Inversão).
   • Nenhuma: Apenas Recorte (Sem transformações aleatórias).

• Protocolo de Treinamento: Parada antecipada com uma paciência de 8 épocas (o treinamento para se a perda de validação não melhorar por 8 épocas). Os modelos foram treinados em uma GPU Tesla V100S.

3. Resultados Principais

A. Impacto do Tamanho do Conjunto de Dados vs. Aumentação

• Conjuntos de Dados Pequenos (10-25%): As aumentações de imagem melhoram significativamente o desempenho. A configuração "Nenhuma" (sem aumentações) performou universalmente pior, frequentemente ficando atrás em mais de 10% em precisão em comparação com modelos aumentados.
• Conjuntos de Dados Grandes (50-100%): A lacuna de desempenho entre modelos aumentados e não aumentados diminui drasticamente.
  • No tamanho de conjunto de dados de 100%, a configuração "Nenhuma" frequentemente performou quase tão bem quanto a configuração "Original".
  • Para muitas perguntas, as curvas de precisão de diferentes estratégias de aumentação convergiram, sugerindo que o modelo atingiu um ponto de saturação onde a diversidade dos dados brutos era suficiente para preencher a capacidade do modelo.

B. Capacidade do Modelo e Saturação

• O estudo identificou um ponto de saturação para a arquitetura Zoobot. Uma vez que o modelo é treinado em um conjunto de dados suficientemente grande e diversificado, adicionar mais dados ou aumentações complexas produz ganhos de desempenho negligenciáveis.
• Diferentes perguntas morfológicas atingiram a saturação em taxas diferentes. Tarefas complexas (por exemplo, "Contagem de Braços Espirais") mostraram mais variância e precisão absoluta mais baixa do que tarefas mais simples (por exemplo, "Liso ou com Características").

C. Especificidade das Aumentações

• Sem "Melhor" Aumentação: Nenhuma estratégia única de aumentação (por exemplo, Rotação vs. Inversões) superou consistentemente as outras em todas as 10 perguntas quando treinada em conjuntos de dados grandes.
• Simplicidade vs. Complexidade: Aumentações mais simples (como inversão) frequentemente produziram precisão similar às complexas (como rotação + zoom), mas exigiram menos épocas de treinamento.

D. Tempo de Treinamento e Eficiência

• Custo de Tempo: As aumentações aumentaram significativamente o tempo de treinamento.
  • A configuração "Nenhuma" foi a mais rápida (por exemplo, ~13 minutos para 10% dos dados, ~2,5 horas para 100% dos dados).
  • A configuração "Original" foi a mais lenta (por exemplo, ~56 minutos para 10% dos dados, ~7,5 horas para 100% dos dados).
• Épocas Necessárias: Modelos com aumentações complexas (rotação, zoom) exigiram significativamente mais épocas para convergir porque o modelo teve que "ver" uma variedade maior de imagens transformadas.
• Compromisso de Eficiência: Para conjuntos de dados grandes, o ganho marginal de precisão de aumentações complexas não justificou o aumento substancial no tempo computacional (frequentemente dobrando ou triplicando a duração do treinamento).

4. Contribuições Principais

1. Quantificação de Retornos Decrescentes: O artigo fornece evidências empíricas de que o benefício da aumentação de imagem é inversamente proporcional ao tamanho do conjunto de dados. Para conjuntos de dados grandes, as aumentações oferecem pouco ou nenhum aumento de desempenho.
2. Identificação de Pontos de Saturação: Demonstra que, para uma arquitetura de modelo fixa (Zoobot/EfficientNet B0), existe um limite de dados além do qual o desempenho não pode ser melhorado apenas por aumentação.
3. Diretrizes de Otimização de Recursos: Os autores propõem que, para levantamentos astronômicos em grande escala, os astrônomos devem considerar aumentações mais simples (ou até mesmo mínimas) para economizar recursos computacionais, pois transformações complexas raramente produzem resultados superiores em conjuntos de dados grandes.
4. Validação de Subconjuntos "Confiáveis": O estudo confirma que os modelos performam significativamente melhor em galáxias "confiáveis" (alto acordo entre votantes), sugerindo que treinar em dados ambíguos limita o teto do modelo.

5. Significado e Conclusão

Este trabalho desafia o heurístico "mais é melhor" no aprendizado de máquina astronômico.

• Para Grandes Levantamentos (por exemplo, LSST, Euclid): À medida que os conjuntos de dados crescem para bilhões de objetos, a utilidade marginal de aumentações de imagem complexas diminui. Os pesquisadores podem reduzir o tempo de treinamento e a pegada de carbono usando pipelines de aumentação mais simples sem sacrificar a precisão do modelo.
• Para Conjuntos de Dados Pequenos: As aumentações permanecem críticas para prevenir o sobreajuste e melhorar a generalização.
• Trabalho Futuro: Os autores sugerem que, embora este modelo (Zoobot) tenha atingido a saturação, arquiteturas mais complexas podem exigir conjuntos de dados maiores antes de atingir seus próprios pontos de saturação. No entanto, o princípio de retornos decrescentes para aumentações provavelmente se mantém verdadeiro em todas as arquiteturas.

Conclusão Final: Os astrônomos devem avaliar cuidadosamente o tamanho de seu conjunto de dados e a capacidade do modelo antes de aplicar aumentações computacionalmente caras. Em muitos casos, transformações mais simples ou dados brutos são suficientes, permitindo economias significativas de tempo e energia.