Beyond Nearest Neighbor Interpolation in Data Augmentation

Resumo Técnico: Além da Interpolação de Vizinho Mais Próximo na Aumento de Dados

Declaração do Problema
As pipelines atuais de aprendizado profundo para segmentação semântica e detecção de objetos dependem fortemente do aumento de dados para melhorar a generalização do modelo. No entanto, as transformações geométricas padrão geralmente empregam Interpolação de Vizinho Mais Próximo (NNI ou NPI) para rótulos categóricos (máscaras) para evitar valores de pixel indefinidos, enquanto utilizam métodos de ordem superior (por exemplo, bilinear, bicúbica) para dados de imagem. O autor argumenta que essa dependência da NNI introduz dois riscos críticos:

1. Exacerbação de Erros de Anotação: A dependência da NNI em funções de arredondamento cria artefatos pesados de "bordas serrilhadas", levando a incompatibilidades entre os limites de classe e os limites do objeto, agravando assim as imperfeições existentes de anotação em nível de pixel.
2. Perda de Detalhe Estrutural: Embora a NNI evite rótulos indefinidos, ela ignora o risco de degradar detalhes estruturais de alta frequência. Por outro lado, os algoritmos padrão de Interpolação de Pixel Extra (EPI) (bilinear, bicúbica) usados para imagens introduzem efeitos de filtragem passa-baixa que podem degradar detalhes estruturais em regiões anotadas.

A literatura existente abordou a incerteza em anotações ou ruído de rótulo, mas não investigou suficientemente o impacto negativo específico da NNI no desempenho de modelos de segmentação ou os benefícios potenciais de aplicar algoritmos EPI a rótulos categóricos durante o aumento de dados.

Metodologia
O autor propõe uma pipeline de aumento de dados modificada que substitui a NNI padrão para máscaras por algoritmos EPI, acoplada a um mecanismo para lidar com os rótulos categóricos resultantes indefinidos.

• Transformação Geométrica Modificada: A função imwarp padrão é modificada para permitir o uso de algoritmos EPI (Bilinear e Bicúbica) para transformar máscaras categóricas, em vez de ser restrita à NNI.
• Filtragem de Classe Baseada na Média (Filtro Global - GF): Para mitigar o risco de gerar valores de pixel "indesejados" (rótulos indefinidos) ao usar EPI em máscaras, um mecanismo de filtragem é integrado diretamente no processo de aumento de dados. Para segmentação binária, este Filtro Global usa a média ($\mu$) dos valores de pixel da máscara transformada como um limiar:
  • Se um valor de pixel $P(x,y) > \mu$, ele é definido para a classe de primeiro plano (255).
  • Se $P(x,y) \le \mu$, ele é definido para a classe de fundo (0).
  • Valores originais 0 ou 255 são preservados.
  • Nota: O artigo reconhece que esta implementação foi testada em tarefas binárias, mas sugere que pode ser estendida para cenários multiclasse por meio de limiarização específica por classe.
• Pipeline de Aumento Offline: Uma pipeline offline foi implementada para gerar conjuntos de dados aumentados específicos de interpolação. Isso permitiu uma avaliação quantitativa controlada dos efeitos de filtragem passa-baixa. A pipeline gerou duas cópias aumentadas para cada imagem original de treinamento.
• Conjuntos de Dados e Modelos:
  • Segmentação Semântica: Avaliado em três conjuntos de dados de imagem médica (Histologia de Mama, Cérebro por Ressonância Magnética, Pólipos de Cólon) usando U-Net, SegNet e DeepLabV3+ (com backbone ResNet50).
  • Detecção de Objetos: Avaliado em conjuntos de dados XBAT+ (identificação de Baterias-RAEE) usando YOLOv26.
• Avaliação: O desempenho foi medido usando Precisão, Revocação, Precisão, Interseção sobre União (IoU), Pontuação F1 (BF1), meanBFScore, Pontuação Dice e mAP@50. Os resultados foram analisados por meio de pontuações brutas e somas baseadas em classificação para visualizar diferenças de desempenho.

Principais Contribuições

1. Rejeição da NNI para Máscaras: O trabalho desafia o uso rotineiro da NNI para aumento de máscaras, demonstrando que não é a única solução para rótulos indefinidos e frequentemente degrada o desempenho ao exacerbar erros de anotação.
2. Mecanismo de Filtragem Integrado: A proposta de um mecanismo de filtragem interno, baseado na média (GF), que permite o uso seguro de algoritmos EPI em rótulos categóricos sem produzir classes indefinidas.
3. Framework de Aumento Offline: A criação de uma pipeline offline para gerar e armazenar dados de treinamento específicos de interpolação, permitindo uma comparação direta de como diferentes métodos de interpolação (NPI vs. EPI) afetam o desempenho do modelo e a preservação de detalhes estruturais.
4. Análise Empírica Abrangente: Uma avaliação sistemática em múltiplas arquiteturas (U-Net, SegNet, DeepLabV3+, YOLOv26) e conjuntos de dados diversos (médicos e industriais) para determinar a estratégia de interpolação ótima.

Resultados Experimentais
O estudo produziu resultados mistos, mas perspicazes, dependendo da arquitetura e da tarefa:

• Segmentação Semântica:
  • U-Net e SegNet: A configuração BIC_BIC (interpolação bicúbica tanto para imagens quanto para máscaras) geralmente superou a tradicional NEA_NEA (Vizinho Mais Próximo para ambos) na maioria das métricas (Precisão, Dice, IoU, meanBFScore), particularmente nos conjuntos de dados de Cérebro e Cólon. Resultados qualitativos mostraram que as máscaras BIC_BIC eram mais compactas e mais próximas da verdade fundamental, enquanto a NEA_NEA introduziu regiões de falsos positivos.
  • DeepLabV3+: Os resultados foram menos definitivos. Embora as somas baseadas em classificação às vezes favorecessem a NEA_NEA, tabelas de pontuação bruta indicaram que configurações híbridas (por exemplo, NEA_BIL ou NEA_BIC) frequentemente alcançaram o melhor desempenho, sugerindo que a estratégia ótima depende da arquitetura.
• Detecção de Objetos (YOLOv26):
  • O aumento Bicúbico (BIC) forneceu o mAP@50 e a Precisão mais altos para ambos os conjuntos de dados RGBD e HQD, produzindo detecções mais confiantes e limpas.
  • O aumento Bilinear (BIL) consistentemente produziu a maior Revocação, detectando mais objetos, mas com precisão ligeiramente inferior em comparação ao BIC.
  • A NEA geralmente performou abaixo dos métodos EPI em termos de mAP e Precisão.

Significado e Alegações
O artigo alega que a escolha do algoritmo de interpolação em transformações geométricas não é uma etapa de pré-processamento neutra, mas um fator crítico que influencia o desempenho do modelo.

• Ganhos de Desempenho: O estudo demonstra que ir além da NNI para algoritmos EPI, quando combinado com filtragem apropriada, pode gerar ganhos de desempenho em múltiplas métricas quantitativas.
• Preservação Estrutural: O framework proposto contribui para a redução da exacerbação de erros de anotação e a preservação de detalhes estruturais de alta frequência dentro de regiões anotadas.
• Otimização Dependente de Contexto: O trabalho destaca que a "melhor" estratégia de interpolação não é universal; depende da arquitetura específica da CNN e das características do conjunto de dados. Por exemplo, enquanto U-Net e SegNet se beneficiaram significativamente do EPI completo (BIC_BIC), o DeepLabV3+ mostrou resultados variados, e o YOLOv26 mostrou uma compensação entre Precisão (favorecida pelo BIC) e Revocação (favorecida pelo BIL).
• Aplicabilidade Futura: O autor conclui que o framework proposto é extensível a outras arquiteturas de modelos e conjuntos de dados de imagem, defendendo escolhas de interpolação flexíveis em pipelines de aumento de dados em vez de recorrer à interpolação de vizinho mais próximo por padrão.