I Can't Believe TTA Is Not Better: When Test-Time Augmentation Hurts Medical Image Classification

Título: I CAN'T BELIEVE TTA IS NOT BETTER: QUANDO A AUMENTAÇÃO NO MOMENTO DO TESTE PREJUDICA A CLASSIFICAÇÃO DE IMAGENS MÉDICAS

1. O Problema

A Aumento no Momento do Teste (Test-Time Augmentation - TTA) é uma técnica amplamente adotada e recomendada na comunidade de aprendizado profundo, especialmente em imagens médicas. A premissa comum é que a TTA atua como um "almoço grátis" (free lunch): ao gerar múltiplas versões aumentadas de uma imagem de teste, processá-las através do modelo treinado e agregar as previsões, a precisão deve melhorar ou, no mínimo, permanecer estável.

No entanto, este trabalho desafia essa suposição. O problema central investigado é que, em cenários de classificação de imagens médicas de baixa resolução, a aplicação padrão de TTA não apenas falha em melhorar a precisão, mas consistentemente a degrada, às vezes de forma catastrófica. O artigo questiona se a TTA é realmente benéfica em configurações críticas onde a estrutura espacial e textural é fundamental.

2. Metodologia

Os autores realizaram um estudo empírico sistemático para avaliar o impacto da TTA em diferentes arquiteturas e conjuntos de dados.

• Benchmarks (Conjuntos de Dados): Foram utilizados três subconjuntos do MedMNIST v2, todos com imagens de 28x28 pixels (RGB):
  • PathMNIST: Histologia de câncer colorretal (9 classes).
  • DermaMNIST: Lesões de pele dermatoscópicas (7 classes).
  • BloodMNIST: Células sanguíneas microscópicas (8 classes).
• Arquiteturas de Modelos: Quatro modelos com tamanhos variando de ~21K a ~11M parâmetros:
  • Regressão Logística (LogReg), MLP (Rede Neural Simples), SmallCNN e ResNet-18.
• Protocolo de TTA:
  • Número de Visualizações (Views): Testado de 1 a 100 cópias aumentadas.
  • Estratégias de Aumento:
    1. Geométrico: Rotação (±15°), flips (horizontal/vertical), recorte aleatório.
    2. Intensidade: Jitter de cor (brilho/contraste), desfoque gaussiano.
    3. Misto: Combinação de ambos.
  • Métodos de Agregação: Média de probabilidades, votação majoritária e média ponderada por confiança.
• Métricas: Precisão de classificação e Erro de Calibração Esperado (ECE).

3. Principais Contribuições

1. Evidência Empírica de Degradação: Demonstraram que a TTA padrão reduz a precisão em 11 de 12 combinações de modelo-conjunto de dados testadas.
2. Identificação do Mecanismo de Falha: Isolaram a mudança de distribuição (distribution shift) entre as entradas aumentadas e as estatísticas de normalização em lote (Batch Normalization) acumuladas durante o treinamento como a causa raiz.
3. Análise de Estratégias de Aumento: Mostraram que aumentos baseados apenas em intensidade são significativamente menos prejudiciais do que transformações geométricas.
4. Diretrizes Práticas: Estabelecem que a TTA não deve ser aplicada como um padrão post-hoc, mas sim tratada como uma hipótese a ser validada para cada combinação específica de modelo e dados.

4. Resultados Chave

• Degradação Severa de Precisão:
  • Em PathMNIST, o modelo ResNet-18 sofreu uma queda drástica de 31,6 pontos percentuais (de 87,0% para 55,4%) ao usar 50 visualizações aumentadas.
  • O SmallCNN no mesmo dataset caiu de 88,1% para 59,6% (-28,5 pontos).
  • Mesmo em tarefas com alta precisão basal (>95%), como BloodMNIST, a TTA reduziu a precisão em 10-15 pontos.
• Curvas de Escala Monotônicas: Ao aumentar o número de visualizações (de 1 a 100), a precisão não se recupera; pelo contrário, a degradação tende a aumentar ou estabilizar em níveis baixos. Isso indica um problema de viés (mudança de distribuição) e não de variância.
• O Único Caso de Sucesso: A única exceção foi o ResNet-18 no DermaMNIST, que obteve um ganho modesto de +1,6%. Neste caso, a TTA também melhorou drasticamente a calibração (ECE caiu de 0,196 para 0,039), sugerindo que a TTA pode ajudar quando o modelo está mal calibrado e as invariâncias do aumento (simetria rotacional natural em imagens de pele) alinham-se com a tarefa.
• Impacto da Normalização em Lote (BatchNorm): Modelos com camadas de BatchNorm (CNNs) foram os mais afetados. Durante o treinamento, o BN acumula estatísticas (média e variância) de imagens não aumentadas. No teste, as imagens aumentadas possuem estatísticas diferentes, criando uma incompatibilidade que propaga erros através da rede.
• Intensidade vs. Geometria: Aumentos puramente de intensidade (brilho, contraste) preservaram muito mais a precisão do que os geométricos (rotação, recorte), pois estes últimos alteram a estrutura espacial em imagens de baixa resolução (28x28), violando as estatísticas aprendidas pelo modelo.

5. Significado e Conclusões

O artigo serve como um aviso crucial para a prática em inteligência artificial médica:

• Desmitificação da TTA: A crença de que a TTA é universalmente benéfica é falsa para imagens médicas de baixa resolução. Aplicá-la automaticamente pode ser prejudicial.
• Custo Computacional vs. Desempenho: O estudo inverte a hipótese de "escala de computação no teste" (test-time compute scaling). Neste contexto, investir mais tempo de inferência (mais visualizações) resulta em pior desempenho.
• Recomendações Práticas:
  1. Nunca aplique TTA por padrão. Sempre valide em um conjunto de retenção (held-out set).
  2. Se necessário, prefira aumentos de intensidade em vez de geométricos para modelos com BatchNorm em imagens pequenas.
  3. Inclua sempre a imagem original não aumentada como uma das visualizações no processo de agregação para mitigar a queda de precisão.
  4. Considere a resolução: A TTA pode ser mais segura em imagens de alta resolução, onde as transformações geométricas causam perturbações proporcionais menores nos pixels.

Em resumo, o trabalho conclui que a TTA falha na prática devido ao descompasso entre as estatísticas de entrada aumentada e as estatísticas internas do modelo treinado, exigindo validação rigorosa antes de sua implementação em sistemas de produção médica.