Effect of Patch Size on Fine-Tuning Vision Transformers in Two-Dimensional and Three-Dimensional Medical Image Classification

Este estudo demonstra que, ao ajustar finamente Vision Transformers em 12 conjuntos de dados de imagens médicas 2D e 3D, o uso de tamanhos de patch menores (1, 2 e 4) resulta em ganhos significativos de precisão em comparação com patches maiores, embora com maior custo computacional, e que a fusão das previsões desses modelos via ensemble oferece melhorias adicionais de desempenho.

O essencial

Imagine que você está tentando ensinar um computador a reconhecer doenças olhando para imagens médicas, como raio-X ou ressonâncias magnéticas. Para fazer isso, usamos uma inteligência artificial chamada Vision Transformer (ou ViT).

Pense no ViT como um detetive muito inteligente, mas que tem uma visão um pouco estranha: ele não consegue ver a imagem inteira de uma vez só. Em vez disso, ele precisa "cortar" a imagem em pedaços menores, como se fosse um quebra-cabeça, e analisar cada pedacinho individualmente antes de tirar uma conclusão.

O grande segredo deste estudo é: qual o tamanho ideal desses pedaços?

A Analogia do Quebra-Cabeça e da Lupa

A maioria dos pesquisadores, até agora, usava pedaços grandes (como peças de quebra-cabeça de 14x14 ou 16x16). É como tentar montar um quebra-cabeça complexo usando apenas peças gigantes. Você vê o "todo", mas perde os detalhes finos.

Os autores deste estudo perguntaram: "E se usarmos pedaços muito menores? E se usarmos peças minúsculas?"

Eles testaram cortar as imagens em pedaços cada vez menores, desde o tamanho original da imagem inteira até pedaços minúsculos (tamanho 1, 2 ou 4).

O Que Eles Descobriram?

A descoberta principal é surpreendente e simples: quanto menores os pedaços, melhor o detetive funciona.

1. O Poder dos Detalhes: Quando o computador analisa pedaços muito pequenos, ele consegue ver texturas, bordas e pequenas irregularidades que seriam perdidas em pedaços grandes. É como trocar uma visão de longe por uma lupa poderosa.

   • Exemplo: Em um raio-X de pulmão, um pedaço grande pode apenas mostrar "área branca". Um pedaço pequeno consegue mostrar a textura fina que indica pneumonia.

2. Resultados Incríveis:

   • Em imagens 2D (como fotos de pele ou raio-X), usar pedaços pequenos melhorou a precisão em até 12%.
   • Em imagens 3D (como volumes de ressonância magnética), a melhoria foi ainda maior, chegando a 23%.
   • Isso é como se o detetive, que antes errava 1 em cada 10 casos, passasse a errar apenas 1 em cada 100.

3. O "Super-Exército" (Ensemble):

   • Os pesquisadores tiveram uma ideia genial: e se, em vez de escolher apenas um tamanho de pedaço, usássemos três modelos diferentes ao mesmo tempo? Um que usa pedaços minúsculos, outro um pouco maiores e outro médio.
   • Eles juntaram as opiniões desses três modelos (como um conselho de especialistas). O resultado? A precisão subiu ainda mais, especialmente nas imagens 2D.

O Preço a Pagar: A Computação

Tudo na vida tem um custo, e aqui o custo é a energia e o tempo do computador.

• A Analogia da Multidão: Imagine que você tem uma sala com 100 pessoas (peças grandes). É fácil para o detetive conversar com todos. Agora, imagine que você corta cada pessoa em 100 pedaços menores. De repente, você tem 10.000 "pequenas pessoas" para conversar.
• O computador precisa fazer muito mais cálculos para analisar esses milhões de pequenos pedaços.
  • Para imagens 2D, o custo aumenta um pouco.
  • Para imagens 3D (que já são complexas), o custo dispara. Reduzir o tamanho do pedaço pela metade pode tornar o cálculo 64 vezes mais pesado.

O Grande Desafio: O Computador Único

O que torna este estudo especial é que eles fizeram tudo isso usando apenas um computador comum (uma placa de vídeo de um PC gamer de ponta), e não um supercomputador gigante com milhares de máquinas.

Eles conseguiram isso escolhendo imagens pequenas (como se fossem miniaturas) para testar. Isso prova que você não precisa de uma fábrica de energia para descobrir essas coisas; um laboratório pequeno pode fazer ciência de ponta.

Resumo para Levar para Casa

• O Problema: A inteligência artificial médica estava "olhando" as imagens de forma muito grosseira, perdendo detalhes importantes.
• A Solução: Cortar as imagens em pedaços muito menores (como usar uma lupa).
• O Resultado: Diagnósticos muito mais precisos, especialmente em 3D.
• O Contra: O computador trabalha muito mais e gasta mais energia.
• A Lição: Para ter a melhor precisão na medicina, vale a pena usar pedaços menores e, se possível, juntar a opinião de vários modelos diferentes.

Em suma, os autores mostraram que, na medicina, detalhes importam, e a inteligência artificial precisa olhar mais de perto para salvar vidas com mais eficácia.

Resumo técnico

1. Problema e Contexto

Os Vision Transformers (ViTs) tornaram-se o estado da arte em muitas tarefas de visão computacional e são amplamente utilizados como backbones em modelos fundamentais de visão e linguagem. No entanto, na literatura médica, a escolha do tamanho do patch (a unidade básica de tokenização da imagem) permanece subexplorada.

• A Lacuna: A maioria dos métodos ViT baseia-se em tamanhos de patch fixos e grandes (comumente 14x14 ou 16x16), o que pode limitar a capacidade do modelo de capturar informações espaciais de alta granularidade, cruciais para diagnósticos médicos.
• Desafios Específicos: Diferente de imagens naturais, os dados médicos incluem modalidades 2D (como raios-X e dermatoscopia) e 3D (como CT e MRI). Além disso, treinar ViTs do zero em dados médicos é frequentemente inviável devido ao tamanho limitado dos conjuntos de dados, tornando o fine-tuning (ajuste fino) a abordagem preferida.
• Barreira Computacional: Reduzir o tamanho do patch aumenta quadrática (em 2D) ou exponencialmente (em 3D) o número de tokens, elevando drasticamente o custo computacional da atenção, o que historicamente desencorajou a investigação de patches menores.

2. Metodologia

O estudo realiza uma avaliação sistemática do impacto de diferentes tamanhos de patch no desempenho de classificação de ViTs em dados médicos 2D e 3D.

• Conjunto de Dados: Foram utilizados 12 conjuntos de dados do repositório MedMNIST V2:
  • 7 conjuntos 2D (ex: BloodMNIST, RetinaMNIST, OrganMNIST).
  • 5 conjuntos 3D (ex: AdrenalMNIST3D, FractureMNIST3D, VesselMNIST3D).
  • As imagens foram padronizadas para resoluções pequenas (28x28 para 2D e 28x28x28 para 3D) para permitir a execução em um único GPU.
• Modelo e Configuração:
  • Arquitetura: ViT-Small (22 milhões de parâmetros), pré-treinado no ImageNet.
  • Abordagem: Fine-tuning (ajuste fino). Para dados 3D, foi utilizada a técnica de "inflação de pesos" para adaptar os kernels 2D pré-treinados para 3D.
  • Tamanhos de Patch Testados: $P \in \{28, 14, 7, 4, 2, 1\}$.
• Estratégia de Ensemble: Além dos modelos individuais, foi testada uma estratégia de fusão de previsões (ensemble simples) combinando os modelos treinados com tamanhos de patch 1, 2 e 4.
• Hardware: Todos os experimentos foram conduzidos em uma única GPU NVIDIA RTX 4090.

3. Contribuições Principais

1. Avaliação Abrangente: Primeiro estudo completo a analisar sistematicamente o efeito de tamanhos de patch progressivamente menores em ViTs para modalidades médicas 2D e 3D.
2. Viabilidade em Recursos Limitados: Demonstra que análises detalhadas de tokenização são possíveis em configurações de hardware modestas (única GPU), desafiando a noção de que apenas clusters massivos podem realizar tais estudos.
3. Análise Comparativa 2D vs. 3D: Fornece insights sobre como a tokenização afeta diferentemente dados volumétricos (3D) em comparação com dados planos (2D), destacando os custos computacionais desproporcionais no cenário 3D.
4. Reprodutibilidade: O código fonte foi disponibilizado publicamente no GitHub.

4. Resultados Chave

Os resultados foram consistentes na maioria dos conjuntos de dados, especialmente nos de escala média a grande e em todos os dados 3D:

• Desempenho Superior com Patches Menores:
  • 2D: Reduzir o patch de 28 para tamanhos menores (especialmente 1, 2 e 4) resultou em melhorias consistentes. O patch 2 obteve o melhor desempenho geral.
    • Melhoria na Balanced Accuracy (precisão balanceada) de até 12,78% (comparando patch 2 vs. 28 no dataset OrganMNIST).
  • 3D: A tendência foi ainda mais forte. O patch 1 alcançou os melhores resultados na maioria dos casos.
    • Melhoria na Balanced Accuracy de até 23,78% (comparando patch 1 vs. 14 no dataset VesselMNIST3D).
• Estratégia de Ensemble: A fusão de previsões dos modelos com patches 1, 2 e 4 forneceu o melhor desempenho global na maioria dos casos, sugerindo que a integração de tokens multiescala beneficia a classificação.
• Custo Computacional (Trade-off):
  • A melhoria de desempenho vem com um aumento significativo no custo computacional (GFLOPs).
  • 2D: Reduzir o patch de 28 para 1 aumentou o custo de ~0,04 GFLOPs para ~16,71 GFLOPs (fator de ~4x ao reduzir pela metade).
  • 3D: O aumento é drástico. Reduzir o patch de 28 para 1 aumentou o custo de ~0,40 GFLOPs para mais de 800 GFLOPs (fator de ~64x ao reduzir pela metade, devido à natureza cúbica dos tokens 3D).
• Análise de Atenção: Mapas de atenção visualizaram que modelos com patches menores (P2) focam em regiões clinicamente relevantes com maior precisão, enquanto patches grandes (P28) exibem padrões de atenção mais uniformes e menos informativos.

5. Significado e Conclusão

O estudo conclui que tamanhos de patch menores são superiores para a classificação de imagens médicas com ViTs, permitindo a captura de características espaciais finas e localizadas essenciais para diagnósticos precisos.

• Implicações Práticas: Para aplicações onde a precisão é crítica e o hardware permite, o uso de patches menores (ou ensembles) é recomendado.
• Limitações: O custo computacional elevado, especialmente em dados 3D, pode ser um obstáculo para implantação em tempo real em hospitais com recursos limitados.
• Futuro: O trabalho sugere que, embora os patches menores sejam ideais para desempenho, o desafio futuro reside em otimizar a eficiência computacional para viabilizar essa tokenização fina em cenários clínicos reais de alta resolução.

Em suma, o artigo fornece diretrizes práticas para o design de pipelines baseados em ViT na análise de imagens médicas, equilibrando a escolha do tamanho do patch entre a acurácia diagnóstica e o custo de inferência.