Effect of Patch Size on Fine-Tuning Vision Transformers in Two-Dimensional and Three-Dimensional Medical Image Classification

Cette étude démontre que l'utilisation de tailles de patch plus petites (1, 2 et 4) lors du fine-tuning de Vision Transformers améliore significativement les performances de classification sur des images médicales 2D et 3D, avec un gain supplémentaire obtenu via une stratégie d'ensemble fusionnant ces modèles.

L'essentiel

🩺 Le Grand Défi : Comment les ordinateurs "voient" les maladies

Imaginez que vous essayez d'enseigner à un ordinateur à reconnaître une maladie sur une photo médicale (comme une radio ou une IRM). Pour cela, on utilise un type d'intelligence artificielle très puissant appelé le Vision Transformer (ou ViT).

Mais il y a un problème : comment l'ordinateur doit-il regarder l'image ?

🧩 L'analogie du Puzzle : La taille des pièces compte

C'est ici que l'étude fait une découverte fascinante. Pour analyser une image, le ViT la découpe en petits morceaux carrés, qu'on appelle des "patches" (comme des pièces de puzzle).

• L'ancienne méthode (les gros morceaux) : Pendant longtemps, les chercheurs utilisaient de très grosses pièces de puzzle (par exemple, des carrés de 28x28 pixels). C'est comme si vous regardiez une photo de la peau d'un patient avec des lunettes de soleil très épaisses : vous voyez la couleur générale, mais vous manquez les détails fins, comme une petite tache ou une texture bizarre.
• La nouvelle méthode (les petits morceaux) : Cette étude a testé l'idée de couper l'image en des pièces de puzzle microscopiques (taille 1, 2 ou 4). C'est comme enlever vos lunettes de soleil et regarder la peau avec une loupe. Vous voyez chaque grain, chaque détail.

🔍 Ce que les chercheurs ont découvert

Les chercheurs (Massoud, Ramona et Amirreza) ont pris 12 jeux de données médicales (des photos de poumons, de peau, de tumeurs, etc.) et ont entraîné l'ordinateur à les analyser avec des tailles de pièces différentes.

Voici les résultats, expliqués simplement :

1. Plus c'est petit, mieux c'est (souvent) :
   Dans la grande majorité des cas, utiliser des pièces de puzzle très petites a permis à l'ordinateur de faire beaucoup moins d'erreurs.

   • L'analogie : Imaginez que vous cherchez une aiguille dans une botte de foin. Si vous regardez la botte par gros paquets (gros patchs), vous risquez de rater l'aiguille. Si vous fouillez grain par grain (petits patchs), vous la trouvez beaucoup plus facilement.
   • Résultat concret : Pour les images 3D (comme les IRM), passer d'un gros patch à un tout petit patch a amélioré la précision de près de 24 % ! C'est énorme en médecine.

2. Le prix à payer : La "faim" de l'ordinateur
   Il y a un inconvénient. Plus vous coupez l'image en petits morceaux, plus il y a de pièces à assembler.

   • L'analogie : Si vous avez un puzzle de 1000 pièces, c'est facile. Si vous le coupez en 1 million de micro-poussières, le travail pour l'ordinateur explose.
   • Conséquence : Utiliser des tout petits patchs demande beaucoup plus de puissance de calcul (plus de temps et d'énergie). Pour les images 3D, le coût peut être multiplié par 64 !

3. L'astuce du "Groupe de travail" (Ensemble)
   Les chercheurs ont eu une idée brillante : au lieu de choisir une taille de puzzle, ils ont fait travailler trois équipes ensemble.

   • Une équipe regarde avec des pièces de taille 1.
   • Une autre avec des pièces de taille 2.
   • Une troisième avec des pièces de taille 4.
   • Ensuite, ils ont fait voter les trois équipes pour décider de la réponse finale.
   • Résultat : Cette méthode "d'assemblée" a souvent donné les meilleurs résultats de tous, combinant la précision des petits détails avec la robustesse des vues d'ensemble.

🏥 Pourquoi c'est important pour la médecine ?

Jusqu'à présent, beaucoup pensaient qu'il fallait des super-ordinateurs géants pour faire ces analyses fines. Cette étude prouve le contraire :

• On peut faire ces tests précis même avec un seul ordinateur portable puissant (une seule carte graphique), à condition de bien choisir les images.
• Cela ouvre la porte à des diagnostics plus précis pour les hôpitaux qui n'ont pas des budgets illimités.

⚠️ Les limites (Le petit bémol)

Bien que ce soit génial, il y a un défi :

• La vitesse : Comme l'ordinateur doit faire beaucoup plus de calculs, cela prend plus de temps. Dans un hôpital d'urgence où l'on a besoin d'un résultat immédiat, attendre que l'ordinateur "fouille" chaque pixel peut être trop long.
• La réalité : Les images utilisées dans l'étude étaient de petite taille (pour tenir sur un seul ordinateur). Il faudra vérifier si cela fonctionne aussi bien sur de vraies images médicales géantes et très détaillées.

🎯 En résumé

Cette étude nous dit : "Pour voir les détails qui sauvent des vies, il faut regarder de très près."

En découpant les images médicales en tout petits morceaux, les intelligences artificielles deviennent beaucoup plus précises pour détecter les maladies, même si cela demande un peu plus d'effort à l'ordinateur. C'est un pas de géant vers des diagnostics plus fiables et accessibles.

Résumé technique

1. Problématique

Les Vision Transformers (ViT) sont devenus l'état de l'art dans de nombreuses tâches de vision par ordinateur et sont largement utilisés comme architectures de base dans les modèles fondationnels. Cependant, un choix de conception initial crucial, la taille des patches (patch size), reste sous-exploré, en particulier dans le domaine médical.

• Contexte : La plupart des méthodes ViT utilisent une taille de patch fixe et standard (souvent 14×14 ou 16×16), ce qui détermine le nombre de tokens et la capacité du modèle à capturer des informations spatiales fines.
• Lacune de la littérature : Peu d'études ont analysé systématiquement l'impact de la réduction de la taille des patches sur les performances de classification, spécifiquement pour les données médicales (qui diffèrent des images naturelles) et pour les données 3D (volumétriques).
• Défi computationnel : Réduire la taille des patches augmente le nombre de tokens de manière quadratique (en 2D) ou cubique (en 3D), entraînant une explosion de la complexité computationnelle de l'attention, ce qui rend l'expérimentation difficile sans infrastructures massives (clusters de GPU/TPU).

2. Méthodologie

L'étude propose une évaluation rigoureuse de l'impact de différentes tailles de patches sur la performance des ViT, en se concentrant sur le fine-tuning (ajustement fin) plutôt que sur l'entraînement à partir de zéro.

• Données : Utilisation de 12 ensembles de données issus de la collection MedMNIST V2 :
  • 7 ensembles 2D (ex: OCT, Dermatologie, Radiographie).
  • 5 ensembles 3D (ex: CT abdominal, IRM cérébrale).
  • Pour garantir la faisabilité sur un seul GPU, les images ont été redimensionnées à 28×28 (2D) et 28×28×28 (3D).
• Modèle : Utilisation de l'architecture ViT-Small (22 millions de paramètres) pré-entraînée sur ImageNet.
  • Pour les données 3D, une méthode d'inflation des poids a été appliquée pour adapter les noyaux 2D pré-entraînés en noyaux 3D.
• Configuration expérimentale :
  • Tailles de patches testées : $P \in \{28, 14, 7, 4, 2, 1\}$.
  • Matériel : Un seul GPU NVIDIA RTX 4090.
  • Entraînement : Fine-tuning avec augmentation de données, optimiseur AdamW, et sélection du meilleur checkpoint basé sur la perte de validation.
  • Stratégie d'Ensemble : Fusion des prédictions des modèles entraînés avec des tailles de patches 1, 2 et 4 par moyenne simple.
• Métriques : Précision (Acc.), Précision Équilibrée (Bal. Acc.), AUC et coût computationnel (GFLOPs).

3. Contributions Clés

1. Évaluation complète 2D/3D : Première étude systématique comparant l'effet de la taille des patches sur des données médicales 2D et 3D.
2. Faisabilité sur un seul GPU : Démonstration qu'une analyse détaillée de la tokenisation est possible sur une configuration matérielle modeste (un seul GPU) en utilisant des images de taille réduite, rendant la recherche accessible.
3. Analyse du compromis Performance/Coût : Quantification précise de l'augmentation des coûts computationnels (GFLOPs) liée à la réduction de la taille des patches.
4. Reproductibilité : Le code est rendu public sur GitHub pour assurer la transparence.

4. Résultats Principaux

Les résultats montrent une tendance claire : des patches plus petits améliorent la performance, au prix d'un coût computationnel accru.

• Données 2D :

  • Les tailles de patches 1, 2 et 4 obtiennent systématiquement les meilleurs résultats.
  • La taille de patch 2 offre le meilleur équilibre global.
  • La taille de patch 28 (global) donne les pires performances.
  • Gain : Jusqu'à 12,78 % d'amélioration de la précision équilibrée (Bal. Acc.) entre le patch 2 et le patch 28 (sur le dataset OrganMNIST).
  • L'approche d'ensemble (fusion des modèles 1, 2, 4) améliore encore les résultats.

• Données 3D :

  • La tendance est encore plus marquée. La taille de patch 1 est généralement la meilleure.
  • Les grandes tailles de patches (14 et 28) échouent souvent à capturer les structures volumétriques fines.
  • Gain : Jusqu'à 23,78 % d'amélioration de la précision équilibrée entre le patch 1 et le patch 14 (sur le dataset VesselMNIST3D).

• Coût Computationnel :

  • Réduire la taille du patch augmente drastiquement le nombre de tokens.
  • En 2D, passer de 28 à 1 multiplie le coût par ~400 (de 0,04 à 16,71 GFLOPs).
  • En 3D, l'effet est exponentiel : passer de 28 à 1 multiplie le coût par plus de 2000 fois (de ~0,4 à >800 GFLOPs).
  • Les cartes d'attention (attention maps) montrent que les petits patches permettent au modèle de se concentrer sur des régions diagnostiquement pertinentes, tandis que les grands patches produisent des motifs d'attention uniformes et moins informatifs.

5. Signification et Limites

Signification :
Cette étude fournit des directives pratiques pour la conception de pipelines ViT en imagerie médicale. Elle démontre que la tokenisation fine (petits patches) est essentielle pour capturer les détails subtils des images médicales, surpassant les configurations standards. Elle valide également que des recherches approfondies sur l'architecture peuvent être menées sans infrastructures de calcul massives.

Limites :

1. Capacité du modèle : Seuls des modèles ViT-Small ont été testés en raison des contraintes de mémoire GPU. Les modèles plus grands (Large, Huge) pourraient bénéficier encore davantage de petits patches.
2. Coût de déploiement : L'amélioration de performance s'accompagne d'un coût computationnel prohibitif pour des applications cliniques en temps réel ou sur du matériel limité.
3. Résolution des données : L'étude utilise des images redimensionnées (28x28). Il reste à vérifier si ces tendances se maintiennent sur des images cliniques réelles haute résolution.

Conclusion :
Bien que le coût computationnel soit élevé, l'utilisation de petits patches (1, 2, 4) combinée à des stratégies d'ensemble offre une voie prometteuse pour maximiser la précision des modèles ViT en imagerie médicale 2D et 3D.