🤖 machine learning

Accelerating Vision Transformers with Adaptive Patch Sizes

L'article présente les Transformers à Patch Adaptatif (APT), une méthode qui accélère considérablement l'entraînement et l'inférence des Vision Transformers en ajustant dynamiquement la taille des patches selon la complexité de l'image, tout en maintenant les performances sur des tâches visuelles haute résolution.

Auteurs originaux : Rohan Choudhury, JungEun Kim, Jinhyung Park, Eunho Yang, László A. Jeni, Kris M. Kitani

Publié 2026-04-24

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Rohan Choudhury, JungEun Kim, Jinhyung Park, Eunho Yang, László A. Jeni, Kris M. Kitani

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : Le "Marteau-Piqueur" trop gourmand

Imaginez que vous avez un Vision Transformer (ViT). C'est un type d'intelligence artificielle très puissant qui regarde les images pour les comprendre (reconnaître un chat, détecter une voiture, répondre à une question sur une photo).

Pour fonctionner, ce cerveau artificiel découpe l'image en petits carrés, qu'on appelle des patchs (comme des pièces de puzzle).

Le problème actuel : Peu importe ce qu'il y a dans l'image, le ViT découpe tout en des carrés de taille identique.
L'analogie : Imaginez que vous devez décrire une photo de vacances.
- Sur la photo, il y a un ciel bleu uni et un mur blanc (très simple).
- Il y a aussi un visage humain avec des détails complexes (yeux, nez, sourire).
- L'ancien système prend le même temps et la même énergie pour décrire le ciel bleu que pour décrire le visage. C'est comme si vous utilisiez un marteau-piqueur pour casser un mur de briques (le visage) ET pour casser un morceau de sucre (le ciel). C'est énorme, inutilement lent et énergivore.

La Solution : APT (Le "Système de Découpage Intelligent")

Les auteurs de ce papier, de l'Université Carnegie Mellon et de KAIST, proposent une nouvelle méthode appelée APT (Adaptive Patch Transformer).

L'idée géniale ? Adapter la taille des morceaux à la complexité de l'image.

Pour les zones simples (ciel, murs, eau calme) : Le système utilise de gros patchs. Il dit : "Bon, c'est juste du bleu, je prends un gros carré de 64x64 pixels, ça suffit pour comprendre."
Pour les zones complexes (visages, arbres, foules) : Le système utilise de petits patchs. Il dit : "Attends, il y a des détails ici, je dois découper ça en petits carrés de 16x16 pour ne rien rater."

L'analogie culinaire :
Imaginez que vous préparez un gâteau.

Si vous devez mélanger de la farine (simple), vous utilisez une grande cuillère.
Si vous devez incorporer des éclats de chocolat ou des fruits rouges (complexe), vous utilisez une petite cuillère pour être précis.
L'ancien système utilisait toujours la grande cuillère, même pour les fruits, ce qui était lent et mal fait. APT change d'outil selon l'ingrédient.

Comment ça marche techniquement (sans les maths) ?

Le "Niveau de Bruit" (Entropie) : Le système regarde chaque zone de l'image et se demande : "Est-ce que c'est chaotique ou calme ?"
- Si c'est calme (peu de variations de couleur), il prend un gros morceau.
- Si c'est chaotique (beaucoup de détails), il prend un petit morceau.
Le "Collage Magique" (MLP à zéro) : Une fois qu'il a des morceaux de tailles différentes, il faut les assembler pour les donner au cerveau de l'IA. Ils utilisent une astuce intelligente (un petit module appelé "Zero-MLP") qui permet de combiner ces morceaux sans perturber le cerveau. C'est comme si on ajoutait un nouveau langage à un traducteur sans le faire oublier son ancien langage.

Les Résultats : Pourquoi c'est une révolution ?

Les chercheurs ont testé cette méthode sur des images haute définition et des modèles géants. Voici ce qu'ils ont découvert :

Vitesse éclair : L'IA devient 40% à 50% plus rapide. Elle traite beaucoup moins de "morceaux" (tokens) car elle ne perd pas de temps sur les zones simples.
- Analogie : C'est comme passer d'une voiture qui fait des arrêts à chaque feu rouge, même s'il n'y a personne, à une voiture qui prend l'autoroute quand la route est libre.
Pas de perte de qualité : L'IA reste aussi intelligente qu'avant. Elle ne rate pas les détails importants.
Facile à installer : On peut prendre un modèle déjà entraîné (un expert en IA) et lui appliquer cette méthode. Il s'adapte en une seule journée d'entraînement (voire moins !). C'est comme donner un nouveau permis de conduire à un chauffeur expérimenté sans avoir à lui apprendre à conduire depuis zéro.
Polyvalent : Ça marche aussi bien pour :
- Répondre à des questions sur des images (VQA).
- Détecter des objets (comme dans les voitures autonomes).
- Découper une image pixel par pixel (segmentation).

En résumé

Ce papier propose de remplacer la règle rigide "découper tout en carrés égaux" par une règle intelligente "découper selon ce qu'on voit".

C'est comme passer d'un photocopieur qui imprime tout en haute définition (même les zones blanches) à un imprimante intelligente qui imprime en haute définition sur les visages et en basse définition sur les ciels. Le résultat est le même pour l'œil humain, mais le temps d'impression et l'encre sont divisés par deux.

C'est une avancée majeure pour rendre l'intelligence artificielle visuelle plus rapide, moins coûteuse en énergie et plus accessible, surtout pour les images très grandes et détaillées.

1. Le Problème : L'Inefficacité des Vision Transformers (ViT)

Les Vision Transformers (ViT) sont devenus l'architecture dominante pour la reconnaissance visuelle. Cependant, leur scalabilité est limitée par le coût quadratique de l'attention par rapport à la longueur de la séquence d'entrée.

Limitation actuelle : Les ViT standard divisent les images en patches de taille fixe (par exemple, 16x16), indépendamment du contenu de l'image.
Conséquence : Pour les images haute résolution, cela génère des séquences de tokens extrêmement longues, même si de grandes portions de l'image sont redondantes (ex: un ciel bleu uni ou un fond flou).
Échec des solutions précédentes : Les travaux antérieurs tentent de réduire le nombre de tokens soit par élagage (pruning) de tokens non informatifs, soit par fusion (merging) de tokens similaires. Ces méthodes souffrent de deux défauts majeurs :
1. Un taux de réduction fixe est inadapté à la complexité variable des images (fusionner 50% des tokens d'une image blanche est inutile, mais fusionner 50% d'une image urbaine complexe est destructeur).
2. L'élagage dynamique crée des formes irrégulières et des padding, ce qui annule souvent les gains de vitesse en pratique et empêche l'utilisation de noyaux d'attention optimisés comme FlashAttention.

2. Méthodologie : Le Transformer à Patch Adaptatif (APT)

Les auteurs proposent APT (Adaptive Patch Transformer), une approche qui adapte la granularité des patches en fonction du contenu de l'image, inspirée par les tokeniseurs adaptatifs utilisés en traitement du langage naturel (comme le BPE).

A. Allocation Dynamique des Tailles de Patches

Au lieu d'une grille uniforme, APT divise l'image en une hiérarchie de patches de tailles variables (ex: 16x16, 32x32, 64x64).

Critère de décision : L'allocation est basée sur l'entropie du patch. L'entropie mesure l'imprévisibilité et la complexité des valeurs de pixels.
- Faible entropie (zones homogènes) : Des patches de grande taille sont attribués (ex: 64x64), car l'information est redondante et compressible.
- Haute entropie (zones complexes) : Des patches de petite taille sont attribués (ex: 16x16) pour préserver les détails fins (visages, textures, bords).
Processus hiérarchique : L'image est d'abord divisée en grands patches. Si l'entropie d'un patch dépasse un seuil $\tau$ , il est subdivisé en patches plus petits. Ce processus se répète jusqu'à la taille minimale.

B. Agrégation des Embeddings (Patch Aggregation)

Pour traiter des patches de tailles différentes dans un même Transformer, APT utilise une stratégie d'embedding hybride (illustrée dans la Figure 3 du papier) :

Redimensionnement : Les grands patches sont redimensionnés à la taille de base ( $p \times p$ ) pour obtenir un embedding initial via la couche linéaire standard $E$ .
Extraction de détails : Les grands patches sont également découpés en leurs sous-patches constitutifs. Ces sous-patches sont embeddés individuellement, puis agrégés via une couche de convolution (Conv2d) pour revenir à la taille $p \times p$ .
Fusion avec Zero-MLP : L'embedding final est la somme de l'embedding redimensionné et de l'embedding agrégé des détails, passant par un MLP initialisé à zéro (Zero-initialized MLP).
- Avantage clé : L'initialisation à zéro permet au modèle de commencer avec le comportement du ViT standard (en ignorant les détails haute résolution) et d'apprendre progressivement à intégrer ces détails sans dégrader les performances initiales. Cela permet une convergence rapide (1 époque).

C. Gestion des Séquences Variables

Puisque le nombre de tokens varie d'une image à l'autre, APT utilise le sequence packing (comme dans NaViT). Les tokens de plusieurs images d'un batch sont concaténés en une seule séquence longue, avec un masque de bloc diagonal pour garantir que l'attention ne s'exerce que sur les tokens de la même image. Cela permet d'utiliser efficacement FlashAttention sans overhead de padding.

3. Contributions Clés

Introduction d'APT : Une méthode de tokenisation visuelle adaptative qui réduit drastiquement le nombre de tokens d'entrée en fonction de la complexité sémantique et texturale de l'image.
Convergence Rapide et Compatibilité : APT peut être appliqué à n'importe quel ViT pré-entraîné (MAE, etc.). Grâce au Zero-MLP, il atteint les performances du modèle original en seulement 1 époque de fine-tuning, voire sans fine-tuning avec une légère perte.
Accélération sans perte de performance : Contrairement aux méthodes d'élagage en profondeur (layer-level), APT opère au niveau de l'entrée, préservant la compatibilité avec les noyaux d'attention optimisés (FlashAttention) et les tâches de prédiction dense.
Généralisation : La méthode fonctionne non seulement pour la classification d'images, mais aussi pour des tâches denses (détection d'objets, segmentation sémantique) et des modèles multimodaux (VQA).

4. Résultats Expérimentaux

Les expériences ont été menées sur ImageNet, COCO, ADE20K et divers benchmarks VQA (LLaVA).

Classification d'images (ImageNet) :
- Accélération : APT augmente le débit (throughput) de 40 % pour ViT-L et 50 % pour ViT-H par rapport aux implémentations standard.
- Gain sur haute résolution : Les gains sont encore plus importants sur les images haute résolution (ex: +94 % de vitesse sur ViT-L à 448x448).
- Précision : APT maintient ou dépasse légèrement la précision du modèle de base après un fine-tuning d'une seule époque.
Tâches Denses (Détection et Segmentation) :
- Sur la détection d'objets (COCO, 1536x1536) et la segmentation (ADE20K), APT réduit le nombre de tokens d'environ 30 % tout en maintenant des métriques mAP et mIoU équivalentes à la baseline.
- La méthode fonctionne efficacement même avec l'attention par fenêtres (window attention), cruciale pour ces tâches.
Modèles Multimodaux (VQA) :
- Appliqué à LLaVA, APT réduit les tokens visuels et accélère l'inférence de 22-23 % tout en améliorant les performances sur plusieurs benchmarks (GQA, VQAv2, MME).
Comparaison avec l'état de l'art :
- APT surpasse systématiquement les méthodes de fusion de tokens en profondeur (ToMe, EViT, etc.), même lorsque ces dernières sont réimplémentées avec FlashAttention. APT offre un meilleur compromis vitesse/précision.

5. Signification et Impact

Ce travail démontre que la tokenisation adaptative, longtemps réservée au langage naturel, peut être transposée avec succès à la vision par ordinateur.

Efficacité computationnelle : APT permet de réduire considérablement le budget de calcul nécessaire pour entraîner et déployer des modèles ViT de pointe, en particulier pour les images haute résolution.
Flexibilité : La capacité à s'adapter à n'importe quel backbone pré-entraîné avec un minimum de réentraînement (1 époque) facilite son adoption par la communauté.
Futur : Bien que l'approche repose actuellement sur des seuils d'entropie heuristiques, elle ouvre la voie à des architectures de vision plus intelligentes qui allouent dynamiquement les ressources de calcul là où l'information est la plus riche.

En résumé, APT résout le goulot d'étranglement de la séquence longue dans les ViT en introduisant une granularité variable, offrant une accélération massive sans sacrifier la précision, même sur des tâches visuelles complexes.