🤖 AI

FAR: Function-preserving Attention Replacement for IMC-friendly Inference

Ce papier propose FAR, un cadre qui remplace l'auto-attention des transformateurs dans les modèles DeiT préentraînés par des modules bidirectionnels LSTM compatibles IMC via distillation et élagage, atteignant une précision comparable avec une latence et une surcharge de bande passante considérablement réduites sur les accélérateurs basés sur ReRAM.

Auteurs originaux : Yuxin Ren, Maxwell D Collins, Miao Hu, Huanrui Yang

Publié 2026-05-18

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yuxin Ren, Maxwell D Collins, Miao Hu, Huanrui Yang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez un robot ultra-intelligent (un « Transformer ») qui excelle incroyablement bien dans la compréhension des images et du langage. Ce robot fonctionne grâce à une équipe d'« agents d'attention » qui discutent constamment avec chaque autre agent pour déterminer ce qui est important. Bien que cela fonctionne parfaitement sur des ordinateurs puissants comme les GPU, c'est un cauchemar pour un nouveau type de puce minuscule et économe en énergie appelé IMC (Calcul en Mémoire).

Pensez aux puces IMC comme à une immense bibliothèque où les livres (les données) et les bibliothécaires (les ordinateurs) se trouvent dans la même pièce. Elles sont extrêmement rapides pour lire un livre et effectuer des calculs dessus sur place. Cependant, les « agents d'attention » du robot sont comme un groupe de personnes qui doivent courir d'un bout à l'autre de toute la bibliothèque pour parler à chaque autre personne avant de pouvoir prendre une décision. Cela provoque un embouteillage, gaspille de l'énergie et ralentit tout.

La Solution de l'Article : FAR (Remplacement d'Attention Préservant la Fonction)

Les chercheurs, Yuxin Ren et ses collègues, ont trouvé une solution ingénieuse appelée FAR. Au lieu d'essayer de forcer les « agents d'attention » bavards du robot à fonctionner dans cette bibliothèque, ils les ont remplacés par une nouvelle équipe de travailleurs appelée LSTM (un type de processeur basé sur la mémoire) qui est naturellement conçue pour cet environnement.

Voici comment ils ont procédé, en utilisant des analogies simples :

1. La Stratégie du « Copieur » (Distillation)

On ne peut pas simplement échanger les agents et espérer le meilleur ; le robot risque d'oublier tout ce qu'il a appris. Ainsi, les chercheurs ont utilisé une technique appelée distillation.

L'Analogie : Imaginez que le robot original (le « Maître ») est un chef étoilé. Le nouveau robot (l'« Élève ») possède une disposition de cuisine différente. Au lieu d'enseigner à l'élève depuis zéro, les chercheurs ont laissé l'élève observer le chef cuisiner. L'élève tente d'imiter parfaitement les résultats du maître, étape par étape, sans modifier les autres outils du maître.
Le Résultat : Le nouveau robot apprend à faire exactement le même travail que l'ancien, mais en utilisant une méthode différente qui s'adapte beaucoup mieux à la nouvelle « bibliothèque » (puce IMC).

2. Les Nouveaux Travailleurs : Les BiLSTM

Les chercheurs ont remplacé l'attention de type « discussion entre tous » par des BiLSTM (LSTM bidirectionnels).

L'Analogie : Au lieu d'un chat de groupe chaotique où tout le monde parle à tout le monde en même temps, imaginez une course de relais. Les nouveaux travailleurs passent un témoin le long d'une ligne, se souvenant de ce qui s'est passé plus tôt et de ce qui pourrait arriver ensuite. Ils n'ont pas besoin de courir à travers toute la bibliothèque ; ils passent simplement le message à leur voisin immédiat.
Pourquoi cela aide : Ce style de « course de relais » correspond parfaitement aux puces IMC car il maintient les données locales et évite les embouteillages désordonnés causés par l'ancienne « discussion entre tous ».

3. Élaguer le Gras (Compression)

Après que le nouveau robot eut appris à imiter l'ancien, les chercheurs ont remarqué qu'il était encore un peu trop volumineux pour certaines puces minuscules. Ils ont donc utilisé l'élagage structuré.

L'Analogie : Imaginez le nouveau robot comme un sac à dos rempli d'outils. Les chercheurs ont réalisé que certains outils étaient rarement utilisés. Ils ont soigneusement retiré les outils inutilisés (connexions redondantes) sans briser la structure du sac à dos.
Le Résultat : Le robot est devenu plus petit et plus léger, s'adaptant encore mieux aux puces minuscules, tout en continuant à faire le travail tout aussi bien.

Que Ont-ils Découvert ?

L'équipe a testé cela sur une famille de modèles de vision (DeiT) en utilisant le jeu de données ImageNet (une immense collection de photos) et plusieurs autres tâches comme l'identification de voitures ou de fleurs.

Précision : Le nouveau robot (FAR) a performé presque exactement aussi bien que le robot original. Dans certains petits cas, il était même légèrement meilleur ! Cela a prouvé que vous n'avez pas besoin de la « discussion entre tous » chaotique pour comprendre les images ; une « course de relais » structurée fonctionne tout aussi bien.
Vitesse et Énergie : Lorsqu'ils ont simulé comment cela fonctionnerait sur les puces IMC, les résultats ont été dramatiques.
- L'ancien robot (Attention) sur une puce IMC était comme une voiture bloquée dans un embouteillage : 18 fois plus lent et 3 fois plus gourmand en énergie que le nouveau robot.
- Par rapport à un ordinateur puissant standard (GPU), le nouveau robot sur la puce IMC était 400 fois plus rapide et 150 fois plus économe en énergie.

La Conclusion

L'article montre que nous pouvons prendre des modèles d'IA pré-entraînés puissants et remplacer leurs parties d'attention « bavardes » par des parties de style « course de relais ». Cela ne rend pas l'IA moins intelligente ; cela la rend simplement beaucoup plus efficace pour la prochaine génération de puces minuscules et économes en batterie trouvées dans les appareils périphériques (comme les caméras ou les capteurs). C'est comme mettre à niveau un moteur de voiture pour qu'il fonctionne avec un nouveau carburant moins cher sans perdre de puissance.

Résumé Technique : FAR (Remplacement d'Attention Préservant la Fonction pour une Inférence Compatible IMC)

1. Énoncé du Problème

Les architectures Transformer, en particulier celles reposant sur l'attention auto-attentionnelle, rencontrent des goulots d'étranglement d'efficacité significatifs lors du déploiement sur le matériel émergent de Calcul en Mémoire (IMC), tel que les croix de ReRAM. Bien que l'attention auto-attentionnelle excelle sur les processeurs numériques parallèles (GPU/TPU) en permettant une intégration globale des jetons, ses caractéristiques computationnelles entrent fondamentalement en conflit avec le modèle d'exécution IMC :

Multiplications d'Activation vers Activation : L'attention auto-attentionnelle repose fortement sur des opérations telles que $QK^\top$ et la normalisation softmax, qui nécessitent un mélange dynamique et non local des activations, plutôt que les multiplications vecteur-matrice (VMM) stationnaires en poids que le matériel IMC optimise.
Surcharge Mémoire : La complexité quadratique ( $O(T^2)$ ) des interactions entre jetons et la nécessité de lire à plusieurs reprises des activations spatialement distribuées entraînent des opérations analogiques fragmentées, des conversions Analogique-Numérique/Numérique-Analogique (ADC/DAC) étendues et une mauvaise utilisation des croix.
Limitations Actuelles : Les accélérateurs IMC existants déchargent souvent l'attention vers des unités numériques, laissant le goulot d'étranglement quadratique non résolu, ou tentent de mapper l'attention directement sur des réseaux analogiques sans traiter les coûts inhérents de déplacement des données.

Parallèlement, des analyses récentes suggèrent que les couches d'attention présentent une redondance substantielle lors de l'inférence, les cartes d'attention devenant plus lisses et compressibles à travers la profondeur. Cela motive l'hypothèse que le rôle fonctionnel de l'attention peut être approximé par des modules séquentiels qui s'alignent mieux sur la localité et la stationnarité des poids de l'IMC.

2. Méthodologie : Le Cadre FAR

Les auteurs proposent FAR (Remplacement d'Attention Préservant la Fonction), un cadre qui remplace tous les blocs d'attention auto-attentionnelle dans un Vision Transformer préentraîné (spécifiquement la famille DeiT) par des modules séquentiels, à savoir des LSTM Bidirectionnels Multi-têtes (BiLSTM). L'approche est conçue comme une conversion architecturale « plug-and-play » qui ne nécessite pas un entraînement à partir de zéro.

2.1 Stratégie de Remplacement

Substitution Bloc par Bloc : Chaque bloc d'attention $A_l$ dans un transformer préentraîné est remplacé par un substitut apprenable $A'_l$ (un BiLSTM Multi-têtes). Tous les autres composants (blocs MLP, embeddings de patches, normalisations de couches) restent figés.
Équivalence Fonctionnelle par Distillation : Le remplacement est supervisé par une distillation couche par couche. Pour chaque couche $l$ , une perte de similarité ( $L_{sim}$ ) minimise la différence entre la sortie de la tête d'attention originale et la nouvelle tête BiLSTM :
$L_{sim}^{(l)} = ||A_l(x_l) - A'_l(x_l)||_2^2$
Cela garantit que le substitut reproduit la structure représentative de l'enseignant.
Protocole d'Entraînement : Le processus comporte deux étapes :
1. Phase de Distillation : Seuls les modules substituts BiLSTM sont entraînés en utilisant une combinaison de perte de similarité et de perte de tâche (classification), tandis que le reste du modèle est figé.
2. Phase de Finetuning : L'ensemble du modèle est finetuné conjointement pour récupérer toute perte d'accuracy résiduelle.

2.2 Architecture BiLSTM Multi-têtes

Pour préserver le biais inductif de l'attention multi-têtes, le substitut est structuré comme un BiLSTM Multi-têtes :

Projection et Découpage : L'embedding d'entrée est projeté et découpé en $N$ sous-espaces (correspondant au nombre de têtes d'attention de l'enseignant).
Traitement Bidirectionnel : Chaque sous-espace est traité par une tête BiLSTM distincte, capturant à la fois les dépendances de jetons avant et arrière.
Concaténation et Projection : Les sorties sont concaténées et projetées de nouveau vers la dimension originale.
Compatibilité IMC : Contrairement à l'attention, cette structure repose sur une réutilisation récurrente des poids et un flux de données séquentiel, éliminant les interactions d'activation entre toutes les paires. Cela se mappant naturellement sur les croix ReRAM où les poids sont stationnaires et les données circulent séquentiellement.

2.2 Élagage Structuré pour les Contraintes IMC

Pour s'adapter davantage aux réseaux IMC aux ressources limitées, les auteurs appliquent un élagage structuré aux dimensions cachées des têtes BiLSTM :

Extension de DeepHoyer : Ils étendent le cadre DeepHoyer pour cibler les unités cachées des LSTM. Étant donné que les portes des LSTM (entrée, oubli, cellule, sortie) partagent des unités cachées, l'élagage d'une seule unité nécessite une suppression coordonnée à travers toutes les matrices de poids associées ( $W_{ih}$ , $W_{hh}$ et les poids de projection).
Sparsité de Groupe : Une mesure de sparsité de Hoyer différentiable est appliquée à des groupes de poids correspondant à chaque unité cachée, encourageant le réseau à apprendre quelles unités sont redondantes.
Compression Adaptative par Couche : L'élagage est effectué indépendamment par tête et par direction, permettant au modèle d'adapter sa capacité à la redondance spécifique de chaque couche, résultant en des modules compacts adaptés aux tailles des réseaux IMC.

3. Résultats Clés

Le cadre a été évalué sur la famille DeiT (Tiny, Small, Base) sur ImageNet et diverses tâches en aval (CIFAR-10/100, Cars, Flowers, iNaturalist).

Préservation de l'Accuracy :
- DeiT-Tiny : FAR-Tiny a en réalité surpassé le DeiT-Tiny de base de +1,2 % sur ImageNet (73,3 % contre 72,2 %), suggérant que le substitut séquentiel agit comme un biais inductif bénéfique pour les modèles plus petits.
- Modèles Plus Grands : Pour DeiT-Small et Base, FAR a maintenu une accuracy compétitive avec un écart modeste d'environ 1 à 2 % par rapport à l'enseignant, démontrant que le rôle fonctionnel de l'attention est largement reproductible via la récurrence séquentielle.
- Transfert en Aval : Les modèles FAR ont conservé une forte transférabilité vers des tâches de classification en aval, indiquant que les mappings séquence-à-séquence appris généralisent efficacement.
Robustesse à l'Élagage :
- L'application d'un élagage structuré a réduit la dimension cachée moyenne de 40 à 60 % avec une perte d'accuracy supplémentaire de seulement 1 à 2 %.
- Les motifs d'élagage étaient non uniformes, avec une rétention plus élevée dans les couches intermédiaires et un élagage plus agressif aux extrémités du réseau, reflétant l'hétérogénéité interne de la redondance représentative.
Spécialisation par Tête : La visualisation des cartes d'interaction entre jetons a montré que les têtes FAR ont hérité avec succès des rôles sémantiques distincts des têtes d'attention originales, se concentrant sur des régions d'objets spécifiques plutôt que de s'effondrer dans des motifs redondants.

Analyse de l'Efficacité Matérielle

En utilisant un modèle analytique IMC ReRAM, les auteurs ont estimé la latence et l'énergie :

Latence : FAR sur IMC ReRAM est estimé être ~18 fois plus rapide que DeiT sur IMC ReRAM (en raison de l'évitement de la surcharge quadratique de l'attention) et ~400 fois plus rapide que DeiT sur un GPU.
Énergie : FAR sur IMC ReRAM est estimé être ~3 fois plus économe en énergie que DeiT sur IMC ReRAM et ~150 fois plus efficace que DeiT sur un GPU.
Mécanisme : Ces gains découlent de l'élimination des multiplications d'activation vers activation, de la réduction des conversions ADC/DAC et de l'activation d'une exécution stationnaire en poids. Les auteurs notent que l'exclusion des coûts softmax (qui sont des goulots d'étranglement significatifs pour l'attention sur IMC) rend ces estimations conservatrices pour FAR.

4. Signification et Revendications

L'article revendique que FAR fournit une alternative pratique et économe en matériel pour déployer des transformers préentraînés sur des accélérateurs de bord basés sur IMC, sans besoin d'entraîner des modèles à partir de zéro.

Faisabilité du Remplacement Complet : Le travail démontre que l'attention peut être remplacée de bout en bout lors de l'inférence tout en maintenant une accuracy pratique, remettant en question la notion que les interactions entre toutes les paires de jetons sont strictement nécessaires pour les tâches de vision haute performance.
Alignement Matériel : En substituant l'attention par des modules séquentiels stationnaires en poids, FAR aligne le flux de données computationnel avec les forces physiques des croix ReRAM, réduisant considérablement le trafic mémoire et la latence.
Préservation des Connaissances Préentraînées : Le cadre prouve que les riches représentations sémantiques apprises lors du préentraînement à grande échelle peuvent être préservées et transférées vers des architectures structurellement différentes et compatibles IMC grâce à une distillation bloc par bloc.

En résumé, FAR offre une voie pour restructurer l'inférence Transformer autour de modules séquentiels compatibles IMC, comblant le fossé entre la domination des modèles basés sur l'attention et les contraintes du matériel émergent centré sur la mémoire.