NAS-Driven Hardware Accelerator Exploration for Edge AI and Quantization Effects on the Pareto Space

Imaginez que vous essayiez de construire le cerveau robotique ultime, mais avec une règle stricte : il doit tenir à l'intérieur d'un petit gadget minuscule, comme une montre connectée ou un drone. C'est le monde de l'« Edge AI » (IA en périphérie), où l'intelligence artificielle vit sur de petits appareils plutôt que sur de gigantesques serveurs cloud gourmands en énergie. Pour y parvenir, les ingénieurs doivent résoudre un puzzle complexe : ils ont besoin d'un cerveau assez intelligent pour reconnaître des visages ou des sons, mais assez petit et rapide pour fonctionner sans vider la batterie en quelques minutes.

Pour trouver le design de cerveau parfait, les scientifiques utilisent une méthode appelée Neural Architecture Search (NAS - Recherche d'Architecture Neuronale). Considérez cela comme un chef automatisé ultra-rapide qui teste des millions de recettes différentes (des designs de réseaux neuronaux) pour trouver celle qui a le meilleur goût (la plus haute précision) tout en utilisant le moins d'ingrédients (puissance de calcul). Habitement, ces chefs cuisinent avec des ingrédients de « pleine précision », ce qui revient à utiliser des mesures exactes et lourdes. Mais pour les petits gadgets, il faut passer à la « quantification », ce qui revient à passer à des tasses à mesurer plus petites et plus légères (utiliser moins de bits pour représenter les nombres). La grande question est la suivante : si vous changez les tasses à mesurer, est-ce que la recette qui semblait parfaite dans la cuisine aura le même goût sur la route ? Ce document plonge précisément dans cette question, explorant comment le changement de système de mesure affecte la recherche du meilleur cerveau robotique et comment faire tenir ce cerveau sur une puce spéciale et reconfigurable.

---

Le voyage en trois étapes vers un cerveau minuscule

Les auteurs de ce document proposent un pipeline astucieux en trois étapes pour résoudre le problème de l'intégration de l'IA sur le matériel. Ils appellent cela une approche « NAS-puis-quantifiée », ce qui revient un peu à concevoir une voiture sur un ordinateur d'abord, puis à tester comment elle se comporte sur une route de terre cahoteuse, et enfin à construire le moteur pour correspondre au terrain.

Étape 1 : Le front-end indépendant du matériel (Hardware-Agnostic)
D'abord, l'équipe utilise un modèle « substitut » (surrogate model) — un prédicteur intelligent qui devine la qualité d'un design sans réellement le construire. Ils entraînent ce prédicteur sur une immense bibliothèque de 15 625 designs de réseaux neuronaux différents (provenant d'un ensemble de données appelé NAS-Bench-201). Cette étape est « indépendante du matériel », ce qui signifie qu'elle ne se soucie pas encore de la puce spécifique ; elle cherche simplement les meilleurs designs en fonction de la précision et du nombre d'opérations mathématiques (FLOPs) nécessaires. Ils utilisent deux stratégies de recherche : une « Recherche Aléatoire » simple (choisir des designs au hasard) et un « Algorithme Évolutif Multi-Objectif » (qui imite la sélection naturelle pour faire évoluer de meilleurs designs). Après cette étape, ils disposent d'une liste restreinte de dix candidats de premier choix.

Étape 2 : Le pont de quantification
Vient ensuite le test de réalité. L'équipe prend ces dix meilleurs candidats et les réduit en taille en utilisant une technique appelée Quantification Post-Entraînement (PTQ), plus précisément en passant à l'INT4 (en utilisant seulement 4 bits par nombre au lieu des 32 habituels). C'est comme prendre une photo haute définition et la compresser pour qu'elle tienne sur un vieux téléphone. Ils utilisent un outil nommé Brevitas pour faire cela.

C'est ici que les choses deviennent intéressantes. Lorsque l'équipe compresse les modèles, certains designs qui semblaient excellents lors de la première étape peuvent échouer ou devenir moins performants. Le « Pont de Quantification » agit comme un filtre. Il reclasse les designs en fonction de leur capacité à survivre à la compression. Si un design s'effondre, il est éliminé. Si aucun design ne survit, le système revient à l'étape 1 pour réessayer. Ils ont choisi l'INT4 car, bien qu'il soit très agressif, ils ont constaté qu'avec un tout petit peu d'entraînement supplémentaire (seulement deux époques), les modèles pouvaient récupérer leur précision, bondissant d'un minimum de 9,49 % jusqu'à 83,53 %, prouvant que l'information originale du modèle était largement préservée.

Étape 3 : Le backend conscient du matériel (Hardware-Aware)
Enfin, les designs survivants ont besoin d'un foyer. L'équipe projette ces cerveaux compressés sur un type de matériel spécifique appelé CGRA (Coarse-Grained Reconfigurable Array). Considérez un CGRA comme une plaque Lego où vous pouvez réorganiser les blocs pour qu'ils s'adaptent à n'importe quelle forme. Ils utilisent un algorithme évolutif pour explorer différentes manières d'organiser le matériel (en changeant le nombre d'unités de traitement, la profondeur de la mémoire et les chemins de données). Ils ne construisent pas la puce physique ; au lieu de cela, ils utilisent un « oracle analytique libre » — un simulateur mathématique — pour prédire la vitesse et l'efficacité de chaque arrangement. Ils choisissent la configuration qui minimise le délai et maximise l'utilisation des ressources du matériel.

La grande surprise : Ne jetez pas l'ancienne carte

La découverte la plus excitante de ce document n'est pas seulement ce pipeline en trois étapes ; c'est ce qu'ils ont appris sur la relation entre le monde de la « pleine précision » et le monde « compressé ».

Habituellement, lorsqu'on compresse un modèle, on pourrait penser qu'il faut recommencer la recherche de zéro, en entraînant un nouveau prédicteur spécifiquement pour le monde compressé (INT4). Les auteurs ont testé cette idée. Ils ont comparé deux approches :

1. Le substitut dédié à l'INT4 : un prédicteur entraîné spécifiquement sur des données compressées.
2. Le substitut Zero-Shot FP32 : un prédicteur entraîné sur les données originales de pleine précision, qu'ils ont ensuite utilisé pour deviner la performance des modèles compressés sans réentraînement.

Les résultats ont été surprenants. En simulation, le substitut zero-shot FP32 a en fait obtenu de meilleurs résultats que le substitut dédié à l'INT4. Lorsqu'ils ont lancé leurs stratégies de recherche, le prédicteur FP32 a trouvé des designs qui couvraient une gamme plus large des meilleurs compromis possibles (l'espace de Pareto) que le prédicteur spécifique à l'INT4.

Pourquoi ? Les auteurs suggèrent que les données de pleine précision sont « plus propres » et moins bruitées. Même si le monde compressé est différent, le classement de ce qui est « bon » et de ce qui est « mauvais » reste étonnamment similaire. Le document note que bien que l'ordre exact des designs change (environ 21 % du temps, un design qui était meilleur qu'un autre en pleine précision devient moins bon après compression), la structure globale des meilleurs designs reste suffisamment stable pour que l'ancienne carte (le prédicteur FP32) demeure un guide fiable.

La stabilité du puzzle

L'équipe n'a pas seulement supposé ; elle a mesuré le chaos. Ils ont examiné l'ensemble des 15 625 architectures pour voir à quel point le « front de Pareto » (la liste des meilleurs designs) se déplaçait lors du passage à l'INT4.

• Le décalage : La liste des meilleurs designs s'est complètement réorganisée. Aucun des designs originaux les plus performants n'a survécu en tant que meilleur design dans le monde compressé.
• L'inversion : Environ 21,73 % du temps, la relation entre deux designs s'est inversée (le Design A était meilleur que le Design B en pleine précision, mais le Design B est devenu meilleur après la compression).
• La corrélation : Malgré ce chaos, la corrélation globale du classement était toujours modérée (0,6655), ce qui signifie que la « forme » générale des bons designs a été préservée.

Ils ont également découvert que les modèles plus petits et plus simples (ceux avec moins d'opérations mathématiques) étaient beaucoup plus sensibles à la compression, perdant souvent en précision. Les modèles plus grands et plus complexes étaient étonnamment robustes, probablement parce que leur structure lisse naturellement les erreurs introduites par les nombres plus petits.

Les résultats matériels

Enfin, ils ont pris trois de leurs meilleurs designs survivants et les ont projetés sur le matériel CGRA. Ils ont découvert que malgré les différences entre les designs, tous convergeaient vers la même configuration matérielle optimale : une grille de 16 rangées et 66 colonnes d'unités de traitement avec une profondeur de mémoire spécifique. Cela suggère que pour ce type de tâche, le « point idéal » (sweet spot) du matériel est assez constant, quel que que soit le design du réseau neuronal, tant que le design utilise des blocs de construction similaires.

Conclusion

Ce document suggère que nous n'avons pas besoin de réinventer la roue chaque fois que nous voulons réduire la taille d'un modèle d'IA pour un appareil minuscule. En utilisant un processus en trois étapes — trouver les meilleurs designs en pleine précision, les filtrer à travers un test de compression, puis les projeter sur un matériel flexible — nous pouvons trouver efficacement l'équilibre parfait entre précision et taille. Plus important encore, cela suggère que nous pouvons faire confiance à nos outils de recherche en pleine précision pour nous guider même dans le monde compressé, économisant ainsi du temps et des efforts dans la quête pour mettre une IA puissante dans nos poches.