💻 computer science

Goal-Aware Adaptive Regulation Across Modalities: Evolutionary Architecture Search for Transformer Language Models on a Consumer AMD GPU

Cet article démontre que le cadre de recherche d'architecture évolutive GaaR, initialement validé sur des réseaux convolutionnels, se transfère avec succès aux modèles de langage transformeurs autorégressifs sur un GPU AMD grand public via DirectML, atteignant des performances compétitives et révélant que l'exploitation régulée surpasse la recherche aléatoire sur des paysages structurés tout en favorisant les architectures larges et peu profondes sous des budgets d'étapes fixes.

Auteurs originaux : Leon Sandler

Publié 2026-07-17

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Leon Sandler

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à parler, à dessiner ou à résoudre des énigmes. Pour ce faire, vous devez construire un « cerveau » pour lui, ce que les scientifiques appellent un réseau de neurones. Mais voici la partie délicate : vous ne savez pas exactement quelle taille ce cerveau devrait avoir, combien de couches il nécessite, ou comment régler ses paramètres. C'est là que la Recherche d'Architecture Neuronale (NAS - Neural Architecture Search) entre en jeu. Voyez la NAS comme un architecte robotique super organisé et infatigable qui teste des milliers de conceptions de cerveaux différentes pour voir laquelle fonctionne le mieux.

Habituellement, ce travail est réalisé dans des centres de données massifs et coûteux, remplis de puces informatiques puissantes fabriquées par une entreprise spécifique (NVIDIA), coûtant des milliers de dollars en électricité et en temps. C'est comme essayer de construire un gratte-ciel en utilisant uniquement une flotte de grues géantes. Mais et si vous pouviez faire cela sur un ordinateur portable ordinaire ou un ordinateur de jeu que vous possédez déjà ? C'est la grande question que traite cet article : pouvons-nous trouver la conception de cerveau IA parfaite en utilisant simplement une carte graphique abordable et standard d'une autre entreprise (AMD), sans avoir besoin de ces centres de données luxueux et coûteux ? La réponse est importante car elle pourrait permettre à n'importe qui, d'un étudiant dans sa chambre à un chercheur avec un petit budget, d'expérimenter des conceptions d'IA sans se ruiner ou épuiser la planète.

L'histoire de l'architecte IA à petit budget

Rencontrez GaaR (Goal-Aware Adaptive Regulation). Considérez GaaR comme un architecte robotique intelligent, travaillant en file unique, qui vit sur votre ordinateur. Dans une aventure précédente, ce robot a réussi à concevoir un système de vision (un cerveau qui « voit » des images) en utilisant simplement une carte graphique AMD de grande consommation. Il a trouvé une conception qui atteignait 94,36 % de précision dans la reconnaissance d'images en 45 minutes, en enregistrant chaque étape dans une base de données locale simple.

Maintenant, l'auteur, Leon Sandler, demande : « Ce même architecte robotique peut-il gérer un travail complètement différent ? » Au lieu d'apprendre à l'IA à voir (comme pour la tâche d'image précédente), peut-il lui apprendre à parler ? Ce nouveau travail implique des Modèles de Langage Transformer, le type de technologie qui alimente les chatbots et les générateurs de texte. Ces derniers sont très différents des cerveaux d'images ; ils prédisent le mot suivant dans une phrase plutôt que d'identifier des objets dans une image.

L'expérience : Une petite pièce de Shakespeare

Pour tester cela, le chercheur a organisé une course sur la même vieille carte graphique AMD (une RX 5700 avec 8 Go de mémoire). Cette carte est spéciale car elle ne s'entend pas très bien avec le logiciel habituel « CUDA » utilisé par la plupart des outils d'IA ; elle nécessite un chemin différent appelé DirectML. L'architecte robotique a dû naviguer sur ce chemin sans l'aide des outils habituels du Big Data.

La tâche était simple mais stricte :

L'Objectif : Apprendre à l'IA à prédire la lettre suivante dans un texte des Œuvres Complètes de William Shakespeare (plus précisément la version « Tiny Shakespeare »).
Les Règles : Le robot ne pouvait essayer une conception que pendant un temps très court — exactement 300 étapes d'apprentissage par conception. Il ne pouvait pas simplement tourner indéfiniment ; il devait être efficace.
Les Variables : Le robot pouvait modifier six éléments du cerveau de l'IA : sa largeur, le nombre de « têtes » (mécanismes d'attention) qu'il possède, sa profondeur, la quantité de texte qu'il peut mémoriser à la fois, le nombre d'exemples qu'il regarde à la fois, et sa vitesse d'apprentissage.

Les Résultats : Vitesse vs Taille

Le robot s'est mis au travail, effectuant huit générations de conceptions. En seulement 3 minutes et 16 secondes de temps réel, il a trouvé une conception championne.

Le Gagnant : La meilleure conception possédait 0,8 million de paramètres (une mesure de la taille du cerveau).
Le Score : Elle a réduit la « confusion » (perte de validation) de l'IA de 2,171 à 2,021. En langage clair, l'IA est devenue meilleure pour deviner la lettre suivante dans l'histoire.
La Surprise : Le robot n'a pas choisi le cerveau le plus grand, le plus profond ou le plus complexe. Au lieu de cela, il a choisi un cerveau large mais peu profond avec une mémoire courte (contexte).

Pourquoi ? À cause de l'Effet de Budget. Puisque chaque conception n'avait que 300 étapes pour apprendre, les conceptions capables de traiter ces étapes le plus rapidement ont gagné. Un cerveau géant et profond est lent à entraîner ; un cerveau large et peu profond est rapide. Sur un budget de temps, le robot a appris que « rapide et simple » bat « lent et complexe ». C'est comme une course où tout le monde doit courir exactement 100 mètres ; la personne qui peut sprinter le plus vite gagne, même si elle n'est pas le coureur le plus fort.

Le Test de Réalité : Quand le robot gagne-t-il vraiment ?

Voici la partie la plus honnête de l'histoire. Le chercheur n'a pas simplement dit : « Le robot est un génie ! » Il a testé le robot contre un devineur aléatoire. Il a lancé la course 10 fois, comparant la stratégie « gourmande » du robot (toujours choisir la meilleure conception jusqu'à présent et l'ajuster) contre quelqu'un qui choisit des conceptions de manière totalement aléatoire.

Le Résultat : Avec seulement 8 essais (le petit budget utilisé dans l'expérience principale), le robot et le devineur aléatoire ont obtenu des performances égales. Le robot n'a pas battu le devineur aléatoire ; ils ont fait match nul.
La Leçon : La stratégie « intelligente » du robot ne fonctionne que lorsque le problème est assez grand et que le budget est assez long pour observer des modèles. Sur un paysage très petit et lisse avec très peu d'essais, être intelligent n'aide pas beaucoup.
La Preuve : Pour montrer que le robot pouvait être intelligent, le chercheur l'a testé sur un problème beaucoup plus vaste et complexe (une simulation physique avec 6 000 conceptions possibles). Là, le robot a trouvé la solution parfaite 70 % du temps, alors que le devineur aléatoire ne l'a trouvée que 0 % du temps.

Ce que cela signifie pour vous

Cet article prouve que la NAS cross-modale (utiliser le même moteur de recherche pour différents types d'IA) fonctionne sur du matériel grand public bon marché. Il montre que vous pouvez concevoir une IA génératrice de texte sur une carte graphique AMD standard en quelques minutes, sans avoir besoin d'un supercalculateur.

Cependant, il fixe également une limite claire : si vous disposez d'un temps ou d'un budget très limité pour tester des conceptions, une stratégie de recherche « intelligente » peut ne pas être meilleure que de deviner au hasard. Vous avez besoin d'assez d'espace pour laisser la stratégie opérer sa magie.

L'auteur a partagé tout le code, les journaux et la base de données afin que quiconque puisse reproduire cette expérience. Le message est clair : la recherche en IA n'a pas besoin d'être verrouillée derrière des portes coûteuses. Avec les bons outils, un ordinateur grand public peut être un laboratoire puissant pour découvrir comment construire des cerveaux d'IA plus intelligents et plus efficaces.

Résumé Technique : Régulation Adaptative Sensible aux Objectifs à travers les Modalités

Énoncé du Problème
La recherche d'architecture neuronale (NAS) est traditionnellement dominée par des charges de travail en centres de données nécessitant des milliers de jours-GPU et un matériel spécifique NVIDIA/CUDA. Cette dépendance exclut les chercheurs ne disposant pas d'une telle infrastructure et ignore la vaste base installée de matériel grand public performant, particulièrement les GPU AMD sous Windows qui manquent de support officiel ROCm ou CUDA. Bien que des travaux antérieurs aient établi que la recherche évolutionnaire pouvait s'exécuter sur du matériel grand public pour la vision par ordinateur (CNN), il restait à prouver si un tel moteur léger et sensible aux objectifs (goal-aware) pouvait être transféré à la modalité distincte des modèles de langage Transformers autorégressifs, qui diffèrent significativement en termes d'architecture, de surfaces de perte et de points de pression matérielle.

Méthodologie
L'étude utilise le cadre GaaR (Goal-Aware Adaptive Regulation), un moteur de recherche évolutionnaire contenu dans un fichier unique, conçu pour une exécution locale, reprise possible (resumable) et auditable sur un seul appareil grand public. La méthodologie consiste à transférer ce moteur vers la modélisation de langage Transformer avec des changements structurels minimaux :

Consistance du Moteur : La boucle centrale de GaaR reste inchangée. Elle opère selon une stratégie « exploiter le meilleur / explorer la mutation » : lecture du génome ayant le score le plus élevé comme parent, application de mutations bornées, instanciation du phénotype candidat, entraînement sous un budget fixe, et journalisation des résultats dans une base de données SQLite locale.
Phénotype et Génome : Le phénotype est une implémentation PyTorch de Transformer non modifiée et construite de zéro (issue du projet train-llm-from-scratch). Le génome se compose de six gènes : largeur d'embedding ( $n\_embed$ ), nombre de têtes ( $n\_head$ ), nombre de blocs ( $n\_blocks$ ), longueur de contexte, taille de lot (batch size) et taux d'apprentissage. Un opérateur de réparation de divisibilité garantit que $n\_embed$ reste un multiple de $n\_head$ .
Matériel et Portabilité : Toutes les expériences ont été menées sur un seul AMD Radeon RX 5700 (8 Go) sous Windows 10 via DirectML (via torch-directml). Ce dispositif ne possède pas de chemin CUDA et aucun support officiel ROCm. L'installation fonctionne en fp32 (la précision mixte étant indisponible) et gère les replis d'opérateurs (par exemple, le fused lerp d'AdamW revenant au CPU) sans modification du moteur.
Fonction de Fitness : Le fitness est défini par la perte de validation négative sur le corpus de caractères Tiny Shakespeare (vocabulaire 65) après exactement 300 étapes d'optimisation AdamW. Ce « budget d'étapes fixe » a été choisi pour s'aligner sur la conception originale de GaaR, bien que l'article note ses implications sur le débit (throughput).

Résultats Clés

Trajectoire de Recherche : Dans une recherche illustrative de huit générations, le moteur a amélioré la perte de validation par caractère d'une graine de 2,171 (perplexité 8,8) à un champion de 2,021 (perplexité 7,5) avec un modèle de 0,8 M de paramètres. Toute la recherche s'est achevée en 3 minutes et 16 secondes de temps réel.
Effets du Débit et du Budget : La recherche a révélé un « effet de budget » où la contrainte d'étapes fixes a implicitement favorisé les génomes de type « large et peu profond, contexte court ». Ces architectures ont converti les 300 étapes fixes en un apprentissage plus efficace grâce à un débit d'étapes plus élevé (jusqu'à 23,5 étapes/s contre 6,1 étapes/s pour les modèles plus profonds).
Ligne de Base de Recherche Aléatoire : Une comparaison contrôlée sur dix graines entre la règle gourmande de GaaR et une recherche aléatoire uniforme, avec un budget de huit évaluations, a montré une parité statistique (perte de validation moyenne la plus basse : 2,047 pour G_aaR contre 2,042 pour l'aléatoire ; 5 victoires chacun). Cela indique que sur ce paysage spécifique avec un si petit budget, la règle gourmande n'offre aucun avantage mesurable par rapport à l'échantillonnage aléatoire.
Contraste avec les Paysages Structurés : À l'inverse, sur un paysage de simulation physique plus large et structuré de 6 000 configurations, la même règle gourmande a dominé la recherche aléatoire, trouvant l'optimum global exact dans 70 % des répétitions contre 0 % pour l'aléatoire.

Signification et Revendications
L'article affirme que la NAS cross-modale sur du matériel de consommation est une fondation pratique pour une recherche d'architecture reproductible et à faible consommation énergétique. Ses principales contributions sont :

Transfert de Modalité : Démontrer que le moteur GaaR se transfère des CNN aux Transformers avec seulement une redéfinition du génome, s'exécutant entièrement sur un GPU AMD non supporté via DirectML.
Enveloppe de Portabilité : Définir les contraintes de la NAS sur le matériel AMD grand public (fp32 uniquement, replis d'opérateurs) sans nécessiter de modification du moteur.
Délimitation Honnête : Fournir une ligne de base contrôlée qui définit honnêtement les limites de la règle d'exploitation gourmande. L'article soutient que l'exploitation régulée porte ses fruits sur des paysages plus vastes et structurés ou avec une profondeur séquentielle suffisante, mais n'offre aucun avantage par rapport à la recherche aléatoire sur de très petits budgets dans des paysages lisses.
Reproductibilité : Publication complète du code, des journaux de recherche et des fichiers de configuration pour permettre la reproduction exacte du processus de recherche.

Les auteurs soulignent que, bien que la qualité absolue du modèle de langage résultant (perplexité 7,5) ne soit pas compétitive avec les modèles de pointe, l'expérience établit avec succès la faisabilité et la transférabilité. Elle prouve que la découverte d'architecture peut être menée de bout en bout sur un seul appareil grand public en quelques minutes, démocratisant l'accès à la NAS pour les chercheurs ne disposant pas de ressources de centres de données.

L'histoire de l'architecte IA à petit budget

L'expérience : Une petite pièce de Shakespeare

Les Résultats : Vitesse vs Taille

Le Test de Réalité : Quand le robot gagne-t-il vraiment ?

Ce que cela signifie pour vous

Articles similaires