🤖 machine learning

LLM as a Tool, Not an Agent: Code-Mined Tree Transformations for Neural Architecture Search

Ce papier présente LLMasTool, une méthode de recherche d'architecture neuronale qui utilise les grands modèles de langage comme outils pour appliquer des transformations d'arbres hiérarchiques dérivées du code, combinées à une planification algorithmique guidée par la diversité, afin de surmonter les limites des approches agentic et d'explorer efficacement de nouveaux espaces architecturaux.

Auteurs originaux : Masakazu Yoshimura, Zitang Sun, Yuiko Sakuma, Junji Otsuka, Atsushi Irie, Takeshi Ohashi

Publié 2026-04-21

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Masakazu Yoshimura, Zitang Sun, Yuiko Sakuma, Junji Otsuka, Atsushi Irie, Takeshi Ohashi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🏗️ Le Problème : Construire un gratte-ciel sans plan

Imaginez que vous voulez construire le meilleur gratte-ciel du monde (une intelligence artificielle performante).

Les anciennes méthodes (NAS classique) : C'est comme essayer de construire ce bâtiment en utilisant uniquement des briques de Lego de base. Vous devez tout inventer vous-même, brique par brique. C'est lent, et vous êtes limité par les briques que vous avez dans votre boîte.
Les nouvelles méthodes avec l'IA (LLM en "Agent") : C'est comme donner un crayon magique à un architecte génial (l'IA) et lui dire : "Invente-moi un gratte-ciel !". Le problème ? L'architecte a lu des millions de livres sur l'architecture, donc il a tendance à copier les mêmes styles qu'il a déjà vus. De plus, il peut parfois dessiner des bâtiments qui s'effondrent parce qu'il ne connaît pas les lois de la physique (le code ne fonctionne pas).

💡 La Solution : LLMasTool (L'IA comme Outil, pas comme Patron)

Les chercheurs de Sony ont eu une idée brillante : ne pas laisser l'IA construire le bâtiment toute seule. Au lieu de cela, ils l'utilisent comme un super-outil dans une équipe dirigée par un algorithme rigoureux.

Voici comment ça marche, étape par étape, avec une analogie de cuisine :

1. La Bibliothèque de Recettes (Le "Mining" de modules)

Imaginez que vous avez une immense bibliothèque de recettes de cuisine (du code source existant).

L'approche de Sony : Au lieu d'essayer de réinventer la roue, ils utilisent un robot (un algorithme) pour parcourir cette bibliothèque et extraire automatiquement les meilleurs ingrédients et techniques (les "modules" : comme une sauce parfaite, un gâteau au chocolat, une pâte feuilletée).
Résultat : Ils créent une base de données fiable. L'IA n'a pas besoin de "se souvenir" de tout, elle a juste accès à cette bibliothèque vérifiée.

2. Le Plan de Construction en Arbre (La Représentation)

Au lieu de donner à l'IA un bloc de code illisible (comme un mur de texte), ils représentent l'architecture du réseau de neurones comme un arbre généalogique ou un plan de montage en Lego.

C'est clair, structuré et facile à modifier. On peut voir les branches (les parties du modèle) et les feuilles (les réglages précis).

3. La Danse entre l'Algorithme et l'IA (La Transformation)

C'est le cœur de l'innovation. Ils ne demandent pas à l'IA de tout écrire. Ils utilisent une approche en deux temps, comme un chef et un assistant :

Le Chef (L'Algorithme) : Il décide de la grande stratégie.
- Exemple : "Aujourd'hui, on va essayer de changer la sauce du plat principal" ou "On va ajouter une nouvelle épice". Il utilise des statistiques pour savoir quelles directions sont les plus prometteuses (pour éviter de tourner en rond).
L'Assistant (L'IA / LLM) : Il intervient pour les détails précis.
- Exemple : Le Chef dit : "Change la sauce". L'Assistant regarde la bibliothèque de recettes et dit : "Ok, je vais remplacer la sauce tomate par une sauce pesto, et je vais ajuster la quantité de basilic pour que ça aille avec le reste".
- Pourquoi c'est génial ? L'IA ne fait pas d'erreurs de structure (elle ne crée pas un bâtiment qui s'effondre) parce que le Chef garde le contrôle. Et l'IA apporte sa créativité pour les détails, sans être bloquée par ses propres biais (elle n'est pas obligée de copier ce qu'elle a déjà vu).

4. L'Exploration sans Préjugés

Le plus important est que l'algorithme force l'IA à explorer des directions qu'elle n'aurait jamais choisies seule.

Si l'IA pense que "tous les gratte-ciels doivent être en verre", l'algorithme peut dire : "Non, essayons du bois".
Cela permet de découvrir des architectures totalement nouvelles et surprenantes que l'IA seule n'aurait jamais osé imaginer.

🏆 Le Résultat : Des bâtiments plus hauts et plus solides

Grâce à cette méthode, les chercheurs ont obtenu des résultats incroyables :

Sur des tests standards (comme reconnaître des images de chats, de chiens, etc.), leur méthode a battu tous les records précédents.
Ils ont gagné des points de précision là où les autres méthodes stagnaient.

En résumé

Imaginez que vous voulez trouver le chemin le plus rapide à travers une forêt immense.

L'IA seule : Elle suit les sentiers qu'elle a déjà parcourus dans ses souvenirs. Elle ne trouve pas de nouveaux raccourcis.
L'Algorithme seul : Il marche au hasard, mais très lentement.
LLMasTool : C'est un guide expérimenté (l'algorithme) qui décide de la direction générale pour explorer de nouvelles zones, et qui utilise un expert local (l'IA) pour trouver le meilleur chemin précis dans cette zone.

C'est cette collaboration intelligente qui permet de découvrir des architectures d'intelligence artificielle plus performantes, plus rapides et plus créatives que jamais auparavant.

1. Problématique

La recherche d'architecture neuronale (NAS) vise à automatiser la conception de réseaux de neurones profonds (DNN) performants. Cependant, les approches actuelles souffrent de limitations majeures :

Approches algorithmiques traditionnelles : Elles reposent sur des espaces de recherche manuellement conçus (hand-crafted) pour garantir l'exécutabilité, ce qui restreint l'exploration ouverte et biaise les découvertes vers les préjugés des concepteurs.
Approches basées sur les LLM (Agents autonomes) : Bien que les grands modèles de langage (LLM) réduisent la conception manuelle, leur utilisation en tant qu'agents autonomes pour générer du code complet souffre de deux défauts critiques :
1. Fiabilité : Ils peinent à générer des architectures complexes et valides (problèmes d'exécutabilité).
2. Biais d'exploration : Leurs propositions tendent à reproduire des motifs présents dans leurs données d'entraînement, limitant l'exploration véritablement ouverte et novatrice.

L'objectif est de combiner la fiabilité des algorithmes de recherche avec la puissance des LLM, tout en évitant les biais de ces derniers et en garantissant la validité des architectures générées.

2. Méthodologie : LLMasTool

Les auteurs proposent LLMasTool, un cadre NAS hiérarchique qui traite le LLM comme un outil assisté par des algorithmes, et non comme un agent autonome. La méthode repose sur trois piliers principaux :

A. Extraction de Modules par Algorithme (Module Mining)

Au lieu de demander au LLM de concevoir des blocs à partir de zéro, le système analyse automatiquement des sources de code existantes (PyTorch, MMCV, etc.) pour extraire des modules réutilisables.

Processus : Un algorithme basé sur des règles parse l'Abstract Syntax Tree (AST) du code pour identifier les classes héritant de torch.nn.Module.
Base de données : Chaque module est associé à ses métadonnées (arguments du constructeur, dimensions d'entrée/sortie, code source) pour former une base de données de modules réutilisables ( $D_M$ ). Cela garantit une exactitude de 100 % et évite les hallucinations.

B. Représentation par Arbre Hiérarchique (Tree Representation)

Contrairement aux méthodes NAS classiques qui utilisent des graphes de flux de données (data-flow graphs), LLMasTool représente l'architecture sous forme d'arbre hiérarchique.

Structure : Les nœuds supérieurs représentent des blocs conceptuels (ex: Backbone, Neck), les nœuds intermédiaires des modules, et les feuilles des hyperparamètres.
Avantage : Cette structure est "déployable" (compatible avec des formats de configuration comme OpenMMLab) et facilite la réutilisation directe de blocs de code humains. Elle permet une transformation contrôlée plutôt qu'une génération de code libre.

C. Évolution par Transformations d'Arbres et Décision "Coarse-to-Fine"

L'évolution de l'architecture ne se fait pas par génération de code, mais par transformations d'arbres (Swap, Insert, Delete, Change Hyperparameter, etc.). Le processus de décision est hiérarchique :

Planification de haut niveau (Coarse) : Un algorithme guidé par la diversité et l'efficacité (utilisant un échantillonnage de Thompson bayésien sur l'historique des expériences) décide de l'opération globale à effectuer (ex: "Remplacer un module"). Cela assure une exploration diversifiée au-delà des biais du LLM.
Raffinement de bas niveau (Fine) : Le LLM est sollicité uniquement pour résoudre les degrés de liberté restants (ex: "Quel module spécifique choisir et quels hyperparamètres régler ?").
Catégories de prompts : Le système alterne entre des prompts qui sollicitent fortement le LLM, ceux qui s'y opposent (pour explorer l'inattendu), et ceux qui minimisent son rôle (pour maximiser la diversité algorithmique).

3. Contributions Clés

Cadre Hybride LLMasTool : Une approche qui représente les architectures comme des arbres hiérarchiques, permettant des modifications précises et exécutables tout en intégrant directement des connaissances préalables via l'extraction de code.
Stratégie "Coarse-to-Fine" : Une méthode de décision qui combine une planification globale guidée par la diversité (algorithmique) avec des modifications fines assistées par le LLM. Cela permet d'explorer au-delà des biais inhérents aux LLM.
Extraction Automatisée de Modules : Un algorithme capable de miner des modules réutilisables à partir de n'importe quel code source Python/PyTorch, éliminant le besoin d'espaces de recherche pré-définis.
Échantillonnage de Thompson Hiérarchique : Une technique d'apprentissage par renforcement appliquée aux niveaux de décision (opération et catégorie de prompt) pour équilibrer efficacement l'exploration et l'exploitation.

4. Résultats Expérimentaux

Les expériences ont été menées sur les benchmarks NAS-Bench-201 (CIFAR-10, CIFAR-100, ImageNet16-120) et sur ImageNet-100.

Performance : LLMasTool bat l'état de l'art (SOTA) dans les deux catégories d'espaces de recherche (manuels et ouverts).
- CIFAR-10 : +0.69 point de précision par rapport aux méthodes précédentes.
- CIFAR-100 : +1.83 points.
- ImageNet16-120 : +2.68 points.
Comparaison : Il surpasse des méthodes LLM avancées comme NADER et LLMatic, démontrant que l'approche "Outil" est supérieure à l'approche "Agent" pour le NAS.
Études d'ablation : Elles confirment que la combinaison de l'extraction de modules, de la représentation par arbre et de la planification hiérarchique est essentielle. L'utilisation exclusive du LLM (sans contrôle algorithmique) conduit à une stagnation des performances.

5. Signification et Impact

Ce travail marque un changement de paradigme dans l'utilisation des LLM pour la recherche scientifique et l'ingénierie :

Dépassement des biais : En utilisant le LLM comme un outil de raffinement plutôt que comme un générateur autonome, la méthode évite de piéger la recherche dans les motifs connus du modèle, permettant une véritable découverte ouverte.
Fiabilité et Exécutabilité : La transformation d'arbres basée sur des règles garantit que chaque architecture proposée est syntaxiquement correcte et exécutable, résolvant un problème majeur des approches génératives pures.
Réutilisation du savoir : La capacité à extraire et réutiliser directement des modules de code existants permet d'incorporer instantanément les avancées de la communauté sans réapprentissage ou hallucination.

En résumé, LLMasTool démontre que l'intégration stratégique des LLM dans un cadre algorithmique rigoureux est la voie la plus prometteuse pour l'automatisation de la conception de modèles d'apprentissage profond, surpassant les approches purement autonomes.