Résumé technique : Connaissances préalables ou recherche ? Une étude des agents LLM dans l'optimisation de code consciente du matériel

Énoncé du problème

Les modèles de langage de grande taille (LLM) sont de plus en plus déployés en tant que systèmes de découverte autonomes fonctionnant via une boucle « proposer-évaluer-réviser », imitant l'optimisation boîte noire (BBO). Bien qu'ils réussissent dans des domaines tels que la combinatoire extrémale et la découverte d'équations scientifiques, il reste unclear quels composants de ces agents contribuent le plus à la performance et quand l'exploration échoue. Plus précisément, il est difficile de déterminer si les agents LLM réussissent grâce à leur capacité à s'adapter via la conditionnement contextuel (retour d'information) ou parce qu'ils dépendent fortement de priors préentraînés. Cet article examine les points de rupture de la découverte basée sur les LLM en les contrastant avec des méthodes BBO classiques et en analysant leur comportement sous différentes densités de prior et décalages de distribution.

Méthodologie

Les auteurs mènent trois expériences contrôlées pour isoler les effets des connaissances préalables par rapport aux mécanismes de retour d'information :

1. Optimisation boîte noire pure (BBO) :

   • Configuration : Des LLM (gpt-oss-120b, DeepSeek-V3.2) sont chargés de minimiser des fonctions inconnues (systèmes dynamiques synthétiques et physiques, et benchmarks BBOB) sans accès à des priors de code.
   • Lignes de base : Comparaison avec CMA-ES, un système hybride Centaur (CMA-ES + LLM) et une recherche arborescente Monte Carlo (MCTS) améliorée par LLM.
   • Métriques : Évaluation sur la vitesse de convergence (meilleure étape), la largeur d'exploration (couverture) et la cohérence de la trajectoire (longueur de trajectoire normalisée).
   • Analyse : L'étude examine si les LLM explorent ou se contentent d'affiner localement en analysant leur prise de décision après la phase initiale d'échantillonnage aléatoire.

2. Génération de noyaux en zéro-shot (conditionnement de forme) :

   • Configuration : Les LLM génèrent des noyaux GPU (Softmax, Matmul, Convolution) pour des tailles de tenseurs d'entrée variables.
   • Variables : L'étude manipule l'explicite des instructions de taille (prompts implicites vs explicites) et les températures d'échantillonnage ($T \in \{0.1, 0.5, 0.8\}$).
   • Objectif : Déterminer si les LLM peuvent adapter des paramètres au niveau matériel (tillage, taille de bloc) à des dimensions d'entrée spécifiques ou s'ils s'effondrent vers un prior fixe.

3. Optimisation par boucle de retour d'information itérative :

   • Configuration : Les LLM optimisent des noyaux via des boucles de retour d'information itératives impliquant des erreurs de compilation et des profils de performance.
   • Variables :
     • Langage de représentation : Contraste entre CUDA (forte densité dans les données de préentraînement) et la représentation intermédiaire (IR) de TVM (faible densité, ~100 fois moins fréquente).
     • Régime de taille : Tailles natives des benchmarks vs tailles d'entrée petites (décalage de distribution).
   • Lignes de base : Comparaison avec TVM MetaSchedule (une approche BBO sans prior) et torch.compile.
   • Agents : Deux pipelines ont été testés : un « Agent d'échantillonnage » (génération parallèle avec retour d'information agrégé) et une « Boucle de retour d'information » (affinement séquentiel avec un conseiller/diagnostiqueur).

Contributions et résultats clés

1. Les LLM en tant qu'optimiseurs gourmands en BBO pur

Dans les tâches d'optimisation boîte noire pure où aucun prior de code fort n'existe, les LLM se comportent comme des affineurs locaux gourmands plutôt que comme des explorateurs.

• Comportement : Les LLM ancrent leurs propositions à la meilleure solution vue jusqu'alors, tentant d'imiter la descente de gradient même en l'absence de gradients. Ils échouent à explorer efficacement l'espace de recherche dans des dimensions plus élevées (par exemple, BBOB-5D), perdant face à CMA-ES et aux systèmes hybrides Centaur.
• Preuve : L'analyse de trajectoire montre une faible couverture et une forte cohérence directionnelle (trajectoires linéaires), indiquant un manque d'exploration globale. L'analyse de la chaîne de pensée confirme que les modèles justifient les perturbations locales en utilisant des heuristiques de type gradient.
• Implication : Les LLM nécessitent une orchestration explicite (par exemple, MCTS ou mises à jour d'état hybrides) pour échapper aux optima locaux ; ils ne réalisent pas naturellement une exploration large.

2. Effondrement du prior dans la génération de noyaux

Dans la génération de noyaux en zéro-shot, les LLM présentent un effondrement du prior, produisant des solutions agnostiques de la taille indépendamment des dimensions d'entrée explicites.

• Observation : Que les prompts contiennent des instructions de taille explicites ou non, les modèles convergent vers le même ensemble fixe de paramètres de noyau (par exemple, taille de bloc, taille de tuile) pour toutes les tailles d'entrée et températures.
• Conséquence : Cela entraîne une dégradation significative des performances sous décalage de distribution. Pour les petites tailles d'entrée, la fraction de noyaux accélérés chute de 59 % à 31 % pour les LLM, tandis que TVM MetaSchedule, sans prior, passe de 41 % à 69 %.
• Conclusion : Le prior préentraîné l'emporte sur le conditionnement du prompt ; le modèle ne peut pas mapper les formes demandées vers des configurations matérielles spécialisées si ces mappings spécifiques ne sont pas fortement représentés dans ses données d'entraînement.

3. Boucles de retour d'information dépendantes de la représentation

L'efficacité du retour d'information itératif est strictement déterminée par la densité du prior sur le langage cible.

• CUDA (Prior dense) : Les boucles de retour d'information améliorent les performances de manière monotone. Le prior fort du modèle sur CUDA lui permet d'intégrer efficacement les erreurs de compilateur et les données de profilage pour affiner les solutions.
• TVM IR (Prior épars) : Les boucles de retour d'information entraînent une dégradation des performances. Étant donné que le prior sur TVM IR est faible, le modèle ne peut pas interpréter le retour d'information pour générer des ordonnancements valides, entraînant un déclin à la fois du succès de compilation et de l'accélération au fil des itérations.
• Décalage de taille : Sous des décalages de distribution vers de petites tailles d'entrée, l'agent LLM perd face à TVM MetaSchedule. Les biais spécifiques à la taille du LLM (calibrés sur des formes natives de benchmarks) deviennent trompeurs, tandis que MetaSchedule s'adapte librement.

Importance et affirmations

L'article soutient que la variable centrale dans l'optimisation agentic n'est pas l'existence d'un retour d'information, mais la capacité du modèle à absorber ce retour d'information via son prior.

• Prior vs Recherche : Les LLM sont de forts exploitants de priors mais de faibles chercheurs ouverts. Ils excellent lorsque l'espace de solutions cible est densément couvert par leurs données de préentraînement (par exemple, noyaux CUDA standards) mais se dégradent lorsque la tâche nécessite une véritable exploration ou opère dans des domaines à faible densité (par exemple, TVM IR, petites tailles d'entrée).
• Implications de conception : Les pipelines d'optimisation robustes doivent être adaptatifs :
  • Utiliser l'affinement par LLM là où la couverture du prior est dense.
  • S'en remettre à une recherche adaptative à la tâche (comme BBO) lorsque des décalages de distribution se produisent ou que les priors sont épars.
  • Des approches hybrides combinant des propositions guidées par LLM avec une recherche structurée ou une récupération sont nécessaires pour compenser les limites de l'adaptation par contexte uniquement.

Les auteurs concluent que les pipelines agentic actuels échouent souvent à attribuer les performances à des facteurs spécifiques car ils confondent la manipulation de contexte avec la recherche. En isolant ces facteurs, l'étude expose des modes de défaillance fondamentaux : une recherche locale gourmande en l'absence de priors, et l'incapacité à se conditionner sur de nouvelles contraintes lorsque le prior est épars.