💬 NLP

Regression Language Models for Code

Auteurs originaux : Yash Akhauri, Xingyou Song, Arissa Wongpanich, Bryan Lewandowski, Mohamed S. Abdelfattah

Publié 2026-05-28

📖 6 min de lecture🧠 Analyse approfondie

Auteurs originaux : Yash Akhauri, Xingyou Song, Arissa Wongpanich, Bryan Lewandowski, Mohamed S. Abdelfattah

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une immense bibliothèque de programmes informatiques écrits dans des dizaines de langages différents (comme Python, C++, ou même des langages spécialisés pour les cartes graphiques). Habituellement, si vous voulez savoir combien de mémoire un programme va consommer, combien de temps il faudra pour l'exécuter, ou quelle sera la précision d'un réseau de neurones, vous devez réellement exécuter le programme sur un ordinateur pour le découvrir. C'est lent, coûteux, et parfois impossible si vous n'avez pas encore construit le matériel.

Pendant longtemps, les experts ont tenté de construire des « boules de cristal » spéciales pour prédire ces chiffres sans exécuter le code. Mais ces boules de cristal étaient comme des outils sur mesure : pour prédire la mémoire de Python, il fallait un outil ; pour prédire la vitesse d'une carte graphique, il fallait un outil complètement différent. Ils exigeaient que des humains fouillent manuellement dans le code, comptent des commandes spécifiques et transforment le code en graphiques et diagrammes complexes, simplement pour les alimenter dans une calculatrice. Si le code changeait légèrement, l'outil tombait souvent en panne.

Le nouveau « Traducteur Universel » pour le code

Ce papier présente un nouveau type d'IA appelé Modèle de Langage de Régression (RLM). Imaginez-le non pas comme une calculatrice, mais comme un super-traducteur qui parle à la fois « Code Informatique » et « Chiffres ».

Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le « Cerveau Gelé » et l'« Écrivain Créatif »

Le modèle est construit comme une équipe à deux parties :

Le Cerveau Gelé (Encodeur) : Cette partie est une IA pré-entraînée (basée sur un modèle appelé T5Gemma) qui a déjà lu des millions de livres et de lignes de code. Elle comprend parfaitement la structure des phrases et du code. Les chercheurs ont « gelé » cette partie, ce qui signifie qu'ils ne lui ont rien appris de nouveau. Elle agit simplement comme un lecteur intelligent qui comprend ce que dit le code.
L'Écrivain Créatif (Décodeur) : C'est la partie qu'ils ont réellement entraînée. Au lieu d'écrire une histoire, le travail de cet écrivain est de regarder le code que le « Cerveau » a lu et d'écrire un chiffre comme le mot suivant dans une phrase.

L'Analogie : Imaginez que vous lisez une recette (le code). Une IA normale pourrait essayer de deviner la liste des ingrédients. Cette nouvelle IA regarde la recette et dit : « Sur la base de ce texte, le mot suivant est '500' (calories) ». Elle traite la prédiction d'un chiffre (comme l'utilisation de la mémoire ou la vitesse) exactement comme la fin d'une phrase.

2. Un outil pour tout

La plus grande percée est que ce seul « Traducteur Universel » peut gérer tout à la fois.

Il peut lire du code Python et deviner combien de mémoire il utilise.
Il peut lire du code C++ et deviner combien de temps il faut pour l'exécuter.
Il peut lire une conception de réseau de neurones (écrite dans un format appelé ONNX) et deviner sa précision ou sa vitesse d'exécution sur une puce spécifique.

Auparavant, il fallait un « expert » différent pour chacune de ces tâches. Ce modèle est comme un Couteau Suisse qui peut passer d'expert en mémoire à expert en vitesse, puis à expert en précision, simplement en regardant le texte.

3. Comment il « Compte » sans Mathématiques

L'un des tours de force ingénieux est la façon dont le modèle génère des chiffres. Au lieu d'essayer de faire des mathématiques complexes pour sortir « 72,5 », il décompose le chiffre en petits morceaux, comme un cadenas numérique.

Il ne dit pas « 72,5 ».
Il dit : « Signe plus... 7... 2... virgule... 5 ».
L'Analogie : Imaginez que vous enseignez à un enfant à compter. Au lieu de lui demander de résoudre « 50 + 25 », vous lui demandez d'écrire la réponse chiffre par chiffre : « 5... 0... plus... 2... 5... égal... 7... 2... 5 ». Cela rend beaucoup plus facile pour l'IA de gérer de très grands nombres (comme des millions d'octets) ou de très petits nombres sans se tromper.

4. Pourquoi c'est mieux que l'ancienne méthode

Pas de travail manuel : Les anciennes méthodes exigeaient que des humains conçoivent manuellement des caractéristiques (comme « compter le nombre de boucles »). Ce modèle lit le texte brut directement, tout comme un humain lit un livre.
Meilleur classement : Le papier montre que si vous donnez à ce modèle 10 versions différentes du même code, il est très bon pour les trier du « plus rapide » au « plus lent » ou de la « mémoire la plus petite » à la « mémoire la plus grande ». C'est comme un juge qui peut regarder 10 coureurs et savoir instantanément qui va gagner, même sans chronomètre.
Coût : Les chercheurs ont constaté que l'utilisation de ce modèle est beaucoup moins chère que l'utilisation de robots de discussion IA à usage général gigantesques (comme GPT-5) pour deviner les chiffres. Les robots de discussion sont comme utiliser un marteau-pilon pour casser une noix ; ils sont coûteux et souvent faux. Ce modèle est un outil spécialisé et léger qui fait le travail pour quelques centimes.

Ce qu'ils ont réellement prouvé

Le papier a testé cela sur :

CodeNet : Un énorme ensemble de données contenant des millions d'extraits de code dans 37 langages différents. Le modèle a prédit avec succès l'utilisation de la mémoire pour tous.
APPS : Un ensemble de défis de programmation. Le modèle pouvait regarder une solution et prédire son utilisation de la mémoire avec une très grande précision (meilleure corrélation que 90 % avec la réalité).
Réseaux de neurones : Il a prédit la vitesse et la précision des conceptions d'IA mieux que les méthodes de pointe précédentes qui utilisaient des diagrammes de graphes complexes.

En Résumé :
Le papier affirme que nous n'avons pas besoin de construire des outils complexes et personnalisés pour prédire les performances du code. Au lieu de cela, nous pouvons traiter le code comme une histoire et les chiffres comme le mot suivant dans cette histoire. En entraînant une IA unique et unifiée pour faire cela, nous pouvons prédire la mémoire, la vitesse et la précision pour presque n'importe quel langage de programmation ou conception d'IA, simplement en lisant le texte. Cela transforme un problème mathématique difficile en un simple jeu de « quoi vient ensuite ? ».

Résumé Technique : Modèles de Langage pour la Régression de Code

Énoncé du Problème

L'article aborde le défi de la régression code-métrique : prédire des résultats numériques issus de l'exécution de code (tels que l'empreinte mémoire, la latence ou la précision) directement à partir du code source ou de représentations de graphes de calcul. Historiquement, cette tâche a été entravée par le caractère ouvert des langages de programmation et la dépendance à un ingénierie des caractéristiques lourde et spécifique au domaine. Les méthodes antérieures nécessitaient souvent de convertir le code en représentations de graphes rigides (par exemple, arbres de syntaxe, matrices d'adjacence) ou en vecteurs tabulaires via un comptage manuel de commandes, ce qui limitait la transférabilité vers de nouvelles tâches, langages ou types de noyaux. La difficulté centrale réside dans l'apprentissage de modèles de régression précis sur des données hautement non tabulaires et basées sur des graphes, sans perdre la flexibilité nécessaire pour généraliser à travers des domaines divers.

Méthodologie

Les auteurs proposent un Modèle de Langage de Régression (RLM), un cadre unifié qui traite la régression code-métrique comme un problème standard de prédiction du token suivant, s'alignant ainsi sur le paradigme moderne des Modèles de Langage à Grande Échelle (LLM).

Architecture et Entraînement

Encodeur-Décodeur Unifié : Le RLM utilise un encodeur figé (spécifiquement T5Gemma-S) pour traiter le texte d'entrée et un décodeur entraînable pour générer des sorties numériques. L'encodeur est préentraîné sur des données linguistiques standards, tandis que seul le décodeur subit la rétropropagation, réduisant considérablement les coûts d'entraînement.
Régression Texte-à-Texte : Contrairement aux approches traditionnelles qui mappent les entrées vers des vecteurs de longueur fixe, le RLM accepte des représentations textuelles brutes du code (par exemple, Python, C++, graphes ONNX) et génère des valeurs numériques sous forme de séquences de tokens.
Tokenisation Numérique Spécialisée : Pour gérer la large plage dynamique des métriques (de $10^{-2}$ à $10^6$ ) sans normalisation, le modèle utilise une tokenisation explicite chiffre par chiffre. Les nombres sont représentés à l'aide de tokens spéciaux pour le signe, l'exposant et la mantisse (par exemple, <+><-><1><7><2><5> pour $72.5$). Cela évite l'instabilité numérique et le besoin d'un ajustement spécifique au jeu de données.
Modélisation Multi-Objectif : En tirant parti de la nature autorégressive du décodeur, le modèle peut prédire conditionnellement plusieurs métriques de manière séquentielle (par exemple, $p(y_{latence} | y_{précision}, x)$ ), capturant les corrélations inhérentes entre des objectifs tels que la précision et la latence matérielle.

Sources de Données

Le modèle est entraîné sur un jeu de données diversifié et unifié comprenant :

Programmation de Haut Niveau : Code provenant de APPS (problèmes LeetCode), CodeNet (14 millions d'échantillons répartis sur 37 langages) et KernelBook (noyaux GPU Triton).
Recherche d'Architecture Neurale (NAS) : 520 000 architectures uniques issues de benchmarks tels que NASBench-101/201, FBNet et Once-for-All, représentées sous forme de représentations intermédiaires ONNX.

Contributions Clés

Modèle Unifié Polyvalent : L'article démontre qu'un seul RLM peut simultanément prédire l'utilisation mémoire à travers plusieurs langages (Python, C++, etc.), la latence des noyaux GPU et la précision/latence des réseaux de neurones, éliminant ainsi le besoin d'ingénierie des caractéristiques spécifique à la tâche.
Supériorité sur les Méthodes Basées sur les Graphes : Malgré la lecture de représentations textuelles ONNX denses, le RLM surpasse les bases de référence des Réseaux de Neurones à Graphes (GNN) les plus avancés sur les benchmarks NAS (par exemple, atteignant un Kendall-Tau de 0,46 sur des espaces de conception où les GNN dominaient précédemment).
Efficacité et Évolutivité : L'utilisation d'un encodeur figé permet un entraînement rentable. Les auteurs montrent qu'un modèle relativement petit de 300 millions de paramètres atteint des performances élevées, et l'extension à 600 millions de paramètres génère des gains supplémentaires.
Prédiction Sans Normalisation : La stratégie de tokenisation chiffre par chiffre permet au modèle de prédire des valeurs sur plusieurs ordres de grandeur sans normalisation manuelle, un avantage significatif par rapport aux têtes de régression basées sur l'erreur quadratique moyenne (MSE).

Résultats Expérimentaux

Performance sur le Code : Sur le jeu de données APPS, le RLM atteint une corrélation de rang de Spearman ( $\rho$ ) de 0,93 pour la prédiction de la mémoire. Sur CodeNet, il atteint un $\rho$ moyen > 0,5 sur 17 langages, le C++ atteignant 0,748.
Performance NAS : Le RLM atteint un Kendall-Tau moyen de 0,46 sur cinq espaces de conception NAS classiques, surpassant les méthodes SOTA précédentes comme FLANT et les encodeurs basés sur des GNN. Il prédit avec succès à la fois la précision et les latences spécifiques au matériel (par exemple, sur Pixel3, Eyeriss, CPU Intel, GPU Nvidia) simultanément.
Études d'Ablation :
- Encodeurs Figés : Les encodeurs préentraînés améliorent considérablement la convergence et les performances finales par rapport à l'initialisation aléatoire.
- Décodeur vs Têtes de Régression : La sortie basée sur le décodeur ( $\rho$ de Spearman 0,800) surpasse nettement les têtes de régression explicites (0,478 sans normalisation, 0,717 avec normalisation).
- Tokenisation : Les tokeniseurs personnalisés et compacts pour les graphes ONNX améliorent les performances (0,723 contre 0,533 avec les tokeniseurs par défaut).
- Apprentissage en Contexte (ICL) : Bien que l'ICL avec de grands modèles (par exemple, GPT-5) s'améliore avec davantage d'exemples, il reste constamment en dessous du RLM entraîné en poids et engendre des coûts d'inférence nettement plus élevés en raison des limitations de la fenêtre de contexte.

Importance et Revendications

L'article prétend ouvrir la voie à la simplification de la régression de graphes de calcul en un problème générique de prédiction du token suivant. En démontrant que les modèles de langage peuvent efficacement régresser sur des représentations textuelles pures de code et de graphes, ce travail suggère que le domaine peut s'éloigner d'une ingénierie des caractéristiques rigide et artisanale vers une approche plus flexible et unifiée.

Les auteurs positionnent cela comme un outil précieux pour :

Recherche de Programmes : Accélérer la sélection de solutions de code efficaces.
Conception Coordonnée Matériel-Logiciel : Prédire la latence sur des plateformes matérielles diverses.
Optimisation des Compilateurs : Estimer les métriques de performance pour les passes de compilation.

L'article reste modeste concernant les implications plus larges, notant que si la méthode montre des promesses pour prédire des résultats numériques à partir de code brut, étendre cela pour prédire les résultats d'expériences scientifiques entières reste une question ouverte pour les travaux futurs. La contribution principale est d'établir la capacité générale des modèles de langage à servir de régresseurs universels pour le code et les graphes de calcul sans post-traitement ni extraction de caractéristiques spécialisée.