🤖 machine learning

Convergence Theory for Iterative LLM-Based Neural Architecture Search: A Parametric Cross-Entropy Framework with Closed-Form Proxy Reliability

Ce papier établit la première théorie de convergence formelle pour la recherche d'architecture neuronale itérative basée sur les LLM en la modélisant comme une méthode d'entropie croisée paramétrique, démontrant une amélioration monotone de la qualité et une convergence géométrique tout en dérivant une métrique de fiabilité de proxy sous forme fermée qui explique les plafonds de performance empiriques.

Auteurs originaux : Santosh Premi Adhikari, Radu Timofte, Dmitry Ignatov

Publié 2026-05-29

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Santosh Premi Adhikari, Radu Timofte, Dmitry Ignatov

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un chef robot très intelligent, mais légèrement maladroit, comment inventer la nouvelle recette parfaite. Vous ne donnez pas de livre de cuisine au chef ; au lieu de cela, vous laissez le chef essayer d'écrire des recettes à partir de zéro, les goûter, puis apprendre à partir de celles qui ont le meilleur goût. C'est essentiellement ce que l'article appelle la Recherche d'Architecture Neurale (NAS) utilisant les Grands Modèles de Langage (LLM).

Cependant, jusqu'à présent, personne n'avait de preuve mathématique garantissant que cette boucle « essayer, goûter et apprendre » s'améliorerait réellement au fil du temps, ou pourquoi certains astuces (comme écrire uniquement les modifications d'une recette plutôt que l'ensemble) fonctionnaient si bien.

Cet article fournit les mathématiques manquantes. Voici la décomposition de leurs découvertes à l'aide d'analogies simples :

1. L'idée centrale : Le club des « Chefs d'élite »

Les auteurs ont réalisé que le processus par lequel une IA génère du code, le teste, puis se réentraîne sur les meilleurs résultats est mathématiquement identique à une célèbre stratégie d'optimisation appelée la Méthode de la Croix-Entropie.

L'analogie : Imaginez un concours de cuisine. Chaque semaine, 100 chefs soumettent des plats. Vous les goûtez, choisissez les 10 meilleurs, puis dites à la prochaine génération de chefs : « Cuisinez uniquement comme ces 10 personnes. »
L'affirmation de l'article : Ils ont prouvé que lorsqu'une IA fait cela (se fine-tune sur son propre meilleur code), elle est mathématiquement garantie de se diriger dans la bonne direction. La qualité moyenne des « plats » (architectures d'IA) ne se détériorera jamais ; elle restera soit la même, soit s'améliorera.

2. L'astuce du « Delta » : Éditer plutôt que réécrire

Des recherches antérieures ont montré que si l'IA écrit une nouvelle recette à partir de zéro à chaque fois, elle échoue souvent (le code plante). Mais si l'IA écrit uniquement les changements (deltas) d'une bonne recette existante, elle réussit beaucoup plus souvent.

L'analogie : Imaginez écrire un roman de 50 pages. Si vous devez réécrire tout le livre à chaque fois que vous voulez corriger une faute de frappe, vous risquez de faire une nouvelle erreur ailleurs. Mais si vous écrivez simplement un post-it disant « Changez page 3, ligne 5 », il est beaucoup plus difficile de tout gâcher.
L'affirmation de l'article : Ils ont modélisé les erreurs de l'IA comme une réaction en chaîne (comme une faute de frappe provoquant une autre faute de frappe). Ils ont prouvé mathématiquement que, comme les « deltas » sont plus courts, la probabilité que tout le système plante est considérablement plus faible. Leur mathématique prédisait un taux de réussite plus que doublé, et bien que le test réel ait été légèrement inférieur, il a confirmé la tendance : les éditions plus courtes sont plus sûres.

3. Prévenir la « pensée de groupe » (Effondrement des modes)

Un problème courant en IA est qu'elle se coince dans une boucle, générant exactement la même « bonne » solution encore et encore, manquant ainsi d'autres possibilités excellentes. Cela s'appelle l'« effondrement des modes ».

L'analogie : Imaginez un club de lecture qui ne lit que les mêmes trois livres parce qu'ils sont les « meilleurs ». Ils cessent de découvrir de nouvelles histoires.
L'affirmation de l'article : Les chercheurs ont utilisé un « Filtre de Nouveauté » (une vérification mathématique pour voir si une nouvelle recette est vraiment différente des anciennes). Ils ont prouvé que tant que ce filtre est actif, l'IA ne peut pas se coincer dans une boucle. Elle est mathématiquement contrainte de continuer à explorer de nouvelles idées uniques, l'empêchant de devenir un disque rayé.

4. Le problème de la « Oreille bruyante » (Fiabilité du proxy)

Dans ce processus, l'IA n'attend pas un test de goût complet et parfait (qui prend des jours). Elle utilise un test de goût « proxy » (un goût rapide de 1 minute) pour deviner si une recette est bonne. Le problème est que ce goût rapide peut être erroné à cause du bruit.

L'analogie : Imaginez essayer de juger le talent d'un chanteur en écoutant un extrait de 5 secondes sur un mauvais téléphone. Si le chanteur est incroyable, l'extrait de 5 secondes sonne généralement bien. Mais si le téléphone est très bruyant, vous pourriez penser qu'un mauvais chanteur est bon, ou qu'un bon chanteur est mauvais.
L'affirmation de l'article : Ils ont créé une formule pour calculer exactement combien de « bruit » contient votre test rapide. Ils ont trouvé un « effet de plafond » : si le test rapide est trop bruyant par rapport à la qualité réelle des recettes, l'IA cesse d'apprendre efficacement.
- Résultat réel : Ils ont testé trois modèles d'IA différents (Mistral, Qwen, DeepSeek). Les mathématiques prédisaient que Mistral serait le plus fiable car son « signal » (bonnes recettes) était beaucoup plus fort que le « bruit ». Les expériences ont confirmé cela : les tests rapides de Mistral correspondaient parfaitement aux tests longs, tandis que les autres étaient trop bruyants pour être fiables.

5. La réalité du « Plafond »

L'article admet que, bien que les mathématiques disent que l'IA devrait éventuellement trouver la solution parfaite, dans le monde réel, elle atteint un « plafond ».

L'analogie : Imaginez que l'IA grimpe une montagne. Les mathématiques disent qu'elle devrait atteindre le sommet. Mais parce que l'IA utilise une méthode d'entraînement spécifique et légère (appelée LoRA), c'est comme grimper avec un lourd sac à dos. Elle monte très haut (environ 73 à 76 % du chemin), mais elle ne peut pas tout à fait atteindre le tout sommet.
L'affirmation de l'article : Ils expliquent pourquoi l'IA cesse de s'améliorer après un certain temps. Ce n'est pas cassé ; c'est simplement que le « sac à dos » (la méthode d'entraînement légère) limite la hauteur à laquelle elle peut grimper.

Résumé

Cet article est le « code de règles » pour une nouvelle façon d'utiliser l'IA pour concevoir d'autres IA. Il prouve que :

Le processus s'améliore toujours (ou reste stable).
Éditer le code est plus sûr que le réécrire.
Vérifier la nouveauté empêche l'IA de s'ennuyer et de se répéter.
Il existe une limite mathématique à la confiance que l'on peut accorder à un test rapide, et ils ont trouvé comment la mesurer.

Ils ont testé ces règles contre de véritables expériences, et bien que les chiffres n'aient pas toujours correspondu parfaitement (en raison du désordre du monde réel), la direction des résultats était exactement ce que leurs mathématiques prévoyaient.

Résumé technique : Théorie de la convergence pour la recherche d'architecture neuronale itérative basée sur les LLM

1. Énoncé du problème

La recherche d'architecture neuronale (NAS) a récemment évolué des espaces de recherche prédéfinis vers l'utilisation de modèles de langage de grande taille (LLM) en tant que générateurs ouverts de programmes exécutables torch.nn.Module. Bien que des études empiriques (par exemple, Khalid et al., Adhikari et al.) démontrent que l'affinement itératif d'un LLM sur ses propres générations réussies améliore à la fois la fiabilité de la génération et la qualité de l'architecture, aucune théorie formelle de convergence n'existe pour cette classe d'algorithmes.

Les lacunes théoriques clés abordées incluent :

L'affinement itératif d'un LLM améliore-t-il de manière prouvée la qualité de l'architecture ?
Dans quelles conditions le processus converge-t-il ?
Pourquoi la « génération de deltas » (génération de diffs unifiés) atteint-elle des taux de génération valides plus élevés que la génération de code complet ?
Quel est le rôle théorique du filtrage de la nouveauté dans la prévention des solutions dégénérées (effondrement de mode) ?
Comment peut-on quantifier la fiabilité des classements basés sur des proxies (utilisant des epochs d'entraînement courts) ?

2. Méthodologie et cadre mathématique

Les auteurs modélisent la NAS-LLM itérative comme une méthode de Cross-Entropy (CE) paramétrique sur des programmes exécutables. Le cadre établit un lien formel entre le processus d'affinement du LLM et l'algorithme d'optimisation CE bien étudié.

Définitions fondamentales

Espace d'architectures ( $\mathcal{A}$ ) : L'ensemble des programmes Python syntaxiquement valides et exécutables définissant un torch.nn.Module.
Fonction de qualité ( $q$ ) : Associe une architecture à sa précision de validation au premier epoch sur un jeu de données fixe.
Ensemble d'élite ( $E_\tau$ ) : Architectures où $q(a) \geq \tau$ .
Processus itératif :
1. Générer : Échantillonner $N$ candidats à partir de la distribution actuelle du LLM $p_{\theta_t}$ .
2. Évaluer et filtrer : Sélectionner les architectures d'élite qui passent un filtre de nouveauté MinHash–Jaccard.
3. Mettre à jour : Affiner les paramètres $\theta$ du LLM en utilisant l'union de l'ensemble d'élite et du corpus statique (minimisation de la perte de cross-entropy).

Hypothèses théoriques

Les preuves reposent sur des hypothèses spécifiques, notamment :

Régularité : Qualité bornée, masse initiale positive des architectures d'élite, et estimation cohérente à mesure que la taille de l'échantillon augmente.
Projection monotone de la qualité : La projection CE sur la famille paramétrique (LLM) préserve ou améliore la qualité moyenne de la distribution.
Modèle d'erreur de token : Un modèle de chaîne de Markov d'ordre un pour les erreurs de tokens (remplaçant l'hypothèse de tokens indépendants) pour analyser la génération de deltas par rapport à la génération de code complet.
Fiabilité du proxy : Suppose une distribution normale bivariée entre les précisions du proxy (entraînement court) et de l'entraînement complet.

3. Contributions clés et résultats théoriques

L'article prouve six résultats principaux :

A. Équivalence à la CE paramétrique (Théorème 1)

L'affinement itératif d'un LLM sur des architectures d'élite est mathématiquement équivalent à la mise à jour Cross-Entropy restreinte à la famille paramétrique du LLM. L'étape d'affinement minimise la divergence de Kullback–Leibler (KL) entre la distribution empirique des échantillons d'élite et la distribution de génération du LLM.

B. Amélioration monotone de la qualité (Théorème 2)

Sous les hypothèses énoncées, la qualité d'architecture attendue ( $Q_t$ ) est monotone non décroissante au cours des cycles, jusqu'à un terme d'erreur d'estimation d'échantillon fini $\epsilon_t = O(N^{-1/2})$ .

C. Convergence vers un point fixe (Théorème 3 et Corollaire 4)

La probabilité de générer une architecture d'élite ( $C_t$ ) converge vers un point fixe $C^*$ à un taux géométrique : $C_t \geq 1 - (1 - \rho_0)^t$ .
Contrainte LoRA : Si le LLM est adapté via LoRA (Low-Rank Adaptation), l'expressivité de la famille paramétrique est restreinte. Par conséquent, le processus converge vers un plateau $C^* \leq 1$ plutôt que vers 1, expliquant les observations empiriques de plafonds de performance.

D. Avantage de la génération de deltas (Théorème 5 et Corollaire 6)

En utilisant un modèle d'erreur de token de Markov d'ordre un, les auteurs prouvent que la génération de deltas (génération de diffs) atteint un taux de génération valide strictement supérieur à celui de la génération de code complet.

Le rapport des taux valides dépend du facteur de réduction de la longueur de sortie $\alpha$ (où $L_\delta = \alpha L_{full}$ ).
La théorie prédit un rapport $> 1$ , avec une prédiction calibrée d'environ $2,23$ sous des paramètres spécifiques, bien que les résultats empiriques aient montré un rapport de $1,41$ (confirmant la direction mais sous-estimant l'ampleur en raison de corrélations à long terme non modélisées).

E. Prévention de l'effondrement de mode (Théorème 7)

L'application d'un filtre de nouveauté MinHash–Jaccard garantit que le corpus reste « séparé ». Théoriquement, cela empêche le LLM de s'effondrer vers une seule architecture (effondrement de mode), maintenant une entropie non nulle dans la distribution de génération.

F. Fiabilité du proxy sous forme fermée (Théorème 8)

L'article établit une relation sous forme fermée entre le rapport signal sur bruit (SNR) de la tâche proxy et la corrélation de rang de Spearman ( $\rho_S$ ) entre les classements proxy et d'entraînement complet :
$\rho_S = \frac{6}{\pi} \arcsin\left(\frac{\rho_P(SNR)}{2}\right)$
où $\rho_P(SNR) = (1 + SNR^{-1})^{-1/2}$ .

Diagnostic : Une condition nécessaire pour des classements basés sur des proxies fiables est $\sigma^2_{arch} \gg \sigma^2_{noise}$ (variance architecturale élevée par rapport au bruit).
Effet de plafond : La théorie explique pourquoi la fiabilité du proxy plafonne lorsque le SNR est faible (par exemple, dans des jeux de données avec une faible diversité architecturale).

4. Validation empirique

Les auteurs ont testé ces théories contre une expérience de 22 cycles impliquant trois LLM (Mistral, Qwen, DeepSeek) et 3 300 architectures générées.

Prédictions quantitatives cohérentes :
- Qualité monotone : La tendance moyenne lissée de la qualité était non décroissante pour tous les modèles.
- Nouveauté : Des architectures nouvelles ont été admises à chaque cycle, empêchant l'effondrement de mode.
Cohérence de la direction de l'effet :
- Concentration d'élite : La concentration $C_t$ a plafonné entre 73 % et 76 %, cohérent avec le plafond d'expressivité LoRA (convergence vers $C^* < 1$ ).
- Fiabilité du proxy : L'ordre des corrélations de Spearman (Mistral > Qwen > DeepSeek) correspondait parfaitement au classement SNR. DeepSeek a montré une corrélation non significative, cohérente avec les prédictions de faible SNR.
Déviations :
- Rapport de taux de deltas : Le rapport observé (1,41) était inférieur à la prédiction théorique calibrée (2,23), attribué à des diffs non valides syntaxiquement et à des corrélations au-delà du modèle de Markov d'ordre un.
- Corrélation Qwen : La corrélation de Spearman observée (0,635) a dépassé la prédiction normale bivariée (0,10) en raison du tronquage du plafond de précision, une limitation notée par les auteurs.

5. Signification et revendications

L'article revendique fournir les premières garanties formelles de convergence pour la NAS itérative basée sur les LLM. Sa signification réside dans :

Unification théorique : Identifier la NAS-LLM comme une méthode CE paramétrique, permettant l'application de la théorie de convergence de l'optimisation établie.
Explication des phénomènes empiriques : Fournir une justification mathématique de pourquoi la génération de deltas fonctionne mieux et pourquoi des plafonds de performance se produisent avec LoRA.
Outil de diagnostic : Offrir une formule sous forme fermée pour diagnostiquer la fiabilité des classements d'architectures basés sur des proxies en fonction du SNR, expliquant des « effets de plafond » précédemment observés mais inexpliqués.

Les auteurs restent modestes, notant que leur validation empirique repose sur un seul jeu de données existant et que les bornes théoriques pour les modèles adaptés par LoRA (convergence vers $C^* < 1$ ) sont conditionnelles à des hypothèses d'expressivité difficiles à vérifier analytiquement. Des travaux futurs sont identifiés comme l'extension des taux de convergence aux contraintes de rang faible et la gestion des supports de précision tronqués.