💻 computer science

Verified Self-Improving Learning of Large Language Models for Multi-Objective Point-Spec Circuit Design

Cet article présente \methodfull, un cadre d'auto-amélioration piloté par la simulation qui génère, vérifie et répare de manière itérative des filets de circuits (netlists) en utilisant l'optimisation des préférences vérifiées par Pareto et l'optimisation de politique proximale sûre afin d'atteindre une conception de circuits à points de spécification multi-objectifs de haute précision à travers diverses familles analogiques.

Auteurs originaux : Juzheng Zhang, Kehao Zhang, Jinwen Liu, Yangfan Tang, Lijuan Li, Hongliang Liu, You Chen

Publié 2026-06-24

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Juzheng Zhang, Kehao Zhang, Jinwen Liu, Yangfan Tang, Lijuan Li, Hongliang Liu, You Chen

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un apprenti brillant mais inexpérimenté comment concevoir des circuits électroniques complexes (comme les convertisseurs de puissance dans votre chargeur de téléphone ou les amplificateurs dans une enceinte). L'objectif n'est pas seulement de faire fonctionner n'importe quel circuit ; l'objectif est d'atteindre une cible très précise (par exemple, "exactement 5 volts en sortie") tout en respectant des règles d'ingénierie strictes (comme "ne pas surchauffer" et "être efficace").

Ce document présente une nouvelle méthode d'entraînement appelée MO-SIMI (Multi-Objective Self-Improving Model Iteration) qui utilise un Grand Modèle de Langage (LLM) comme cet apprenti. Voici comment cela fonctionne, décomposé en concepts simples :

1. Le Problème : Le piège du "Devine et Vérifie"

Traditionnellement, concevoir ces circuits revient à essayer de trouver une aiguille dans une botte de foin en jetant des aiguilles au hasard contre un mur.

Les anciennes méthodes d'IA étaient comme un étudiant qui lit un manuel (données d'entraînement) puis devine la réponse. Ils saisissent souvent l'idée générale mais échouent à atteindre les chiffres exacts requis.
D'autres méthodes d'IA tentent de modifier la réponse après l'avoir devinée, mais elles cassent souvent le circuit dans le processus ou restent bloquées dans une boucle de changements mineurs et inutiles.

2. La Solution : Un système "Coach, Simulateur et Filet de Sécurité"

Les auteurs ont créé une boucle d'entraînement qui agit comme une séance de coaching rigoureuse avec trois phases distinctes :

Phase A : Le Laboratoire de Simulation (Le "Test de Conduite")

L'IA génère un design de circuit (un "netlist", qui est simplement une recette pour connecter des composants électroniques). Au lieu de simplement espérer que cela fonctionne, le système le fait passer immédiatement à travers un simulateur de circuit (un test de conduite numérique).

Le Résultat : Le simulateur dit : "Réussi", "Échec" ou "Presque".
Le Twist : Si le design est presque correct (par exemple, il délivre 4,9V au lieu de 5,0V), le système ne le jette pas. Il applique une "Réparation Restreinte". Considérez cela comme un mécanicien qui n'est autorisé à tourner que quelques boutons spécifiques (comme ajuster la valeur d'une résistance) mais qui a l'interdiction de changer le type de moteur ou la disposition du câblage. Si le réglage des boutons corrige le problème, le "presque" devient un "réussi".

Phase B : Le Coach de Préférence (Apprendre des Gagnants)

Une fois qu'un lot de designs est constitué, le système les compare.

Il ne regarde pas seulement le "meilleur". Il utilise une méthode appelée Classement de Pareto. Imaginez une course où vous vous souciez à la fois de la vitesse et de l'efficacité énergétique. Une voiture légèrement plus lente mais beaucoup plus économe peut être meilleure qu'une voiture rapide et gourmande en carburant.
Le système crée des "paires de préférence" : "Ce design est meilleur que celui-là parce qu'il a atteint la cible et qu'il était plus efficace."
L'IA est ensuite réentraînée sur ces comparaisons, apprenant à préférer le style de conception "gagnant" par rapport au style "perdant". C'est l'étape PVPO.

Phase C : Le Filet de Sécurité (Le bouton "Annuler")

C'est l'innovation la plus critique. L'IA essaie d'apprendre de ces préférences et de se mettre à jour. Mais, et si cette mise à jour rend l'IA moins bonne ?

Dans de nombreux systèmes d'IA, une mauvaise mise à jour s'installe, et le modèle oublie ce qu'il savait.
MO-SIMI utilise un "Gardien". Après que l'IA a tenté de se mettre à jour, le système la teste à nouveau. Si la nouvelle version ne respecte pas les normes (ou si le "taux de réussite" chute), le système appuie sur le bouton Rollback (Retour en arrière). Il rejette la nouvelle mise à jour et revient à la version précédente, qui était sûre.
Cela garantit que l'IA ne s'améliore jamais en pire. Elle ne progresse que par étapes, chaque changement étant vérifié comme étant une amélioration.

3. Les Résultats : De "Peut-être" à "Maître"

Le papier a testé cela sur trois types de circuits :

Convertisseurs DC-DC (Convertisseurs de puissance, comme dans les chargeurs).
Amplificateurs (Pour booster les signaux).
Oscillateurs (Pour générer des ondes).

Les Réalisations :

Haute Précision : Sur les tâches de convertisseurs de puissance, le système a atteint les spécifications cibles exactes 97,8 % du temps.
Complexité : Il a réussi à concevoir des circuits avec plus de 20 composants (ce qui est considéré comme très complexe pour une IA).
Polyvalence : Une fois qu'ils ont appris au système à concevoir des convertisseurs de puissance, ils ont simplement changé le "livre de règles" (le vérificateur) et le même système a pu concevoir des amplificateurs et des oscillateurs avec un succès similaire.

L'Analogie de la Vue d'Ensemble

Imaginez un chef essayant de cuisiner un gâteau qui doit avoir le goût exactement d'une recette spécifique, en utilisant uniquement des ingrédients précis.

Vieille IA : Le chef lit la recette, devine les quantités, cuit le gâteau, et si c'est légèrement décalé, il recommence simplement depuis le début.
MO-SIMI :
1. Le chef cuit un gâteau.
2. Un goûteur (Simulateur) dit : "C'est réussi à 90 %, mais trop sucré."
3. Une règle de "Réparation Restreinte" dit : "Vous pouvez seulement ajouter une pincée de sel, vous ne pouvez pas changer la farine." Le chef ajoute du sel, et c'est parfait.
4. Il compare ce gâteau parfait à un mauvais gâteau et comprend pourquoi le premier était meilleur.
5. Avant que le chef ne tente une nouvelle technique, un "Gestionnaire de Sécurité" vérifie : "Cette nouvelle technique a-t-elle ruiné votre capacité à faire le gâteau parfait ?" Si oui, le chef revient à l'ancienne technique. Si non, il garde la nouvelle.

Conclusion :
Le papier affirme qu'en combinant la vérification par simulation, les réparations intelligentes, l'apprentissage par préférence et le retour en arrière sécurisé, ils ont créé une IA capable de concevoir des circuits électroniques complexes et de haute précision de manière fiable sans intervention humaine, et elle s'améliore à chaque tentative.

Résumé Technique : Apprentissage auto-amélioré vérifié des grands modèles de langage pour la conception de circuits à spécifications de points multiples

Énoncé du problème
La conception de la topologie des circuits analogiques reste un goulot d'étride dans l'automatisation de la conception électronique (EDA) en raison de l'expansion exponentielle de l'espace de conception et de la rareté des solutions satisfaisant des exigences fonctionnelles strictes parallèlement à de multiples contraintes de performance. Bien que les grands modèles de langage (LLM) aient été appliqués à la conception de circuits, les approches existantes présentent des limitations significatives :

Les méthodes sans entraînement (ex. : ingénierie de prompt avec des outils externes) peinent à atteindre de manière stable des spécifications de points strictes sous de multiples contraintes fortes.
Les méthodes basées sur l'entraînement manquent souvent de scalabilité (limitées à de petits circuits avec <10 composants), échouent à se généraliser à travers diverses familles de circuits et manquent de mécanismes d'optimisation multi-objectifs fins pour des cibles de points spécifiques.
Les lacunes actuelles incluent une modélisation insuffisante des spécifications de points et un manque de mécanismes pour améliorer de manière itérative les capacités de génération à l'aide de données de simulation vérifiées.

Méthodologie : MO-SIMI
Le papier propose le Multi-Objective Self-Improving Model Iteration (MO-SIMI), un cadre piloté par la simulation conçu pour affiner de manière itérative la capacité d'un LLM à générer des filets (netlists) de circuits à spécifications de points. Le cadre opère sur un modèle de réglage fin supervisé (SFT) et procède via une boucle d'entraînement unifiée et protégée :

Initialisation : Un modèle de référence initial ( $\pi_0$ ) est obtenu via un réglage fin supervisé sur un corpus curaté de netlists INC DSL dérivées de données de régression open-source Xyce.
Échantillonnage validé par simulation : Pour une tâche donnée, le modèle génère des candidats de netlists qui sont évalués par un vérificateur unifié basé sur NGSpice. Cela produit des décisions binaires (OK, AR, CE) et des métriques continues.
Réparation restreinte : Pour maximiser l'utilité des candidats proches de la cible, le cadre applique un opérateur de « réparation restreinte » aux échecs simulables qui manquent de peu les objectifs. Cet opérateur ajuste uniquement des boutons numériques prédéfinis (ex. : valeurs R/L/C passives ou rapports cycliques) dans un champ fixe, laissant la topologie et les types de composants inchangés. Les réparations réussies convertissent les échecs en positifs vérifiés.
Construction de préférences (PVPO) : Au sein de chaque groupe de tâches, les candidats réussis sont classés selon la dominance de Pareto et la distance de crowding NSGA-II. Le cadre construit des paires de préférences $(x^+, x^-)$ où $x^+$ est le meilleur candidat vérifié et $x^-$ est un candidat plus faible ou un échec réparé. Ces paires entraînent le modèle via l'Optimisation de Préférence Vérifiée par Pareto (PVPO), qui distille les préférences multi-objectifs à partir des résultats du simulateur.
Apprentissage par renforcement sûr (Safe-PPO) : Le modèle subit une Optimisation de Politique Proximale (PPO) avec un mécanisme de « retour en arrière de garde » (guard rollback). Un pool de tâches difficiles est maintenu pour les tâches ayant de faibles taux d'atteinte récents afin de concentrer le budget de simulation. Crucialement, toute mise à jour de politique n'est acceptée que si elle passe un test d'acceptation sur un ensemble de garde fixe ; sinon, le modèle est ramené à la version précédente la plus performante. Cela garantit une amélioration monotone de l'atteinte des objectifs et des contraintes d'ingénierie.

Contributions clés

Auto-évolution vérifiée : Le papier introduit un paradigme d'entraînement où le modèle s'améliore via ses propres tentatives de conception vérifiées. En étendant les preuves positives par la réparation restreinte et en extrayant la supervision de l'ordonnancement multi-objectif local aux tâches, le système crée une boucle d'auto-évolution pour la conception analogique à points de spécification clairsemés.
Génération à l'échelle de l'ingénierie : Le cadre génère avec succès des convertisseurs DC–DC multi-modules stables avec plus de 20 composants, une échelle nettement supérieure aux méthodes précédentes basées sur l'entraînement (qui traitent généralement <10 composants).
Transférabilité entre familles : Le flux de travail est démontré comme capable de se transférer à travers des familles de circuits distinctes (DC–DC, amplificateurs et oscillateurs) en remplaçant uniquement les définitions de tâches et les vérificateurs, maintenant des performances solides sans changement architectural.

Résultats expérimentaux
Évalué sur un benchmark Grid77 pour les convertisseurs DC–DC (tolérance de 1 %) et des tâches pour les amplificateurs et les oscillateurs (tolérance de 5 %), MO-SIMI a obtenu les résultats suivants :

Performance DC–DC : A atteint un Taux d'Atteinte (AR) de 0,9779 et un Taux de Réussite des Contraintes d'Ingénierie (CE) de 0,8247. Le modèle a maintenu un taux de validité de simulation (OK) de 1,0000.
Capacité Multi-Objectif : Le système a généré avec succès des circuits multi-modules complexes (conversion de tension + filtrage + amortissement) tout en satisfaisant plusieurs contraintes simultanées (efficacité, ondulation, dépassement).
Études d'ablation : Supprimer le classement de Pareto a réduit l'AR à 0,5442, et supprimer le bootstrap par réparation a réduit l'AR à 0,6000, confirmant que la combinaison du classement de préférence fin et de la réparation est essentielle pour la performance finale.
Stabilité : Le Safe-PPO avec mécanisme de retour en arrière a assuré que le Taux d'Atteinte sur l'ensemble d'acceptation restait monotone tout au long de l'entraînement, empêchant la dégradation des performances due à des mises à jour instables.

Signification
Le papier affirme que MO-SIMI fournit une recette réutilisable pour porter l'auto-amélioration validée par simulation à diverses familles de circuits. En intégrant la réparation restreinte, l'apprentissage de préférence basé sur Pareto et l'apprentissage par renforcement protégé par acceptation, le cadre répond à la lacune critique de la génération de circuits analogiques de haute qualité à plusieurs composants répondant à des spécifications de points strictes. Ce travail démontre que les boucles d'auto-amélioration vérifiées peuvent surmonter les limites des assistants basés sur le prompt et de l'optimisation traditionnelle par recherche dans le contexte de la conception analogique complexe.