RefEvo: Agentic Design with Co-Evolutionary Verification for Agile Reference Model Generation

1. Énoncé du problème

À mesure que la complexité des systèmes sur puce (SoC) augmente, la stratégie de « décalage vers la gauche » (shift-left) de l'industrie exige le développement rapide de modèles de référence haute fidélité (par exemple, en SystemC) pour l'exploration précoce de l'architecture et la vérification. Bien que les grands modèles de langage (LLM) montrent des promesses en matière de génération de code, leur application à la modélisation matérielle se heurte à trois obstacles critiques :

• Flux de travail rigides : Les processus de génération statiques et linéaires échouent à s'adapter aux complexités de conception variables, entraînant des inefficacités et des erreurs dans les logiques complexes.
• Oubli catastrophique : Les longues sessions d'interaction requises pour l'affinement itératif dépassent les fenêtres de contexte des LLM, amenant le modèle à perdre la trace des spécifications initiales critiques (par exemple, les cartes de registres, les protocoles).
• Échec de la validation couplée : Un problème critique de fiabilité où un LLM génère à la fois le dispositif sous test (DUT) et le banc de test (TB). Le TB est souvent involontairement adapté pour correspondre aux hallucinations du DUT, entraînant un « PASS » faux positif malgré un modèle défectueux. Les flux de vérification statiques actuels ne peuvent pas détecter cette hallucination partagée.

2. Méthodologie : Le cadre RefEvo

RefEvo est un cadre multi-agents dynamique conçu pour traiter la modélisation matérielle comme un processus co-évolutif plutôt que comme une tâche de génération statique. Il comprend trois innovations principales :

A. Planificateur de conception dynamique (Agent 1)

Au lieu d'un flux de travail fixe, un agent « Cerveau » analyse de manière autonome la complexité sémantique de la spécification de conception.

• Fonction : Il évalue la conception selon trois dimensions : Protocole d'interface (par exemple, AXI vs GPIO), Espace d'état (par exemple, complexité des machines à états finis) et Concurrence (par exemple, domaines multi-horloges).
• Sortie : Il génère un Plan d'exécution structuré (JSON) qui décompose les tâches et sélectionne la stratégie de routage appropriée, garantissant que la logique simple est traitée efficacement tandis que les systèmes complexes reçoivent des flux de travail adaptés.

B. Boucle de vérification symbiotique (Agents 2, 3 et 4)

Il s'agit du mécanisme central qui répond à l'« Échec de la validation couplée ». Il emploie un Arbitre dialectique pour superviser une relation symbiotique entre la génération et la vérification.

• Configuration à double générateur : L'Agent Modélisateur génère le modèle de référence SystemC, tandis que l'Agent Vérificateur construit le banc de test (TB) simultanément.
• Arbitrage dialectique : Un Agent Arbitre dédié agit comme autorité centrale, comparant les traces de simulation à l'Oracle de spécification immuable. Il résout les écarts via quatre chemins de routage :
  1. Réparation syntaxique : Corrige les erreurs de compilation.
  2. Affinement de la conception (Chemin Rouge) : Si le modèle viole la spécification, l'Arbitre dirige le Modélisateur pour corriger la logique.
  3. Réalignement du TB (Chemin Bleu) : Si le modèle correspond à la spécification mais que le TB échoue (indiquant une hallucination dans la logique de vérification), l'Arbitre dirige le Vérificateur pour corriger le TB. Ceci est le mécanisme clé pour briser les hallucinations partagées.
  4. Succès : Confirme l'équivalence fonctionnelle et produit le Modèle de référence (Golden Model).

C. Gestion du contexte d'ancrage des spécifications

Pour prévenir l'oubli catastrophique lors d'interactions à tours multiples :

• L'Ancre (Immuable) : La spécification de conception initiale est épinglée en haut de la fenêtre de contexte et n'est jamais évacuée, servant d'Oracle de vérité terrain.
• Le Résumé (Compressé) : Les tours d'interaction historiques sont résumés pour préserver la chaîne de raisonnement tout en économisant des jetons.
• L'Espace de travail (Dynamique) : Les derniers journaux d'erreurs et extraits de code y sont traités.
  Cette stratégie garantit un rappel à 100 % des contraintes critiques quelle que soit la durée de la session.

3. Contributions clés

1. Planification dynamique agile : Introduction d'un planificateur qui décompose de manière autonome les spécifications en fonction de la complexité sémantique, dépassant les flux de travail linéaires rigides.
2. Vérification co-évolutif : Un mécanisme dialectique novateur qui valide à la fois le modèle et le banc de test par rapport à un oracle de spécification, résolvant efficacement le problème de « l'échec de la validation couplée » où les flux statiques échouent.
3. Stratégie d'ancrage des spécifications : Une technique de compression de contexte qui garantit un rappel sans perte des spécifications, permettant un raisonnement à long horizon sans oubli catastrophique.
4. Évaluation comparative complète : Évaluation sur 20 modules matériels divers (de la logique simple aux protocoles complexes comme AXI DMA et FFT) utilisant cinq LLMs de pointe.

4. Résultats expérimentaux

RefEvo a été évalué par rapport à quatre bases de référence (Naïf, Flux uniquement, FixedTB et RefEvo) sur cinq LLMs (incluant Gemini-2.5-Pro, GPT-5.1 et Claude-Opus-4.1).

• Taux de réussite : RefEvo a atteint un taux de réussite de 95 % sur la référence, surpassant significativement les bases statiques (qui variaient de 0 % à 35 %). Notamment, il a résolu des modules complexes (par exemple, fpu_div, keccak) qui échouaient systématiquement en mode de base.
• Étude d'ablation :
  • Le passage de « Flux uniquement » à « FixedTB » a éliminé les erreurs de syntaxe mais a laissé subsister des échecs fonctionnels.
  • L'activation de la « Co-évolution » (RefEvo) a considérablement réduit les échecs fonctionnels, prouvant que de nombreuses erreurs étaient dues à une logique de vérification incorrecte (hallucinations du TB) plutôt qu'à des modèles défectueux.
• Efficacité : La stratégie d'ancrage des spécifications a réduit la consommation de jetons d'une moyenne de 71,04 %. Pour les conceptions complexes, cela a entraîné des économies absolues de plus de 73 900 jetons par session tout en maintenant un rappel de spécification à 100 %.
• Robustesse : Le cadre a démontré des améliorations indépendantes du modèle, augmentant constamment les taux de réussite sur tous les LLMs testés, quelles que soient leurs capacités de base.

5. Signification

RefEvo représente un changement de paradigme dans l'assistance des LLMs à la conception assistée par ordinateur (EDA). En passant de la génération de code statique à un système d'agents dynamique et co-évolutif, il répond aux problèmes fondamentaux de fiabilité de la modélisation matérielle.

• Fiabilité : Il résout le problème de validation « sycophante » où les LLMs valident leurs propres hallucinations, garantissant que les modèles de référence générés sont véritablement « de référence » (golden).
• Évolutivité : La stratégie de gestion du contexte rend la modélisation haute fidélité réalisable pour des SoC complexes sans engendrer de coûts de jetons prohibitifs.
• Impact : Le cadre ouvre la voie à une vérification de SoC entièrement automatisée et haute fidélité, permettant des flux de travail de co-conception matériel-logiciel plus efficaces à l'ère du « décalage vers la gauche ».