🤖 AI

From Mirage to Grounding: Towards Reliable Multimodal Circuit-to-Verilog Code Generation

Ce papier expose un phénomène critique de « mirage » où les modèles multimodaux contournent les schémas de circuits visuels pour générer du code uniquement à partir d'identifiants textuels, et introduit VeriGround, un modèle de 4 milliards de paramètres entraîné avec anonymisation et alignement des préférences afin d'atteindre une génération fiable et véritablement ancrée de circuits vers Verilog.

Auteurs originaux : Guang Yang, Xing Hu, Xiang Chen, Xin Xia

Publié 2026-05-06

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Guang Yang, Xing Hu, Xiang Chen, Xin Xia

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : L'Effet « Mirage »

Imaginez que vous passez un examen où vous devez dessiner une carte d'une ville à partir d'une photo de cette ville. Cependant, les instructions de l'examen incluent également une liste de noms de rues (comme « Rue Principale » et « Avenue Chêne »).

Les chercheurs ont découvert que de nombreux modèles d'IA trichent. Au lieu d'examiner réellement la photo de la ville pour déterminer où vont les routes, l'IA lit la liste des noms de rues et récite simplement une carte mémorisée qu'elle connaît déjà.

Le Phénomène « Mirage » :
Les auteurs appellent cela un Mirage. C'est comme voir de l'eau dans le désert alors qu'il n'y en a pas vraiment.

Le Test : Ils ont montré à l'IA un vrai diagramme de circuit (la photo) et lui ont demandé d'écrire le code (la carte).
La Astuce : Ils ont ensuite remplacé la vraie photo par une image blanche vide, mais ont gardé la liste des noms de rues (l'en-tête du module) exactement identique.
Le Résultat : Étonnamment, l'IA a performé aussi bien, voire parfois mieux, avec l'image vide !

Cela prouve que l'IA ne « voyait » pas réellement le circuit. Elle ignorait complètement l'image et devinait simplement le code en se basant sur les noms des composants. Si les noms étaient « Somme » et « Report », l'IA savait qu'elle devait construire un « Demi-additionneur » sans jamais regarder les fils du diagramme.

Pourquoi Cela Compte : Le Piège du Silicium

Pourquoi cela importe-t-il ? Le papier compare cela à la construction d'une maison.

Code Normal : Si un concepteur web fait une erreur, le site web a l'air moche. Vous pouvez le corriger facilement.
Code de Circuit : Si une IA fait une erreur dans un diagramme de circuit, ce code est gravé sur une puce physique (silicium). Une fois la puce fabriquée, vous ne pouvez pas « Ctrl+Z » l'erreur. C'est comme couler le béton d'une fondation et réaliser que la porte est du mauvais côté. Vous devez démolir tout le bâtiment.

Si l'IA hallucine (invente des choses) en se basant sur des indices textuels plutôt que sur la réalité visuelle, elle pourrait créer des puces qui semblent parfaites sur papier mais qui échouent dans le monde réel.

La Solution : Le Test « Amnésie » et une Nouvelle IA

Pour résoudre ce problème, les chercheurs ont construit deux choses : un nouveau test et un nouveau modèle d'IA appelé VeriGround.

1. Le Nouveau Test : « C2VEVAL » (Le Test d'Amnésie)

Ils ont créé une référence où ils ont « anonymisé » le test.

Mode Normal : L'IA voit le diagramme et les noms (par exemple, « Horloge », « Réinitialisation »).
Mode Anonymisé : Ils ont remplacé tous les noms par des espaces réservés génériques comme « Val_0 », « Val_1 » et « Val_2 ».
L'Objectif : Si l'IA comprend vraiment l'image, elle devrait toujours fonctionner avec les noms génériques. Si elle trichait simplement avec les noms, elle devrait échouer.

Le Résultat : Lorsqu'ils ont supprimé les noms, les performances de la plupart des grands modèles d'IA se sont effondrées. Cela a confirmé que le « Mirage » était réel. Seulement environ 8 à 9 % du temps, les modèles regardaient réellement l'image.

2. La Nouvelle IA : « VeriGround » (L'Étudiant Honnête)

Les chercheurs ont entraîné une nouvelle IA, plus petite (seulement 4 milliards de paramètres, ce qui est minuscule comparé à des géants comme GPT-5), pour arrêter de tricher. Ils ont utilisé trois astuces d'entraînement spécifiques :

Astuce A : L'Entraînement « Bandeau » (Anonymisation) : Ils ont forcé l'IA à apprendre à partir de données anonymisées. Comme elle ne pouvait pas se fier aux noms, elle devait apprendre à lire les lignes et les formes réelles du diagramme.
Astuce B : L'Entraînement « Dire Non » (Augmentation du Refus) : Ils ont appris à l'IA à dire « Je ne peux pas faire cela » lorsque l'image était vide ou ne correspondait pas aux instructions. Cela empêche l'IA de deviner quand elle est incertaine.
Astuce C : Le Focus « Première Impression » (D-ORPO) : Il s'agit d'un ajustement technique. Lorsqu'une IA décide de répondre ou de refuser, elle prend cette décision dans les tout premiers mots de sa réponse. Les chercheurs ont fait en sorte que l'IA prête une attention particulière à ces premiers mots pour s'assurer qu'elle fait le bon choix (Générer vs Refuser) sans se laisser troubler par la longueur de la réponse.

Les Résultats : Petit mais Puissant

La nouvelle IA, VeriGround, a réalisé des exploits impressionnants :

Elle regarde réellement : Dans le test « Anonymisé » (où tricher est impossible), VeriGround a obtenu un score bien supérieur à tous les autres modèles, prouvant qu'elle lisait véritablement les diagrammes.
Elle ne devine pas à l'aveugle : Elle a appris à refuser les images vides 92 % du temps, mais elle refusait rarement une image valide (seulement 1,2 % de faux rejets).
Elle surpasse son poids : Même si VeriGround est un modèle « petit » (4 milliards de paramètres), elle a performé aussi bien que le modèle massif et coûteux « GPT-5.4 » lorsque les noms étaient présents, et elle les a écrasés lorsque les noms ont été supprimés.

Résumé

Le papier révèle que de nombreux modèles d'IA « font semblant » lorsqu'ils transforment des images de circuits en code ; ils se contentent de lire les étiquettes et ignorent l'image. Les auteurs ont créé un nouveau test pour révéler ce « Mirage » et ont entraîné une nouvelle IA honnête (VeriGround) qui regarde réellement l'image, refuse de deviner lorsqu'elle est confuse, et performe mieux que les géants dans cette tâche.

Résumé Technique : Du Mirage à l'Ancrage

1. Définition du problème et phénomène du « Mirage »

L'article traite de la fiabilité des Grands Modèles de Langage Multimodaux (MLLM) dans la génération de code Verilog à partir de schémas de circuits, une tâche où les diagrammes de circuits visuels doivent être traduits en code de niveau Register-Transfer-Level (RTL) synthétisable. Les auteurs identifient un défaut critique et covert nommé phénomène de Mirage.

Dans les protocoles d'évaluation standards, les MLLM reçoivent un diagramme de circuit et un module_header (contenant le nom du module, les ports et les paramètres). Les auteurs démontrent que de nombreux MLLM de pointe ne « lisent » pas véritablement la topologie visuelle. Au lieu de cela, ils exploitent la sémantique des identifiants au sein du module_header pour récupérer des modèles RTL canoniques.

Preuve : Lorsque le diagramme de circuit est remplacé par une image vide (tout en conservant le module_header), les performances des modèles (Pass@k) restent inchangées ou s'améliorent même.
Implication : Les scores élevés aux benchmarks masquent souvent un manque d'ancrage visuel. Les modèles contournent entièrement l'entrée visuelle en s'appuyant sur des raccourcis textuels. Cela crée un risque de sécurité dans la conception matérielle, où une seule erreur de lecture d'un schéma peut se propager silencieusement à travers la chaîne d'outils pour causer des défauts au niveau du silicium.

2. Méthodologie

A. Construction du benchmark : C2VEVAL

Pour quantifier le phénomène de Mirage, les auteurs ont construit C2VEVAL, un benchmark garantissant une correspondance exacte entre l'image et le code.

Source de données : 169 échantillons dérivés de benchmarks Verilog établis (VerilogEval-v2, RTLLM-v2, ResBench, ArchXBench), rendus sous forme de diagrammes de circuits à l'aide de NETLISTSVG.
Protocole apparié : Le benchmark évalue les modèles selon deux variantes :
1. Normal : Identifiants originaux à la fois dans le diagramme et dans l'en-tête.
2. Anony (Anonymisé) : Tous les identifiants chargés sémantiquement (noms de modules, noms de ports, paramètres) sont remplacés par des espaces réservés positionnels (par exemple, val_0, val_1). Le diagramme est rendu à nouveau pour correspondre à ces espaces réservés, éliminant les indices sémantiques tout en préservant la topologie.
Modes d'évaluation :
- Original : Diagramme de circuit réel fourni.
- Mirage : Diagramme remplacé par une image vide ; en-tête conservé.

B. Solution proposée : VeriGround

Les auteurs proposent VeriGround, un MLLLM de 4 milliards de paramètres entraîné pour imposer un véritable ancrage visuel et équilibrer le compromis entre hallucination et refus excessif. Le pipeline d'entraînement se compose de trois étapes :

Collecte de données et anonymisation :
- Un corpus à grande échelle (~54k échantillons) est extrait de GitHub, vérifié pour la synthèse et filtré selon la difficulté.
- Le corpus est divisé en variantes Normal et Anony, contraignant le modèle à apprendre à partir de la topologie visuelle plutôt que de la mémorisation des identifiants.
Affinement supervisé mixte (SFT) :
- Le modèle est affiné sur le corpus mixte Normal + Anony. Cela oblige le modèle à ancrer ses prédictions dans la structure visuelle du circuit plutôt que de s'appuyer sur des raccourcis sémantiques dans l'en-tête.
Alignement D-ORPO axé sur la décision (Decision-Focused ORPO) :
- Pour traiter la tendance des modèles à soit halluciner du code sans entrée visuelle, soit refuser excessivement des entrées valides, les auteurs introduisent D-ORPO.
- Paires de préférence : Trois catégories sont construites :
  - MATCH : Diagramme valide + Refus (rejeté) vs Code correct (choisi).
  - BLANK : Image vide + Code (rejeté) vs Refus (choisi).
  - MISMATCH : Diagramme sans rapport + Code (rejeté) vs Refus (choisi).
- Mécanisme : L'ORPO standard traite tous les tokens de manière égale, ce qui biaise le modèle vers des réponses de refus plus courtes en raison de l'asymétrie de longueur. D-ORPO augmente le poids des $K$ premiers tokens de réponse (la frontière de décision) avec un poids $\alpha > 1$ . Cela concentre le signal de préférence sur la décision générer-ou-refuser, atténuant le refus excessif tout en maintenant des taux de refus élevés pour les entrées invalides.

3. Contributions clés

Identification du phénomène : L'article documente que le phénomène de Mirage est universel à travers huit MLLM évalués (incluant GPT-5.4, Opus-4.6 et des modèles open-source). En mode Normal, supprimer le diagramme améliore souvent les scores ; l'ancrage visuel véritable ne représente que ~8–9 % des échantillons.
Benchmark et évaluation : C2VEVAL introduit un protocole apparié Normal/Anony × Original/Mirage qui isole la sémantique des identifiants comme principal moteur de la performance, servant de diagnostic pour les pipelines vision-vers-code.
Méthodologie : VeriGround (4B) intègre l'anonymisation des identifiants, l'augmentation par refus et l'alignement D-ORPO.
Performance : VeriGround atteint un Functional Pass@1 de 46,11 % (Normal) et 42,51 % (Anony).
- Il se rapproche des performances de GPT-5.4 (45,51 %) dans des conditions normales.
- Il surpasse nettement tous les baselines dans des conditions Anony (par exemple, +31,13 % par rapport à Opus-4.6), confirmant un véritable ancrage visuel.
- Il maintient un Taux de Refus Faux (FRR) de seulement 1,20 % (Normal) et 0,00 % (Anony) tout en maintenant un taux de refus sur les images vides supérieur à 92 %.

4. Résultats et signification

Ancrage visuel vs Raccourcis : L'étude empirique révèle que sous le protocole Anony, l'« avantage Mirage » (où les images vides produisent de meilleurs résultats) s'inverse pour 7 modèles sur 8. Cela confirme que les scores élevés standards sont largement pilotés par des raccourcis basés sur l'en-tête, et non par une compréhension visuelle.
Efficacité : VeriGround, avec seulement 4 milliards de paramètres, rivalise avec des modèles propriétaires à l'échelle de pointe (par exemple, GPT-5.4, estimé à ~200B+) en mode Normal et les surpasse de manière décisive en mode Anony.
Équilibre : Le composant D-ORPO résout avec succès la tension entre hallucination et refus excessif. L'ORPO standard a atteint un taux de refus quasi parfait sur les images vides mais a souffert de taux de faux refus élevés (~9 %) sur les entrées valides. D-ORPO a réduit le FRR à près de zéro tout en maintenant une haute précision de refus sur les entrées invalides.
Généralisabilité : Les auteurs affirment que la méthodologie (anonymisation + augmentation par refus + alignement axé sur la décision) est transférable à d'autres tâches vision-vers-code (par exemple, UI-vers-HTML, Graphique-vers-Python) où les invites textuelles peuvent fuiter des raccourcis sémantiques.

5. Affirmations et limites

L'article affirme modestement que VeriGround offre une solution transférable pour calibrer l'hallucination et le refus excessif dans la génération de code par IA. Il ne prétend pas résoudre tous les défis de la conception matérielle, mais fournit plutôt un cadre d'évaluation rigoureux et une recette d'entraînement pour garantir que les modèles s'appuient sur des preuves visuelles.

Menaces pour la validité : Les auteurs reconnaissent que C2VEVAL est limité à 169 échantillons et à des catégories de circuits spécifiques. Les résultats peuvent ne pas se généraliser pleinement au VHDL, au SystemVerilog ou aux circuits à échelle industrielle. De plus, la correction fonctionnelle repose sur la simulation de bancs d'essai, qui peuvent ne pas couvrir tous les cas limites.
Travaux futurs : Les auteurs prévoient de mettre à l'échelle VeriGround vers des architectures plus grandes et plus petites et d'étendre le benchmark avec des circuits à échelle industrielle pour valider davantage la généralisabilité de leur approche.