CircuitSense: A Hierarchical MLLM Benchmark Bridging Visual Comprehension and Symbolic Reasoning in Engineering Design Process

Le papier présente CircuitSense, une nouvelle norme de référence hiérarchique évaluant la capacité des grands modèles multimodaux à passer de la compréhension visuelle de schémas de circuits à la dérivation de modèles mathématiques symboliques, révélant ainsi un écart critique entre la reconnaissance visuelle et le raisonnement analytique dans les modèles actuels.

L'essentiel

🧠 CIRCUITSENSE : Le "Grand Oral" des Robots Ingénieurs

Imaginez que vous donnez un dessin technique d'une voiture à un robot très intelligent.

• Ce que le robot sait faire : Il peut vous dire avec certitude : "Ah, c'est un pneu, c'est un moteur, et voici le volant." C'est de la perception. Il voit bien les objets.
• Ce que le robot ne sait pas faire : Si vous lui demandez : "Si je tourne ce volant à 30 km/h sur une route mouillée, quelle est la force exacte qui va faire glisser la voiture ?" et qu'il doit écrire la formule mathématique pour le prouver... le robot panique. Il ne sait pas calculer la physique derrière le dessin.

C'est exactement le problème que l'équipe de recherche (de l'Université Northeastern et du Laboratoire National Brookhaven) a voulu tester avec CIRCUITSENSE.

1. Le Problème : Les Robots sont de "Super Lecteurs", mais de "Mauvais Ingénieurs"

Les modèles d'intelligence artificielle actuels (comme les grands modèles de langage multimodaux) sont excellents pour reconnaître des images. Ils peuvent dire "C'est un circuit électronique". Mais l'ingénierie, ce n'est pas juste regarder ; c'est comprendre la logique.

Pour un ingénieur en électronique, voir un circuit, c'est comme voir une partition de musique. Le but n'est pas juste de dire "c'est un violon", mais de pouvoir écrire la formule mathématique qui prédit comment la musique va résonner.

• L'objectif du papier : Créer un examen (un "benchmark") pour voir si ces robots peuvent passer du simple "regard" à la "compréhension mathématique profonde".

2. La Solution : CIRCUITSENSE, le "Terrain de Jeu" à 8 niveaux

Les chercheurs ont créé un immense jeu de questions et de dessins (plus de 8 000 problèmes) qui couvre tout le processus de création d'un circuit, du plus simple au plus complexe.

Imaginez une pyramide de difficulté :

• Niveau 1 (La Perception) : "Où est la résistance ?" (Le robot est excellent ici, il marque 85-100%).
• Niveau 2 (L'Analyse) : "Écris-moi l'équation mathématique qui relie l'entrée à la sortie de ce circuit." (C'est ici que tout s'effondre).
• Niveau 3 (La Conception) : "Conçois-moi un circuit qui fait exactement ça." (Le robot est perdu).

L'astuce géniale : Pour éviter que les robots ne "trichent" en mémorisant les réponses d'Internet, les chercheurs ont créé un générateur automatique. Ils ont inventé des circuits nouveaux, jamais vus auparavant, avec des réponses mathématiques parfaites. C'est comme si le prof inventait un nouvel exercice de maths à chaque fois, impossible à copier-coller.

3. Les Résultats : Le "Crash Test"

Ils ont testé 8 des meilleurs robots du monde (GPT-4o, Gemini, Claude, etc.) sur ce test. Voici ce qu'ils ont découvert :

• Le Visuel est parfait : Les robots voient très bien. Ils reconnaissent les composants comme des experts.
• Le Mathématique est catastrophique : Dès qu'il faut déduire une équation symbolique (la formule magique), les robots tombent à terre.
  • Analogie : C'est comme si un étudiant savait parfaitement nommer toutes les pièces d'un moteur de Ferrari, mais qu'il échouait lamentablement s'il devait expliquer comment l'essence se transforme en mouvement ou calculer la vitesse de rotation.
  • Le score : Alors qu'ils ont 85% de réussite sur la reconnaissance, ils tombent souvent en dessous de 19% pour la création d'équations.

Le paradoxe surprenant : Certains robots sont très bons pour des tâches complexes comme le "bruit" ou l'énergie, mais échouent sur des tâches de base comme la réponse transitoire. Pourquoi ? Parce qu'ils ont "mémorisé" des exemples de livres pour les tâches complexes, mais qu'ils ne savent pas raisonner quand ils doivent inventer la solution à partir de zéro.

4. La Conclusion : Pourquoi c'est important ?

Aujourd'hui, l'IA est un super assistant visuel, mais pas encore un ingénieur.

• Si vous demandez à un robot de dessiner un circuit, il peut le faire.
• Mais si vous lui demandez de prouver que ce circuit ne va pas exploser ou de calculer sa stabilité mathématique, il ne peut pas le faire de manière fiable.

CIRCUITSENSE nous dit : "Arrêtons de penser que l'IA comprend l'ingénierie juste parce qu'elle reconnaît les images." Pour que l'IA puisse vraiment aider les humains à concevoir des puces électroniques ou des systèmes complexes, elle doit apprendre à faire les maths, pas juste à regarder les dessins.

En résumé :
C'est comme si on donnait un permis de conduire à quelqu'un qui sait très bien reconnaître les panneaux de signalisation (Perception), mais qui ne sait pas comment tourner le volant pour éviter un obstacle (Analyse/Maths). CIRCUITSENSE est le test de conduite qui révèle cette faille.

Résumé technique

Titre : CIRCUITSENSE : Un benchmark MLLM hiérarchique reliant la compréhension visuelle et le raisonnement symbolique dans le processus de conception ingénierie

1. Problématique

La conception en ingénierie (notamment électronique et analogique) repose sur une abstraction hiérarchique, allant des spécifications système aux implémentations de composants. Bien que les Modèles de Langage Multimodaux (MLLM) excellent dans la perception visuelle d'images naturelles, leur capacité à extraire des modèles mathématiques précis à partir de diagrammes techniques (schémas de circuits, diagrammes de blocs) reste inexplorée et limitée.

Le problème central identifié est l'incapacité des modèles actuels à effectuer un raisonnement visuel-vers-symbolique : traduire une représentation visuelle (un schéma de circuit) en équations mathématiques formelles (fonctions de transfert, équations nodales). Les benchmarks existants se concentrent sur la reconnaissance de composants ou le calcul numérique simple, sans évaluer la capacité fondamentale de dériver des relations mathématiques symboliques, ce qui est crucial pour détecter des défaillances catastrophiques (instabilité, oscillation) avant la fabrication.

2. Méthodologie

Les auteurs proposent CircuitSense, un benchmark complet composé de 8 006+ problèmes organisés selon une structure hiérarchique reflétant le flux de travail réel des ingénieurs.

A. Structure du Benchmark
Le benchmark évalue trois catégories de tâches à travers six niveaux de hiérarchie (du niveau 0 : réseaux résistifs, au niveau 5 : diagrammes de blocs système) :

1. Perception : Identification des composants, connexion des nœuds et classification de la fonction du circuit.
2. Analyse : Extraction de modèles mathématiques (réponse fréquentielle, réponse transitoire, fonctions de transfert, analyse du bruit, etc.). C'est la catégorie la plus volumineuse.
3. Conception : Synthèse de circuits (dimensionnement, choix de topologie) à différents niveaux d'abstraction.

B. Génération de Données Hybride
Pour éviter les biais de contamination des données (le modèle ayant déjà vu les problèmes dans son entraînement), CircuitSense combine :

• 2 986 problèmes curatés : Provenant de manuels universitaires autoritaires et de cours (ex: Gray, Razavi).
• 5 020 circuits synthétiques générés : Une pipeline de génération hiérarchique innovante a été développée pour créer de nouveaux circuits avec des équations de vérité terrain (ground-truth) symboliques garanties.
  • Générateur de schémas : Utilise une grille probabiliste pour créer des circuits analogiques (R, L, C, sources, amplificateurs opérationnels) validés par simulation SPICE et analyse symbolique (via Lcapy).
  • Générateur de diagrammes de blocs : Construit des systèmes de contrôle avec des boucles de rétroaction complexes et calcule la fonction de transfert globale via la formule du gain de Mason.

C. Évaluation
Le benchmark a été testé sur 8 MLLM de pointe (modèles propriétaires comme GPT-4o, Gemini-2.5-Pro, Claude-Sonnet-4 et modèles open-source comme InternVL3, Qwen2.5-VL).

• Métriques : Pour les questions ouvertes, une évaluation rigoureuse par "LLM-as-a-judge" et une comparaison symbolique via SymPy sont utilisées pour vérifier l'équivalence mathématique des équations dérivées, indépendamment de la forme algébrique.

3. Contributions Clés

1. Premier Benchmark Visuel-vers-Analytique Multi-Niveaux : CircuitSense est le premier à évaluer systématiquement la compréhension des ingénieurs à travers les niveaux d'abstraction, du système global au composant individuel.
2. Pipeline de Génération Synthétique Hiérarchique : Développement de deux pipelines garantissant des équations de vérité terrain pour des circuits complexes, permettant une évaluation isolée de la compréhension visuelle et du raisonnement mathématique.
3. Analyse de Performance Multi-Échelle : Une analyse détaillée démontrant que la capacité de dériver des équations est le facteur limitant principal pour l'assistance à la conception par IA.

4. Résultats Principaux

L'évaluation de huit modèles révèle un fossé critique entre la perception et le raisonnement :

• Perception (Excellente) : Les modèles propriétaires (GPT-4o, Gemini-2.5-Pro) obtiennent plus de 85-90% de précision pour identifier les composants et la topologie. La perception visuelle n'est pas le goulot d'étranglement.
• Analyse Symbolique (Catastrophique) : Dès qu'il s'agit de dériver des équations symboliques à partir de circuits nouveaux (synthétiques), la performance s'effondre.
  • Les meilleurs modèles (Gemini-2.5-Pro) atteignent environ 19% de précision sur les tâches de dérivation symbolique pure.
  • Les modèles open-source et d'autres modèles propriétaires tombent souvent en dessous de 10-15%.
  • Les modèles réussissent mieux sur des tâches complexes comme l'analyse du bruit (jusqu'à 90% sur certains sous-ensembles) mais échouent sur des tâches fondamentales comme la réponse transitoire ou la fonction de transfert, suggérant qu'ils mémorisent des solutions de manuels plutôt qu'ils ne raisonnent mathématiquement.
• Impact sur la Conception : Il existe une corrélation directe : les modèles ayant une meilleure capacité de dérivation d'équations obtiennent de meilleurs résultats dans les tâches de conception. La compréhension mathématique est un prérequis pour la synthèse de circuits.
• Effet du Format : La performance chute drastiquement lorsque les options à choix multiples sont retirées (passage du format "Multiple Choice" au "Open-ended"), confirmant que les modèles s'appuient sur l'élimination de réponses plutôt que sur un raisonnement profond.

5. Signification et Conclusion

CircuitSense démontre que les MLLM actuels, bien qu'impressionnants pour la reconnaissance visuelle, ne possèdent pas encore les capacités de raisonnement symbolique nécessaires pour être des outils d'ingénierie fiables. Ils sont capables de "voir" le circuit, mais pas de "comprendre" sa physique mathématique.

• Limitation actuelle : Les modèles échouent à généraliser le raisonnement mathématique à de nouveaux circuits non vus lors de l'entraînement.
• Perspective : Pour que l'IA assiste réellement les ingénieurs dans l'accélération des cycles de conception et la détection précoce des défaillances, les futurs modèles doivent intégrer des capacités de manipulation algébrique et de raisonnement symbolique robustes, au-delà de la simple reconnaissance de motifs.

Ce travail établit un nouveau standard pour l'évaluation des capacités de raisonnement scientifique des modèles multimodaux dans des domaines techniques exigeants.