CircuitSense: A Hierarchical MLLM Benchmark Bridging Visual Comprehension and Symbolic Reasoning in Engineering Design Process

Il paper presenta CircuitSense, un benchmark gerarchico basato su oltre 8.000 problemi che valuta la capacità dei modelli linguistici multimodali di comprendere i circuiti elettronici, rivelando un divario critico tra l'eccellente riconoscimento visivo e la scarsa abilità nel derivare equazioni simboliche e nel ragionamento analitico necessari per la progettazione ingegneristica.

L'essenziale

🎨 CircuitSense: Il "Vero Test" per l'Intelligenza Artificiale Ingegnere

Immagina di avere un assistente AI super intelligente, capace di guardare un'immagine e descriverti tutto ciò che vede. È come un pittore che guarda un paesaggio e dice: "Vedo un albero, un fiume e un cielo azzurro". Fin qui, tutto bene.

Ma cosa succede se chiedi a questo stesso assistente: "Ok, ora che hai visto il paesaggio, calcolami esattamente quanto velocemente scorrerà l'acqua nel fiume se piove per due ore, e disegnamene il progetto per evitare che inondi il villaggio?"

È esattamente qui che si scontra il paper CIRCUITSENSE.

1. Il Problema: L'AI che "finge" di capire

Oggi le Intelligenze Artificiali (chiamate MLLM, modelli multimodali) sono bravissime a riconoscere le cose. Se mostri loro un disegno di un circuito elettronico, possono dirti: "Ecco una resistenza, ecco un transistor, ecco un condensatore". È come se riconoscessero i mattoni di una casa.

Tuttavia, il vero ingegnere non si ferma ai mattoni. L'ingegnere deve capire come funzionano insieme e scrivere le equazioni matematiche che governano quel sistema.
Il paper dice: "Le AI attuali sono bravissime a guardare, ma terribili a ragionare con la matematica". Quando si tratta di trasformare un disegno in una formula complessa (come dire "se collego questo a quello, la tensione diventa X"), le AI crollano miseramente.

2. La Soluzione: CircuitSense, la "Prova del Fuoco"

Gli autori hanno creato CircuitSense, un nuovo banco di prova (un "esame") per testare queste AI. Immagina CircuitSense come un gioco a livelli, simile a un videogioco:

• Livello 1 (Percezione): L'AI deve solo dire "Cosa c'è in questa immagine?". (Es: "Vedo una batteria e un filo"). Qui le AI vanno bene, prendono il 90% di voti.
• Livello 2 (Analisi): L'AI deve guardare il disegno e scrivere la formula matematica che lo descrive. (Es: "Se la corrente entra qui, l'uscita sarà..."). Qui le AI falliscono. Prendono meno del 20%.
• Livello 3 (Progettazione): L'AI deve disegnare un nuovo circuito che funzioni secondo delle regole precise. Qui le AI si perdono completamente.

3. Come hanno creato l'esame? (Il trucco della "Fabbrica di Circuiti")

Per essere sicuri che le AI non avessero "imparato a memoria" le risposte (come uno studente che impara a memoria le soluzioni dei compiti svolti), gli autori non hanno usato solo libri di testo. Hanno costruito una fabbrica automatica che genera milioni di circuiti nuovi, mai visti prima, con le loro soluzioni matematiche già pronte.

È come se un insegnante creasse un compito in classe con numeri e disegni generati al momento, così nessuno può barare cercando la soluzione su Google.

4. I Risultati: La dura verità

Hanno messo alla prova 8 delle AI più famose del mondo (come quelle di Google, OpenAI, ecc.). Ecco cosa è successo:

• Sul riconoscimento: Le AI sono come bambini prodigi. Riconoscono i componenti elettronici quasi perfettamente.
• Sul ragionamento matematico: Quando devono scrivere le equazioni, si comportano come se avessero la "sindrome dell'impostore". Cercano di indovinare o copiare schemi che hanno visto prima, ma quando devono creare la logica da zero, falliscono.
  • Analogia: È come se un AI potesse riconoscere che un'auto ha 4 ruote e un volante, ma se le chiedi di progettare il motore per farla andare a 200 km/h senza esplodere, non sa da dove iniziare.

5. Perché è importante?

Nel mondo reale, gli ingegneri usano la matematica per prevenire disastri. Se un circuito non è progettato bene, un telefono potrebbe incendiarsi o un'auto elettrica potrebbe fermarsi in mezzo alla strada.
Se diamo a un'AI il compito di progettare questi circuiti senza che sappia fare le equazioni, stiamo affidando la sicurezza a un "pittore" che non sa di matematica.

In sintesi:
CircuitSense ci dice che le Intelligenze Artificiali sono diventate bravi osservatori, ma non sono ancora diventati ingegneri. Per diventare veri ingegneri, devono imparare a fare quel salto difficile dal "vedere" al "calcolare". Finché non riusciranno a derivare le formule matematiche dai disegni, non saranno pronti a progettare il futuro della tecnologia.

Sommario tecnico

1. Il Problema

L'ingegneria elettronica, in particolare il design di circuiti analogici, richiede un processo gerarchico che va dalle specifiche di sistema fino all'implementazione dei componenti. Questo flusso di lavoro fondamentale implica la capacità di tradurre rappresentazioni visive (schemi circuitali, diagrammi a blocchi) in formulazioni matematiche simboliche precise (funzioni di trasferimento, equazioni nodali).
Sebbene i Modelli Linguistici Multimodali (MLLM) abbiano mostrato eccellenti capacità nella percezione visiva di immagini naturali, il loro limite critico risiede nell'incapacità di derivare equazioni simboliche da diagrammi tecnici. I benchmark esistenti si concentrano su compiti di riconoscimento (identificare componenti) o calcoli numerici superficiali, fallendo nel testare la vera comprensione ingegneristica: la capacità di estrarre relazioni matematiche da topologie circuitali visive attraverso diversi livelli di astrazione (da transistor a sistemi complessi come PLL o ADC). Senza questa capacità, gli AI non possono assistere genuinamente gli ingegneri nel prevenire fallimenti catastrofici (come instabilità o oscillazioni) che richiedono analisi matematica preventiva.

2. Metodologia: CircuitSense

Gli autori hanno introdotto CircuitSense, un benchmark completo composto da 8.006+ problemi progettati per valutare la comprensione dei circuiti attraverso tre categorie di task che rispecchiano il flusso di lavoro ingegneristico:

1. Percezione: Identificazione di componenti, connessioni e classificazione della funzione del circuito.
2. Analisi: Estrazione di modelli matematici (es. risposta in frequenza, analisi transitoria, funzioni di trasferimento).
3. Design: Progettazione di circuiti a diversi livelli di astrazione (schematico, a blocchi, gerarchico).

Il benchmark è strutturato su 6 livelli di gerarchia, che vanno da reti resistive di base (Livello 0) fino a diagrammi a blocchi di sistema (Livello 5).

Pipeline di Generazione Sintetica Gerarchica:
Per evitare la contaminazione dei dati (dataset contamination) e garantire la presenza di "ground truth" simbolico, gli autori hanno sviluppato due pipeline sintetiche:

• Generatore di Schemi: Estende il framework MAPS per generare circuiti su griglia con componenti analogici (R, L, C, fonti controllate, op-amp ideali). Utilizza analisi nodale modificata (MNA) tramite la libreria Lcapy per derivare automaticamente le equazioni simboliche esatte (funzioni di trasferimento $H(s)$) prima di generare l'immagine.
• Generatore di Diagrammi a Blocchi: Costruisce sistemi di controllo con strutture di feedback complesse, calcolando la funzione di trasferimento globale utilizzando la formula del guadagno di Mason.

3. Contributi Chiave

• Primo Benchmark Visivo-Analitico Multi-Livello: È il primo dataset che valuta sistematicamente la capacità dei modelli di collegare pattern visivi a scale diverse (da transistor a sistemi) alle loro rappresentazioni matematiche.
• Pipeline di Generazione Sintetica con Ground Truth Simbolico: La capacità di generare circuiti nuovi con equazioni simboliche garantite permette di testare la vera capacità di ragionamento matematico, non solo il riconoscimento di pattern memorizzati.
• Analisi delle Performance Multi-Scala: Una valutazione estesa su 8 MLLM all'avanguardia (inclusi modelli closed-source come GPT-4o, Gemini-2.5-Pro e modelli open-source come InternVL3, Qwen2.5-VL) che identifica colli di bottiglia specifici nel ragionamento ingegneristico.

4. Risultati Sperimentali

L'evaluation su 8 modelli ha rivelato un divario fondamentale tra percezione e ragionamento:

• Percezione: I modelli closed-source (es. GPT-4o, Gemini-2.5-Pro) ottengono prestazioni eccellenti (>85-100%) nel riconoscere componenti e topologie. I modelli open-source mostrano invece difficoltà significative nel riconoscimento strutturale di base.
• Analisi (Derivazione Simbolica): C'è un crollo catastrofico delle prestazioni quando si passa al ragionamento matematico.
  • I modelli closed-source migliori scendono sotto il 19% di accuratezza nella derivazione di equazioni simboliche su circuiti sintetici.
  • I modelli open-source spesso non superano il 4-5%.
  • I modelli performano meglio su compiti "specializzati" (es. analisi del rumore) rispetto a compiti fondamentali (risposta transitoria, funzioni di trasferimento), suggerendo che le prestazioni elevate su alcuni task derivano dal pattern matching di soluzioni memorizzate dai libri di testo, non dalla comprensione reale.
• Design: Esiste una forte correlazione tra la capacità di derivazione simbolica e la performance nel task di design. I modelli che derivano meglio le equazioni ottengono risultati superiori nella progettazione di circuiti.
• Analisi del Fallimento: L'analisi dettagliata mostra che i modelli falliscono principalmente nella derivazione dell'impedenza di uscita e nella manipolazione algebrica di funzioni razionali complesse, pur riuscendo a identificare correttamente i componenti.

5. Significato e Implicazioni

Il paper stabilisce che l'attuale generazione di MLLM, pur essendo sofisticati nel riconoscere pattern visivi, non è ancora pronta per essere utilizzata come strumento ingegneristico autonomo per il design di circuiti analogici. La loro incapacità di tradurre la visione in matematica simbolica limita la loro utilità a compiti superficiali.

La ricerca evidenzia che:

1. Il ragionamento simbolico è il metro fondamentale per la competenza ingegneristica nell'AI.
2. È necessario un salto qualitativo nelle capacità di manipolazione algebrica e di ragionamento causale sui diagrammi tecnici, piuttosto che semplici miglioramenti nella percezione visiva.
3. CircuitSense fornisce lo strumento necessario per guidare lo sviluppo di futuri modelli capaci di assistere gli ingegneri nell'accelerare i cicli di design e nel prevenire errori critici prima della fabbricazione.

In sintesi, CircuitSense smaschera il "falso senso di competenza" dei modelli attuali nell'ingegneria elettronica, dimostrando che senza una vera comprensione matematica, l'AI rimane un abile imitatore visivo ma un ingegnere inaffidabile.