Sketch2Feedback: Grammar-in-the-Loop Framework for Rubric-Aligned Feedback on Student STEM Diagrams

Il paper presenta Sketch2Feedback, un framework "grammar-in-the-loop" che combina rilevamento simbolico e modelli linguistici multimodali per generare feedback grammaticale e allineato alle rubriche su diagrammi STEM, riducendo significativamente le allucinazioni rispetto ai modelli end-to-end e migliorando l'azione del feedback pur mantenendo prestazioni competitive.

L'essenziale

🎨 Il Problema: Correggere i Disegni a Mano Libera è Difficile

Immagina di essere un insegnante di fisica o ingegneria elettrica. Hai davanti 200 fogli con disegni fatti a mano dai tuoi studenti: alcuni mostrano forze che agiscono su un oggetto (diagrammi di corpo libero), altri mostrano circuiti elettrici.
Il tuo compito è dire: "Qui hai sbagliato la direzione della freccia" oppure "Manca un filo qui".

Fare questo a mano per centinaia di studenti richiede tempo. L'intelligenza artificiale (AI) potrebbe aiutare, ma c'è un grosso problema: le AI moderne sono come studenti molto sicuri di sé ma un po' distratti. Se chiedi loro di guardare un disegno, spesso inventano cose che non esistono (allucinano). Potrebbero dirti: "Manca la batteria" quando in realtà la batteria c'è, solo che è disegnata male. In una classe, questo crea confusione e sfiducia.

🛠️ La Soluzione: Sketch2Feedback (Il "Controllore di Grammatica")

Gli autori hanno creato un sistema chiamato Sketch2Feedback. Invece di affidarsi a un'unica intelligenza artificiale "tuttofare" che guarda il disegno e scrive una risposta, hanno costruito una catena di montaggio in 4 passaggi.

Immagina questo sistema come un team di ispettori che lavorano su un'auto in produzione, invece di un solo meccanico geniale che deve fare tutto da solo.

I 4 Passaggi del Team:

1. L'Occhio Meccanico (Rilevamento Ibrido):
   Prima di tutto, un sistema classico (non una AI complessa) scansiona il disegno. Funziona come un rilevatore di forme: cerca frecce, cerchi, linee e nodi. È molto preciso nel dire "C'è una linea qui" o "C'è un cerchio lì", ma non capisce il significato profondo.

   • Analogia: È come un doganiere che conta solo i bagagli che passano, senza sapere cosa c'è dentro.

2. Il Costruttore di Mappe (Costruzione del Grafo):
   Una volta trovati i pezzi, il sistema li collega tra loro come se fosse un architetto che disegna una mappa. Se due pezzi sono vicini, crea una linea che li unisce. Ora il computer ha una "mappa logica" del disegno, non più solo un'immagine sfocata.

3. Il Controllore di Regole (Il "Grammatico"):
   Qui entra in gioco la parte magica. Il sistema confronta la mappa creata con le regole fisse del compito (il "rubric").

   • Esempio: "Se c'è un circuito, deve esserci un punto a terra".
   • Esempio: "Se c'è una forza verso l'alto, deve esserci una forza verso il basso".
     Questo controllore è come un professore severo che ha il libro delle risposte: se una regola non è rispettata, segna l'errore. Ma attenzione: può solo segnalare errori che ha visto fisicamente. Non può inventare nulla.

4. Il Traduttore (L'AI che parla):
   Solo ora interviene l'Intelligenza Artificiale linguistica (il "VLM"). Ma non le mostra il disegno intero e non le chiede di "immaginare". Le si dà solo la lista degli errori verificati dal controllore e le si chiede di spiegarlo in parole gentili allo studente.

   • Vantaggio: L'AI non può mentire o inventare errori, perché le è stato detto: "Parla solo di questo errore specifico che il controllore ha trovato".

🏆 Cosa hanno scoperto? (I Risultati)

Hanno testato questo sistema su due tipi di disegni: Diagrammi di Forze (FBD) e Circuiti Elettrici. I risultati sono stati interessanti e un po' sorprendenti:

• Sui Circuiti Elettrici: Il sistema a "catena di montaggio" (Sketch2Feedback) è stato fantastico. Ha capito quasi tutto e ha dato consigli perfetti su come correggere. L'AI "tuttofare" (che guarda e parla direttamente) invece è andata in tilt, non capendo nulla.

  • Perché? I circuiti sono logici e rigidi (come un gioco di Lego). Il sistema a regole funziona meglio quando le cose sono precise.

• Sui Diagrammi di Forze: Qui è successo il contrario. L'AI "tuttofare" è stata migliore nel trovare gli errori, mentre il sistema a regole ne ha persi molti.

  • Perché? I diagrammi di forze sono più "artistici" e spaziali. A volte l'AI "tuttofare" capisce meglio il contesto visivo globale rispetto a un sistema che cerca solo pezzi specifici.

💡 La Grande Lezione: La Trasparenza è Potente

Il punto più importante del paper non è quale sistema è "il migliore", ma come si comporta quando sbaglia.

• Se l'AI "tuttofare" sbaglia, è un mistero: non sai se ha visto male il disegno o se ha semplicemente "sognato" un errore. È come un mago che fa un trucco sbagliato e non sai dove ha sbagliato.
• Con Sketch2Feedback, se c'è un errore, sai esattamente dove si trova.
  • Esempio reale: Nel paper, il sistema ha segnalato troppi errori nei circuiti. Analizzando il codice, hanno scoperto che non era l'AI a inventare, ma il primo "Occhio Meccanico" (il rilevatore di forme) che vedeva cose che non c'erano.
  • Soluzione: Invece di riaddestrare tutto il sistema, hanno solo dovuto cambiare quel primo "Occhio". È come cambiare le lenti a un microscopio invece di costruire un nuovo microscopio.

🚀 In Sintesi

Sketch2Feedback ci insegna che per correggere i compiti scolastici (specialmente i disegni tecnici), non serve sempre l'AI più potente e "magica". A volte, è meglio un sistema modulare:

1. Uno che vede i pezzi.
2. Uno che controlla le regole.
3. Uno che parla allo studente.

Questo approccio rende il sistema più onesto, più facile da correggere quando sbaglia e più affidabile per gli insegnanti, perché sa sempre dire: "Ho trovato questo errore perché le regole lo dicono, non perché l'ho immaginato".

È come passare da un oracolo misterioso a un team di ispettori trasparenti: meno magia, più fiducia.

Sommario tecnico

1. Il Problema

Nell'educazione STEM (Scienze, Tecnologia, Ingegneria, Matematica), fornire feedback tempestivo e allineato a una rubrica su diagrammi disegnati a mano dagli studenti (come diagrammi di corpo libero e schemi di circuiti) è una sfida persistente.
Sebbene i Large Multimodal Models (LMM) possano analizzare immagini e generare spiegazioni, la loro tendenza all'allucinazione (descrivere elementi che non esistono) mina la fiducia necessaria per l'uso in classe. Il collo di bottiglia fondamentale non è la qualità della generazione del testo, ma l'affidabilità della percezione: i modelli spesso descrivono con sicurezza errori o elementi assenti nel disegno reale.

2. Metodologia: Sketch2Feedback

Gli autori propongono Sketch2Feedback, un framework "grammar-in-the-loop" (grammatica nel ciclo) che separa la percezione visiva dal ragionamento simbolico e dalla generazione linguistica. L'obiettivo è vincolare il modello linguistico (VLM) a verbalizzare solo le violazioni verificate da un motore di regole a monte.

Il pipeline è composto da quattro stadi:

1. Rilevamento Ibrido (Hybrid Perception): Utilizza tecniche di Computer Vision (CV) classica robuste (normalizzazione del contrasto CLAHE, thresholding adattivo, analisi dei contorni, HoughLinesP per i fili) per rilevare primitivi come frecce, fili, componenti e giunzioni.
2. Costruzione del Grafo Simbolico: I primitivi rilevati formano un grafo tipizzato $G=(V, E)$, dove i nodi hanno tipo, confidenza e bounding box, e gli archi rappresentano la prossimità spaziale.
3. Controllo dei Vincoli (Constraint Checking): Un motore di regole verifica il grafo rispetto a una "chiave di scenario" (scenario key). Vengono controllati vincoli locali (es. presenza di forze richieste, polarità corretta) e non locali (es. equilibrio delle forze, semantica delle giunzioni).
4. Generazione di Feedback Vincolato: Un VLM compatto (Qwen2-VL-2B) riceve in input solo la lista delle violazioni verificate e l'immagine. Il modello non può inventare errori non presenti nella lista del controllore. Se il VLM non è disponibile, si ricade su template strutturati.

3. Contributi Chiave

• Nuovi Benchmark: Introduzione di FBD-10 (200 diagrammi di corpo libero) e Circuit-10 (200 schemi di circuiti), entrambi con errori sintetizzati controllati, bounding box a livello di pixel e chiavi di rubrica.
• Pipeline Architetturale: Un sistema a quattro stadi che combina CV classica, ragionamento simbolico e VLM vincolato.
• Suite di Valutazione Multi-obiettivo: Misurazione di F1 per il rilevamento, qualità del feedback (correttezza e azionabilità), tasso di allucinazione, calibrazione (ECE) e latenza, tutti con intervalli di confidenza bootstrap al 95%.
• Analisi Onesta dei Risultati: Dimostrazione che nessuna architettura domina universalmente, evidenziando punti di forza complementari.

4. Risultati Sperimentali

Lo studio confronta il pipeline proposto (Grammar+VLM) con un LMM end-to-end (LLaVA-1.5-7B) e una baseline solo-visione. I risultati sono misti e dipendono dal dominio:

• Diagrammi di Corpo Libero (FBD-10):
  • L'approccio End-to-End (LLaVA) supera significativamente il pipeline grammaticale.
  • Micro-F1: 0.471 (E2E) vs 0.263 (Grammar).
  • LLM end-to-end è migliore nel rilevare errori di omissione (forze mancanti) e fornisce feedback più corretti e azionabili.
• Schemi di Circuiti (Circuit-10):
  • Il pipeline grammaticale domina nettamente.
  • Micro-F1: 0.329 (Grammar) vs 0.038 (E2E).
  • Il modello end-to-end fallisce quasi completamente nel comprendere la topologia dei circuiti.
  • Il pipeline grammaticale raggiunge una azionabilità perfetta (5.0/5) grazie alla generazione basata su template.

Analisi delle Allucinazioni:

• Il tasso di allucinazione del pipeline grammaticale sui circuiti è alto (0.925), ma l'analisi dei log rivela che non è causato dal VLM che "inventa" cose, bensì dal modulo di percezione CV classica che genera falsi positivi. Il VLM si limita a verbalizzare fedelmente questi errori.
• Questo dimostra il valore dell'architettura modulare: l'errore è localizzabile con precisione allo stadio 1, permettendo un miglioramento mirato (es. sostituire il rilevatore CV classico con uno appreso).

5. Significato e Conclusioni

Il paper conclude che non esiste una soluzione unica per tutti i domini STEM:

• Per diagrammi basati su relazioni spaziali complesse (FBD), la comprensione visiva olistica degli LMM è superiore.
• Per diagrammi basati su regole simboliche discrete (circuiti), l'approccio "grammar-in-the-loop" è più robusto e affidabile.

Il valore principale dell'architettura proposta risiede nella modularità e nella diagnosticabilità. A differenza dei sistemi end-to-end "black box", Sketch2Feedback permette di attribuire esattamente la fonte di un fallimento (es. percezione vs. generazione), facilitando il debug e l'ottimizzazione mirata. Il collo di bottiglia attuale rimane la percezione: migliorare il rilevamento dei componenti (ad esempio con detector appresi come YOLO/DETR) è identificato come l'intervento ad alto impatto più significativo per il futuro.