💬 NLP

Investigating LLM's Problem Solving Capability -- a Study on Statics Questions

Questo studio valuta le capacità dei Large Language Models nel risolvere problemi di statica attraverso un approccio di distillazione del modello, rivelando che, sebbene essi si comportino bene con domande puramente testuali, la loro accuratezza diminuisce significativamente quando sono richiesti diagrammi e ragionamenti multi-step a causa delle difficoltà nell'applicare coerentemente le informazioni visive piuttosto che limitazioni nel riconoscimento delle immagini.

Autori originali: Tanner Culleton, Hung-Fu Chang

Pubblicato 2026-06-26

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Tanner Culleton, Hung-Fu Chang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere uno studente molto intelligente e colto di nome "ChatGPT", che ha letto quasi tutti i libri della biblioteca. Vuoi testare se questo studente è effettivamente in grado di risolvere difficili compiti di ingegneria, nello specifico in una materia chiamata Statica (che si occupa di come le forze si bilanciano su oggetti stazionari, come ponti o gru).

Ecco cosa hanno fatto i ricercatori, spiegato in modo semplice:

1. Il problema del "Copia e Incolla"

Per prima cosa, i ricercatori hanno provato la cosa ovvia: hanno preso veri quesiti dei libri di testo e hanno chiesto a ChatGPT di risolverli.

Il Risultato: È stato un disastro. Lo studente si è confuso, specialmente quando i problemi coinvolgevano disegni 3D. Confondeva le direzioni (come dire "su" quando intendeva "destra") e sbagliava i calcoli.
L'Analogia: Era come chiedere a uno studente di leggere una mappa scritta in una lingua che conosce appena. Conosceva le parole, ma non riusciva a capire le direzioni.

2. Il trucco dell' "Ingegneria Inversa" (Distillazione del Modello)

Poiché i quesiti dei libri di testo erano troppo difficili, i ricercatori hanno provato un trucco astuto chiamato Distillazione del Modello. Invece di chiedere allo studente di risolvere i quesiti di altre persone, hanno chiesto allo studente di scrivere le proprie domande.

La Logica: Hanno pensato: "Se ChatGPT sa scrivere una buona domanda, probabilmente conosce la risposta a quel tipo specifico di domanda perché l'ha 'appresa' dai propri dati di addestramento".
Il Processo: Hanno chiesto a ChatGPT di generare 50 problemi di statica. Hanno notato che lo studente continuava a scrivere sempre gli stessi problemi semplici, in 2D (piatti). Così, hanno scelto i 25 migliori quesiti unici che ChatGPT sembrava comprendere bene.

3. I tre livelli del test

I ricercatori hanno creato tre diversi "esami" usando quei 25 quesiti per vedere come funzionava il cervello dello studente:

Esame A (Solo Testo): Hanno chiesto a ChatGPT di risolvere le domande che aveva scritto, usando solo le parole.
- Risultato: Punteggio Perfetto (100%). Lo studente conosceva le risposte perché aveva scritto lui stesso le domande!
Esame B (Con Immagini): Hanno preso quegli stessi quesiti basati solo sul testo e hanno disegnato degli schemi semplici per essi.
- Risultato: Il punteggio è sceso al 68%. Lo studente era ancora in grado di leggere le parole, ma l'immagine lo mandava in confusione. Faceva fatica a collegare il disegno alla matematica.
Esame C (Il test dei "Nuovi Numeri"): Hanno preso gli schemi dell'Esame B e hanno cambiato tutti i numeri (ad esempio, cambiando una forza da 10 libbre a 15 libbre).
- Risultato: Il punteggio è sceso al 60%. Questo ha dimostrato che lo studente non stava solo memorizzando le risposte. Stava cercando di risolvere il problema da zero, ma commetteva errori nel mezzo del processo.

4. Cosa hanno imparato?

I ricercatori hanno confrontato ChatGPT con un altro studente IA chiamato "Gemini".

La Grande Scoperta: Il problema non era che l'IA non riuscisse a "vedere" le immagini. Il problema era che non riusciva a pensare per passaggi.
L'Analogia: Immaginate uno chef che sa leggere perfettamente una ricetta (Solo Testo). Se gli date gli ingredienti e l'immagine del piatto (Diagramma), può ancora cucinare. Ma se gli chiedete di cucinare un pasto complesso a più portate dove deve modificare la ricetta a metà percorso (Ragionamento multi-step), inizia a far cadere gli ingredienti o a dimenticare il passaggio successivo (Ragionamento multi-step).
La Conclusione: L'IA è brava in matematica semplice, a un solo passaggio. Ma quando deve guardare un'immagine, estrarre le informazioni e poi usare quelle informazioni in tre o quattro passaggi diversi per ottenere un risultato finale, si perde. Segue il metodo corretto, ma spesso ottiene il numero sbagliato alla fine.

Riassunto

L'articolo conclude che, sebbene l'IA stia diventando molto brava a leggere e scrivere, è ancora un po' goffa quando si tratta di ragionamento visivo e di catene di logica lunghe e complesse. È come uno studente che conosce perfettamente la teoria, ma si blocca quando gli viene chiesto di applicarla a un disegno reale con numeri variabili.

Nota: I ricercatori hanno testato solo questi specifici problemi di ingegneria. Non hanno affermato che questo si applichi alle diagnosi mediche, ai consigli legali o altri campi, né hanno suggerito come correggere l'IA per il futuro. Si sono limitati a riferire come l'IA si è comportata su questo specifico insieme di enigmi ingegneristici.

Sintesi Tecnica: Investigazione della capacità di risoluzione dei problemi degli LLM – Uno studio sulle domande di Statica

Problema
I Large Language Models (LLM) hanno influenzato rapidamente l'istruzione, dimostrando la capacità di completare compiti ed esami in varie discipline. Tuttavia, la ricerca esistente sul loro impatto educativo si basa spesso su dataset di problemi pubblici o aperti e manca di un'analisi specifica per argomento, in particolare all'interno dell'ingegneria meccanica. Esiste un'indagine sistematica limitata su come gli LLM si comportino su tipi di problemi specifici, come la statica, e se le loro capacità si siano evolute sufficientemente da giustificare aggiornamenti nelle valutazioni educative. I metodi di valutazione tradizionali, che prevedono l'interrogazione diretta degli LLM con domande tratte dai libri di testo, hanno mostrato limitazioni, in particolare con i problemi tridimensionali e l'interpretazione dei diagrammi.

Metodologia
Per affrontare queste lacune, gli autori hanno adottato un approccio ispirato alla distillazione del modello piuttosto che al tradizionale test diretto. Lo studio è proceduto attraverso le seguenti fasi:

Valutazione Iniziale e Pivot: I test iniziali utilizzando domande di libri di testo da "McGraw Hill Connect" hanno rivelato che gli LLM (specificamente ChatGPT) faticavano significativamente con i problemi di statica tridimensionale, spesso assegnando erroneamente le componenti vettoriali tra gli assi di coordinate. Inoltre, quando sollecitati a generare problemi di statica, i modelli producevano domande ripetitive, prevalentemente bidimensionali e semplici.
Costruzione del Dataset tramite Distillazione: Riconoscendo che gli LLM performano meglio su problemi allineati con la loro distribuzione di addestramento interna, i ricercatori hanno sollecitato ChatGPT a generare un ampio set di problemi di statica. Attraverso un processo iterativo di generazione e confronto, hanno filtrato le istanze ripetitive per creare un Dataset solo testuale di 25 problemi unici di statica bidimensionale. Questi sono stati categorizzati per difficoltà:
- Concettuale (Facile): 8 domande che testano definizioni e ragionamento qualitativo.
- Calcolo Diretto (Medio): 7 domande che richiedono l'applicazione di formule.
- Applicazione Multi-step (Difficile): 10 domande che richiedono ragionamento multi-step e impostazione strategica.
Espansione del Dataset: Per valutare il ragionamento visivo e la generalizzazione, sono stati costruiti due dataset aggiuntivi dal set solo testuale:
- Dataset basato su Diagrammi: Le descrizioni testuali sono state convertite manualmente in diagrammi 2D puliti utilizzando l'app Notability.
- Dataset basato su Diagrammi con Valori Modificati: I diagrammi del set precedente sono stati modificati con nuovi valori numerici per forze, momenti e distanze per testare se il modello stesse richiamando soluzioni o ragionando realmente.
Valutazione: I modelli (ChatGPT-5 e Gemini) sono stati testati su tutti e tre i dataset. La performance è stata misurata tramite l'accuratezza ( $A = N_c / 25$ ), definita come il numero di domande risolte correttamente.

Contributi Chiave

Nuovo Framework di Valutazione: Lo studio introduce una prospettiva di distillazione del modello per valutare gli LLM nell'educazione ingegneristica. Invece di testare i modelli su benchmark esterni dove potrebbero mancare di esposizione, lo studio li valuta su problemi che probabilmente hanno generato o incontrato durante l'addestramento, fornendo una visione più chiara delle loro capacità di ragionamento interno.
Analisi Granulare della Performance: La ricerca analizza la performance degli LLM non solo tramite il punteggio complessivo, ma per tipo di problema (Concettuale, Calcolo, Multi-step) e modalità di input (Testo, Diagramma, Diagramma con Valori Modificati).
Identificazione dei Colli di Bottiglia del Ragionamento: Lo studio isola specifici modi di fallimento, distinguendo tra limitazioni del riconoscimento delle immagini e deficit del ragionamento multi-step.

Risultati
I risultati sperimentali evidenziano un significativo degrado delle prestazioni all'aumentare della complessità del problema e del cambiamento della modalità:

Dataset Solo Testuale: ChatGPT-5 ha raggiunto il 100% di accuratezza, mentre Gemini ha raggiunto il 60%. Notevolmente, Gemini non è riuscito a risolvere alcun problema di Applicazione Multi-step (0% di accuratezza).
Dataset basato su Diagrammi: L'accuratezza di ChatGPT-5 è scesa al 68%. Mentre manteneva il 100% di accuratezza sui quesiti Concettuali, la performance è scesa al 71,43% sul Calcolo Diretto e al 40% sull'Applicazione Multi-step.
Dataset basato su Diagrammi con Valori Modificati: ChatGPT-5 ha raggiunto il 60% di accuratezza. La performance sull'Applicazione Multi-step è migliorata leggermente al 60%, ma il Calcolo Diretto è sceso al 42,8%.
Analisi degli Errori: In tutti i test, entrambi i modelli hanno seguito costantemente procedure e metodologie di soluzione corrette. Tuttavia, gli errori si sono verificati frequentemente nei calcoli numerici finali o nell'applicazione coerente delle informazioni visive estratte attraverso le successive fasi di ragionamento.

Significatività e Rivendicazioni
L'articolo sostiene che il declino osservato della performance degli LLM nel passaggio dal solo testo ai diagrammi e ai problemi multi-step non è causato principalmente da limitazioni nel riconoscimento delle immagini. Inveve, gli autori concludono che il calo delle prestazioni deriva dalle difficoltà nel ragionamento multi-step e dall'incapacità di applicare coerentemente le informazioni visive estratte durante l'intero processo di soluzione.

Lo studio suggerisce che, sebbene gli LLM possano avvicinarsi a una performance quasi esperta su problemi di statica strutturati e testuali, rimangono inaffidabili per compiti ingegneristici complessi e multi-step che richiedono una rigorosa coerenza logica. Gli autori pongono che questa intuizione è cruciale per educatori e progettisti di curricula affinché adattino le strategie didattiche e le valutazioni, assicurando che promuovano la comprensione concettuale e il pensiero di ordine superiore mitigando al contempo l'uso inappropriato degli strumenti di IA. Lo studio riconosce i limiti, inclusi il potenziale bias dell'uso di domande generate dal modello per la valutazione e le modeste dimensioni del dataset (25 domande), ma afferma che i risultati fornisono una base necessaria per comprendere le attuali capacità degli LLM nell'educazione dell'ingegneria meccanica.

1. Il problema del "Copia e Incolla"

2. Il trucco dell' "Ingegneria Inversa" (Distillazione del Modello)

3. I tre livelli del test

4. Cosa hanno imparato?

Riassunto

Articoli simili