How Far Are We? Systematic Evaluation of LLMs vs. Human Experts in Mathematical Contest in Modeling

1. Il Problema

Sebbene i Modelli Linguistici di Grande Dimensione (LLM) abbiano dimostrato prestazioni eccezionali su benchmark di ragionamento standard (come la risoluzione di problemi matematici isolati o la generazione di codice), la loro capacità di gestire flussi di lavoro end-to-end per la risoluzione di problemi reali rimane incerta.
Le competizioni di modellazione matematica richiedono un processo complesso che integra:

• Identificazione e formulazione del problema.
• Assunzioni semplificatrici.
• Costruzione del modello.
• Implementazione computazionale e risoluzione.
• Analisi critica e validazione dei risultati.

I benchmark esistenti falliscono nel valutare questa competenza olistica perché si basano su criteri generici e statici che non tengono conto della coerenza globale tra obiettivi, assunzioni e validazione. Di conseguenza, soluzioni localmente plausibili ma fondamentalmente disallineate possono ottenere punteggi elevati, mascherando l'incapacità del modello di eseguire il compito completo.

2. Metodologia

Gli autori propongono un framework di valutazione orientato al problema e per fasi (Problem-Oriented, Stage-Wise Evaluation Framework) per colmare il divario tra valutazione automatica e giudizio umano esperto.

A. Il Framework di Valutazione

Il processo si articola in due fasi principali con verifica umana (Human-in-the-Loop):

1. Decomposizione in Sottotask: Ogni problema di modellazione viene scomposto in una serie di sottotask autonomi (es. pre-elaborazione dati, stima dello stato, associazione dati). Esperti del dominio verificano che questi sottotask coprano fedelmente i requisiti originali.
2. Criteri di Valutazione per Fase: Per ogni coppia "sottotask-fase", vengono generati criteri di valutazione specifici. Il processo di modellazione è suddiviso in 7 fasi canoniche:
   • Identificazione del problema.
   • Formulazione del problema.
   • Sviluppo delle assunzioni.
   • Costruzione del modello.
   • Risoluzione del modello.
   • Implementazione del codice.
   • Analisi dei risultati.
     I criteri sono dinamici, basati sulla semantica del problema specifico, e verificati da esperti per garantire accuratezza.

B. Dataset e Setup Sperimentale

• Dataset: 97 problemi tratti dal China Postgraduate Mathematical Contest in Modeling (PMCM), una competizione di alto livello con una difficoltà paragonabile a quella di esperti (solo l'1-1,5% dei partecipanti vince medaglie d'oro).
• Modelli Valutati: Una gamma diversificata di LLM moderni, inclusi varianti della famiglia Qwen (da 7B a 235B parametri), DeepSeek-V3.2 (Instruct e Thinking) e o4-mini di OpenAI.
• Protocollo: Tutti i modelli utilizzano lo stesso agente di generazione per garantire la comparabilità, differenziandosi solo per il modello sottostante.
• Validazione: I punteggi automatici sono stati confrontati con giudizi indipendenti di esperti umani (studenti vincitori di medaglie) utilizzando il coefficiente di correlazione intraclasse ICC(2,1).

3. Contributi Chiave

1. Framework di Valutazione Robusto: Introduzione di un sistema di valutazione che supera i limiti dei rubrici generici, dimostrando un'allineamento significativamente superiore con il giudizio umano (ICC 0.673 vs 0.012 per i metodi baselines).
2. Identificazione del "Divario Comprensione-Esecuzione": Dimostrazione empirica che gli LLM eccellono nella comprensione iniziale ma falliscono sistematicamente nelle fasi esecutive.
3. Analisi dell'Inefficienza del Scaling: Evidenza che l'aumento delle dimensioni del modello (scaling) non risolve le carenze nelle fasi di implementazione e validazione.
4. Mappatura dei Fallimenti: Identificazione di pattern di errore specifici (mancanza di verifica, specifiche insufficienti, errori che si propagano senza correzione).

4. Risultati Principali

A. Allineamento con gli Esperti

Il framework proposto mostra una coerenza molto più forte con i giudizi degli esperti rispetto ai metodi baselines. Mentre i metodi tradizionali tendono a concentrarsi sulla qualità della presentazione del report, il nuovo framework cattura la qualità reale della risoluzione del problema, distinguendo chiaramente tra soluzioni valide e non.

B. Il Divario Comprensione-Esecuzione

L'analisi delle prestazioni per fase rivela un andamento monotono decrescente:

• Fasi Iniziali (Comprensione): Gli LLM ottengono punteggi vicini a quelli degli esperti nell'identificazione e formulazione del problema.
• Fasi Centrali (Costruzione): Le prestazioni scendono a un livello intermedio (4-6 su 10) nella costruzione del modello e nelle assunzioni.
• Fasi Finali (Esecuzione): C'è un crollo drastico nelle fasi di risoluzione del modello, implementazione del codice e analisi dei risultati, con punteggi che spesso scendono nella fascia 2-3 su 10.

C. Impatto dello Scaling

L'analisi sulla famiglia di modelli Qwen (da 7B a 235B) mostra che:

• Lo scaling migliora le prestazioni nelle fasi iniziali (comprensione), ma con rendimenti decrescenti.
• Lo scaling non riduce il divario nelle fasi esecutive. I modelli più grandi non riescono a migliorare significativamente la capacità di scrivere codice eseguibile, verificare soluzioni o validare risultati empirici.

D. Analisi dei Fallimenti

Le cause principali dei fallimenti non sono idee di modellazione errate, ma carenze esecutive:

• Assunzioni: Spesso non verificate, mancanti di condizioni necessarie o con impatto non discusso.
• Costruzione del Modello: Strutture incomplete o derivazioni mancanti.
• Implementazione: Codice non eseguibile, risultati non riproducibili o mancanti.
• Propagazione degli Errori: Gli errori introdotti nelle fasi iniziali (es. assunzioni non specificate) non vengono corretti nelle fasi successive, portando a fallimenti a valle (es. soluzioni non verificabili).

5. Significato e Implicazioni

I risultati di questo studio suggeriscono che la semplice scalata delle dimensioni dei modelli non è sufficiente per raggiungere un livello di competenza paragonabile a quello degli esperti umani nella risoluzione di problemi complessi del mondo reale.

• Cambiamento di Paradigma: Il futuro miglioramento degli LLM per compiti di modellazione matematica non dovrebbe basarsi solo sullo scaling, ma su approcci consapevoli del processo (process-aware).
• Necessità di Rigore Procedurale: È fondamentale sviluppare meccanismi che garantiscano la coerenza tra le fasi, la verifica sistematica delle assunzioni e la validazione empirica dei risultati.
• Limiti Attuali: Gli LLM attuali sono capaci di generare concetti plausibili, ma falliscono nel trasformarli in soluzioni complete, verificabili e riproducibili.

In sintesi, il paper fornisce una mappa dettagliata delle capacità attuali degli LLM, evidenziando che il collo di bottiglia non è la comprensione del problema, ma l'esecuzione rigorosa e la validazione lungo l'intero flusso di lavoro di modellazione.