A systematic assessment of Large Language Models for constructing two-level fractional factorial designs

Questo studio valuta sistematicamente le capacità dei modelli LLM (GPT e Gemini) di generare disegni fattoriali frazionari a due livelli, dimostrando che sono in grado di costruire disegni ottimali fino a otto fattori con 8, 16 o 32 esecuzioni, sebbene le prestazioni diminuiscano per un numero maggiore di fattori.

L'essenziale

Ecco una spiegazione semplice e creativa di questo studio, pensata per chiunque, anche senza una laurea in statistica.

🧪 Il Grande Esperimento: Quando l'Intelligenza Artificiale diventa "Chef" di Esperimenti

Immagina di dover cucinare un piatto complesso con 26 ingredienti diversi (fattori), ma hai solo 32 tentativi (corse) per capire quale combinazione rende il piatto perfetto. Se provassi tutte le combinazioni possibili, dovresti cucinare milioni di volte! È impossibile.

Qui entra in gioco la Statistica Sperimentale: invece di provare tutto, si crea una "mappa" intelligente (un design fattoriale frazionario) che ti dice esattamente quali 32 combinazioni provare per scoprire il segreto del gusto. Tradizionalmente, queste mappe si trovano nei libri di testo o nei software costosi, come se fossero ricette segrete custodite gelosamente.

Ma cosa succede se chiedi a un'Intelligenza Artificiale (come ChatGPT o Gemini) di creare questa mappa per te? Funziona? O l'AI si perde e ti dà una ricetta sbagliata?

Questo è esattamente ciò che hanno scoperto gli autori di questo studio.

---

🤖 La Sfida: Due Robot contro un Libro di Ricette

Gli autori hanno messo alla prova due "cervelli" digitali molto potenti:

1. GPT-5.1 (il motore di ChatGPT).
2. Gemini 2.5 Flash (il motore di Google).

Hanno dato loro un compito preciso: "Crea una mappa per un esperimento con X ingredienti e Y tentativi, che sia la migliore possibile".

Per farlo, non hanno semplicemente chiesto "fai questo". Hanno usato una tecnica speciale chiamata "Zero-shot Chain of Thought".

• L'analogia: Immagina di non dire a un cuoco "fai la torta", ma di dirgli: "Sei un maestro pasticcere. Prima pensa passo dopo passo a quali ingredienti servono, poi mescola, poi cuoci. Ma non spiegarmi nulla, dammi solo il foglio con la ricetta finale scritta in codice".
• Hanno insegnato all'AI a "pensare a voce alta" internamente prima di scrivere la risposta, per evitare errori.

---

🏆 I Risultati: Chi ha vinto la gara?

Gli scienziati hanno fatto 36 prove diverse, variando il numero di ingredienti (da 4 a 26) e il numero di tentativi (8, 16 o 32). Ecco cosa è successo:

1. Il caso dei "Piccoli Esperimenti" (8 tentativi)

• Gemini: È stato un genio assoluto. Ha creato la mappa perfetta ogni singola volta, come un orologio svizzero.
• GPT: È stato molto bravo, ma a volte ha fatto piccoli errori di distrazione, come un cuoco che a volte sbaglia un grammo di sale.

2. Il caso dei "Medi Esperimenti" (16 tentativi)

• Gemini: Ha continuato a eccellere, trovando le soluzioni migliori per la maggior parte dei casi (fino a 8 ingredienti).
• GPT: Ha iniziato ad avere difficoltà. Quando gli ingredienti diventavano troppi, a volte si bloccava o produceva mappe incomplete (come se mancassero gli ingredienti nella lista della spesa).

3. Il caso dei "Grandi Esperimenti" (32 tentativi)

• Qui le cose si sono fatte difficili per entrambi.
• Gemini: È riuscito a trovare la soluzione perfetta solo quando c'erano 6 ingredienti. Per di più, l'ha trovata 10 volte su 10. È stato impressionante.
• GPT: Ha faticato molto. Per esperimenti con molti ingredienti, spesso non riusciva a finire il compito o produceva risultati non ottimali.

---

💡 La Morale della Favola

Cosa possiamo imparare da questo?

1. L'AI è un assistente promettente, ma non ancora un sostituto totale. Se devi fare un esperimento semplice o medio (come testare 5-8 ingredienti), puoi fidarti di Gemini (e in parte di GPT) per creare la tua "mappa" di esperimenti. Risparmierai tempo e non dovrai consultare i libri di testo.
2. Attenzione alla complessità. Se il tuo esperimento è molto grande (tanti ingredienti), l'AI attuale tende a confondersi. In questi casi, è ancora meglio affidarsi ai software statistici classici o ai manuali degli esperti umani.
3. Il "Prompt" è la chiave. Il modo in cui hai chiesto all'AI di lavorare è stato fondamentale. Se avessero chiesto in modo semplice ("Fammi una lista"), l'AI avrebbe fallito quasi sempre. Usando la tecnica del "pensa passo dopo passo", hanno sbloccato il vero potenziale del robot.

🔮 Il Futuro

Gli autori concludono dicendo che l'AI sta crescendo velocemente. Oggi, per compiti complessi, è meglio usare i libri. Ma tra un anno o due, con versioni più potenti di questi robot, forse potremo chiedere loro di progettare esperimenti complessi senza nemmeno guardare un manuale.

In sintesi: L'AI è un ottimo apprendista che sta imparando a cucinare, ma per i piatti da 3 stelle Michelin (esperimenti enormi), per ora, affidiamoci ancora allo Chef umano.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "A systematic assessment of Large Language Models for constructing two-level fractional factorial designs", presentato in italiano.

Titolo

Valutazione sistematica dei Modelli Linguistici di Grande Dimensione (LLM) per la costruzione di disegni fattoriali frazionati a due livelli.

1. Il Problema

Il Design of Experiments (DoE) è fondamentale per studiare processi complessi con un numero limitato di esecuzioni. I disegni fattoriali frazionati a due livelli ($2^{m-p}$) sono ampiamente utilizzati per analizzare molti fattori con poche corse (run). Tradizionalmente, questi disegni ottimali (definiti in base a criteri di risoluzione e aberrazione minima) sono ottenuti da cataloghi standard, libri di testo o software statistici (es. JMP, Minitab, R).

Con l'avvento dell'Intelligenza Artificiale Generativa (GenAI), modelli come ChatGPT (GPT) e Gemini sono diventati capaci di generare codice e soluzioni matematiche. Tuttavia, non era stato precedentemente valutato se questi LLM potessero costruire autonomamente disegni fattoriali frazionati di alta qualità, bypassando il software statistico tradizionale. Il rischio è che gli utenti, tentati dall'uso diretto dei chatbot, ottengano disegni subottimali o errati senza accorgersene.

2. Metodologia

Gli autori hanno condotto uno studio sistematico per valutare le prestazioni dei modelli GPT-5.1 (ChatGPT) e Gemini 2.5 Flash nella costruzione di disegni.

• Compiti di Valutazione: Sono stati testati 36 compiti diversi, coprendo dimensioni di disegno con 8, 16 e 32 corse e un numero di fattori variabile da 4 a 26.
• Tecnica di Prompting: È stato sviluppato un template di prompt di tipo Zero-shot Chain-of-Thought (Zero-shot-CoT). Questo approccio non fornisce esempi pregressi (zero-shot) ma istruisce il modello a ragionare passo dopo passo.
  • Ruolo: Il modello è stato istruito a comportarsi come un esperto di DoE.
  • Contesto: Obiettivo massimizzare la risoluzione e minimizzare l'aberrazione.
  • Formato Output: Istruzione rigorosa per restituire solo una tabella in formato CSV (valori -1 e 1), evitando spiegazioni testuali che potessero ostacolare l'analisi automatica.
• Esecuzione: Per ogni compito, sono state eseguite 10 repliche indipendenti per ciascun modello, generando un totale di 360 disegni per modello.
• Criteri di Valutazione:
  • Compliance: Verifica che la tabella generata abbia il numero corretto di righe, colonne e valori validi.
  • Qualità Statistica: I disegni compliant sono stati valutati in base alla Risoluzione e all'Aberrazione Minima (o Minimum Moment Aberration per calcoli più efficienti su grandi dimensioni). I risultati sono stati confrontati con i disegni ottimali noti presenti nella letteratura (es. Wu & Hamada, 2011).

3. Risultati Chiave

Modelli a 8 corse (4-7 fattori)

• Gemini 2.5 Flash: Ha ottenuto prestazioni eccellenti, costruendo il disegno a aberrazione minima per tutti i fattori in tutte le 10 esecuzioni (100% di successo).
• GPT-5.1: Ha costruito disegni ottimali, ma con una consistenza inferiore rispetto a Gemini (es. 10/10 per 4 fattori, ma solo 5/10 per 6 fattori).

Modelli a 16 corse (5-15 fattori)

• Gemini 2.5 Flash: Ha mostrato una forte consistenza per 5-8 fattori, ottenendo disegni ottimali in almeno l'80% delle esecuzioni. Le prestazioni declinano per 11-15 fattori.
• GPT-5.1: Ha ottenuto disegni ottimali per 5-8 fattori (almeno 2 volte su 10), ma ha fallito nel trovare il disegno a aberrazione minima per 12 fattori e ha mostrato una minore consistenza generale rispetto a Gemini.

Modelli a 32 corse (6-26 fattori)

• Gemini 2.5 Flash: Ha avuto successo solo per 6 fattori, costruendo il disegno ottimo in tutte le 10 repliche. Per 7-9 fattori ha ottenuto risultati parzialmente ottimali, ma per fattori superiori a 10 la maggior parte dei disegni era non compliant o subottimale.
• GPT-5.1: Ha mostrato prestazioni moderate solo per 6 fattori. Per un numero di fattori superiore a 8, il modello ha fallito sistematicamente nel generare disegni compliant o ottimali, spesso restituendo errori o disegni con risoluzione molto bassa.

Problemi di Compliance

Per disegni con molti fattori (specialmente >12), entrambi i modelli hanno spesso prodotto output non conformi (mancanza di dati, errori di formattazione CSV, o rifiuto di generare il disegno), indicando limiti nella capacità di gestire la complessità combinatoria e la formattazione strutturata su larga scala.

4. Contributi Principali

1. Prima Valutazione Sistematica: Questo studio è il primo a valutare quantitativamente la capacità degli LLM di generare disegni fattoriali frazionati ottimali rispetto agli standard statistici consolidati.
2. Framework di Prompting: Sviluppo di un template Zero-shot-CoT specifico per il DoE, che include ruoli, contesto e vincoli di formato rigorosi, dimostrando come l'ingegneria del prompt possa migliorare l'output tecnico.
3. Benchmark Pubblico: Creazione di un set di 36 compiti di riferimento (con codice e dati disponibili su GitHub) per valutare futuri progressi negli LLM applicati alla statistica e all'ingegneria.
4. Analisi Comparativa: Dimostrazione che, sebbene gli LLM siano promettenti, le loro capacità variano drasticamente in base al modello (Gemini 2.5 Flash supera GPT-5.1 in questo contesto) e alla complessità del compito.

5. Significato e Implicazioni

• Potenziale Pratico: Gli LLM possono essere utilizzati con successo per costruire disegni ottimali per scenari comuni nella pratica industriale (es. 8-16 corse con 4-8 fattori), offrendo un'alternativa rapida ai software tradizionali.
• Limitazioni Attuali: Per disegni complessi (32 corse con >9 fattori), gli LLM attuali non sono affidabili. Gli autori sconsigliano il loro uso per questi casi, raccomandando di affidarsi a software statistici dedicati o testi accademici.
• Direzioni Future: Il paper suggerisce che l'uso di tecniche avanzate come il Few-shot prompting (con esempi di ragionamento) o il Retrieval-Augmented Generation (RAG) collegato a libri di testo di DoE potrebbe migliorare significativamente le prestazioni degli LLM in compiti di alta complessità.

In sintesi, il paper conclude che gli LLM sono strumenti promettenti per l'automazione del DoE in scenari semplici e medi, ma richiedono ancora sviluppo per gestire la complessità combinatoria dei disegni su larga scala in modo autonomo e affidabile.