Large Language Models are Algorithmically Blind

1. Il Problema

Il lavoro affronta una lacuna critica nella comprensione delle capacità dei Large Language Models (LLM): la loro abilità di ragionare sui processi computazionali e prevedere le prestazioni degli algoritmi.
Mentre gli LLM dimostrano una vasta conoscenza dichiarativa, non è chiaro se possano fungere da selector di algoritmi "zero-shot" o stimatori di incertezza calibrati. La domanda centrale è: un LLM può prevedere con precisione quantitativa quanto bene un algoritmo (in questo caso, di causal discovery) performerà su un'istanza di problema specifica, basandosi solo sulla struttura del problema e sulle assunzioni dell'algoritmo?
Se gli LLM non possiedono questa capacità, il loro utilizzo per guidare la selezione e il deployment di algoritmi è rischioso, poiché potrebbero basarsi su pattern matching superficiale o memorizzazione di benchmark piuttosto che su un ragionamento procedurale genuino.

2. Metodologia

Gli autori hanno utilizzato il causal discovery (scoperta causale) come banco di prova rigoroso, poiché offre metriche oggettive, algoritmi diversificati e benchmark standardizzati.

• Setup Sperimentale:

  • Dataset: 13 dataset totali (9 benchmark reali dal repository bnlearn e 4 dataset sintetici generati da DAG casuali con densità controllata).
  • Algoritmi: 4 algoritmi rappresentativi di diverse famiglie: PC e FCI (basati su vincoli), LiNGAM (modelli causali funzionali) e NOTEARS (ottimizzazione continua).
  • Esecuzioni Ground Truth: Per ogni combinazione di dataset e algoritmo, gli algoritmi sono stati eseguiti 100 volte con bootstrap resampling, generando 5.200 esecuzioni totali. Da queste sono stati calcolati i valori medi empirici e gli intervalli di confidenza al 95% per le metriche di performance.
  • Metriche di Valutazione: Precision, Recall, F1-score e Structural Hamming Distance (SHD).

• Protocollo LLM:

  • Sono stati testati 8 modelli LLM all'avanguardia (inclusi Claude-Opus, GPT-5, DeepSeek, Qwen, LLaMA, Gemini).
  • Ogni modello è stato interrogato con 3 diverse formulazioni di prompt (dirette, con ragionamento passo-passo, focalizzate sull'incertezza) per prevedere intervalli di performance per le 4 metriche.
  • Metrica Principale: Calibrated Coverage (Copertura Calibrata). È definita come la frazione di casi in cui l'intervallo previsto dall'LLM contiene il vero valore medio dell'algoritmo (ground truth). Un modello ben calibrato dovrebbe avere una copertura vicina al livello di confidenza dichiarato (es. 95%).

• Analisi della Memorizzazione:

  • Confronto tra performance su dataset benchmark (probabilmente presenti nei dati di addestramento) e dataset sintetici (nuovi, non presenti nell'addestramento).
  • Analisi della larghezza degli intervalli previsti e della convergenza tra diversi modelli.

3. Contributi Chiave

1. Definizione di "Cecità Algoritmica": Gli autori coniano questo termine per descrivere l'incapacità degli LLM di formare aspettative calibrate sulle prestazioni algoritmiche basandosi esclusivamente sulla struttura del problema.
2. Studio su Larga Scala: Prima valutazione sistematica che coinvolge 8 modelli, 13 dataset, 4 algoritmi e 5.200 esecuzioni ground truth.
3. Dimostrazione del Fallimento Sistematico: Evidenza che gli LLM falliscono sistematicamente nel prevedere le prestazioni, spesso peggio del caso casuale.
4. Distinzione tra Conoscenza e Ragionamento: Dimostrazione che gli LLM possono descrivere correttamente le assunzioni di un algoritmo (conoscenza dichiarativa) ma non riescono a tradurle in previsioni quantitative accurate (predizione procedurale).

4. Risultati Principali

• Copertura Calibrata Estremamente Bassa:

  • La copertura media complessiva di tutti i modelli è del 15,9%. Ciò significa che in oltre l'84% dei casi, il vero valore medio dell'algoritmo cade fuori dall'intervallo previsto dall'LLM.
  • 7 modelli su 8 hanno performance inferiori a un baseline casuale (36,5%). Anche il modello migliore (Claude, 39,4%) ha una copertura appena sopra la casualità, insufficiente per un uso pratico.

• Intervalli Ingiustificatamente Larghi:

  • Gli intervalli previsti dagli LLM sono 8-27 volte più ampi dei veri intervalli di confidenza statistica. Tuttavia, nonostante questa "conservatività" estrema, falliscono ancora nel catturare la verità. Questo indica una miscalibrazione delle credenze, non una semplice cautela.

• Evidenza di Memorizzazione vs. Ragionamento:

  • Degrado sui Dati Sintetici: La copertura crolla monotonicamente all'aumentare della dimensione delle reti sintetiche (dal 20,3% a 12 nodi al 6,2% a 60 nodi).
  • Dissociazione Algoritmo-Metrica: I modelli performano diversamente su algoritmi diversi in base alla loro presenza nella letteratura di addestramento. Ad esempio, LiNGAM (ampiamente documentato) crolla sui dati sintetici, mentre NOTEARS (meno documentato) mantiene una certa stabilità o addirittura migliora. Questo suggerisce che gli LLM recuperano statistiche memorizzate dai benchmark noti invece di ragionare sulla struttura.
  • Convergenza sui Benchmark: I modelli tendono a convergere su previsioni simili per i dataset benchmark noti (memorizzazione), ma divergono drasticamente sui dati sintetici (mancanza di un modello interno).

• Analisi Specifica:

  • Gli LLM tendono a sovrastimare sistematicamente il Recall e sottostimare gli errori, riflettendo una visione ottimistica basata su riassunti di benchmark.
  • La metrica SHD (distanza strutturale) mostra un fallimento quasi totale (0% di copertura per alcuni algoritmi su benchmark), indicando che gli LLM non comprendono la complessità della predizione della direzione degli archi.

5. Significato e Implicazioni

Il paper conclude che gli LLM attuali soffrono di una cecità algoritmica fondamentale.

• Non sono selector di algoritmi affidabili: Non possono essere utilizzati come strumenti "zero-shot" per scegliere o valutare algoritmi senza una validazione empirica costosa.
• Divario tra Conoscenza e Applicazione: Il problema non è la mancanza di conoscenza fattuale (gli LLM sanno cosa fa un algoritmo), ma l'assenza di un modello di performance strutturato che colleghi le assunzioni algoritmiche alle proprietà del dataset.
• Implicazioni per la Ricerca: Interventi come la Retrieval-Augmented Generation (RAG) potrebbero colmare le lacune fattuali, ma non risolveranno l'incapacità di generare previsioni quantitative calibrate.
• Avvertenza per la Pratica: Gli utenti dovrebbero evitare di affidarsi agli LLM per stime quantitative di performance algoritmica. La ricerca futura dovrebbe esplorare se gli esperti umani riescono a superare questo limite o se il problema è intrinsecamente difficile, e valutare se il fine-tuning su storie di performance possa migliorare la calibrazione.

In sintesi, il lavoro smaschera l'illusione che gli LLM possiedano una comprensione procedurale profonda degli algoritmi, mostrando che le loro previsioni quantitative sono spesso allucinate, non calibrate e basate su memorizzazione superficiale piuttosto che su ragionamento causale.