A Benchmark on LLM-Based Power Flow Computation: Do More Structured Prompts Help?

Sintesi Tecnica: Un Benchmark sul Calcolo del Flusso di Potenza Basato su LLM

Enunciato del Problema
Il calcolo del flusso di potenza è un elemento fondante della pianificazione, dell'operazione e dell'analisi di stabilità della rete. Sebbene i Modelli Linguistici di Grandi Dimensioni (LLM) siano sempre più esplorati come strumenti di supporto alle decisioni per le smart grid — dalla diagnosi dei guasti alle domande e risposte degli operatori — la loro capacità di eseguire algoritmi numerici precisi rimane non verificata. Nello specifico, il metodo di Gauss-Seidel, un risolutore iterativo canonico insegnato nei corsi di ingegneria elettrica, richiede aritmetica complessa, convergenza multi-passaggio e un attento tracciamento delle stime intermedie di tensione. Questo articolo affronta il divario nella comprensione della possibilità che gli LLM eseguano in modo affidabile tali algoritmi iterativi classici e indaga su come le strategie di ingegneria dei prompt (ad esempio, input strutturati, catena di pensiero, esempi few-shot) influenzino le prestazioni in questi compiti.

Metodologia
Gli autori hanno progettato un benchmark controllato che valuta tre LLM attraverso quattro formati di prompt distinti, utilizzando un sistema di flusso di potenza AC a tre bus.

• Sistema e Risolutore: Il banco di prova è un sistema completamente connesso a tre bus (un bus slack, due bus di carico PQ) con parametri di ramo ($R, X$) e valori di carico randomizzati. Le soluzioni di riferimento sono state calcolate numericamente utilizzando Python (NumPy) con aritmetica in doppia precisione. È stato selezionato il metodo di Gauss-Seidel al posto di Newton-Raphson per isolare la difficoltà dell'aritmetica iterativa dalla complessità della fattorizzazione matriciale, garantendo che il benchmark testasse la capacità del modello di seguire una procedura algoritmica nota.
• Modelli Valutati:
  1. Gemini 2.5 Pro (Google DeepMind)
  2. Claude Sonnet 4.5 (Anthropic)
  3. GPT-3.5 Turbo (OpenAI) come baseline a capacità inferiore.
• Formati di Prompt: Sono stati testati quattro formati per variare la complessità rappresentazionale:
  1. Narrativo-finale: Descrizione in linguaggio naturale del problema (stile libro di testo) richiedente solo la risposta finale.
  2. Narrativo+Esempio: La stessa narrazione più un esempio completo risolto tratto da un libro di testo.
  3. Procedurale-testo: Una procedura numerata passo-passo con dati in punti elenco, richiedente una tabella di traccia dell'iterazione e la risposta finale.
  4. JSON-strutturato: Input JSON leggibile dalla macchina con la procedura scritta, richiedente la stessa traccia di iterazione e la risposta finale.
• Valutazione: Il benchmark è stato eseguito su 50 casi di test, con una replica indipendente su 100 casi. Le metriche includevano l'Errore Assoluto Medio (MAE) in MW/MVar e la percentuale di casi rientranti in specifici intervalli di errore relativo (<1%, 1–5%, 5–10%, 10–20%, >20%). I fallimenti (output non parsabili) sono stati conteggiati nell'intervallo di errore >20% per riflettere l'affidabilità end-to-end.

Principali Contributi

1. Progettazione del Benchmark: Il paper presenta il primo studio controllato che varia sistematicamente i formati di prompt per un risolutore classico iterativo di flusso di potenza AC, mantenendo costanti l'algoritmo e la rete di test.
2. Analisi della Sensibilità al Prompt: Lo studio dimostra che gli effetti dell'ingegneria dei prompt sono altamente dipendenti dal modello. Per il modello più capace (Gemini 2.5 Pro), l'aumento della complessità del prompt (passando da narrativa a JSON strutturato con tracce di iterazione) ha degradato significativamente le prestazioni, aumentando il MAE di un fattore di 3,1×. Al contrario, l'aggiunta di un esempio risolto ha degradato le prestazioni di Gemini ma ha fornito un guadagno marginale per Claude.
3. Limiti di Capacità: Gli autori stabiliscono che nessuna configurazione testata ha raggiunto un'affidabilità sufficiente per l'uso diretto come risolutore numerico. GPT-3.5 Turbo ha fallito su almeno il 90% dei casi in tutti i formati, mentre anche la configurazione con le prestazioni migliori (Gemini con un prompt narrativo semplice) ha raggiunto solo il 54% dei casi entro un errore relativo del 5%.

Risultati

• Gemini 2.5 Pro: Ha mostrato la sensibilità più ampia al formato del prompt. Il formato più semplice (narrativo-finale) ha prodotto i migliori risultati (MAE = 0,257 MW/MVar; 54% dei casi entro il 5% di errore). Il formato più complesso (JSON-strutturato) ha prodotto le prestazioni peggiori (MAE = 0,789). L'aggiunta di un esempio risolto ha aumentato l'errore del 73%.
• Claude Sonnet 4.5: Ha mostrato un profilo di accuratezza quasi piatto in tutti i formati, con circa il 38% dei casi entro il 5% di errore indipendentemente dalla struttura del prompt. Il formato procedurale-testo ha funzionato leggermente meglio per Claude rispetto a Gemini, suggerendo che il prompting ottimale è specifico del modello.
• GPT-3.5 Turbo: Ha dimostrato un'inefficacia quasi totale, con il 90–96% dei casi che superavano il 20% di errore relativo in tutti i formati.
• Potenza Reale vs Reattiva: È stata osservata un'asimmetria coerente in cui gli errori sulla potenza reattiva ($Q_g$) hanno superato gli errori sulla potenza attiva ($P_g$) per la maggior parte delle configurazioni, potenzialmente a causa di una rappresentazione meno frequente dell'estrazione della parte immaginaria nei dati di addestramento.
• Replica: La replica su 100 casi ha confermato l'ordinamento qualitativo (Gemini $\gg$ Claude > GPT-3.5) e la mancanza di accuratezza di livello risolutore. Tuttavia, il formato ottimale per Gemini è passato da narrativo a procedurale-testo nel campione più ampio, suggerendo sensibilità alla difficoltà dell'istanza o alla variabilità del campionamento.

Significato e Affermazioni
Il paper conclude che, sebbene gli LLM mostrino promesse per compiti di alto livello sulla rete (spiegazione, domande e risposte), attualmente mancano dell'affidabilità richiesta per il calcolo numerico diretto del flusso di potenza. I risultati sfidano l'assunzione comune nell'ingegneria dei prompt secondo cui fornire istruzioni più esplicite e strutturate migliora sempre l'accuratezza aritmetica; in questo dominio, prompt più semplici hanno prodotto risultati superiori per il modello con le prestazioni migliori.

Gli autori posizionano questo lavoro come una linea di base diagnostica per praticanti e ricercatori. La principale implicazione è che il dispiegamento di LLM per il supporto alle decisioni nelle smart grid richiede una calibrazione attenta dei formati di prompt basata sul modello specifico, poiché "prompt più dettagliati" possono essere controproducenti. Inoltre, lo studio afferma che le attuali configurazioni LLM non dovrebbero essere utilizzate come sostituti dei risolutori numerici tradizionali negli ambienti di produzione, sebbene possano servire come ausili per il ragionamento approssimativo o strumenti educativi.