A Rule-Aware Prompt Framework for Structured Numeric Reasoning in Cyber-Physical Systems

Riepilogo Tecnico: Un Framework di Prompt Consapevole delle Regole per il Ragionamento Numerico Strutturato nelle Smart Grid

Enunciato del Problema

Le moderne smart grid si affidano a telemetria numerica ad alta dimensionalità (ad esempio, tensioni di barra, iniezioni di potenza, flussi di linea) e a regole operative esplicite per garantire l'affidabilità. Sebbene i Modelli Linguistici su Grande Scala (LLM) siano sempre più esplorati per le operazioni di rete, le implementazioni attuali sono prevalentemente incentrate sul testo, focalizzandosi su log e avvisi piuttosto che sul ragionamento diretto sulle misurazioni numeriche. Quando i dati numerici della rete vengono serializzati in modo ingenuo come token, gli LLM spesso non riescono ad aderire alle regole decisionali sottostanti, diventando sensibili alle scelte di rappresentazione e allontanandosi dai criteri fisici o statistici. Questo divario è critico nella rilevazione di anomalie (AD) in contesti safety-critical, dove le decisioni devono essere tracciabili a limiti operativi ben compresi. La sfida centrale affrontata è come strutturare i prompt in modo che gli LLM possano ragionare sulla telemetria numerica in modo fedele alle regole dei sistemi di potenza, interpretabile per gli operatori ed efficiente nell'uso dei token.

Metodologia

Gli autori propongono un Framework di Prompt Consapevole delle Regole che scompone i prompt in un'architettura modulare progettata per codificare il contesto di dominio, la semantica delle misurazioni e le regole decisionali. Il framework è composto da sei moduli distinti:

1. Istruzione sul Ruolo (R): Definisce la persona del modello (ad esempio, analista dei sistemi di potenza) e il compito.
2. Contesto di Dominio (C): Descrive il sistema, i tipi di misurazione e la semantica delle caratteristiche per ancorare i valori numerici al significato fisico.
3. Normalizzazione Numerica (N): Specifica la trasformazione delle misurazioni grezze in quantità normalizzate (ad esempio, z-score) per ridurre la sensibilità alla scala e la ridondanza dei token.
4. Ragionamento Consapevole delle Regole (S): Codifica la logica decisionale (ad esempio, criteri a tre sigma) e istruisce l'LLM ad applicare esplicitamente queste regole.
5. Blocco Valori (V): Presenta la telemetria in un formato compatto (ad esempio, un elenco di descrittori normalizzati) allineato alle regole di ragionamento.
6. Schema di Output (O): Vincola la risposta a un'etichetta categorica e a una breve spiegazione azionabile da macchina.

Il framework è istanziato sulla rete di trasmissione IEEE 118-bus utilizzando GPT-OSS-20B (un modello MoE open-weight da 20 miliardi di parametri). Lo studio valuta cinque regimi di prompting e adattamento:

• Zero-shot: Nessun esempio etichettato.
• Few-shot: Due esempi etichettati (uno normale, uno anomalo).
• Apprendimento in Contesto (ICL): Cinque esempi etichettati diversificati.
• Fine-tuning LoRA: Adattamento efficiente in termini di parametri per generare etichette e razionali.
• Ibrido LLM+DL: L'LLM agisce come selettore di caratteristiche consapevole delle regole e motore di spiegazione, filtrando i canali per un rilevatore di deep learning (DL) a valle.

Una scelta progettuale chiave è la rappresentazione del Blocco Valori (V). Il paper confronta quattro varianti: solo valori grezzi; valori grezzi con media/deviazione standard; valori grezzi con media/deviazione standard/z-score; e solo z-score. Il design "solo z-score" proposto omette i valori grezzi e le statistiche, affidandosi esclusivamente agli z-score assoluti allineati alla regola decisionale per minimizzare l'uso dei token preservando al contempo le informazioni di ragionamento.

Risultati Chiave

Gli esperimenti, condotti sul sistema IEEE 118-bus con anomalie iniettate (deviazione del 15% in tre sensori casuali), producono i seguenti risultati:

• Impatto del Design del Blocco Valori: In contesti zero-shot, la rappresentazione dei dati numerici influisce significativamente sulle prestazioni. L'uso di soli valori grezzi (Configurazione 1) ha portato a una bassa accuratezza (36,2%). L'aggiunta di contesto statistico (Configurazione 2) ha migliorato l'F1 al 65,3%. Tuttavia, il design solo z-score (Configurazione 4) ha ottenuto le migliori prestazioni zero-shot con 71,8% di accuratezza e un punteggio F1 del 77,9%, mantenendo un conteggio di token comparabile alla configurazione con valori grezzi (2.203 token contro 2.189 token) e molto inferiore rispetto alle configurazioni che includono statistiche grezze. Ciò dimostra che rappresentazioni concise e allineate alle regole superano la semplice esposizione di più dati.
• Livelli di Supervisione: Le prestazioni sono migliorate progressivamente con la supervisione. Few-shot e ICL hanno innalzato il punteggio F1 sopra l'80%. Il fine-tuning LoRA ha raggiunto un recall del 100% ma una precisione inferiore (75,8%), risultando in un F1 dell'86,2%.
• Architettura Ibrida: L'approccio Ibrido LLM+DL ha ottenuto le prestazioni complessive più elevate (94,0% di accuratezza, 93,6% di punteggio F1) con 100% di precisione. In questa configurazione, l'LLM ha filtrato i canali di misurazione basandosi sulla regola a tre sigma prima di passarli a un rilevatore DL tradizionale. Questa configurazione ha superato sia il rilevatore DL autonomo (F1 88,3%) sia la linea di base diretta a tre sigma (F1 89,9%).
• Efficienza dei Token: Il prompt solo z-score (Configurazione 4) ha offerto il miglior equilibrio tra prestazioni ed efficienza. Al contrario, l'ICL ha richiesto oltre 11.000 token, e il fine-tuning LoRA ha comportato una latenza più elevata a causa del caricamento del modello, nonostante un conteggio di token simile alla Configurazione 4.

Significato e Affermazioni

Il paper afferma che chiarezza e allineamento delle regole nella progettazione del prompt sono più critici del volume di input per le attività di monitoraggio della rete. I contributi principali sono:

1. Un framework modulare di prompt consapevole delle regole che separa esplicitamente ruolo, contesto, normalizzazione, specifica delle regole e output, consentendo un'integrazione riutilizzabile tra le attività di monitoraggio della rete.
2. Una formulazione principiale in cui le decisioni degli LLM sono basate su deviazioni normalizzate (z-score) allineate ai criteri operativi piuttosto che sulle misurazioni grezze, garantendo che le decisioni rimangano tracciabili a regole statistiche o fisiche.
3. Una dimostrazione empirica che un'architettura ibrida LLM+DL può superare i rilevatori tradizionali in termini di precisione fornendo al contempo razionali interpretabili, colmando efficacemente il divario tra telemetria ad alta dimensionalità e LLM generici.

Gli autori posizionano l'LLM non come sostituto dei rilevatori basati su soglie convenzionali, ma come componente che integra regole esplicite, prove normalizzate e vincoli di output strutturati per migliorare la trasparenza e la fiducia degli operatori. È proposto un lavoro futuro per incorporare regole fisiche più ricche (ad esempio, coerenza del flusso di potenza AC) ed estendere il framework ai sistemi di distribuzione e alle microreti.