A Rule-Aware Prompt Framework for Structured Numeric Reasoning in Cyber-Physical Systems

Technische Samenvatting: Een Regelbewust Promptkader voor Gestructureerde Numerieke Redenering in Slimme Netten

Probleemstelling

Moderne slimme netten vertrouwen op hoogdimensionale numerieke telemetrie (bijvoorbeeld busspanningen, vermogensinjecties, lijnstromen) en expliciete operationele regels om betrouwbaarheid te waarborgen. Hoewel Large Language Models (LLM's) steeds vaker worden onderzocht voor netbeheer, zijn huidige implementaties overwegend tekstgericht en richten ze zich op logs en waarschuwingen in plaats van direct te redeneren over numerieke metingen. Wanneer numerieke netdata naïef als tokens worden gesequenced, slagen LLM's er vaak niet in om de onderliggende beslissingsregels na te leven; ze worden gevoelig voor representatiekeuzes en wijken af van fysieke of statistische criteria. Deze kloof is kritiek bij veiligheidskritieke anomaliedetectie (AD), waar beslissingen traceerbaar moeten zijn naar goed begrepen operationele grenswaarden. De kernuitdaging die wordt aangepakt, is hoe prompts zo gestructureerd kunnen worden dat LLM's kunnen redeneren over numerieke telemetrie op een manier die trouw is aan regels van energiesystemen, interpreteerbaar voor operators en efficiënt in tokengebruik.

Methodologie

De auteurs stellen een Regelbewust Promptkader voor dat prompts decomposeert in een modulaire architectuur die domeinkennis, meetsemantiek en beslissingsregels codeert. Het kader bestaat uit zes onderscheiden modules:

1. Rolinstructie (R): Definieert het persona van het model (bijvoorbeeld analist van energiesystemen) en de taak.
2. Domeinkennis (C): Beschrijft het systeem, meettypen en featuresemantiek om numerieke waarden te verankeren in fysieke betekenis.
3. Numerieke Normalisatie (N): Specificeert de transformatie van ruwe metingen naar genormaliseerde grootheden (bijvoorbeeld z-scores) om schaalgevoeligheid en tokenredundantie te verminderen.
4. Regelbewuste Redenering (S): Codeert de beslissingslogica (bijvoorbeeld drie-sigma-criteria) en instrueert de LLM om deze regels expliciet toe te passen.
5. Waardenblok (V): Presenteert de telemetrie in een compact formaat (bijvoorbeeld een lijst van genormaliseerde beschrijvingen) dat is afgestemd op de redeneringsregels.
6. Outputschema (O): Beperkt het antwoord tot een categorische label en een korte, machine-actieerbare uitleg.

Het kader wordt geïmplementeerd op het IEEE 118-bus transmissienetwerk met gebruik van GPT-OSS-20B (een open-gewicht MoE-model met 20B parameters). De studie evalueert vijf prompt- en adaptatieregimes:

• Zero-shot: Geen gelabelde voorbeelden.
• Few-shot: Twee gelabelde voorbeelden (één normaal, één anomalie).
• In-Context Learning (ICL): Vijf diverse gelabelde voorbeelden.
• LoRA Fine-tuning: Parameter-efficiënte adaptatie om labels en onderbouwingen te genereren.
• Hybride LLM+DL: De LLM fungeert als regelbewuste featureselector en uitlegmotor, die kanalen filtert voor een downstream deep learning (DL) detector.

Een cruciale ontwerpkies is de representatie van het Waardenblok (V). Het artikel vergelijkt vier varianten: alleen ruwe waarden; ruwe waarden met gemiddelde/standaardafwijking; ruwe waarden met gemiddelde/standaardafwijking/z-score; en alleen z-score. Het voorgestelde "alleen z-score"-ontwerp laat ruwe waarden en statistieken weg en vertrouwt uitsluitend op absolute z-scores die zijn afgestemd op de beslissingsregel om tokengebruik te minimaliseren terwijl redeneringsinformatie behouden blijft.

Belangrijkste Resultaten

De experimenten, uitgevoerd op het IEEE 118-bus-systeem met ingebrachte anomalieën (15% afwijking in drie willekeurige sensoren), leveren de volgende bevindingen op:

• Invloed van Waardenblok-ontwerp: In zero-shot-situaties heeft de representatie van numerieke data een aanzienlijk effect op de prestaties. Het gebruik van alleen ruwe waarden (Opstelling 1) resulteerde in een lage nauwkeurigheid (36,2%). Het toevoegen van statistische context (Opstelling 2) verbeterde de F1-score naar 65,3%. De alleen-z-score-ontwerp (Opstelling 4) behaalde echter de beste zero-shot-prestaties met 71,8% nauwkeurigheid en een F1-score van 77,9%, terwijl het een tokenaantal behield dat vergelijkbaar was met de opstelling met ruwe waarden (2.203 tokens versus 2.189 tokens) en aanzienlijk lager dan opstellingen die ruwe statistieken bevatten. Dit toont aan dat beknopte, regel-gealigneerde representaties beter presteren dan simpelweg meer data blootstellen.
• Supervisie-niveaus: De prestaties verbeterden progressief met supervisie. Few-shot en ICL brachten de F1-score boven de 80%. LoRA fine-tuning behaalde 100% recall maar lagere precisie (75,8%), wat resulteerde in een F1-score van 86,2%.
• Hybride Architectuur: De Hybride LLM+DL-benadering behaalde de hoogste algehele prestaties (94,0% nauwkeurigheid, 93,6% F1-score) met 100% precisie. In deze opstelling filterde de LLM meetkanalen op basis van de drie-sigma-regel voordat deze werden doorgegeven aan een traditionele DL-detector. Deze configuratie presteerde beter dan zowel de standalone DL-detector (F1 88,3%) als de directe drie-sigma-baseline (F1 89,9%).
• Token-efficiëntie: De alleen-z-score-prompt (Opstelling 4) bood de beste balans tussen prestaties en efficiëntie. Daarentegen vereiste ICL meer dan 11.000 tokens, en LoRA fine-tuning leidde tot hogere latentie door model-lading, ondanks vergelijkbare tokenaantallen als Opstelling 4.

Betekenis en Claims

Het artikel stelt dat helderheid en regel-afstemming in promptontwerp kritischer zijn dan inputvolume voor taken van netmonitoring. De primaire bijdragen zijn:

1. Een modulair, regelbewust promptkader dat rol, context, normalisatie, regelspecificatie en output expliciet scheidt, waardoor herbruikbare integratie mogelijk is over netmonitoringstaken heen.
2. Een geprincipieerde formulering waarbij LLM-beslissingen gebaseerd zijn op genormaliseerde afwijkingen (z-scores) die zijn afgestemd op operationele criteria in plaats van ruwe metingen, zodat beslissingen traceerbaar blijven bij statistische of fysieke regels.
3. Een empirische demonstratie dat een hybride LLM+DL-architectuur traditionele detectoren kan overtreffen in precisie terwijl het interpreteerbare onderbouwingen biedt, waardoor effectief de kloof wordt overbrugd tussen hoogdimensionale telemetrie en algemene LLM's.

De auteurs positioneren de LLM niet als vervanging voor conventionele op drempelwaarden gebaseerde detectoren, maar als een component dat expliciete regels, genormaliseerde bewijslast en gestructureerde outputbeperkingen integreert om transparantie en operatorvertrouwen te versterken. Voor toekomstig werk wordt voorgesteld om rijkere fysieke regels (bijvoorbeeld AC-vermogensflow-consistentie) op te nemen en het kader uit te breiden naar distributiesystemen en microgrids.