A Rule-Aware Prompt Framework for Structured Numeric Reasoning in Cyber-Physical Systems

Resumo Técnico: Um Framework de Prompt Consciente de Regras para Raciocínio Numérico Estruturado em Redes Inteligentes

Declaração do Problema

As redes inteligentes modernas dependem de telemetria numérica de alta dimensão (por exemplo, tensões de barra, injeções de potência, fluxos de linha) e regras operacionais explícitas para garantir a confiabilidade. Embora os Modelos de Linguagem de Grande Escala (LLMs) sejam cada vez mais explorados para operações de rede, as implementações atuais são predominantemente centradas em texto, focando em logs e alertas em vez de raciocinar diretamente sobre medições numéricas. Quando dados numéricos da rede são serializados de forma ingênua como tokens, os LLMs frequentemente falham em aderir às regras de decisão subjacentes, tornando-se sensíveis a escolhas de representação e desviando-se de critérios físicos ou estatísticos. Essa lacuna é crítica na detecção de anomalias (DA) em cenários de segurança, onde as decisões devem ser rastreáveis a limites operacionais bem compreendidos. O desafio central abordado é como estruturar prompts para que os LLMs possam raciocinar sobre telemetria numérica de maneira fiel às regras do sistema de energia, interpretável para operadores e eficiente no uso de tokens.

Metodologia

Os autores propõem um Framework de Prompt Consciente de Regras que decompõe prompts em uma arquitetura modular projetada para codificar contexto de domínio, semântica de medição e regras de decisão. O framework consiste em seis módulos distintos:

1. Instrução de Papel (R): Define a persona do modelo (por exemplo, analista de sistema de energia) e a tarefa.
2. Contexto de Domínio (C): Descreve o sistema, tipos de medição e semântica de características para fundamentar valores numéricos em significado físico.
3. Normalização Numérica (N): Especifica a transformação de medições brutas em quantidades normalizadas (por exemplo, escores-z) para reduzir sensibilidade à escala e redundância de tokens.
4. Raciocínio Consciente de Regras (S): Codifica a lógica de decisão (por exemplo, critérios de três sigmas) e instrui o LLM a aplicar essas regras explicitamente.
5. Bloco de Valores (V): Apresenta a telemetria em um formato compacto (por exemplo, uma lista de descritores normalizados) alinhado com as regras de raciocínio.
6. Esquema de Saída (O): Restringe a resposta a um rótulo categórico e uma explicação breve e acionável por máquina.

O framework é instanciado na rede de transmissão IEEE de 118 barras usando GPT-OSS-20B (um modelo MoE de pesos abertos com 20B de parâmetros). O estudo avalia cinco regimes de prompting e adaptação:

• Zero-shot: Sem exemplos rotulados.
• Few-shot: Dois exemplos rotulados (um normal, uma anomalia).
• Aprendizado em Contexto (ICL): Cinco exemplos rotulados diversos.
• Ajuste Fino LoRA: Adaptação eficiente em parâmetros para gerar rótulos e justificativas.
• Híbrido LLM+DL: O LLM atua como um seletor de características consciente de regras e motor de explicação, filtrando canais para um detector de aprendizado profundo (DL) a jusante.

Uma escolha de design chave é a representação do Bloco de Valores (V). O artigo compara quatro variantes: apenas valores brutos; valores brutos com média/desvio padrão; valores brutos com média/desvio padrão/escore-z; e apenas escore-z. O design proposto "apenas escore-z" omite valores brutos e estatísticas, confiando exclusivamente em escores-z absolutos alinhados com a regra de decisão para minimizar o uso de tokens enquanto preserva informações de raciocínio.

Principais Resultados

Os experimentos, conduzidos no sistema IEEE de 118 barras com anomalias injetadas (desvio de 15% em três sensores aleatórios), produzem as seguintes descobertas:

• Impacto do Design do Bloco de Valores: Em configurações zero-shot, a representação de dados numéricos afeta significativamente o desempenho. O uso de apenas valores brutos (Configuração 1) resultou em baixa precisão (36,2%). Adicionar contexto estatístico (Configuração 2) melhorou o F1 para 65,3%. No entanto, o design apenas escore-z (Configuração 4) alcançou o melhor desempenho zero-shot com 71,8% de precisão e um escore F1 de 77,9%, mantendo uma contagem de tokens comparável à configuração de valores brutos (2.203 tokens vs. 2.189 tokens) e muito menor do que configurações que incluem estatísticas brutas. Isso demonstra que representações concisas e alinhadas a regras superam simplesmente expor mais dados.
• Níveis de Supervisão: O desempenho melhorou progressivamente com supervisão. Few-shot e ICL elevaram o escore F1 acima de 80%. O ajuste fino LoRA alcançou 100% de recall, mas precisão menor (75,8%), resultando em um F1 de 86,2%.
• Arquitetura Híbrida: A abordagem Híbrida LLM+DL alcançou o melhor desempenho geral (94,0% de precisão, 93,6% de escore F1) com 100% de precisão. Nesta configuração, o LLM filtrou canais de medição com base na regra de três sigmas antes de passá-los para um detector DL tradicional. Esta configuração superou tanto o detector DL autônomo (F1 88,3%) quanto a linha de base direta de três sigmas (F1 89,9%).
• Eficiência de Tokens: O prompt apenas escore-z (Configuração 4) ofereceu o melhor equilíbrio entre desempenho e eficiência. Em contraste, o ICL exigiu mais de 11.000 tokens, e o ajuste fino LoRA incorreu em maior latência devido ao carregamento do modelo, apesar de contagens de tokens semelhantes à Configuração 4.

Significado e Alegações

O artigo alega que clareza e alinhamento de regras no design de prompts são mais críticos do que o volume de entrada para tarefas de monitoramento de rede. As principais contribuições são:

1. Um framework de prompt modular e consciente de regras que separa explicitamente papel, contexto, normalização, especificação de regras e saída, permitindo integração reutilizável em tarefas de monitoramento de rede.
2. Uma formulação principista onde decisões de LLM são baseadas em desvios normalizados (escores-z) alinhados com critérios operacionais em vez de medições brutas, garantindo que as decisões permaneçam rastreáveis a regras estatísticas ou físicas.
3. Uma demonstração empírica de que uma arquitetura híbrida LLM+DL pode superar detectores tradicionais em precisão enquanto fornece justificativas interpretáveis, efetivamente fechando a lacuna entre telemetria de alta dimensão e LLMs de propósito geral.

Os autores posicionam o LLM não como um substituto para detectores convencionais baseados em limiares, mas como um componente que integra regras explícitas, evidências normalizadas e restrições de saída estruturadas para aprimorar a transparência e a confiança do operador. Trabalhos futuros são propostos para incorporar regras físicas mais ricas (por exemplo, consistência de fluxo de potência CA) e estender o framework para sistemas de distribuição e microrredes.