Fine-Tuning LLMs to Generate Economical and Reliable Actions for the Power Grid

Resumo Técnico: Ajuste Fino de LLMs para Geração de Ações Econômicas e Confiáveis na Rede Elétrica

1. O Problema

O trabalho aborda o desafio crítico de Desligamentos de Segurança Pública (PSPS - Public Safety Power Shutoffs). Durante condições climáticas extremas, as concessionárias desenergizam linhas de transmissão para reduzir o risco de incêndios florestais. Essas ações forçam mudanças topológicas rápidas na rede, tornando os pontos de operação padrão inviáveis.
Os operadores do sistema precisam, em tempo real, identificar ações corretivas de chaveamento (abrir ou fechar linhas) que:

• Minimizem o desligamento de carga (load shedding).
• Mantenham a viabilidade do fluxo de potência (especialmente restrições de tensão AC).
• Respeitem orçamentos de chaveamento e regras operacionais.

O uso de otimização mista-inteira (MILP) para calcular essas ações em tempo real é computacionalmente caro e lento, especialmente sob restrições não lineares de corrente alternada (AC). Modelos de linguagem grandes (LLMs) são promissores por sua capacidade de processar descrições não estruturadas, mas modelos base (foundation models) carecem de conhecimento específico de física de potência e podem gerar ações inviáveis ou inseguras.

2. Metodologia

Os autores propõem um pipeline de adaptação em múltiplos estágios para ajustar um LLM instruído, transformando-o em um assistente de decisão verificável. O processo segue três etapas principais:

A. Ajuste Fino Supervisionado (SFT) - Imitação do Oráculo

• Objetivo: Ensinar o LLM a imitar as decisões ótimas derivadas de um oráculo de Fluxo de Carga Ótimo em Corrente Contínua (DC-OPF) formulado como um problema de Programação Linear Inteira Mista (MILP).
• Representação: Os cenários PSPS são convertidos em resumos textuais estruturados (JSON) e as ações de chaveamento são codificadas em uma gramática restrita (ex: open(S3:21)).
• Resultado: O modelo aprende a mapear resumos de cenários para listas de ações que são sintaticamente válidas e respeitam orçamentos de chaveamento, garantindo que a saída seja "parsing-friendly" e verificável.

B. Otimização Direta de Preferência (DPO) - Consciência de Tensão

• Problema: O SFT baseia-se apenas em DC, ignorando violações de tensão que ocorrem em simulações AC reais.
• Solução: Uma etapa de refinamento onde pares de preferências $(y^+, y^-)$ são gerados.
  • Múltiplos candidatos são gerados pelo modelo SFT.
  • Cada candidato é avaliado via Fluxo de Carga AC.
  • Um métrica de penalidade de tensão ($V_{pen}$) classifica as soluções.
  • O DPO treina o modelo para aumentar a probabilidade de ações com menor penalidade de tensão, alinhando a política com a segurança física da rede além da imitação DC.

C. Seleção Best-of-N (Inferência)

• Como mecanismo de segurança e melhoria de qualidade, durante a inferência, o modelo gera $N$ candidatos independentes.
• Esses candidatos passam por verificações de gramática e restrições.
• O melhor candidato é selecionado com base na métrica de objetivo (custo econômico DC ou penalidade de tensão AC), permitindo um trade-off entre custo computacional e qualidade da solução.

3. Contribuições Principais

1. Formulação de Chaveamento Restrito: Definição de um problema de chaveamento "apenas abertura" (open-only) com orçamentos e restrições de corredores, resolvido via DC-OPF MILP para gerar dados de treinamento.
2. Gramática de Ação Estruturada: Desenvolvimento de uma representação de entrada/saída que permite que o LLM emita planos de chaveamento facilmente analisáveis e verificáveis por ferramentas de rede existentes.
3. Refinamento Sensível à Tensão (DPO): Introdução de uma etapa de alinhamento baseada em preferências que utiliza dados de avaliação AC para corrigir as deficiências do treinamento puramente DC, melhorando a segurança de tensão.
4. Pipeline Verificável: Uma abordagem que não substitui as ferramentas de análise de rede, mas atua como um gerador de candidatos que pode ser validado antes da execução.

4. Resultados Experimentais

Os experimentos foram realizados no sistema teste IEEE 118-bus com cenários simulados de PSPS.

• Desempenho Econômico (DC): O ajuste fino (SFT e DPO) melhorou significativamente os valores do objetivo econômico (custo) em comparação com a geração zero-shot (sem treinamento), aproximando-se dos resultados do oráculo MILP.
• Viabilidade AC:
  • O modelo zero-shot falhou no fluxo de carga AC em 50% dos cenários.
  • Os modelos ajustados (SFT e DPO) reduziram a taxa de falha para números de dígito único (6,7%).
  • Uma rede neural (MLP) teve a menor taxa de falha (3,3%), mas os LLMs ajustados mostraram-se competitivos e mais interpretáveis.
• Qualidade de Tensão: No conjunto de cenários onde todos os modelos convergiram (sucesso comum), o modelo DPO obteve a menor mediana de penalidade de tensão, superando tanto o SFT quanto a rede neural, demonstrando a eficácia do refinamento baseado em preferências.
• Convergência: As curvas de treinamento mostraram convergência estável tanto para o SFT (perda logarítmica e precisão de tokens) quanto para o DPO (perda e taxa de erro de preferência).

5. Significado e Impacto

Este trabalho representa um avanço significativo na aplicação de IA generativa em sistemas de energia crítica. Ele demonstra que é possível adaptar LLMs para tarefas de alto risco, garantindo:

• Segurança: Através de gramáticas restritas e verificações de viabilidade física (AC).
• Eficiência: Transferindo o custo computacional pesado da otimização MILP para a fase de treinamento, permitindo respostas rápidas em tempo real.
• Interpretabilidade: As saídas são listas de ações estruturadas que operadores humanos podem auditar.

A abordagem sugere um futuro onde assistentes de IA baseados em LLMs podem atuar como camadas de suporte à decisão em salas de controle, integrando-se aos fluxos de trabalho existentes sem substituir as ferramentas de verificação padrão, mas acelerando a tomada de decisão durante emergências como PSPS.