POTracker: Optimizing Large Language Models for Standard-Compliant Power Outage Report Generation

Resumo Técnico: POTracker

Declaração do Problema
Embora os Grandes Modelos de Linguagem (LLMs) se destaquem na geração de texto geral, sua aplicação à geração de dados específicos de um domínio permanece desafiadora. Especificamente, gerar relatórios de interrupção de energia para o setor de utilidades exige saídas que não sejam apenas semanticamente precisas, mas que também adiram estritamente a padrões estruturais e de formato rígidos definidos por órgãos reguladores. O artigo aborda o problema de interoperabilidade dentro da rede elétrica dos Estados Unidos, onde os relatórios de interrupção devem ser legíveis por máquina (por exemplo, JSON ou XML) e estar em conformidade com o padrão Common Information Model (CIM) IEC 61968-3, conforme definido pelo benchmark Outage Data Initiative Nationwide (ODIN). As entradas atuais são frequentemente não estruturadas ou não padronizadas (texto livre, XML/JSON malformados), e transformar essas entradas em relatórios canônicos e em conformidade com o padrão normalmente requer intervenção manual de especialistas do domínio.

Metodologia
Os autores propõem o POTracker, um pipeline de LLM otimizado projetado para automatizar a geração de relatórios de interrupção de energia em conformidade com os padrões. A metodologia envolve os seguintes componentes:

• Modelo Base: O sistema utiliza o Qwen2.5-7B-Instruct, um LLM de pesos abertos compacto, escolhido por seu equilíbrio entre precisão e eficiência no seguimento de instruções e geração estruturada.
• Rotulagem de Dados: Devido à falta de conjuntos de dados existentes contendo relatórios padrão de verdade fundamental (ground-truth), os autores utilizaram o GPT-5.2 (um LLM fechado) para gerar relatórios padrão sintéticos a partir de entradas não padronizadas baseadas na documentação do ODIN. Esses relatórios sintéticos servem como os rótulos "ouro" para o treinamento.
• POTrackerLoss (Função de Perda Customizada): A inovação central é uma nova função de perda que estende a entropia cruzada tradicional. Ela incorpora um sinal de qualidade ao nível de sequência derivado de uma métrica customizada, a POTrackerMetric.
  • POTrackerMetric: Esta métrica avalia a similaridade entre um relatório gerado e um relatório de verdade fundamental combinando dois fatores:
    1. Similaridade Textual: Medida via similaridade de cosseno dos valores textuais para garantir a precisão semântica.
    2. Similaridade de Estrutura de Tags: Medida usando difflib.SequenceMatcher para avaliar o alinhamento das estruturas hierárquicas XML, atributos e ordenação de nós.
  • A perda total é calculada como $L_{total} = L_{CE} + \lambda \cdot p$, onde $L_{CE}$ é a entropia cruzada padrão ao nível de token, e $p$ é uma penalidade derivada do inverso da pontuação da POTrackerMetric.
• Baselines (Linhas de Base): O estudo compara o POTracker contra:
  • Variantes de Fine-tuning: Token Weight Cross Entropy (TW-CE), Tag Masking Cross Entropy (TM-CE), Example Weight Cross Entropy (EW-CE-PO) e Direct Preference Optimization (DPO).
  • Abordagem Baseada em Regras: Um programa heurístico que mapeia manualmente tags não padronizadas para tags padrão com base em regras definidas por especialistas do domínio.
  • Baseline Original: O modelo Qwen2.5-7B-Instruct não modificado.

Principais Contribuições

1. POTrackerMetric: Uma nova fórmula de avaliação que quantifica a similaridade entre relatórios de interrupção de energia gerados e esperados, considerando conjuntamente o conteúdo textual e a estrutura de tags XML.
2. POTrackerLoss: Uma função de perda customizada que integra a POTrackerMetric ao processo de fine-tuning, permitindo que o LLM otimize simultaneamente a correção semântica e a validade estrutural.
3. Avaliação Abrangente: Uma comparação rigorosa do método proposto contra múltiplas estratégias de fine-tuning e um baseline baseado em regras em um conjunto de dados de 1.000 relatórios de interrupção de energia.

Resultados
Os experimentos foram conduzidos em um conjunto de dados de 1.000 entidades (800 para treinamento, 100 para validação, 100 para teste). Os resultados indicam:

• Desempenho Superior: O POTracker superou significativamente todas as outras abordagens de fine-tuning. Ele melhorou a precisão geral em até 51% em comparação com os baselines.
• Precisão Estrutural: O POTracker alcançou uma precisão estrutural (Precisão de Tag) de 86,47%, comparado a apenas 3,56% para o Qwen2.5-7B-Instruct original e aproximadamente 3,5% para outras variantes de fine-tuning.
• Comparação com Baseline: Embora a abordagem baseada em regras tenha performado bem estruturalmente (79,00% de Precisão de Tag), o POTracker a superou em precisão geral (69,14% vs. 61,46%).
• Limitações de Outros Métodos: As variantes de entropia cruzada padrão (TW-CE, TM-CE, EW-CE-PO) e o DPO não forneceram ganhos significativos sobre o baseline não modificado, sugerindo que os pipelines de fine-tuning padrão de NLP são insuficientes para tarefas que exigem conformidade rigorosa de esquema sem funções de perda conscientes da estrutura.
• Avaliação Humana: Um estudo envolvendo dois especialistas do domínio avaliou a qualidade dos rótulos gerados pelo GPT-5.2 (usados como verdade fundamental) com uma pontuação média de 4,03 em uma escala de 0 a 5, validando a confiabilidade do conjunto de dados sintético.

Significância e Alegações
O artigo alega que o POTracker aborda efetivamente o desafio de gerar dados específicos de domínio e em conformidade com padrões, onde a adesão estrita ao formato é tão crítica quanto o significado semântico. Ao introduzir uma função de perda que penaliza explicitamente desvios estruturais, os autores demonstram que os LLMs podem ser otimizados para produzir relatórios legíveis por máquina que atendem aos padrões regulatórios da indústria (CIM IEC 61968-3). O trabalho destaca que, embora os sistemas baseados em regras sejam fortes na imposição de estrutura, um LLM otimizado customizadamente pode alcançar um melhor equilíbrio entre flexibilidade semântica e correção estrutural, potencialmente reduzindo o fardo manual sobre provedores de utilidades e equipes de resposta a emergências no processamento de dados de interrupção.