POTracker: Optimizing Large Language Models for Standard-Compliant Power Outage Report Generation

Resumen Técnico: POTracker

Planteamiento del Problema
Si bien los Modelos de Lenguaje de Gran Escala (LLMs) sobresalen en la generación de texto general, su aplicación a la generación de datos específicos de un dominio sigue siendo un desafío. Específicamente, la generación de informes de interrupción del suministro eléctrico para el sector de las empresas de servicios públicos requiere resultados que no solo sean semánticamente precisos, sino que también se adhieran estrictamente a estándares estructurales y de formato rígidos definidos por los organismos reguladores. El artículo aborda el problema de la interoperabilidad dentro de la red eléctrica de los Estados Unidos, donde los informes de interrupción deben ser legibles por máquinas (por ejemplo, JSON o XML) y cumplir con el estándar Common Information Model (CIM) IEC 61968-3, tal como lo define el benchmark Outage Data Initiative Nationwide (ODIN). Las entradas actuales suelen ser no estructuradas o no estandarizadas (texto libre, XML/JSON mal formados), y transformar estas en informes canónicos que cumplan con el estándar suele requerir la intervención manual de expertos en el dominio.

Metodología
Los autores proponen POTracker, un pipeline de LLM optimizado diseñado para automatizar la generación de informes de interrupción de suministro eléctrico que cumplan con los estándares. La metodología consta de los siguientes componentes:

• Modelo Base: El sistema utiliza Qwen2.5-7B-Instruct, un LLM compacto de pesos abiertos elegido por su equilibrio entre precisión y eficiencia en el seguimiento de instrucciones y la generación estructurada.
• Etiquetado de Datos: Debido a la falta de conjuntos de datos existentes que contengan informes estándar de verdad fundamental (ground-truth), los autores emplearon GPT-5.2 (un LLM cerrado) para generar informes estándar sintéticos a partir de entradas no estandarizadas basadas en la documentación de ODIN. Estos informes sintéticos sirven como las etiquetas "oro" para el entrenamiento.
• POTrackerLoss (Función de Pérdida Personalizada): La innovación central es una novedosa función de pérdida que extiende la entropía cruzada tradicional. Incorpora una señal de calidad a nivel de secuencia derivada de una métrica personalizada, POTrackerMetric.
  • POTrackerMetric: Esta métrica evalúa la similitud entre un informe generado y un informe de verdad fundamental combinando dos factores:
    1. Similitud de Texto: Medida mediante la similitud de coseno de los valores textuales para asegurar la precisión semántica.
    2. Similitud de Estructura de Etiquetas: Medida utilizando difflib.SequenceMatcher para evaluar la alineación de las estructuras jerárquicas XML, los atributos y el orden de los nodos.
  • La pérdida total se calcula como $L_{total} = L_{CE} + \lambda \cdot p$, donde $L_{CE}$ es la entropía cruzada estándar a nivel de token, y $p$ es una penalización derivada del inverso de la puntuación de POTrackerMetric.
• Baselines (Líneas de Base): El estudio compara POTracker contra:
  • Variantes de Ajuste Fino (Fine-tuning): Token Weight Cross Entropy (TW-CE), Tag Masking Cross Entropy (TM-CE), Example Weight Cross Entropy (EW-CE-PO) y Direct Preference Optimization (DPO).
  • Enfoque Basado en Reglas: Un programa heurístico que mapea manualmente etiquetas no estandarizadas a etiquetas estándar basándose en reglas definidas por expertos en el dominio.
  • Baseline Original: El modelo Qwen2.5-7B-Instruct sin modificar.

Contribuciones Clave

1. POTrackerMetric: Una fórmula de evaluación novedosa que cuantifica la similitud entre los informes de interrupción de suministro eléctrico generados y los esperados, considerando conjuntamente el contenido textual y la estructura de etiquetas XML.
2. POTrackerLoss: Una función de pérdida personalizada que integra la POTrackerMetric en el proceso de ajuste fino, permitiendo que el LLM optimice simultáneamente la corrección semántica y la validez estructural.
3. Evaluación Exhaustiva: Una comparación rigurosa del método propuesto frente a múltiples estrategias de ajuste fino y un baseline basado en reglas en un conjunto de datos de 1,000 informes de interrupción de suministro eléctrico.

Resultos
Los experimentos se realizaron en un conjunto de datos de 1,000 entidades (800 para entrenamiento, 100 para validación, 100 para prueba). Los resultados indican:

• Desempeño Superior: POTracker superó significativamente a todos los demás enfoques de ajuste fino. Mejoró la precisión general hasta en un 51% en comparación con los baselines.
• Precisión Estructural: POTracker logró una precisión estructural (Precisión de Etiquetas) del 86.47%, en comparación con solo el 3.56% del Qwen2.5-7B-Instruct original y aproximadamente el 3.5% de otras variantes de ajuste fino.
• Comparación con el Baseline: Mientras que el enfoque basado en reglas funcionó bien estructuralmente (79.00% de Precisión de Etiquetas), POTracker lo superó en precisión general (69.14% vs. 61.46%).
• Limitaciones de Otros Métodos: Las variantes de entropía cruzada estándar (TW-CE, TM-CE, EW-CE-PO) y DPO no proporcionaron ganancias significativas sobre el baseline sin modificar, lo que sugiere que los pipelines de ajuste fino de PLN estándar son insuficientes para tareas que requieren cumplimiento estricto de esquemas sin funciones de pérdida conscientes de la estructura.
• Evaluación Humana: Un estudio que involucró a dos expertos en el dominio calificó la calidad de las etiquetas generadas por GPT-5.2 (utilizadas como verdad fundamental) con una puntuación promedio de 4.03 en una escala de 0 a 5, validando la fiabilidad del conjunto de datos sintético.

Significancia y Reivindicaciones
El artículo afirma que POTracker aborda eficazmente el desafío de generar datos específicos de un dominio que cumplan con los estándares, donde la adherencia estricta al formato es tan crítica como el significado semántico. Al introducir una función de pérdida que penaliza explícitamente las desviaciones estructurales, los autores demuestran que los LLM pueden optimizarse para producir informes legibles por máquinas que cumplan con los estándares regulatorios de la industria (CIM IEC 61968-3). El trabajo destaca que, si bien los sistemas basados en reglas son fuertes en la imposición de la estructura, un LLM optimizado mediante un método personalizado puede lograr un mejor equilibrio entre la flexibilidad semántica y la corrección estructural, reduciendo potencialmente la carga manual sobre los proveedores de servicios públicos y los respondedores de emergencias en el procesamiento de datos de interrupciones.