CINDI: Conditional Imputation and Noisy Data Integrity with Flows in Power Grid Data

El artículo presenta CINDI, un marco probabilístico no supervisado basado en flujos normalizadores condicionales que unifica la detección de anomalías y la imputación de datos en series temporales multivariantes de redes eléctricas, logrando restaurar la integridad de los datos ruidosos preservando sus propiedades físicas y estadísticas.

Lo esencial

Imagina que la red eléctrica es como un sistema de tuberías de agua gigante que alimenta a toda una ciudad. Para que los ingenieros sepan cuánta agua se pierde por fugas (pérdidas de energía) y puedan cobrar correctamente, necesitan medir el flujo con extrema precisión.

El problema es que, en el mundo real, los medidores a veces se rompen, los cables se cortan o los humanos cometen errores al registrar los datos. Esto es como si alguien pintara de rojo partes del mapa de la ciudad, diciendo "aquí hay agua", cuando en realidad no hay nada, o viceversa. Si intentas predecir el futuro basándote en un mapa con manchas de pintura, tu predicción será un desastre.

Aquí es donde entra CINDI, el "detective y restaurador de datos" que proponen los autores.

¿Qué es CINDI? (El Detective que también pinta)

Normalmente, cuando los científicos tienen datos sucios, hacen dos cosas por separado:

1. Detectan el error: Usan un programa para decir "¡Esa lectura es sospechosa!".
2. Reparan el error: Usan otro programa diferente para decir "Bueno, si aquí no hay dato, inventa uno que parezca lógico".

CINDI es diferente. Es como un restaurador de arte que también es detective. No usa dos herramientas separadas; usa una sola "mente" (un modelo matemático llamado flujo normalizante condicional) que hace todo a la vez.

¿Cómo funciona? (La analogía del "Molde de Chocolate")

Imagina que tienes un molde de chocolate que sabe exactamente cómo se ve una barra de chocolate perfecta.

1. El Escaneo (Detección): CINDI toma tus datos sucios y los compara con su "molde perfecto". Si ve una parte que no encaja (como un trozo de chocolate que parece más bien una piedra), lo marca: "¡Esto no es chocolate, es un error!".
2. La Reparación (Imputación): En lugar de simplemente borrar la piedra, CINDI usa su conocimiento del molde para imaginar cómo debería ser el chocolate en ese lugar. Genera una nueva pieza de chocolate que encaja perfectamente con el resto de la barra, respetando el sabor y la textura originales.
3. El Bucle de Mejora: Lo genial de CINDI es que no se detiene ahí. Una vez que repara un trozo, vuelve a mirar toda la barra con el trozo nuevo. ¿Ahora encaja mejor? ¿Hay otro error que antes estaba oculto por el error anterior? Repite el proceso una y otra vez hasta que la barra de chocolate (los datos) sea lo más perfecta posible.

¿Por qué es importante para la red eléctrica?

En el artículo, probaron esto con datos reales de una compañía de electricidad en Noruega.

• El problema: Los datos de "pérdidas de energía" estaban muy sucios, especialmente en ciertas épocas del año (como cuando cambia la hora de verano/invierno), llenos de "ruido" y errores sistemáticos.
• La solución: CINDI limpió estos datos, eliminando las "manchas de pintura" y rellenando los huecos con datos que tienen sentido físico y estadístico.
• El resultado: Cuando usaron estos datos limpios para entrenar a otros sistemas de inteligencia artificial que predicen el futuro, estos sistemas funcionaron mucho mejor.

La lección clave

La idea central es que no debes tratar la detección de errores y la reparación como dos tareas separadas. Al unirlas en un solo sistema inteligente que entiende cómo funciona el sistema eléctrico en su conjunto, CINDI logra:

• No inventar datos al azar (respeta las leyes de la física).
• Mejorar la calidad de los datos de forma iterativa (poco a poco).
• Hacer que las predicciones futuras sean mucho más fiables.

En resumen, CINDI es como tener un guardián de datos que no solo sabe cuándo algo está mal, sino que tiene la creatividad y el conocimiento para arreglarlo de manera que todo vuelva a tener sentido, asegurando que la red eléctrica funcione sin sorpresas desagradables.

Resumen técnico

Aquí presento un resumen técnico detallado del artículo "CINDI: Conditional Imputation and Noisy Data Integrity with Flows in Power Grid Data" en español.

1. Planteamiento del Problema

Los sistemas de infraestructura crítica, como las redes eléctricas, generan series temporales multivariadas que a menudo están contaminadas por ruido, anomalías y errores derivados de fallos en sensores, errores de transmisión o problemas de procesamiento de datos.

• Impacto: La calidad de los datos es fundamental para tareas posteriores, como la predicción de pérdidas de red (grid loss), que tiene implicaciones financieras directas en mercados como Nord Pool.
• Limitaciones de los enfoques actuales: Los métodos estándar de limpieza de datos suelen tratar la detección de anomalías y la imputación (relleno de datos faltantes o erróneos) como tareas disjuntas y secuenciales. Esto implica usar un modelo para detectar errores y otro diferente para corregirlos.
  • Esta fragmentación falla al capturar la distribución conjunta completa de los datos.
  • Ignora la incertidumbre de la predicción.
  • Dificulta distinguir entre anomalías reales del sistema y meros errores de datos.
  • Los métodos de interpolación rudimentarios (lineal, cúbica) no preservan las propiedades físicas y estadísticas subyacentes de la red.

2. Metodología: El Marco CINDI

El artículo propone CINDI (Conditional Imputation and Noisy Data Integrity), un marco probabilístico no supervisado de extremo a extremo diseñado para restaurar la integridad de los datos.

Arquitectura Central

CINDI se basa en Flujos Normalizadores Condicionales (Conditional Normalizing Flows), específicamente utilizando una variante de RealNVP.

• Modelo Único: A diferencia de los enfoques fragmentados, CINDI utiliza un único modelo para múltiples tareas (detección, imputación y entrenamiento) en un proceso iterativo.
• Mecanismo de Funcionamiento:
  1. Modelado de Probabilidad: El flujo normalizador aprende la distribución de probabilidad exacta de los datos esperados (comportamiento normal) condicionada a un contexto temporal.
  2. Detección: Calcula la verosimilitud (likelihood) de cada punto de datos. Los puntos con una log-verosimilitud negativa significativamente alta (baja probabilidad) se marcan como anomalías o errores.
  3. Imputación Iterativa: Para los puntos detectados como erróneos, el sistema genera reemplazos estadísticamente consistentes.
     • Muestra desde la distribución base (latente) en el centro de la distribución ($\mu$).
     • Aplica la transformación inversa del flujo ($F^{-1}$) para generar el dato en el espacio original.
     • Auto-regresión: La imputación se realiza de forma secuencial; el dato generado en el paso $t$ se utiliza como parte del contexto temporal para generar el dato en el paso $t+1$, creando una cadena auto-regresiva que mantiene la coherencia temporal.

Selección de Modelos

El marco utiliza un algoritmo evolutivo (CMA-ES) para buscar hiperparámetros y seleccionar el mejor modelo.

• Función Objetivo ($\phi$): Para datos con etiquetas, optimiza un equilibrio entre la detección de anomalías (usando métricas AUC-ROC y VUS-ROC) y la capacidad de reconstruir el comportamiento esperado.
• Función Objetivo ($\psi$): Para datos sin etiquetas, utiliza la log-verosimilitud negativa y la métrica de reconstrucción para evitar el sobreajuste.

3. Contribuciones Clave

1. Marco Unificado: Introducción de CINDI, un sistema de extremo a extremo que integra detección, corrección y entrenamiento en un solo modelo probabilístico basado en flujos normalizadores condicionales.
2. Reutilización de Información: Al tratar la detección y corrección como partes intrínsecas del modelado de probabilidad, el sistema reutiliza eficientemente la información aprendida para mejorar el conjunto de datos iterativamente.
3. Validación en Escenario Real: Aplicación exitosa a un conjunto de datos reales de un operador de distribución de energía en Noruega (predicción de pérdidas de red), demostrando su utilidad práctica más allá de datos sintéticos.
4. Comparativa Exhaustiva: Evaluación extensa contra métodos de interpolación estándar (lineal, cúbica, spline) y modelos basados en aprendizaje profundo recientes (Dynamix, KnowImp).

4. Resultados Experimentales

Los experimentos se realizaron con datos de pérdidas de red de Noruega (mayo 2017 - agosto 2023) y un conjunto de datos sintéticos (FSB).

• Rendimiento en Detección de Anomalías:
  • CINDI demostró un rendimiento robusto, superando o igualando a los métodos baselines en la mayoría de los escenarios.
  • En el conjunto de datos con 1.04% de errores, CINDI alcanzó un F1 de 0.93, VUS de 0.97 y AUC de 0.97 (con el codificador Base).
  • Incluso con niveles de error más altos (hasta 13.69%), CINDI mantuvo un rendimiento competitivo, aunque la calidad de la imputación disminuye ligeramente a medida que aumenta el ruido excesivo.
• Comparación con Baselines:
  • Los métodos de interpolación estándar (como 'nearest' o 'linear') funcionaron razonablemente bien, especialmente a medida que aumentaba el ruido, pero CINDI ofreció una mayor consistencia estadística.
  • Se observó que simplemente omitir ('skip') las secciones erróneas en lugar de imputarlas a veces produce resultados sólidos, lo que sugiere que la imputación debe usarse con cuidado si el ruido es muy alto.
  • El modelo pre-entrenado 'Dynamix' mostró un rendimiento estable sin degradación, destacando la ventaja de los modelos pre-entrenados sobre datos limpios.
• Reconstrucción: Las visualizaciones (Figuras 4-7) muestran que CINDI puede generar secuencias que se ajustan naturalmente a los patrones esperados de la red, incluso en secciones marcadas como erróneas durante cambios de hora (horario de verano/invierno).

5. Significado y Conclusión

El trabajo de CINDI representa un avance significativo en el manejo de datos de infraestructura crítica:

• Integridad de Datos: Proporciona una solución escalable para mantener la fiabilidad de los datos en entornos ruidosos, esencial para la toma de decisiones financieras y operativas en redes eléctricas.
• Eficiencia: Al unificar tareas, reduce la complejidad del pipeline de datos y evita la pérdida de información que ocurre en enfoques modulares.
• Limitaciones y Futuro: El sistema depende de la existencia de cierto nivel de ruido para guiar el aprendizaje de la distribución; si los datos son perfectamente limpios o el ruido es demasiado alto (sin estructura), el rendimiento puede verse afectado.
• Direcciones Futuras: Se sugiere mejorar los mecanismos de condicionamiento, desarrollar imputación selectiva (solo en canales afectados) y explorar técnicas de incrustación temporal (time embeddings) para capturar patrones temporales más complejos.

En resumen, CINDI ofrece un enfoque probabilístico riguroso para limpiar y mejorar series temporales multivariadas, demostrando que la integración de detección e imputación en un único modelo generativo mejora la calidad de los datos para tareas críticas de predicción en redes inteligentes.