Resumen Técnico: Aprendizaje Federado de Dinámicas Temporales No Lineales con Interpretabilidad Inter-cliente Basada en Atención en Grafos

Enunciado del Problema

Los sistemas industriales modernos son cada vez más monitoreados por sensores distribuidos que generan datos de series temporales de alta dimensión a través de múltiples subsistemas interdependientes. Comprender las interdependencias temporales entre estos subsistemas es crítico para el diagnóstico y la operación confiable. Sin embargo, el aprendizaje de estas dinámicas enfrenta cuatro restricciones significativas en despliegues prácticos:

1. Descentralización y Privacidad: Los datos crudos de los sensores no pueden compartirse debido a restricciones de privacidad, ancho de banda de comunicación y soberanía de datos.
2. Heterogeneidad y Modelos Fijos: Los subsistemas a menudo operan con modelos fijos y propietarios (por ejemplo, modelos del Fabricante de Equipo Original) que no pueden modificarse ni reentrenarse.
3. No Linealidad: Los sistemas exhiben dinámicas no lineales fuertes, lo que hace que las interdependencias temporales entre subsistemas dependan del estado y sean difíciles de interpretar.
4. Interpretabilidad: Los enfoques neuronales existentes a menudo carecen de mecanismos estructurados para exponer cómo varían las interacciones entre subsistemas con el estado operativo del sistema.

El desafío central consiste en aprender un modelo global de interdependencias temporales inter-cliente utilizando únicamente representaciones latentes de baja dimensión comunicadas desde los clientes, sin alterar sus estimadores internos propietarios, mientras se proporciona una interpretación fundamentada de estas dinámicas aprendidas.

Metodología

Los autores proponen un marco federado donde un servidor central aprende un modelo de transición de estado estructurado en grafos sobre los estados latentes comunicados por los clientes.

1. Modelado del Lado del Cliente

Cada cliente $m$ opera un Filtro de Kalman Extendido (EKF) fijo y propietario que estima un estado latente local $(\hat{h}^m_t)_c$ a partir de observaciones locales $y^m_t$. Para incorporar información inter-cliente sin modificar el EKF propietario, el cliente introduce una función de aumento no lineal aprendible $\Delta_m(\cdot; \theta_m)$.

• Estado Aumentado: El cliente calcula un estado aumentado $(\hat{h}^m_t)_a = (\hat{h}^m_t)_c + \Delta_m(y^m_{t-1}; \theta_m)$.
• Dinámicas Locales: El estado aumentado evoluciona mediante sus propias dinámicas temporales $(\tilde{h}^m_t)_a = f_m((\hat{h}^m_{t-1})_a)$, distintas del EKF propietario.
• Optimización: Los clientes minimizan una pérdida de reconstrucción local y actualizan $\theta_m$ utilizando gradientes recibidos del servidor.

2. Modelado del Lado del Servidor

El servidor recibe los estados propietarios $(\hat{h}^m_t)_c$ y los estados aumentados $(\tilde{h}^m_t)_a$ de todos los clientes. Modela las interdependencias inter-cliente utilizando una Red de Atención en Grafos (GAT).

• Transición de Estado: El servidor predice el estado futuro del cliente $m$ como:
  $$(\tilde{h}^m_t)_s = \sigma\left(\sum_{n \in \mathcal{N}(m)} \alpha_{mn} W_{mn} (\hat{h}^n_{t-1})_c\right)$$
  donde $\alpha_{mn}$ son coeficientes de atención y $W_{mn}$ son transformaciones aprendibles.
• Función de Pérdida: El servidor minimiza el Error Cuadrático Medio (MSE) entre sus predicciones $(\tilde{h}^m_t)_s$ y los estados aumentados de los clientes $(\tilde{h}^m_t)_a$.
• Comunicación: El servidor retropropaga el gradiente de pérdida $\nabla_{(\tilde{h}^m_t)_a} L_s$ a los clientes para actualizar sus parámetros de aumento, creando un acoplamiento bidireccional sin compartir datos crudos ni estados del servidor.

3. Interpretabilidad mediante Jacobianos

Para abordar la no linealidad y la falta de interpretabilidad, el artículo establece un vínculo teórico entre los coeficientes de atención de la GAT y el Jacobian de la función de transición de estado aprendida.

• El bloque Jacobiano $J_{mn}(t) = \frac{\partial (\tilde{h}^m_t)_s}{\partial (\hat{h}^n_{t-1})_c}$ cuantifica cómo una perturbación en el estado pasado del cliente $n$ afecta el estado futuro del cliente $m$.
• Proposición 6.1 deriva una relación de forma cerrada que muestra que $J_{mn}(t)$ depende del coeficiente de atención $\alpha_{mn}(t)$, la matriz de pesos $W_{mn}$ y la derivada de la función de activación $\sigma'$. Esto permite que los coeficientes de atención sirvan como un proxy para la fuerza de la influencia temporal direccional, modulada por el estado operativo actual del sistema.

Contribuciones Clave

El artículo afirma las siguientes contribuciones técnicas:

1. Formalización: Una formalización del aprendizaje federado para interdependencias temporales inter-cliente en sistemas de espacio de estado no lineales con modelos propietarios fijos en el cliente.
2. Arquitectura: El diseño de un modelo de transición de estado en el lado del servidor parametrizado por GAT que representa explícitamente las interacciones dinámicas inter-cliente sobre estados latentes comunicados.
3. Interpretabilidad: La derivación de relaciones analíticas entre coeficientes de atención y bloques Jacobianos, habilitando una interpretación fundamentada y dependiente del estado de las interdependencias inter-cliente. Se afirma que esta es la primera caracterización de este tipo en sistemas no lineales descentralizados.
4. Garantías de Convergencia: Demostración teórica de que las dinámicas y los Jacobianos aprendidos en el lado del servidor convergen a un oráculo centralizado (un sistema con acceso a todos los datos crudos) bajo supuestos específicos (por ejemplo, activación bi-Lipschitz, independencia de estado).
5. Validación Empírica: Validación en conjuntos de datos industriales sintéticos y del mundo real que demuestran convergencia, interpretabilidad, escalabilidad y compensaciones entre privacidad y utilidad.

Resultados Experimentales

Experimentos Sintéticos

Utilizando un sistema de espacio de estado no lineal controlado con interdependencias de verdad fundamental conocidas:

• Recuperación de Estructura: La GAT en el lado del servidor coincidió estrechamente con los coeficientes de atención de verdad fundamental, superando significativamente a las líneas base solo locales.
• Convergencia de Jacobianos: Los bloques Jacobianos aprendidos convergieron a los Jacobianos del oráculo centralizado, validando los límites teóricos.
• Correlación: Se observó una fuerte correlación empírica entre los coeficientes de atención y las magnitudes de los Jacobianos, apoyando el vínculo teórico.
• Escalabilidad: El marco mostró robustez ante el aumento de las dimensiones de observación, pero aumentó la pérdida con dimensiones latentes más altas y conteos de clientes debido a la sobrecarga de comunicación.
• Privacidad: El sistema permaneció robusto ante niveles pequeños de ruido gaussiano inyectado en las comunicaciones, con un rendimiento que se degradó solo a niveles altos de ruido.

Experimentos del Mundo Real

Evaluado en el benchmark del Sistema de Control Industrial Aumentado con Hardware en el Bucle (HAI) (tratamiento de agua, dosificación química, procesos de calefacción):

• Rendimiento: El modelo propuesto logró una precisión de predicción en el cliente significativamente mejor que los modelos propietarios del cliente y una línea base federada preentrenada, acercándose al rendimiento de una línea base centralizada.
• Interpretabilidad: La estructura de atención promediada en el tiempo aprendida por el servidor coincidió estrechamente con la de la línea base centralizada.
• Acuerdo de Jacobianos: Se encontró una alta similitud entre los Jacobianos aprendidos por el modelo de servidor propuesto y el modelo centralizado.

Significado y Afirmaciones

El artículo se posiciona como el primer trabajo que establece interdependencias temporales inter-cliente interpretables en sistemas no lineales descentralizados. Su significado radica en cerrar la brecha entre:

1. Aprendizaje que preserva la privacidad: Permitir la colaboración sin compartir datos crudos ni modificar modelos propietarios del cliente.
2. Dinámicas no lineales: Manejar interacciones complejas y dependientes del estado que los modelos lineales no pueden capturar.
3. Explicabilidad: Proporcionar un mecanismo (mediante análisis de Jacobiano-atención) para entender cómo y cuándo los subsistemas se influyen entre sí, en lugar de tratar el modelo global como una caja negra.

Los autores señalan limitaciones, específicamente que el marco asume un esqueleto de grafo conocido (matriz de adyacencia) y depende de aproximaciones locales de primer orden para la interpretabilidad, lo cual puede degradarse bajo no linealidad extrema. Sugieren una integración futura con métodos de descubrimiento causal para aprender la estructura del grafo.