Multimodal Signal Restoration with Signed Twofold Graph Learning

Resumen Técnico: Restauración de Señales Multimodales con Aprendizaje de Grafos Doble con Signo

Enunciado del Problema
Las señales multimodales en redes de sensores (por ejemplo, video/audio simultáneos o lecturas meteorológicas) suelen ser imperfectas, sufriendo de ruido y valores faltantes. Una restauración efectiva (eliminación de ruido e interpolación) requiere aprovechar las estructuras subyacentes de estas señales. La "Hipótesis de Grafos Dobles" (TGA) modela dichos datos utilizando dos grafos distintos: un grafo espacial que representa las relaciones entre sensores y un grafo de modalidad que representa las relaciones entre diferentes tipos de señal.

Los métodos de restauración basados en TGA existentes enfrentan dos limitaciones principales:

1. Conocimiento del Grafo: Muchos enfoques asumen que las estructuras de los grafos son conocidas a priori o dependen de redes profundas altamente parametrizadas que requieren grandes conjuntos de datos de entrenamiento, lo que limita su aplicabilidad en escenarios con escasez de datos.
2. Restricciones Sin Signo: Los métodos actuales modelan únicamente similitudes positivas por pares (grafos sin signo). No pueden capturar correlaciones inter-modales negativas (por ejemplo, la anticorrelación entre temperatura y precipitación), las cuales se representan naturalmente mediante grafos con signo.

Metodología
Los autores proponen un método que realiza conjuntamente la restauración de señales y el aprendizaje de grafos dobles (incluyendo grafos de modalidad con signo) a través de un marco de estimación de Máxima A Posteriori (MAP) bajo una priori normal matricial.

1. Formulación Probabilística:
   La señal multimodal $X \in \mathbb{R}^{N \times M}$ se modela como una variable aleatoria normal matricial donde el Laplaciano del grafo espacial ($L_s$) y el Laplaciano del grafo de modalidad ($L_m$) sirven como matrices de precisión por filas y por columnas, respectivamente. El objetivo de MAP acopla la fidelidad de los datos con un término de regularización que involucra la traza de $L_m X^\top L_s X$.

2. Minimización Alternada:
   Dado que la optimización conjunta sobre la señal $X$, $L_s$ y $L_m$ es no convexa, los autores emplean una estrategia de minimización alternada:

   • Actualización de la Señal: Con grafos fijos, la actualización de la señal se reduce a resolver un sistema lineal de tipo Sylvester. Esto se resuelve eficientemente utilizando el método del Gradiente Conjugado (CG), evitando la formación de grandes matrices estructuradas en producto de Kronecker.
   • Actualización del Grafo Espacial: El grafo espacial sin signo se aprende minimizando un subproblema convexo utilizando el algoritmo de Gradiente Híbrido Primal-Dual (PDHG).
   • Actualización del Grafo de Modalidad con Signo: Para manejar correlaciones negativas, el grafo de modalidad se parametriza como un Laplaciano con signo $\bar{L} = S \circ L_m$, donde $S$ es una matriz de signos y $L_m$ codifica las magnitudes.
     • Estimación de Signos: En lugar de estimar los signos mediante distancias por pares (lo cual es sensible al ruido), el método estima la estructura de signos a partir del espacio propio dominante de una matriz de kernel complementaria $K = X^\top L_s X$ utilizando iteración de subespacios. Esto proporciona una relajación continua compatible con el entrenamiento basado en gradientes.
     • Aprendizaje de Magnitudes: Las magnitudes de las aristas se aprenden mediante PDHG sobre un kernel modulado $K_{mag} = C \circ K$, donde $C$ es el sustituto continuo del signo.

3. Desenrollado de Algoritmos Profundos:
   Los solucionadores iterativos (CG y PDHG) se desenrollan en una red neuronal feedforward. El número de iteraciones internas se fija, mientras que los hiperparámetros algorítmicos (pesos de regularización, tamaños de paso y coeficientes conjugados) se promueven a parámetros entrenables por capa. Esto permite entrenar la red de extremo a extremo mediante retropropagación, adaptando las fuerzas de regularización a las estadísticas específicas de la señal en cada capa.

Contribuciones Clave

• Marco de Aprendizaje Conjunto: Una formulación MAP unificada que restaura simultáneamente señales multimodales y aprende tanto grafos espaciales como de modalidad.
• Integración de Grafos con Signo: El primer método de restauración basado en TGA capaz de aprender grafos de modalidad con signo, capturando explícitamente correlaciones inter-modales negativas mediante un estimador espectral de signos y desacoplamiento de magnitudes.
• Arquitectura Profunda Interpretable: Una red desenrollada que incorpora la estructura matemática del problema de optimización, garantizando interpretabilidad mientras permite el entrenamiento de extremo a extremo de los parámetros del solucionador.
• Escalabilidad: El método evita la construcción explícita de grandes matrices de producto de Kronecker, dependiendo en su lugar de productos matriz-vector, lo que lo hace escalable a grandes redes de sensores.

Resultados Experimentales
El método se evaluó en señales de grafos multimodales sintéticas (conjuntos de datos Normal Matricial y Suave a Trozos) y en un conjunto de datos meteorológicos reales de Japón (temperatura, presión, humedad, duración de la insolación).

• Rendimiento: El método propuesto superó consistentemente a las líneas base (incluyendo métodos basados en modelos como SVD, métodos impulsados por datos como GCN/AE, y otros métodos desenrollados como TGSR-DAU y LLAP-DAU) en diversos niveles de ruido y patrones de datos faltantes (tanto aleatorios como estructurados).
• Estudios de Ablación:
  • Eliminar la capacidad de aprender el grafo (utilizando grafos de vecinos más cercanos fijos) degradó significativamente el rendimiento, particularmente en conjuntos de datos con estructuras inter-modales complejas.
  • Fijar el grafo de modalidad a un grafo de camino simple arrojó resultados competitivos solo cuando los datos seguían estrictamente esa priori; el rendimiento disminuyó cuando la distribución de los datos se desviaba.
  • El entrenamiento completo desenrollado (aprendiendo pesos de regularización) proporcionó una mejor robustez bajo alto ruido en comparación con el solucionador iterativo con parámetros buscados mediante rejilla.
• Aplicación en el Mundo Real: En el conjunto de datos meteorológicos, el método logró un Menor Error Cuadrático Medio (MSE) y una menor varianza cruzada por pliegue que las líneas base. El grafo de modalidad aprendido capturó con éxito las correlaciones negativas físicas conocidas (por ejemplo, entre humedad y duración de la insolación), las cuales las líneas base sin signo no pudieron representar.

Significado
El artículo afirma que, al ir más allá de la suposición de grafos conocidos y relaciones sin signo, el método propuesto ofrece una solución más robusta y adaptable para la restauración de señales multimodales. La capacidad de aprender correlaciones inter-modales con signo se destaca como un avance crítico para aplicaciones donde las variables exhiben comportamiento anticorrelacionado. Además, la arquitectura desenrollada cierra la brecha entre la optimización basada en modelos y el aprendizaje profundo, ofreciendo un enfoque escalable, interpretable y eficiente en datos que no requiere conjuntos de entrenamiento masivos para aprender estructuras de grafos implícitamente.