Multimodal Signal Restoration with Signed Twofold Graph Learning

Resumo Técnico: Restauração de Sinais Multimodais com Aprendizado de Grafos Duplo Assinado

Enunciação do Problema
Sinais multimodais em redes de sensores (por exemplo, vídeo/áudio simultâneo ou leituras meteorológicas) são frequentemente imperfeitos, sofrendo com ruído e valores ausentes. A restauração eficaz (remoção de ruído e interpolação) requer aproveitar as estruturas subjacentes desses sinais. A "Hipótese de Grafo Duplo" (TGA) modela tais dados usando dois grafos distintos: um grafo espacial representando relações entre sensores e um grafo de modalidade representando relações entre diferentes tipos de sinal.

Os métodos existentes de restauração baseados em TGA enfrentam duas limitações primárias:

1. Conhecimento do Grafo: Muitas abordagens assumem que as estruturas dos grafos são conhecidas a priori ou dependem de redes profundas altamente parametrizadas que exigem grandes conjuntos de dados de treinamento, limitando a aplicabilidade em cenários com escassez de dados.
2. Restrições Não Assinadas: Os métodos atuais modelam apenas similaridades pares positivas (grafos não assinados). Eles não conseguem capturar correlações inter-modais negativas (por exemplo, a anticorrelação entre temperatura e precipitação), que são naturalmente representadas por grafos assinados.

Metodologia
Os autores propõem um método que realiza conjuntamente a restauração de sinais e o aprendizado de grafos duplo (incluindo grafos de modalidade assinados) através de um framework de estimação de Máxima A Posteriori (MAP) sob uma priori normal matricial.

1. Formulação Probabilística:
   O sinal multimodal $X \in \mathbb{R}^{N \times M}$ é modelado como uma variável aleatória normal matricial onde o Laplaciano do grafo espacial ($L_s$) e o Laplaciano do grafo de modalidade ($L_m$) servem, respectivamente, como matrizes de precisão linha a linha e coluna a coluna. O objetivo MAP acopla a fidelidade aos dados com um termo de regularização envolvendo o traço de $L_m X^\top L_s X$.

2. Minimização Alternada:
   Como a otimização conjunta sobre o sinal $X$, $L_s$ e $L_m$ é não convexa, os autores empregam uma estratégia de minimização alternada:

   • Atualização do Sinal: Com grafos fixos, a atualização do sinal reduz-se à resolução de um sistema linear do tipo Sylvester. Isso é resolvido eficientemente usando o método do Gradiente Conjugado (CG), evitando a formação de grandes matrizes estruturadas em produto de Kronecker.
   • Atualização do Grafo Espacial: O grafo espacial não assinado é aprendido minimizando um subproblema convexo usando o algoritmo de Gradiente Híbrido Primal-Dual (PDHG).
   • Atualização do Grafo de Modalidade Assinado: Para lidar com correlações negativas, o grafo de modalidade é parametrizado como um Laplaciano assinado $\bar{L} = S \circ L_m$, onde $S$ é uma matriz de sinais e $L_m$ codifica magnitudes.
     • Estimação de Sinais: Em vez de estimar sinais através de distâncias pares (o que é sensível ao ruído), o método estima a estrutura de sinais a partir do espaço próprio dominante de uma matriz de kernel complementar $K = X^\top L_s X$ usando iteração de subespaço. Isso fornece um relaxamento contínuo compatível com o treinamento baseado em gradiente.
     • Aprendizado de Magnitudes: As magnitudes das arestas são aprendidas via PDHG em um kernel modulado $K_{mag} = C \circ K$, onde $C$ é o substituto contínuo do sinal.

3. Desdobramento de Algoritmo Profundo:
   Os solucionadores iterativos (CG e PDHG) são desdobrados em uma rede neural feedforward. O número de iterações internas é fixo, enquanto os hiperparâmetros algorítmicos (pesos de regularização, tamanhos de passo e coeficientes conjugados) são promovidos a parâmetros treináveis por camada. Isso permite que a rede seja treinada de ponta a ponta via retropropagação, adaptando as forças de regularização às estatísticas específicas do sinal em cada camada.

Principais Contribuições

• Framework de Aprendizado Conjunto: Uma formulação MAP unificada que restaura simultaneamente sinais multimodais e aprende tanto grafos espaciais quanto de modalidade.
• Integração de Grafos Assinados: O primeiro método de restauração baseado em TGA capaz de aprender grafos de modalidade assinados, capturando explicitamente correlações inter-modais negativas através de um estimador espectral de sinais e desacoplamento de magnitudes.
• Arquitetura Profunda Interpretável: Uma rede desdobrada que incorpora a estrutura matemática do problema de otimização, garantindo interpretabilidade enquanto permite o treinamento de ponta a ponta dos parâmetros do solucionador.
• Escalabilidade: O método evita a construção explícita de grandes matrizes de produto de Kronecker, dependendo em vez disso de produtos matriz-vetor, tornando-o escalável para grandes redes de sensores.

Resultados Experimentais
O método foi avaliado em sinais de grafo multimodais sintéticos (conjuntos de dados Normal Matricial e Suave por Partes) e em um conjunto de dados meteorológicos reais do Japão (temperatura, pressão, umidade, duração da insolação).

• Desempenho: O método proposto superou consistentemente as linhas de base (incluindo métodos baseados em modelo como SVD, métodos orientados a dados como GCN/AE e outros métodos desdobrados como TGSR-DAU e LLAP-DAU) em vários níveis de ruído e padrões de dados ausentes (tanto aleatórios quanto estruturados).
• Estudos de Ablação:
  • Remover a capacidade de aprender o grafo (usando grafos de vizinhos mais próximos fixos) degradou significativamente o desempenho, particularmente em conjuntos de dados com estruturas inter-modais complexas.
  • Fixar o grafo de modalidade em um grafo de caminho simples produziu resultados competitivos apenas quando os dados seguiam estritamente essa priori; o desempenho caiu quando a distribuição dos dados se desviou.
  • O treinamento completo desdobrado (aprendendo pesos de regularização) forneceu maior robustez sob alto ruído em comparação com o solucionador iterativo com parâmetros pesquisados em grade.
• Aplicação no Mundo Real: No conjunto de dados meteorológicos, o método alcançou menor Erro Quadrático Médio (MSE) e menor variância entre dobras do que as linhas de base. O grafo de modalidade aprendido capturou com sucesso correlações físicas negativas conhecidas (por exemplo, entre umidade e duração da insolação), que as linhas de base não assinadas falharam em representar.

Significância
O artigo afirma que, ao ir além da suposição de grafos conhecidos e relações não assinadas, o método proposto oferece uma solução mais robusta e adaptável para restauração de sinais multimodais. A capacidade de aprender correlações inter-modais assinadas é destacada como um avanço crítico para aplicações onde variáveis exibem comportamento anticorrelacionado. Além disso, a arquitetura desdobrada preenche a lacuna entre otimização baseada em modelo e aprendizado profundo, oferecendo uma abordagem escalável, interpretável e eficiente em dados que não requer conjuntos de treinamento massivos para aprender estruturas de grafos implicitamente.