An Unsupervised Tensor-Based Domain Alignment

Resumo Técnico: Alinhamento de Domínio Baseado em Tensores Não Supervisionado

Definição do Problema
Sistemas de inteligência artificial baseados em processamento de sinais frequentemente sofrem degradação de desempenho quando implantados em cenários do mundo real onde os dados de treinamento (origem) e de teste (alvo) são coletados sob condições diferentes, como dispositivos ou ambientes variáveis. Esse "deslocamento de domínio" cria uma discrepância nas distribuições de dados que dificulta a generalização do modelo. Embora técnicas tradicionais de adaptação de domínio (DA) como Análise de Componentes Principais (PCA), Alinhamento de Subespaço (SA) e Alinhamento de Correlação (CORAL) tenham sido propostas, elas tipicamente vetorizam dados estruturados em tensores, falhando assim em explorar características estruturais multidimensionais. Além disso, métodos baseados em tensores existentes, como o Aprendizado de Subespaço Alinhado por Tensor (TAISL), impõem restrições de ortogonalidade às matrizes de projeção (variedade de Stiefel). Os autores argumentam que essas restrições de ortogonalidade limitam a flexibilidade representacional, tornando difícil capturar variações complexas de domínio.

Metodologia
O artigo propõe um algoritmo de Alinhamento de Domínio Baseado em Tensores (TDA) projetado para alinhar tensores de origem e alvo dentro de um subespaço invariante comum. O método utiliza a decomposição Tucker para projetar os dados sem vetorização.

• Função Objetivo: O núcleo da estrutura é uma função objetivo que minimiza uma perda de alinhamento $J(\mathcal{M}, \mathcal{U})$ incorporando um termo de regularização $h(\mathcal{M})$.
  • Perda de Alinhamento: Este termo impõe o alinhamento dos tensores de origem e alvo através de uma transformação conjunta por meio de matrizes de alinhamento $\mathcal{M} = \{M_k\}$ e um subespaço compartilhado $\mathcal{U} = \{U_k\}$. Os tensores de origem e alvo são projetados em um subespaço comum definido por tensores núcleos $G_s$ e $G_t$.
  • Regularização: Um termo de preservação de variância é adicionado para minimizar o erro de reconstrução entre os tensores originais e aqueles recuperados via a pseudo-inversa de Moore-Penrose das matrizes de alinhamento. Isso garante que a variância de ambos os tensores de origem e alvo seja preservada.
• Restrições de Variedade: Uma inovação metodológica fundamental é o relaxamento da restrição de ortogonalidade. Em vez de impor $M_k M_k^T = I$ (variedade de Stiefel), o método proposto impõe uma restrição de variedade oblíqua, definida como $\text{diag}(M_k M_k^T) = 1$. Isso permite transformações não ortogonais, oferecendo maior flexibilidade para capturar variações complexas de domínio e a interdependência entre as direções de projeção.
• Otimização: O problema é resolvido usando uma estratégia de minimização alternada devido à interdependência de $\mathcal{M}$ e $\mathcal{U}$:
  1. Otimizar $\mathcal{U}$: Com as matrizes de alinhamento fixas, as matrizes de subespaço são atualizadas via decomposição Tucker através do algoritmo de Mínimos Quadrados Alternados (ALS).
  2. Otimizar $\mathcal{M}$: Com as matrizes de subespaço fixas, as matrizes de alinhamento são atualizadas usando o gradiente descendente de Riemann na variedade oblíqua.

Principais Contribuições

1. Generalização de Métodos Existentes: A estrutura proposta é versátil, generalizando métodos de DA baseados em tensores existentes (incluindo o TAISL) como casos especiais. Quando a restrição oblíqua é substituída pela ortogonalidade e termos específicos são removidos, o método reduz-se aos algoritmos anteriores.
2. Restrição de Variedade Oblíqua: Ao utilizar a variedade oblíqua em vez da variedade de Stiefel, o método relaxa as restrições de ortogonalidade, proporcionando maior flexibilidade representacional e adaptabilidade para deslocamentos de domínio complexos.
3. Preservação de Variância: A inclusão de termos de regularização especificamente projetados para preservar a variância de ambos os tensores de origem e alvo garante um desempenho robusto.
4. Alinhamento de Domínio Duplo: Diferente de métodos anteriores que frequentemente focam em alinhar os dados de origem em direção a um domínio alvo, esta abordagem considera simultaneamente os domínios de origem e alvo durante o processo de alinhamento.

Resultados Experimentais
Os autores avaliaram o algoritmo em conjuntos de dados visuais (MNIST, MNIST-C, MNIST-M) e acústicos (TUT Urban Acoustic Scenes 2018 Mobile). O desempenho foi medido pela acurácia de classificação nos dados de alvo e redução da distância intra-classe.

• Acurácia de Classificação: O método proposto, particularmente a variante com restrições oblíquas (TDA(O)), superou consistentemente as linhas de base de estado da arte (incluindo NA, PCA, SA, CORAL, NTSL, TAISL e E-TAISL).
  • Em tensores de imagem, o TDA(O) alcançou a maior acurácia em todos os domínios de alvo (ex: 79,2% em MNIST-C Fog, 71,1% em MNIST-C Blur e 53,1% em MNIST-M).
  • Em tensores de áudio, o TDA(O) também alcançou acurácia superior (85,7% para pareamento 1:1 e 62,7% para pareamento aleatório).
• Velocidade de Convergência: O método demonstrou convergência mais rápida em comparação com as linhas de base. O TDA(O) exibiu a convergência mais rápida em termos de redução de perda e melhoria de acurácia, atribuída à eficiência da restrição oblíqua.
• Robustez: O algoritmo manteve a confiabilidade mesmo com tamanhos limitados de tensores de alvo e exibiu robustez ao ruído de rótulos. Ele consistentemente alcançou menores distâncias intra-classe em comparação com as linhas de base, indicando melhor consistência geométrica cross-domain.
• Visualização: Visualizações t-SNE confirmaram que o TDA(O) alcançou uma adaptação de domínio superior, com as distribuições de origem e alvo sobrepondo-se de forma mais eficaz do que com o TAISL. A análise das matrizes de projeção mostrou que a restrição oblíqua introduziu elementos fora da diagonal não negligenciáveis, confirmando a interdependência aprimorada entre as direções de projeção.

Significância
O artigo posiciona a estrutura TDA proposta como uma escolha superior para tarefas complexas de adaptação de domínio. Ao combinar a preservação estrutural baseada em tensores com a flexibilidade das restrições de variedade oblíqua e a regularização de preservação de variância, o método aborda as limitações dos métodos tradicionais baseados em vetores e com restrições ortogonais. Os autores afirmam que esta abordagem não apenas aumenta significativamente a acurácia da classificação, mas também melhora a velocidade da conversão do alinhamento de domínio, tornando-a uma solução robusta para aplicações do mundo real onde as distribuições de dados mudam devido a variações ambientais ou de dispositivos.