Multimodal Alignment Through Joint Kernel Entropic Gromov--Wasserstein Optimal Transport

Resumo Técnico: Alinhamento Multimodal através de Transporte Ótimo de Gromov–Wasserstein com Núcleo Entrópico Conjunto

Enunciado do Problema
O artigo aborda o desafio de alinhar dados de múltiplas modalidades heterogêneas (por exemplo, imagens, texto, áudio) em um espaço de representação compartilhado. O cenário específico foca em situações onde encoders unimodais pré-treinados e fortes estão disponíveis, mas dados pareados entre modalidades são escassos. Uma limitação crítica dos métodos de alinhamento post-hoc existentes é que eles frequentemente deixam a geometria e a distribuição do espaço latente resultante sem controle, o que pode levar a propriedades indesejáveis, como anisotropia, distorções ou colapso de modo (mode collapse). Os autores visam construir representações latentes conjuntas que preservem a estrutura semântica de múltiplas modalidades enquanto se conformam explicitamente a uma distribuição de referência marginal prescrita.

Metodologia
Os autores propõem o Transporte Ótimo de Gromov–Wasserstein com Núcleo Entrópico Conjunto (JK-EGW). Este framework formula o alinhamento multimodal como um problema de transporte ótimo que minimiza um objetivo quadrático baseado em estruturas relacionais de pares, em vez de distâncias brutas de características.

1. Núcleo de Afinidade Global: Em vez de depender de distâncias brutas no espaço de características, o método constrói um núcleo de afinidade global $K$ sobre a união disjunta de todos os espaços de modalidade. Este núcleo captura tanto as similaridades dentro da mesma modalidade (via métricas de características) quanto as correspondências entre modalidades (via conhecimento de domínio, rótulos ou representações pré-treinadas).
2. Função Objetivo: O objetivo do JK-EGW busca acoplamentos probabilísticos entre a distribuição de cada modalidade e uma distribuição de referência latente comum $\nu$. Ele minimiza a discrepância entre os escores de afinidade das observações e as distâncias euclidianas de suas representações latentes, regularizadas por um termo entrópico (divergência KL).
3. Aproximação de Posto Finito e Elevação Variacional: Para lidar com a não convexidade e a intratabilidade computacional do objetivo quadrático de Gromov–Wasserstein (GW), os autores assumem que o núcleo de afinidade admite uma decomposição separável de posto finito (decomposição de Mercer). Isso permite que o problema quadrático seja "elevado" para um problema de otimização linear envolvendo uma matriz auxiliar.
4. Algoritmo: A formulação elevada permite um algoritmo de minimização alternada escalável:
   • Passo 1: Fixar a matriz auxiliar e resolver para os planos de transporte. Isso se reduz a subproblemas de Transporte Ótimo Entrópico (EOT) padrão para cada modalidade, solucionáveis eficientamente via algoritmos do tipo Sinkhorn.
   • Passo 2: Fixar os planos de transporte e atualizar a matriz auxiliar, que admite uma solução de forma fechada.
     O algoritmo utiliza aproximações de núcleo de baixo posto (por exemplo, via Cholesky com pivoteamento) para lidar com dados empíricos de larga escala.

Principais Contribuições

1. Formulação: O artigo introduz o JK-EGW, um novo framework para alinhar múltiplas modalidades em um espaço compartilhado com uma distribuição marginal prescrita pelo usuário, unificando a preservação da estrutura intra-modalidade e o alinhamento entre modalidades.
2. Garantias Teóricas: Os autores estabelecem uma taxa de complexidade de amostra paramétrica de $O(n^{-1/2})$ para o objetivo empírico do JK-EGW. Este resultado distingue entre o erro estatístico decorrente da amostragem finita e o erro de aproximação introduzido pela truncagem do núcleo. A análise baseia-se em uma nova formulação variacional e condições de regularidade para planos de transporte sob custos induzidos por núcleos.
3. Algoritmo Escalável: Um algoritmo prático de otimização alternada é derivado, aproveitando solvers de EOT existentes e aproximações de núcleo de baixo posto para resolver o problema quadrático, que de outra forma seria não convexo.
4. Validação Empírica: O método é avaliado em alinhamento de múltiplas características de dígitos, exemplos sintéticos e tarefas de recuperação de imagem-texto (MS-COCO).

Resultados

• Experimentos Sintéticos e de Pequena Escala: Nos dados de MNIST multimodais e dados sintéticos, o método mapeia com sucesso características heterogêneas em um espaço latente compartilhado, preservando a estrutura semântica. As taxas de convergência empírica observadas nos experimentos sintéticos alinham-se ao limite teórico de $O(n^{-1/2})$.
• Recuperação Imagem-Texto (MS-COCO): Em tarefas de alinhamento post-hoc usando encoders congelados (DINOv3 para imagens, MPNet para texto), o JK-EGW supera as linhas de base existentes (incluindo CSA, CSA+STRUCTURE e MLP+STRUCTURE).
  • Qualidade de Alinhamento: O JK-EGM alcança pontuações de pureza mais altas e é o único método a produzir pontuações de silhueta positivas, indicando que os embeddings aprendidos formam clusters compactos e bem separados correspondentes a categorias semânticas.
  • Desempenho de Recuperação: O método demonstra desempenho superior de recuperação bidirecional (Recall@1 e Recall@5) em comparação com as linhas de base.
  • Visualização: Visualizações t-SNE mostram que o JK-EGW produz representações compartilhadas geometricamente coerentes, onde texto e imagem para a mesma categoria ocupam regiões contíguas e alinhadas, enquanto os métodos de linha de base produzem clusters menos compactos.

Significância e Alegações
O artigo afirma que o JK-EGW fornece uma abordagem fundamentada para o alinhamento multimodal que controla explicitamente a geometria do espaço latente, abordando uma lacuna nos métodos atuais que frequentemente ignoram as propriedades distributivas da representação compartilhada. Teoricamente, ele preenche a lacuna entre o GWOT não convexo e os solvers de EOT lineares através da elevação variacional, oferecendo garantias rigorosas de amostra finita em regimes de escassez de dados. Empiricamente, demonstra que o uso de estruturas relacionais baseadas em núcleos permite o alinhamento eficaz de encoders pré-treinados sem necessidade de retreinamento extensivo, alcançando desempenho de estado da arte em tarefas de recuperação enquanto mantém a coerência geométrica. Os autores observam que trabalhos futuros poderiam explorar estratégias fundamentadas para a seleção da distribuição de referência $\nu$ e estender o framework para cenários com um número muito grande de modalidades.