Resumo Técnico: GRAMformer – Interações de Modalidade de Qualquer Ordem via Atenção Cruzada Volumétrica Multimodal

Declaração do Problema

As arquiteturas atuais de transformers multimodais dependem fortemente de mecanismos de atenção para integrar informações heterogêneas. No entanto, as abordagens existentes sofrem de limitações fundamentais ao modelar interações entre mais de duas modalidades:

1. Limitações de Paridade (Pairwise): A atenção cruzada padrão computa a relevância de forma independente entre um query e cada key específica da modalidade. Esta formulação de produto escalar por par falha em modelar explicitamente interações que dependem da configuração conjunta de múltiplas representações (por exemplo, se um conjunto de vetores reside em um subespaço comum de baixa dimensão).
2. Escalabilidade e Eficiência:
   • Estratégias de Concatenação: Métodos de fusão precoce concatenam todos os tokens das modalidades em uma única sequência para autoatenção conjunta. Isso leva a uma complexidade quadrática em memória e computação conforme o número de modalidades aumenta, e falha em computar interações entre as modalidades concatenadas em si.
   • Arquiteturas de Paridade (Pairwise): Métodos que utilizam módulos de atenção cruzada separados para cada par de modalidades escalam quadraticamente com o número de modalidades em termos de parâmetros e memória, enquanto ainda falham em capturar dependências de ordem superior envolvendo três ou mais modalidades simultaneamente.
   • Abordagens Tensorizadas: Tentativas recentes de estender a atenção para três modalidades via produtos tensoriais ou fatoração frequentemente exigem aproximações severas ou seleção de posto (rank), o que pode suprimir dependências finas ou específicas da modalidade.

Consequentemente, há uma carência de mecanismos que possam definir explicitamente a atenção como uma função sobre um conjunto de representações de modalidades para capturar o verdadeiro alinhamento multimodal de ordem superior sem custos computacionais proibitivos.

Metodologia

Atenção Cruzada Multimodal Volumétrica (VMA)

Os autores propõem a Atenção Cruzada Multimodal Volumétrica (VMA), um novo mecanismo que substitui a similaridade por par por uma medida geométrica unificada. Em vez de avaliar a similaridade token a token, a VMA computa escores de atenção baseados na geometria conjunta de um query e múltiplos keys específicos de modalidade.

• Formulação Geométrica: Para um token de consulta $q$ e um conjunto de tokens de chave alinhados $\{k_1, \dots, k_M\}$ de $M$ modalidades, o método constrói uma matriz $Z = [q, k_1, \dots, k_M]$. A similaridade multimodal conjunta é definida pelo volume do paralelepípedo gerado por esses vetores, calculado como a raiz quadrada do determinante da matriz de Gram associada $G = Z^\top Z$:
  $$\text{Vol}(q, k_1, \dots, k_M) = \sqrt{\det(G) + \epsilon}$$
  Este volume serve como uma medida escalar de dependência linear conjunta: é baixo quando os vetores estão mutuamente alinhados (próximos de um subespaço de menor dimensão) e aumenta conforme eles abrangem uma região de maior dimensão.
• Logits de Atenção: O logit de atenção final combina este termo geométrico de ordem superior com uma regularização de produto escalar padrão para preservar interações bimodais fortes:
  $$s(q, k_1, \dots, k_M) = -\beta \cdot \text{Vol}(q, k_1, \dots, k_M) + \sum_{m=1}^M \frac{\langle q, k_m \rangle}{\sqrt{d}}$$
  Aqui, $\beta$ controla a injeção de informação de ordem superior. O termo de volume é invariante sob transformações ortogonais e permutações das modalidades de condicionamento.
• Agregação de Valor: Para controlar dinamicamente a contribuição de cada modalidade, um mecanismo de gating dependente do query modula a informação extraída de cada modalidade antes de calcularem a média delas para formar o output final.
• Extensão Multi-Cabeça (M-VMA): O mecanismo é estendido para uma formulação de múltiplas cabeças onde a atenção volumétrica é computada independentemente em $H$ subespaços, permanecendo matematicamente válida desde que o número de modalidades mais um não exceda a dimensão da cabeça.

Arquitetura GRAMformer

Os autores integram a VMA em uma nova arquitetura transformer chamada GRAMformer.

• Design: O GRAMformer segue a estrutura padrão de um encoder transformer (conexões residuais, normalização de camada, redes feed-forward), mas substitui as camadas de atenção cruzada convencional por VMA ou M-VMA.
• Estratégia de Fusão: Na configuração de classificação multimodal, uma modalidade (tipicamente texto) atua como o fluxo de query, enquanto as demais modalidades atuam como fluxos de condicionamento. O bloco VMA atende conjuntamente a todas as modalidades de condicionamento em cada camada, modelando explicitamente suas interações em vez de depender de fusão por par.
• Eficiência: A arquitetura é projetada para ser leve. Ao contrário das estratégias de concatenação ou de par, a VMA escala eficientemente com o número de modalidades sem exigir um aumento dramático de parâmetros ou memória.

Principais Contribuições

1. Identificação de Limitações: O artigo destaca a incapacidade fundamental dos mecanismos de atenção por par de modelar dependências multimodais de ordem superior e a ineficiência das estratégias de fusão atuais.
2. Atenção Cruzada Multimodal Volumétrica (VMA): Introdução de um novo mecanismo de atenção que define escores de atenção como uma função da geometria conjunta (volume) de um query e múltiplos keys, permitendo a modelagem nativa de interações de modalidade de qualquer ordem.
3. GRAMformer: A integração da VMA em uma arquitetura transformer leve que demonstra eficácia e eficiência aprimoradas em tarefas multimodais sem depender exclusivamente de computações por par ou operações pesadas de concatenação.

Resultados Experimentais

O modelo proposto foi avaliado no conjunto MultiBench, incluindo análise de sentimento (MOSI, MOSEI), detecção de humor/sarcasmo (UR-FUNNY, MUsTARD) e conjuntos de dados de robótica (MuJoCo Push, Vision & Touch).

• Desempenho: O GRAMformer alcançou resultados de estado da arte ou competitivos em múltiplos conjuntos de dados.
  • No MOSI, alcançou um Acc-2 de 87,90% (com características pré-extraídas) e 89,94% (com fine-tuning de BERT), superando bases fortes como MMML, MulT e Self-MM.
  • No MOSEI, alcançou um Acc-2 de 84,07% (pré-extraído) e 87,39% (fine-tuned).
  • No UR-FUNNY e MUsTARD, alcançou 62,46% e 63,96% de acurácia respectivamente, superando bases como MulT e TF.
• Eficiência:
  • Contagem de Parâmetros: O GRAMformer é significativamente mais leve. Por exemplo, no conjunto de dados MOSI com BERT fine-tuned, utilizou 110,1M de parâmetros comparado aos 110,7M do TeTFN e 889,6M do MMML. No cenário de características pré-extraídas, utilizou apenas 0,66M de parâmetros.
  • Escalabilidade: À medida que o número de modalidades aumenta (de 2 para 6), o GRAMformer mantém um crescimento de parâmetros e memória linear ou quase linear, enquanto métodos de par e de concatenação exibem crescimento quadrático.

Significância e Alegações

O artigo afirma que o GRAMformer aborda uma lacuna crítica no aprendizado multimodal ao fornecer um mecanismo que modela explicitamente o alinhamento conjunto das modalidades em vez de depender de aproximações implícitas ou por par. Ao utilizar o volume geométrico dos espaços de representação, o modelo captura dependências de ordem superior que são perdidas na atenção padrão de produto escalar.

Os autores enfatizam que esta abordagem permite:

1. Modelagem nativa de interações de qualquer ordem: O mecanismo funciona para qualquer número de modalidades sem exigir suposições restritivas de baixo posto (low-rank) ou fatorizações tensoriais.
2. Eficiência Computacional: Alcança desempenho superior com uma contagem de parâmetros e pegada de memória significativamente reduzidas em comparação com os transformers multimodais de alto desempenho existentes.
3. Compatibilidade Arquitetural: O design preserva os vieses indutivos e os procedimentos de treinamento dos transformers padrão, sendo uma substituição direta (drop-in replacement) para camadas de atenção cruzada em sistemas existentes.

O trabalho sugere que ir além da similaridade por par para uma atenção baseada em volume geométrico é um caminho viável e eficaz para escalar sistemas multimodais para cenários multimodais complexos.