Beyond Self-Attention: Sub-Quadratic Vision Transformers for Fast Image Captioning

Resumo Técnico: Além da Autoatenção: Vision Transformers Subquadráticos para Legendagem de Imagens Rápida

Declaração do Problema
A legendagem de imagens requer a geração de descrições textuais coerentes e semanticamente significativas a partir de conteúdo visual, estabelecendo uma ponte entre a visão computacional e o processamento de linguagem natural. Embora as arquiteturas baseadas em Transformer tenham avançado significativamente o campo ao capturar dependências contextuais de longo alcance por meio de autoatenção, elas enfrentam duas limitações primárias. Primeiro, os mecanismos de autoatenção padrão computam interações pareadas entre todos os patches de imagem, resultando em uma complexidade computacional quadrática ($O(n^2)$). Isso cria um overhead substancial de memória e computação, particularmente para imagens de alta resolução e aplicações de larga escala. Segundo, as abordagens existentes frequentemente sofrem com a falta de representações de características locais ricas e redundância computacional, pois processam todos os patches igualmente, mesmo quando muitos carecem de informações semanticamente críticas.

Metodologia
A arquitetura proposta aborda essas limitações reestruturando o framework do Vision Transformer (ViT) para substituir o mecanismo convencional de autoatenção por uma abordagem de agrupamento probabilístico baseada em um Modelo de Mistura Gaussiana (GMM). O sistema opera em duas etapas principais:

1. Codificação de Imagem (GMM-Transformer):

   • Embedding de Patch: A imagem de entrada é dividida em patches não sobrepostos, projetados em embeddings de dimensão $D$ e aumentados com codificações posicionais.
   • Agrupamento GMM com Pesos de Contexto: Em vez de computar pontuações de atenção pareadas, o modelo trata os embeddings dos patches como variáveis aleatórias contínuas geradas por uma mistura de $K$ distribuições Gaussianas multivariadas ($K \ll N$).
   • Pesos de Contexto Aprendíveis: Uma subcamada atribui pesos espaciais aprendíveis aos patches, modulados por propriedades estatísticas (média e variância), permitindo que o modelo priorize regiões semanticamente significativas.
   • Algoritmo EM: O algoritmo de Expectativa-Maximização (EM) é empregado para realizar o agrupamento suave (soft-clustering). Na etapa E, o modelo computa as "responsabilidades" (probabilidades de atribuição suave) indicando o grau em que cada patch pertence a um cluster. Na etapa M, os parâmetros do cluster (médias, covariâncias e coeficientes de mistura) são atualizados.
   • Redução de Complexidade: Este processo substitui a matriz de atenção $N \times N$ por uma matriz de responsabilidade $N \times K$, reduzindo a complexidade computacional de quadrática $O(n^2)$ para quase linear $O(nK)$.
   • Agregação: As características refinadas dos patches são processadas através de redes de alimentação direta (feed-forward) com conexões residuais e normalização de camada. Finalmente, uma operação de Agrupamento Médio Global agrega os centroides dos clusters em um vetor de característica global compacto.

2. Decodificação de Linguagem (Decoder Unificado Baseado em GPT):

   • O decodificador utiliza um Transformer do tipo GPT autorregressivo.
   • Atenção Unificada: Diferente dos modelos tradicionais codificador-decodificador que separam a autoatenção mascarada e a atenção cruzada, esta arquitetura integra-as em um único bloco de atenção multi-cabeça.
   • Mecanismo: Tokens textuais servem como vetores de consulta (query), enquanto a sequência combinada de tokens visuais (centroides de clusters) e tokens textuais anteriores serve como chaves (key) e valores (value).
   • Mascaramento Causal: Uma máscara causal especializada garante que os tokens de texto atendam a todos os tokens visuais, mas apenas aos tokens de texto gerados anteriormente, mantendo as propriedades de geração autorregressiva.
   • Geração: A saída é projetada através de uma camada Softmax para prever o próximo token na sequência iterativamente.

Principais Contribuições

• Redução de Complexidade: A arquitetura reduz a complexidade de tempo do codificador transformer de quadrática para quase linear ($O(nK)$) ao substituir a autoatenção pelo agrupamento suave baseado em GMM, mantendo a capacidade de gerar legendas contextualmente coerentes.
• Design de Decoder Eficiente: Um decodificador customizado baseado em GPT é empregado, que unifica a autoatenção mascarada e a atenção cruzada em um único bloco computacional, aumentando a interação multimodal e reduzindo a redundância.
• Validação Empírica: Uma avaliação abrangente no dataset Flickr30k demonstra o desempenho competitivo do modelo contra trabalhos de estado da arte (SOTA) existentes, equilibrando eficiência computacional com qualidade da legenda.

Resultos Experimentais
O modelo foi avaliado no dataset Flickr30k (usando a divisão de Karpathy) com uma configuração de 8 camadas transformer, 4 cabeças de atenção e uma dimensão oculta de 768.

• Métricas de Desempenho: O modelo proposto alcançou pontuações de topo em métricas semânticas avançadas: BLEU-4 (0.364), METEOR (0.368) e SPICE (0.199). Estes resultados indicam uma estrutura de frase e mapeamento de grafo de cena superiores em comparação com vários modelos SOTA (ex: TAKG, GNN-Visual, Scene Graph).
• Comparação com Baselines: Embora o modelo fique atrás do modelo ADA em métricas de precisão de baseline (BLEU-1: 0.733 vs 0.794; ROUGE: 0.568 vs 0.608; CIDEr: 0.723 vs 0.946), ele supera outros baselines como TopDown e GNN-Visual. Os autores observam que a arquitetura favorece o contexto profundo em vez da simples replicação.
• Eficiência: O modelo opera com um custo computacional de aproximadamente 21.17 GFLOPs e contém cerca de 32.8 milhões de parâmetros treináveis. A análise da matriz de confusão mostrou altas taxas de verdadeiros positivos (45.580) e baixas contagens de falsos positivos/negativos, indicando uma forte capacidade de classificação.

Significância e Alegações
O artigo afirma que o framework proposto aborda com sucesso a ineficiência computacional inerente aos Vision Transformers padrão. Ao alavancar o Modelo de Mistura Gaussiana e o algoritmo de Expectativa-Maximização, o modelo alcança uma redução significativa na complexidade computacional de quadrática para quase linear sem sacrificar a capacidade de capturar relações de características significativas. Os autores asseguram que o modelo exibe uma forte capacidade preditiva e codificação de características escalável, oferecendo um equilíbrio melhorado entre qualidade de legenda, eficiência computacional e escalabilidade. O trabalho futuro é direcionado para a incorporação de pré-treinamento multimodal avançado, adaptação para datasets de domínios específicos e implantação de modelos leves para aplicações de borda em tempo real.