Resumo Técnico: UniMoCo

Definição do Problema

Os modelos atuais de visão e linguagem (VLMs) e os métodos de incorporação multimodal enfrentam desafios significativos em cenários do mundo real, onde consultas e alvos envolvem combinações diversas e frequentemente incompletas de modalidades. Embora abordagens existentes como CLIP, BLIP e incorporações recentes baseadas em LVLM (por exemplo, VLM2VEC) visem aprender representações unificadas, elas geralmente dependem de arquiteturas de codificador duplo ou fusão rasa que falham em alinhar todas as combinações possíveis de modalidades dentro de um único espaço de incorporação coerente durante o treinamento.

Essa limitação decorre principalmente de combinações de modalidades desequilibradas nos dados de treinamento. Por exemplo, os conjuntos de dados de treinamento frequentemente favorecem fortemente pares texto-imagem onde ambas as modalidades estão presentes, ou configurações específicas de consulta-alvo (por exemplo, consulta texto-imagem para alvo texto). Consequentemente, os modelos exibem viés de combinação de modalidades, performando bem em padrões frequentes, mas sofrendo degradação na robustez ao encontrar modalidades raras ou ausentes (por exemplo, consultas ou alvos apenas em texto) durante a inferência. Métodos tradicionais lutam para gerar incorporações consistentes quando uma modalidade visual está ausente, levando a um desalinhamento no espaço latente.

Metodologia

Para abordar essas limitações fundamentais, os autores propõem o UniMoCo (Completamento Unificado de Modalidades), um novo framework projetado para garantir a completude de modalidades tanto para consultas quanto para alvos, independentemente da disponibilidade de entrada.

Arquitetura

O UniMoCo é construído sobre uma base de Modelo Grande de Visão e Linguagem (LVLM) (por exemplo, Phi-3.5V ou Qwen2-VL-7B) e integra três componentes-chave:

1. Módulo de Completamento de Modalidade: Quando a modalidade visual está ausente (por exemplo, entrada apenas em texto), este módulo sintetiza incorporações visuais diretamente do texto. Ele utiliza um modelo de linguagem compacto Texto-para-Imagem (T2I) para gerar "tokens visuais pseudo".
2. Codificador de Visão Suplementar: Para abordar a lacuna distribucional entre incorporações visuais pseudo (geradas a partir de texto) e incorporações visuais reais (de imagens), um codificador de visão dedicado é adicionado. Isso garante que as incorporações pseudo sejam mapeadas para o mesmo espaço de características que os tokens de imagem reais.
3. Estratégia de Preenchimento: Para manter a consistência estrutural, o módulo concatena tokens de texto com tokens de preenchimento. Isso garante que o comprimento da entrada para o módulo de completamento corresponda ao número fixo de tokens visuais (por exemplo, 576 tokens) produzido pelo codificador de visão primário para imagens reais, prevenindo discrepâncias de comprimento que prejudicam a correspondência de similaridade.

Estratégia de Treinamento

O UniMoCo emprega uma estratégia de treinamento especializada combinando duas funções de perda complementares para unificar o espaço de incorporação:

1. Perda Contrastiva ($L_1$): Perda InfoNCE padrão que aproxima pares consulta-alvo correspondentes e afasta pares não correspondentes no espaço de incorporação.
2. Perda Auxiliar ($L_2$): Uma perda de entropia cruzada projetada para fechar a lacuna entre entradas completas em modalidade e entradas com modalidade ausente. Para uma entrada contendo tanto imagem quanto texto, o modelo constrói uma versão "pseudo" removendo a imagem e gerando tokens visuais pseudo. $L_2$ minimiza a entropia cruzada entre a incorporação da entrada original e sua contraparte completada em modalidade. Isso força o modelo a aprender representações invariantes à modalidade, garantindo que uma entrada com uma imagem real e a mesma entrada com uma imagem pseudo sintetizada produzam incorporações consistentes.

O objetivo total é $L = L_1 + \alpha L_2$, onde $\alpha$ equilibra o poder discriminativo da aprendizagem contrastiva com a consistência imposta pela perda auxiliar.

Contribuições Principais

1. Completamento Unificado de Modalidade: Os autores introduzem uma arquitetura leve que sintetiza características visuais ausentes a partir de texto, garantindo que as representações multimodais permaneçam completas mesmo quando as entradas visuais estão ausentes.
2. Estratégia de Treinamento Robusta: Eles desenvolvem um framework de treinamento que combina aprendizagem contrastiva com perdas auxiliares para maximizar o potencial do módulo de completamento de modalidade, garantindo alinhamento consistente através de combinações diversas de modalidades.
3. Mitigação de Viés: O artigo identifica e quantifica o viés inerente em abordagens convencionais causado por dados de treinamento desequilibrados. O UniMoCo demonstra mitigar efetivamente esse viés, entregando desempenho robusto em todas as combinações de modalidades, e não apenas nas dominantes.

Resultados Experimentais

Os autores avaliam o UniMoCo no MMEB (Benchmark de Incorporação Multimodal Massiva), que cobre classificação, recuperação, resposta a perguntas visuais (VQA) e fundamentação visual em conjuntos de dados dentro da distribuição (IND) e fora da distribuição (OOD).

• Desempenho: O UniMoCo supera as bases existentes, incluindo CLIP ajustado, OpenCLIP, BLIP2, SigLIP e o forte VLM2VEC baseado em LVLM. A variante Qwen2-VL-7B do UniMoCo alcança a pontuação geral mais alta de 63,2, com melhorias significativas em configurações OOD (58,4) em comparação com o VLM2VEC (52,0).
• Robustez de Modalidade: Em tarefas envolvendo modalidades ausentes (por exemplo, $(T, T+I)$ ou $(T+I, T)$), o UniMoCo demonstra consistência superior. Enquanto o VLM2VEC performa bem em combinações de treinamento dominantes, seu desempenho cai significativamente em combinações raras. O UniMoCo mantém alto desempenho em todas as combinações, neutralizando efetivamente o viés de modalidade.
• Estudos de Ablação:
  • Remover o mecanismo de preenchimento ou o codificador de visão suplementar leva à degradação do desempenho, confirmando sua necessidade para alinhamento estrutural e distribucional.
  • Escalas maiores de modelos T2I (por exemplo, 7B vs. 0,5B) melhoram consistentemente a qualidade da incorporação, alinhando-se às leis de escala.
  • Um peso de perda auxiliar ($\alpha$) de 0,2 é identificado como o equilíbrio ótimo, melhorando o desempenho sem desviar o objetivo principal de treinamento da aprendizagem de incorporação discriminativa.
• Eficiência: Embora o treinamento incurra em um aumento de latência de ~35% e 20% de memória de pico devido à perda auxiliar, a sobrecarga de inferência é mínima (8% de latência, 10% de memória), tornando o trade-off aceitável para os ganhos de desempenho.

Significado e Alegações

O artigo afirma que o UniMoCo representa um passo significativo para frente na tornar as incorporações multimodais robustas às imperfeições dos dados do mundo real. Ao abordar sistematicamente o viés de combinação de modalidades inerente às distribuições de dados de treinamento, o UniMoCo garante que os modelos não se degradem ao encontrar modalidades sub-representadas ou ausentes.

Os autores enfatizam que sua abordagem não depende de modelos generativos de difusão complexos para síntese de imagens, que podem ser computacionalmente caros e desalinhados com tarefas de incorporação. Em vez disso, eles propõem uma inovação estrutural dentro do framework LVLM que sintetiza incorporações diretamente, garantindo coerência funcional e alinhamento. O trabalho sugere que futuros sistemas multimodais devem levar em conta a completude de modalidades não apenas como uma técnica de aumento de dados, mas como um requisito arquitetônico central para robustez.

O artigo conclui que, embora o UniMoCo aborde efetivamente o viés de modalidade, trabalhos futuros poderiam explorar combinar essas inovações estruturais com outras abordagens, como aprimoramento de dados de treinamento ou otimização de aprendizagem contrastiva, para avançar ainda mais a aprendizagem de representação multimodal.