Resumo Técnico: CoME-VL

1. O Problema

Os Modelos de Linguagem Visuais (VLMs) modernos, como o Molmo e o LLaVA, geralmente dependem de um único codificador visual (frequentemente baseado em CLIP ou SigLIP) pré-treinado com objetivos de contraste imagem-texto. Embora eficazes para alinhamento global e recuperação, esses codificadores apresentam limitações críticas:

• Falta de Grounding Fino: Tendem a subestimar pistas visuais de alta granularidade, como localização precisa, atributos de cor e relações espaciais sutis.
• Viés Semântico vs. Espacial: Codificadores contrastivos (SigLIP) são fortes em semântica global, enquanto codificadores auto-supervisionados (DINO) capturam melhor a estrutura geométrica e contornos, mas são frequentemente ignorados ou mal integrados.
• Ineficiência na Fusão: Métodos anteriores que tentam fundir múltiplos codificadores frequentemente concatenam tokens brutos, aumentando excessivamente o número de tokens visuais processados pelo LLM, o que eleva o custo computacional e a memória.
• Redundância: A fusão ingênua de camadas de diferentes profundidades de um mesmo codificador ou entre codificadores introduz redundância de informações, desperdiçando capacidade representacional.

2. Metodologia: CoME-VL

O CoME-VL (Complementary Multi-Encoder Vision-Language) é um framework modular que integra um codificador visual contrastivo (SigLIP2) com um codificador auto-supervisionado (DINOv3). A arquitetura propõe uma fusão em nível de representação, não apenas de tokens, através de três componentes principais:

A. Seleção de Camadas Guiada por Entropia

Em vez de usar apenas a camada final ou todas as camadas, o CoME-VL analisa a entropia espacial dos tokens em cada camada dos codificadores:

• SigLIP2: As camadas iniciais a médias (0–27) exibem alta entropia, capturando características semânticas diversas e contextuais.
• DINOv3: As camadas iniciais têm alta entropia, mas as camadas médias a tardias (10–23) apresentam baixa entropia, indicando foco forte em características espaciais e geométricas precisas.
• Estratégia: O modelo seleciona todas as camadas do SigLIP2 e um subconjunto específico de camadas do DINOv3 (10–23) para maximizar a complementaridade.

B. Fusão Multi-camada com Regularização de Ortogonalidade

Para evitar a redundância ao agregar features de múltiplas camadas, o modelo utiliza uma Camada Ortogonal (Orthogonal Layer - OL):

• Cada saída de camada selecionada é projetada através de uma transformação linear ortogonal (ou quase isométrica).
• Isso força as representações de diferentes camadas a ocuparem subespaços complementares e decorrelacionados, reduzindo a sobreposição de informações antes da agregação ponderada.
• Pesos de agregação suave são aprendidos end-to-end para combinar as informações contextuais e espaciais.

C. Alinhamento Cross-Attention Aprimorado por RoPE

Para fundir os tokens heterogêneos de SigLIP e DINO sem aumentar o contexto do LLM:

• Utiliza-se um mecanismo de Cross-Attention onde os tokens do SigLIP atuam como Queries e os do DINO como Keys e Values.
• RoPE (Rotary Positional Embeddings): É injetado no cálculo da atenção para garantir que a correspondência entre tokens preserve a estrutura espacial relativa, alinhando grades de tokens de resoluções diferentes (ex: 24x24 do SigLIP vs 14x14 do DINO).
• O resultado é um conjunto compacto de tokens visuais fundidos que são injetados no LLM, evitando o custo de concatenar todos os patches visuais.

3. Principais Contribuições

1. Framework de Fusão Complementar: Propõe a primeira integração sistemática de SigLIP e DINO em VLMs para melhorar simultaneamente a compreensão visual e o grounding (localização).
2. Critério de Entropia para Seleção de Camadas: Introduz a entropia de tokens como um critério principiado para selecionar quais camadas de codificadores profundos são mais informativas para tarefas específicas (semântica vs. espacial).
3. Mecanismo de Fusão Eficiente: Desenvolve uma camada de mistura com regularização de ortogonalidade para reduzir redundância e um módulo de Cross-Attention com RoPE para alinhamento espacial eficiente, mantendo o custo de inferência baixo.
4. Desempenho em Grounding: Demonstra que a combinação de sinais contrastivos e auto-supervisionados supera significativamente os baselines de codificador único em tarefas que exigem precisão espacial.

4. Resultados Experimentais

O modelo foi avaliado em diversos benchmarks, utilizando o Molmo (Qwen2-7B) como baseline principal.

• Benchmarks PixMo (Entendimento e Grounding):
  • O CoME-VL superou consistentemente os baselines em todas as categorias (Gráficos, Diagramas, Tabelas, Contagem).
  • Tarefa de Contagem: Atingiu 87.83% de precisão, superando o Molmo (83.31%) e o Intern-VL2-8B (74.05%).
  • Tarefa de Apontamento (Pointing): Alcançou 58.56% (@3px) e 75.94% (@5px), uma melhoria significativa sobre o Molmo (53.79% / 68.94%).
• RefCOCO (Localização de Objetos):
  • Alcançou 92.57% no conjunto de validação, superando o baseline Molmo (0.10% - que não suporta nativamente detecção) e o método de fusão anterior "Clip-to-DINO" (91.73%).
• Eficiência:
  • O tempo de inferência aumentou apenas modestamente (de 1.26s para 1.52s por amostra), sendo significativamente mais eficiente que métodos de concatenação direta (como o COMM, que leva ~2.2s).

5. Significado e Conclusão

O CoME-VL demonstra que a arquitetura de VLMs pode ser escalada não apenas aumentando o tamanho do LLM, mas otimizando a qualidade e a complementaridade das representações visuais.

• Insight Chave: A fusão de codificadores não é apenas sobre adicionar mais dados, mas sobre selecionar camadas específicas que capturam propriedades complementares (semântica global do SigLIP + geometria local do DINO).
• Impacto: O trabalho oferece uma solução prática para o problema de "alucinação de objetos" e falta de precisão espacial em VLMs, permitindo que modelos de linguagem gerem coordenadas e descrevam regiões com alta fidelidade sem sacrificar a eficiência computacional.
• Disponibilidade: O código e os pesos do modelo foram liberados como open-source, facilitando a adoção e o avanço futuro em modelos multimodais grounded.

Em resumo, o CoME-VL estabelece um novo estado da arte ao provar que a integração inteligente de múltiplos codificadores visuais, guiada por análise de entropia e alinhamento espacial, é fundamental para a próxima geração de modelos de linguagem visual robustos.