Resumo Técnico: Modelos de Linguagem com Visão 20/20

Declaração do Problema

Embora a curadoria de dados tenha deslocado com sucesso a fronteira qualidade-computo para modelos de linguagem (LMs) e pré-treinamento contrastivo imagem-texto, seu papel específico em Modelos Visão-Linguagem (VLMs) permanece subexplorado. Na pesquisa de VLMs, a mistura de treinamento é frequentemente tratada apenas como uma métrica de volume ("X bilhões de pares imagem-texto") em vez de uma variável de design primária, com o foco direcionado para escolhas arquiteturais (codificadores, conectores), tratamento de resolução e etapas pós-treinamento (ajuste de instrução, RLHF). Esforços existentes de curadoria de dados para VLMs tipicamente isolam eixos únicos (por exemplo, deduplicação, filtragem de qualidade ou dados sintéticos) ou carecem de baselines de computo pareado para provar causalidade. Este artigo pergunta: Quão longe a curadoria de dados sozinha pode levar o desempenho de VLMs se arquitetura, receitas de treinamento e computo forem mantidos fixos?

Metodologia

Os autores propõem um pipeline de curadoria de dados de ponta a ponta aplicado ao subconjunto de imagem única MAmmoTH-VL-12M (aproximadamente 10M de amostras). O pipeline integra quatro componentes-chave:

1. Deduplicação Multimodal: Deduplicação conjunta de imagem e texto para reduzir redundância entre fontes de código aberto.
2. Filtragem Conjunta: Filtros de qualidade multimodal operando sobre sinais de imagem e texto para remover amostras de baixo sinal, malformadas ou fora de distribuição, mantendo exemplos diversos, raros mas úteis.
3. Design de Mistura: Correspondência de distribuição-alvo para ajustar a mistura visando melhor cobertura e equilíbrio sem sacrificar a abrangência do corpus original.
4. Dados Sintéticos: Uma combinação de pipelines agnósticos a tarefas (para ampliar a cobertura) e pipelines de geração específicos a tarefas para famílias de capacidades selecionadas.

Configuração Experimental:

• Modelos: O treinamento foi conduzido em modelos de 1B, 2B e 4B parâmetros utilizando backbones de linguagem Qwen3 e o codificador de visão SigLIP2.
• Treinamento: Todos os modelos foram treinados por 25B de tokens em uma única etapa (treinamento conjunto de projetor e LM) com receita fixa (otimizador, cronograma, tamanho de lote) e orçamento de computo.
• Baselines:
  • Baseline de Computo Pareado: Treinada no subconjunto de imagem única MAmmoTH-VL não curado com arquitetura e computo idênticos.
  • Referências de Fronteira: Comparado contra modelos públicos fortemente pós-treinados (Qwen3-VL, InternVL3/3.5, Qwen3.5) que utilizam significativamente mais computo de treinamento (até ~150×) e extenso pós-treinamento (SFT, RLHF, RLVR).
• Avaliação: O desempenho foi medido em 20 benchmarks públicos de VLM (11 Dentro de Distribuição, 9 Fora de Distribuição) e DatBench, um conjunto de alta fidelidade cobrindo nove eixos de capacidade. Crucialmente, todos os dados de treinamento passaram por descontaminação multimodal rigorosa para evitar vazamento de avaliação.

Contribuições Principais

O artigo demonstra que tratar dados de pré-treinamento como uma variável de design de primeira classe produz VLMs grandes, generalizáveis, confiáveis e eficientes, sem exigir mudanças arquiteturais ou pós-treinamento.

1. Deslocamento da Fronteira de Pareto Custo-Qualidade: Os modelos curados alcançam acurácia significativamente maior que a baseline de computo pareado em todas as escalas (1B, 2B, 4B).
2. Forte Generalização Fora de Distribuição (OOD): As melhorias transferem-se para benchmarks não utilizados no design da curadoria, incluindo tarefas de raciocínio com múltiplas imagens (BLINK), apesar do treinamento exclusivo em imagem única.
3. Confiabilidade e Robustez: O pipeline de curadoria reduz a variância entre sementes de treinamento e mantém ganhos de desempenho em comprimentos de contexto variados (4k a 16k tokens).
4. Ganhos Comportamentais Além dos Benchmarks: Em consultas abertas, modelos curados exibem melhor honestidade (menos alucinações), especificidade, concisão e disposição para engajar com prompts benignos comparados a baselines e modelos de fronteira.
5. Eficiência de Inferência: Modelos curados alcançam maior acurácia enquanto geram menos tokens, resultando em menor FLOPs de resposta (custo computacional) comparado tanto a baselines quanto a modelos de fronteira.

Resultados Principais

Ganhos de Desempenho

• Aumento no Benchmark: Na escala 2B, o modelo curado melhorou o desempenho médio em +11,7 pontos percentuais (pp) em 20 benchmarks públicos e +11,3pp nos nove eixos do DatBench.
• Independência de Escala: Os ganhos persistiram através das escalas: +13,0pp em 1B, +11,7pp em 2B e +14,0pp em 4B no conjunto público.
• Generalização OOD: A média OOD de 9 avaliações subiu em +7,2pp. Notavelmente, o raciocínio com múltiplas imagens no BLINK melhorou em +3,09pp (com Correspondência Visual ganhando +11,8pp), apesar do modelo ter sido treinado exclusivamente em dados de imagem única.
• Análise Profunda de Grounding: O maior ganho único foi em Grounding (+57,1pp no DatBench), verificado através de múltiplas métricas (acurácia central, recall@k em vários limiares de IoU) como uma mudança genuína de capacidade e não um artefato de pontuação.

Eficiência e Custo

• Computo de Treinamento: O modelo curado de 2B superou o InternVL3.5-2B em 9,9pp com ~17× menos computo de treinamento e fechou a lacuna para o Qwen3-VL-2B para dentro de 1,8pp com ~87× menos computo.
• Custo de Inferência: Modelos curados simultaneamente aumentaram a acurácia e reduziram os FLOPs de resposta. O modelo curado de 4B igualou a acurácia próxima à fronteira com 3,3× menos FLOPs de resposta que o Qwen3-VL-4B.

Confiabilidade

• Redução de Variância: O desvio padrão por capacidade entre sementes de treinamento caiu em ~67% (de 2,47 para 0,82pp) no DatBench.
• Robustez de Comprimento de Contexto: O aumento de acurácia foi preservado em comprimentos de contexto de 4k, 8k e 16k tokens.

Melhorias Comportamentais

Em ~1.100 consultas abertas, o modelo curado de 2B foi mais honesto (recusando-se a confabular sobre atributos ausentes) e mais específico que a baseline pareada. Comparado a uma referência de fronteira de 2B, foi mais conciso (comprimento mediano de resposta de 75 caracteres vs. 364 caracteres) e recusou menos consultas benignas.

Significado e Alegações

O artigo alega que a curadoria de dados é uma ferramenta de alta alavancagem para construir VLMs melhores. Ao isolar os dados como a variável primária, os autores demonstram que:

1. A qualidade dos dados de pré-treinamento é um fator dominante: Pode produzir ganhos comparáveis ou superiores aos de inovações arquiteturais e extenso pós-treinamento.
2. A eficiência é alcançável: VLMs de alto desempenho podem ser construídos com até ~150× menos computo de treinamento que modelos de fronteira atuais, focando apenas na curadoria de dados.
3. A generalização é inerente: Dados de pré-treinamento de alta qualidade levam a generalização OOD robusta e comportamentos do mundo real aprimorados (honestidade, especificidade) sem ajuste de alinhamento explícito.

Os autores concluem que deslocar o foco de "mais computo" ou "novas arquiteturas" para curadoria de dados rigorosa oferece um caminho Pareto-dominante para VLMs superiores, alcançando acurácia próxima à fronteira com uma fração do custo de recursos.