Resumo Técnico: Mesmo ou Não? Aprimorando a Percepção Visual em Modelos de Linguagem-Visão

Declaração do Problema

Os atuais Modelos de Linguagem-Visão (VLMs) são excelentes em raciocínio visual amplo e compreensão geral de cenas, mas permanecem grosseiros em suas capacidades perceptivas. Eles exibem vieses sistemáticos, negligenciam detalhes visuais sutis e frequentemente falham em distinguir instâncias visualmente semelhantes da mesma categoria de objeto. Os corpora de treinamento existentes reforçam essa limitação ao priorizar o reconhecimento geral (ex: "É um gato ou um cachorro?") e relações espaciais em detrimento da discriminação de grão fino. Consequentemente, os modelos costumam alucinar detalhes ou identificar incorretamente objetos físicos distintos como idênticos se eles compartilharem semântica de nível de categoria (ex: marca ou cor), falhando em atender a pistas matizadas como geometria, textura ou configuração de partes.

Metodologia

1. O Conjunto de Dados TWIN

Para abordar a falta de supervisão de grão fino, os autores introduzem o TWIN (TWo-image INstance comparisons), um conjunto de dados de larga escala contendo 561.000 consultas de pares de imagens.

• Definição da Tarefa: O modelo recebe duas imagens e deve determinar se elas retratam o mesmo objeto físico (instância) (Sim/Não), em vez de apenas a mesma categoria.
• Composição dos Dados:
  • Instâncias: 1.836 instâncias únicas de objetos abrangendo 3 de categorias de objetos domésticos (ex: eletrônicos, móveis, itens de cozinha).
  • Pares Positivos: Imagens do mesmo objeto físico capturadas sob variados ângulos de visão, iluminação e fundos.
  • Pares Negativos Difíceis (Hard Negatives): Objetos distintos que parecem visualmente semelhantes (ex: dois modelos diferentes da mesma marca). Estes foram curados usando embeddings do CLIP para encontrar candidatos e verificados por anotadores humanos para garantir que fossem desafiadores.
  • Negativos Gerados: Para escalar o conjunto de dados, os autores usaram DreamBooth para sintetizar variantes de instâncias que mantêm a aparência geral, mas alteram detalhes finos (ex: removendo um logotipo ou mudando um contorno), criando negativos difíceis adicionais.
• Escala: O conjunto de dados compreende 22.157 imagens únicas e escala favoravelmente com o número de anotações de objetos, permitindo a geração de centenas de milhares de consultas pareadas.

2. Paradigma de Treinamento

Os autores realizam o pós-treinamento de VLMs de código aberto existentes (especificamente Qwen2.5-VL-3B e InternVL3.5-1B) no TWIN usando Aprendizado por Reforço (RL) com o algoritmo GRPO.

• Sinal de Recompensa: A recompensa é binária, baseada exclusivamente na correção da resposta final "Sim/Não" em comparação com a verdade fundamental (ground truth).
• Racional: O RL foi escolhido em vez do Ajuste Fino Supervisionado (SFT) para evitar o esquecimento catastrófico e preservar as capacidades de generalização enquanto instila a habilidade específica de discriminação de grão fino. O modelo é instruído a gerar uma explicação textual seguida pela resposta, mas a recompensa é calculada apenas na classificação final.

3. O Conjunto de Avaliação FGVQA

Para avaliar a eficácia do TWIN, os autores introduzem o FGVQA (Fine-Grained VQA), um conjunto de avaliação composto por 12.000 consultas através de seis domínios diversos:

• Domínios: Produtos de varejo (ILIAS, TWIN-Eval), animais/plantas (INQUIRE, CUB), monumentos e arte (MET).
• Tipos de Consulta:
  • Par: Duas imagens, perguntando se são a mesma instância/espécie.
  • Multi: Uma imagem de referência e três candidatas, perguntando quantas correspondem à referência.
• Objetivo: Testar a generalização cross-domain da percepção de grão fino, garantindo que os modelos não apenas sofram overfitting em objetos domésticos.

Principais Resultados

Ganhos de Desempenho no FGVQA

O ajuste fino no TWIN produz melhorias substanciais no reconhecimento de grão fino, mesmo em domínios não vistos durante o treinamento:

• Qwen2.5-VL (3B): Alcançou uma melhoria de +19,3% no conjunto de dados INQUIRE (animais/plantas) e +14,4% no CUB (aves). No TWIN-Eval (in-domain), o desempenho subiu de 50,1% para 67,3%.
• InternVL3.5 (1B): Apesar de seu tamanho menor, mostrou ganhos consistentes, como +3,8% no CUB e +3,0% em Monumentos (Landmarks).
• Comparação com Modelos Proprietários: Embora os modelos proprietários (GPT-4o, Gemini 2.5 Flash) ainda liderem, o treinamento no TWIN reduz significativamente a lacuna. Por exemplo, no INQUIRE, a diferença entre o Qwen2.5-VL + TWIN e o Gemini 2.5 Flash reduziu de 29,5% para 10,2%.

Estudos de Ablação

• Negativos Difíceis (Hard Negatives): Remover os negativos difíceis (substituindo-os por negativos aleatórios) resultou em uma queda média de 4,5% na precisão em todo o FGVQA, confirmando que negativos desafiadores e visualmente semelhantes são críticos para o aprendizado.
• Escala: O desempenho melhorou monotonicamente à medida que o tamanho do conjunto de treinamento aumentava de 5K para 561K pares, indicando que a escala é um fator chave para a precisão perceptiva.
• RL vs. SFT: O Aprendizado por Reforço superou o Ajuste Fino Supervisionado em conjuntos de dados fora da distribuição (ex: +11,1% no CUB), sugerindo que o RL preserva melhor a generalização enquanto adquire novas habilidades.
• Capacidades Gerais: O pós-treinamento no TWIN não degradou o desempenho em benchmarks de VQA geral (ex: MMLU, GSM8K, TextVQA) ou tarefas apenas de texto, confirmando que o modelo retém suas habilidades de raciocínio amplo.

Análise de Representação

A sondagem do codificador de visão dos modelos pós-treinados revelou embeddings melhorados para tarefas de classificação de grão fino (PETS, SUN397, CUB, CIFAR100). Isso sugere que o treinamento no TWIN força o codificador visual subjacente a codificar características mais discriminativas de nível de instância.

Significância e Alegações

O artigo afirma que o TWIN serve como uma "adição direta" (drop-in addition) aos corpora de treinamento de VLMs de código aberto que avança efetivamente a precisão perceptiva sem comprometer as capacidades gerais. Os autores argumentam que a limitação atual dos VLMs na percepção de grão fino é amplamente um problema de dados, não de arquitetura. Ao mudar o objetivo de treinamento do reconhecimento de nível de categoria para a discriminação de nível de instância, os modelos aprendem a atender a pistas visuais sutis (geometria, textura, configuração de partes) em vez de depender de priors semânticos grosseiros.

O trabalho estabelece que:

1. A escala importa: Conjuntos de dados centrados em instâncias de larga escala são necessários para uma compreensão robusta de grão fino.
2. Negativos difíceis são essenciais: Negativos aleatórios são insuficientes; os modelos requerem exposição a instâncias visualmente semelhantes, porém distintas, para aprender a verdadeira discriminação.
3. A generalização é possível: O treinamento em objetos domésticos transfere-se efetivamente para arte, biologia e arquitetura, sugerindo que a percepção de grão fino é uma habilidade generalizável.

Os autores posicionam o TWIN e o FGVQA como recursos fundamentais para a comunidade medir e impulsionar o progresso em direção à percepção visual de nível humano em VLMs.