Resumo Técnico: Vision-OPD

Declaração do Problema

Os Modelos de Linguagem Multimodal de Grande Escala (MLLMs) enfrentam atualmente um gargalo significativo na compreensão visual de alta granularidade. Embora esses modelos se destaquem na compreensão geral de cenas, frequentemente falham quando as respostas dependem de detalhes pequenos e decisivos que ocupam apenas uma fração de uma imagem. Os autores identificam uma lacuna de percepção regional para global: um MLLM frequentemente responde corretamente a perguntas de alta granularidade quando condicionado a um recorte centrado na evidência (entrada regional), mas falha quando condicionado à imagem completa correspondente (entrada global).

Essa observação sugere que a falha não se deve à falta de capacidade de reconhecimento local, mas sim à incapacidade de focar em evidências relevantes dentro do contexto visual global denso. Soluções existentes, como modelos agentes "Thinking-with-Images" (Pensar com Imagens), tentam resolver isso equipando MLLMs com ferramentas para recortar e ampliar durante a inferência. No entanto, esses métodos introduzem uma sobrecarga substancial de inferência devido à codificação repetida de imagens e chamadas de modelo. O desafio central abordado por este artigo é: O benefício do zoom visual pode ser internalizado por meio de treinamento, de modo que o modelo possa utilizar evidências de alta granularidade de uma imagem completa sem uso adicional de ferramentas ou supervisão externa?

Metodologia: Vision-OPD

O artigo propõe o Vision-OPD (Distilação On-Policy em Visão), um framework de auto-distilação regional para global. O método aproveita a própria percepção regional privilegiada do modelo para supervisionar sua percepção global.

1. Síntese de Dados

O framework utiliza um conjunto de dados de tripletas $\{(x_i, x'_i, q_i)\}$, onde:

• $x_i$: A imagem completa.
• $x'_i$: Um recorte centrado na evidência de $x_i$.
• $q_i$: Uma pergunta de alta granularidade respondível a partir do recorte.
  Os dados são sintetizados detectando pequenas regiões em imagens brutas, gerando perguntas específicas para essas regiões e sobrepondo caixas delimitadoras na imagem completa para fornecer restrições espaciais. Esse processo produz 6,2 mil amostras de treinamento sintéticas sem exigir rótulos de verdade fundamental.

2. Arquitetura de Dupla Política

O Vision-OPD instancia duas políticas condicionais a partir do mesmo MLLM ($p_\theta$):

• Política Professor ($p_T$): Condiciona-se ao recorte centrado na evidência ($x'$) e à pergunta ($q$). Isso fornece uma visão "privilegiada" onde os detalhes de alta granularidade são inequívocos.
• Política Estudante ($p_S$): Condiciona-se à imagem completa ($x$) e à pergunta ($q$). Isso imita as condições padrão de inferência.

3. Objetivo de Auto-Distilação On-Policy

Diferentemente do ajuste fino supervisionado (SFT) tradicional, que sofre de incompatibilidade de distribuição, ou da Aprendizagem por Reforço com Recompensas Verificáveis (RLVR), que fornece feedback esparsos ao nível da sequência, o Vision-OPD emprega amostragem on-policy com supervisão densa ao nível do token.

• Geração de Trajetória: O estudante gera uma trajetória de resposta $y$ a partir da imagem completa ($y \sim p_S(\cdot | x, q)$).
• Minimização de Divergência: Para cada posição de token $n$ na trajetória do estudante, o modelo calcula as distribuições do próximo token tanto para o professor ($p_T(\cdot | x', q, y_{<n})$) quanto para o estudante ($p_S(\cdot | x, q, y_{<n})$).
• Função de Perda: O objetivo minimiza a divergência esperada por token (usando a Divergência Generalizada de Jensen–Shannon, JSD) entre as distribuições do professor e do estudante ao longo das próprias trajetórias do estudante:
  $$L_{Vision-OPD}(\theta) = \mathbb{E}_{(x,x',q) \sim D} \left[ \mathbb{E}_{y \sim p_S(\cdot|x,q)} \left[ D(p_T \parallel p_S)(y | x, x', q) \right] \right]$$

Crucialmente, os gradientes fluem apenas através da política estudante. O professor atua como um alvo fixo (regularizado via Média Móvel Exponencial) condicionado ao recorte privilegiado. Essa configuração permite que o modelo internalize o benefício do "zoom" sem professores externos, rótulos de verdade fundamental, verificadores de recompensa ou uso de ferramentas no momento da inferência.

Principais Contribuições

1. Formulação de Auto-Distilação Regional para Global: O artigo introduz um sinal de treinamento inovador onde o próprio comportamento do modelo condicionado ao recorte serve como supervisão privilegiada para seu comportamento de inferência em imagem completa.
2. Framework Vision-OPD: Uma implementação específica de auto-distilação on-policy que transfere conhecimento denso ao nível do token de uma visão regional para uma visão global, eliminando a necessidade de professores externos ou dados rotulados.
3. Validação Empírica: Experimentos abrangentes demonstrando que o Vision-OPD reduz significativamente a lacuna regional para global e melhora o desempenho em tarefas de alta granularidade, mantendo ao mesmo tempo capacidades gerais de raciocínio.

Resultados Experimentais

Os autores avaliaram o Vision-OPD em múltiplos benchmarks, incluindo V Bench*, ZoomBench, HR Bench (4K/8K) e MME-RealWorld.

• Desempenho vs. SOTA: Os modelos Vision-OPD (4B e 9B parâmetros) alcançaram desempenho competitivo ou superior comparado a modelos de código aberto muito maiores (por exemplo, Qwen3.5-397B), modelos de código fechado (por exemplo, GPT-5.4, Gemini-3.1-Pro) e modelos agentes "Thinking-with-Images". Notavelmente, o Vision-OPD-9B superou o GPT-5.4 e o Gemini-3.1-Pro em pontuações médias de alta granularidade.
• Comparação com Estratégias de Treinamento: O Vision-OPD superou estratégias de treinamento alternativas, incluindo SFT em auto-professores, métodos RLVR (GRPO, DAPO) e OPSD (que depende de rótulos de verdade fundamental).
• Generalização (Tarefas de Holdout): Diferentemente dos métodos SFT e RLVR, que exibiram "esquecimento" em tarefas de holdout (por exemplo, MMVP, CV-Bench), o Vision-OPD manteve ou melhorou as capacidades gerais de raciocínio multimodal, indicando que os ganhos não ocorreram à custa do esquecimento.
• Redução da Lacuna: A análise mostrou que o treinamento Vision-OPD reduziu consistentemente a lacuna de precisão entre entradas regionais e globais, ensinando efetivamente o modelo a recuperar evidências da imagem completa.

Significado e Alegações

O artigo alega que o Vision-OPD oferece um caminho simples, eficaz e eficiente para aprimorar a compreensão visual de alta granularidade em MLLMs. Seu significado principal reside em:

• Internalização do Zoom: Internaliza com sucesso os benefícios do zoom visual nos parâmetros do modelo, permitindo compreensão de alta granularidade de alto desempenho em uma única passagem forward, sem a latência de inferência do uso de ferramentas agentes.
• Eficiência sem Rótulos: Alcança esses ganhos sem exigir professores externos mais fortes, rótulos de verdade fundamental ou verificadores de recompensa, confiando, em vez disso, nas próprias visões regionais privilegiadas do modelo.
• Escalabilidade: O método permite que modelos menores (4B/9B) superem modelos significativamente maiores, sugerindo que o gargalo na compreensão de alta granularidade não é apenas a escala de parâmetros, mas a capacidade de focar em evidências relevantes, o que pode ser aprendido via auto-distilação.