Resumo Técnico: DV-SFT (Supervisão de Visão Direta para Compreensão Visual de Alta Granularidade)

Declaração do Problema

Os Modelos de Linguagem Grandes Multimodais (MLLMs) são tipicamente treinados de ponta a ponta usando um objetivo de previsão do próximo token, onde os sinais de supervisão são aplicados exclusivamente aos tokens de texto. Consequentemente, os tokens visuais — os principais portadores de informação visual — são otimizados apenas implicitamente como parte do contexto. Essa falta de orientação semântica direta leva a uma compreensão visual de baixa granularidade, onde detalhes de alta granularidade são frequentemente ignorados ou alucinados.

As tentativas existentes de melhorar a precisão visual supervisionando tokens visuais enfrentam limitações significativas:

1. Indireção: Métodos que dependem de sinais de recompensa ou alinhamento de representações fornecem supervisão grosseira ou ruidosa.
2. Desalinhamento de Objetivo: Abordagens como previsão do próximo token visual ou reconstrução ao nível de pixel frequentemente não se alinham com o objetivo da compreensão visual.
3. Complexidade Arquitetural: A maioria dos métodos requer componentes adicionais (por exemplo, decodificadores, tokenizadores) ou passagens forward extras, dificultando a aplicabilidade prática e mantendo um paradigma de treinamento unificado.

Permanece uma necessidade aberta por uma forma direta, intuitiva e arquiteturalmente simples de supervisão de visão que se integre perfeitamente ao treinamento padrão de MLLMs.

Metodologia: Ajuste Fino Supervisionado de Visão Direta (DV-SFT)

Os autores propõem o DV-SFT, um método que constrói supervisão explícita ao nível de token para tokens visuais usando o mesmo objetivo de previsão do próximo token utilizado para texto. A hipótese central é que palavras descrevendo o conteúdo de um patch de imagem podem servir como rótulos diretos para os tokens visuais correspondentes.

Componentes Chave

1. Construção de Rótulos de Visão:
   Para abordar o desafio de rotular tokens visuais, os autores exploram a correspondência direta visão-texto em cenários relacionados a OCR usando dois fluxos de trabalho:

   • Imagem para Rótulo: Usa modelos de detecção e reconhecimento de texto para extrair palavras e suas localizações espaciais. As palavras são alinhadas ao token visual correspondente ao seu canto inferior direito.
   • Rótulo para Imagem: Usa ferramentas de desenho para renderizar documentos de conjuntos de dados unimodais em uma grade de patches de imagem em branco, garantindo alinhamento preciso entre palavras e tokens visuais.
   • Filtragem: Palavras com comprimentos de tokenização excessivos ou alturas são descartadas para garantir precisão na anotação.

2. Objetivo de Treinamento:
   O DV-SFT trata o MLLM como uma caixa preta, não exigindo modificações arquiteturais. A função de perda total combina supervisão de texto padrão ($L_t$) com supervisão de visão direta ($L_v$):
   $$L = L_t + \lambda L_v$$
   Onde $L_v$ é a perda de entropia cruzada computada nos tokens visuais usando seus rótulos de palavra correspondentes. Para garantir treinamento paralelo, apenas o primeiro token do rótulo de visão é usado para o cálculo da perda.

3. Suavização de Visão:
   Como os codificadores visuais possuem características bidirecionais (diferente da natureza causal do LLM), um único token visual pode conter informação semântica de tokens subsequentes. Para abordar isso, os autores introduzem a Suavização de Visão, inspirada na suavização de rótulos. Isso permite que um token visual aprenda seu próprio rótulo enquanto também aprende outros rótulos de visão presentes na imagem, prevenindo restrições de informação.

Contribuições Principais

1. Paradigma de Treinamento Inovador: A proposta do DV-SFT, que permite supervisão direta ao nível de token em tokens visuais sem modificar a arquitetura do modelo ou caminhos forward, mantendo um paradigma de treinamento totalmente unificado e de ponta a ponta.
2. Fluxo de Construção de Rótulos: O design de um fluxo de trabalho offline aproveitando OCR e ferramentas de desenho para gerar supervisão de alta granularidade ao nível de token para tokens visuais.
3. Validação Empírica: Experimentos extensivos demonstrando que o DV-SFT melhora significativamente as capacidades visuais e supera o Ajuste Fino Supervisionado (SFT) padrão e baselines baseadas em representação (por exemplo, BASIC) em múltiplos benchmarks.

Resultados Experimentais

Os autores avaliaram o DV-SFT em três modelos base (Qwen3-VL-2B, Qwen3-VL-8B e Qwen3-1.7B) em oito benchmarks.

• Desempenho In-Domain: O DV-SFT alcançou vantagens consistentes sobre o SFT padrão em tarefas de compreensão de documentos e gráficos (DocVQA, InfographicVQA, SQuAD). Notavelmente, superou o método BASIC, que sofreu degradação do modelo em modelos menores devido à qualidade de representação subótima.
• Generalização Out-of-Domain: O DV-SFT demonstrou forte generalização em tarefas como ChartQA, OCRBench, OCRVQA e TextVQA. Os ganhos de desempenho foram mais pronunciados em tarefas out-of-domain (melhoria média de 1,6%) em comparação com tarefas in-domain (0,74%), sugerindo aprimoramento genuíno da compreensão visual em vez de overfitting específico de tarefa.
• Alinhamento Multimodal: Análise do processo de treinamento mostrou que a supervisão de visão acelera a aprendizagem de características visuais, particularmente nas etapas iniciais do treinamento e para modelos unimodais aprendendo do zero.
• Reconhecimento de Caracteres: O DV-SFT melhorou a precisão no reconhecimento de caracteres em tarefas de reconhecimento de texto contextual e não contextual (semanticamente sem sentido), confirmando o aprimoramento da compreensão visual de alta granularidade.
• Capacidade Visual Geral: A avaliação no benchmark MME (percepção e cognição visual geral) indicou que a supervisão de visão baseada em texto não degrada as capacidades visuais gerais; pelo contrário, melhora ligeiramente o desempenho geral, sugerindo que os mecanismos aprendidos generalizam para cenários não textuais.

Significado e Alegações

O artigo afirma que o DV-SFT oferece uma solução prática e eficaz para o problema da compreensão visual de baixa granularidade em MLLMs. Ao tratar a supervisão de visão como uma tarefa padrão de previsão do próximo token, o método:

• Elimina Sobrecarga Arquitetural: Não requer decodificadores adicionais, tokenizadores ou passagens forward, tornando-o prontamente aplicável a qualquer pipeline de MLLM existente.
• Aprimora a Compreensão de Alta Granularidade: A supervisão direta força o modelo a alinhar tokens visuais com conteúdo semântico específico, reduzindo alucinações e melhorando a precisão.
• Melhora a Eficiência de Alinhamento: O método alcança maior eficiência de alinhamento multimodal em comparação com métodos de supervisão indireta.

Os autores concluem que, embora sua implementação atual dependa de cenários de OCR para construção de rótulos, o princípio da supervisão de visão direta é um passo necessário para um treinamento de MLLM mais robusto, com trabalho futuro planejado para estender esses métodos a domínios visuais mais amplos além do texto.