RL makes MLLMs see better than SFT

Este artigo demonstra que o Aprendizado por Reforço (RL) supera o Ajuste Fino Supervisionado (SFT) ao remodelar fundamentalmente os representações visuais em Modelos de Linguagem Multimodal, levando à proposta do método PIVOT, que otimiza codificadores visuais com desempenho superior e custo computacional drasticamente reduzido.

O essencial

Imagine que você tem um gênio da linguagem (um modelo de linguagem grande, ou LLM) que sabe tudo sobre o mundo, mas é cego. Ele pode escrever poemas lindos e resolver equações complexas, mas não consegue "ver" uma foto de um gato e dizer se ele está dormindo ou acordado.

Para dar visão a esse gênio, os cientistas conectam uma câmera (o codificador de visão) a ele. A pergunta que este artigo faz é: como treinamos essa câmera para que o gênio veja o mundo da melhor forma possível?

Aqui está a explicação simples do que eles descobriram, usando analogias do dia a dia:

1. O Problema: A "Câmera" estava sendo mal treinada

Até agora, a maioria dos pesquisadores tratava o gênio da linguagem como o herói principal. Eles achavam que, se o gênio fosse inteligente, ele faria tudo funcionar. Para treinar o sistema, eles usavam um método chamado SFT (Ajuste Fino Supervisionado).

Pense no SFT como um professor que diz ao aluno: "Olhe para esta foto de um cachorro e escreva 'cachorro'." O aluno repete isso milhares de vezes. É um treino básico de "copiar e colar". O resultado é bom, mas o aluno não aprende a realmente entender o que está vendo; ele apenas memoriza a resposta certa para a pergunta.

2. A Descoberta: O Poder do "Reforço" (RL)

Os autores testaram uma técnica mais nova chamada RL (Aprendizado por Reforço), especificamente algo chamado DPO.

Pense no DPO como um treinador de esportes que não apenas dá a resposta certa, mas mostra ao aluno duas fotos:

• Foto A: Um cachorro (Resposta correta).
• Foto B: Um gato (Resposta errada).
  O treinador pergunta: "Qual delas é o cachorro? Por que a outra está errada?"

Isso força o modelo a comparar e a entender as diferenças sutis. O resultado? O modelo não apenas memoriza; ele aprende a focar no que importa.

3. O Grande Segredo: A Câmera "Aprende a Ver" Melhor

A descoberta mais surpreendente do artigo é que esse método de "comparação" (RL/DPO) não muda apenas o gênio da linguagem; ele reprograma a câmera (o codificador de visão).

• Com o método antigo (SFT): A câmera vê a imagem de forma "espalhada". É como se você estivesse olhando para uma foto de um carro e visse o carro, a estrada, o céu e as árvores com a mesma intensidade. É confuso.
• Com o novo método (RL/DPO): A câmera aprende a focar. Ela ignora o fundo e concentra toda a sua energia no carro. Ela cria uma representação visual muito mais nítida e precisa.

A Analogia da Lupa:
O método antigo (SFT) é como olhar para uma foto com óculos comuns. Você vê tudo, mas nada com detalhes. O novo método (RL) é como colocar uma lupa mágica na câmera. De repente, o modelo consegue ler letras pequenas em um cartaz (OCR) ou entender gráficos complexos, coisas que antes eram muito difíceis.

4. A Receita Mágica: PIVOT

Os autores criaram uma "receita" chamada PIVOT. É um processo simples:

1. Pegue uma câmera de visão já existente (mesmo que ela seja antiga ou pequena).
2. Treine-a usando o método de "comparação" (RL/DPO) junto com o gênio da linguagem.
3. Pronto! Você tem uma câmera que vê melhor do que câmeras muito maiores e mais caras que foram treinadas da maneira antiga.

O Milagre da Eficiência:
Eles conseguiram fazer uma câmera pequena (SigLIP1) ver melhor do que uma câmera gigante e super moderna (SigLIP2) que foi treinada com milhares de computadores. E o melhor: o custo computacional foi menos de 1% do que o treinamento normal. É como transformar um carro popular em um carro de F1 usando apenas um kit de tuning caseiro, em vez de comprar um motor novo.

Resumo em uma frase

O artigo prova que, para fazer os robôs verem melhor, não precisamos apenas de câmeras mais caras; precisamos ensiná-las a comparar o certo com o errado, o que faz com que elas foquem no que realmente importa, tornando a visão do robô muito mais aguçada e eficiente.

Resumo técnico

Título: RL faz MLLMs verem melhor do que SFT

Autores: Junha Song, Sangdoo Yun, Dongyoon Han, Jaegul Choo, Byeongho Heo (KAIST e NAVER AI Lab).
Data: Abril de 2026 (Data fictícia no manuscrito, indicando um cenário futuro ou erro de digitação no original, mas o conteúdo refere-se a tecnologias atuais como Qwen2.5 e SigLIP2).

---

1. O Problema

A pesquisa atual em Modelos de Linguagem Multimodal (MLLMs) parte de uma premissa dominante: o desempenho do modelo é herdado principalmente do seu backbone de Linguagem (LLM), devido à sua escala massiva de parâmetros. Isso criou uma lacuna no entendimento do codificador de visão (vision encoder), que determina "como os MLLMs percebem as imagens".

Com a mudança recente nos paradigmas de treinamento de MLLMs, que migram do Supervised Finetuning (SFT) para Reinforcement Learning (RL), essa negligência foi ampliificada. Existe uma falta crítica de análise sobre como o RL (especificamente alinhamento de preferências) remodela as representações visuais internas do modelo em comparação com o SFT. A questão central é: o RL não apenas melhora a resposta do texto, mas também melhora a capacidade de "visão" do modelo?

2. Metodologia

Os autores realizaram uma análise sistemática e controlada comparando SFT e RL (focando no DPO - Direct Preference Optimization, e também testando GRPO) em MLLMs.

• Configuração Experimental:
  • Utilizaram a arquitetura LLaVA-OneVision com diferentes escalas de LLMs (Qwen2.5: 0.5B, 1.5B, 3B, 7B) e codificadores de visão (SigLIP2: B/16, L/16, So/16, g/16).
  • Fase 1 (Pré-treinamento): Alinhamento do espaço de embeddings visual e linguístico e pré-treinamento base.
  • Fase 2 (Pós-treinamento): Comparação direta entre SFT e DPO usando o mesmo número de pares de dados (imagem, consulta, resposta escolhida, resposta rejeitada).
• Análise do Codificador de Visão:
  • Para isolar o impacto no codificador de visão, os autores desconectaram o codificador do LLM após o pós-treinamento e avaliaram seu desempenho em tarefas puramente visuais (Classificação ImageNet, Segmentação Semântica no ADE20K).
  • Utilizaram Grad-CAM para visualizar os gradientes recebidos pelo codificador de visão durante o treinamento, analisando onde o modelo foca sua atenção.
  • Mediram o alinhamento representacional entre o codificador de visão e diferentes LLMs de referência.
• Proposta PIVOT:
  • Com base nas descobertas, os autores propuseram o PIVOT (Preference-Instructed Vision OpTimization). É uma receita simples onde um codificador de visão existente é otimizado usando DPO com um cabeçalho de LLM, antes de ser integrado a um novo MLLM.

3. Principais Descobertas e Contribuições

A. RL (DPO) supera SFT em tarefas visuais

• O DPO demonstrou ganhos significativos sobre o SFT em benchmarks de VQA (Visual Question Answering) fortemente relacionados à visão (ex: OCR, gráficos, tarefas centradas em visão).
• Em tarefas de conhecimento (onde o LLM depende mais de fatos textuais), a diferença foi menor, indicando que o RL beneficia especificamente a compreensão visual.
• O DPO mostrou ser mais eficiente em dados: alcançou desempenho superior com menos amostras de treinamento em comparação ao SFT.

B. O RL remodela as representações visuais

• Melhoria na Representação: O pós-treinamento com DPO não apenas ajusta a linguagem, mas fundamentalmente melhora as representações visuais do codificador.
• Evidência Empírica: Codificadores de visão pós-treinados com DPO obtiveram melhores resultados em ImageNet e segmentação do que aqueles treinados apenas com SFT, mesmo quando desconectados do LLM original.
• Gradientes Mais Focados: A visualização via Grad-CAM revelou que os sinais de gradiente do DPO são mais localizados e precisos nas regiões relevantes da imagem (ex: o objeto da pergunta), enquanto o SFT tende a gerar sinais mais dispersos. O DPO força o modelo a diferenciar finamente entre respostas escolhidas e rejeitadas, refinando a percepção visual.

C. O PIVOT: Uma nova receita para codificadores de visão

• O PIVOT é proposto como um método para evoluir codificadores de visão existentes.
• Desempenho Surpreendente: Um codificador de visão menor (ex: SigLIP1-So/14) treinado com PIVOT superou codificadores maiores e mais recentes (ex: SigLIP2-So/16 e até SigLIP2-g/16) quando integrados a um MLLM.
• Eficiência Computacional: O treinamento PIVOT requer menos de 1% do custo computacional do pré-treinamento padrão de visão (ex: comparado ao treinamento do SigLIP2 em milhares de chips TPU).

4. Resultados Quantitativos Chave

• MLLMs: O DPO superou o SFT em +3.1% a +4.2% em benchmarks de VQA visualmente intensos (OCR e Chart).
• ImageNet: Codificadores de visão pós-treinados com DPO mostraram ganhos de +1.83% a +1.96% na acurácia Top-1 em ImageNet em comparação com SFT.
• Segmentação: O DPO aumentou o recall de patches em +1.08% em tarefas de segmentação.
• Comparação de Modelos: Um MLLM usando SigLIP1-So/14 + PIVOT alcançou uma pontuação média de 53.2%, superando o SigLIP2-So/16 original (52.4%) e competindo com modelos muito maiores.

5. Significado e Impacto

Este trabalho desafia a suposição de que o desempenho dos MLLMs depende apenas da escala do LLM. Ele demonstra que:

1. O Alinhamento de Preferências (RL) é crucial para a visão: O RL não é apenas para "falar melhor", mas para "ver melhor". Ele ensina o codificador de visão a extrair características mais finas e localizadas.
2. Otimização de Backbones de Visão: Existe um grande potencial não explorado em codificadores de visão existentes. Eles podem ser "evoluídos" para MLLMs específicos com custo computacional mínimo através do PIVOT.
3. Caminho Eficiente: O PIVOT oferece um caminho viável e eficiente para melhorar a visão em MLLMs sem a necessidade de pré-treinamento massivo de visão do zero, democratizando o acesso a modelos de visão de alta performance.

Em resumo, o artigo prova que o Reinforcement Learning (especificamente DPO) atua como um mecanismo de refinamento visual, transformando codificadores de visão genéricos em especialistas visuais altamente eficazes para tarefas multimodais, superando até mesmo modelos de visão de última geração quando otimizados corretamente.