What does RL improve for Visual Reasoning? A Frankenstein-Style Analysis

Título: O que o RL melhora no Raciocínio Visual? Uma Análise no Estilo Frankenstein

Autores: Xirui Li, Ming Li, Tianyi Zhou (Universidade de Maryland e MBZUAI)
Data: Fevereiro de 2026 (Pré-impressão)

---

1. O Problema

O treinamento pós-processamento de Modelos de Linguagem e Visão (VLMs) para tarefas de raciocínio segue atualmente um paradigma de duas etapas:

1. Ajuste Fino Supervisionado (SFT/IN): Serve como inicialização ("cold-start").
2. Aprendizado por Reforço (RL): Utiliza recompensas verificáveis para aprimorar o raciocínio.

Embora benchmarks de ponta a ponta mostrem ganhos significativos com a adição do RL, não está claro quais capacidades específicas são realmente aprimoradas. As melhorias nos benchmarks agregados confundem múltiplos fatores:

• Melhoria na percepção visual pura?
• Melhoria no raciocínio linguístico isolado?
• Melhoria no alinhamento entre visão e raciocínio?

Estudos anteriores sugerem que o aumento do comprimento da inferência (mais "pensamento") nem sempre ajuda na visão e pode até amplificar erros baseados em priores linguísticos. A questão central é: O que o RL melhora consistentemente no raciocínio visual através de diferentes receitas de treinamento?

2. Metodologia: A Análise no Estilo Frankenstein

Para desvendar a "caixa preta" do RL, os autores propõem um framework de análise chamado "Frankenstein-Style". A analogia refere-se à desmontagem do modelo em partes funcionais, intervenção nessas partes e remontagem para testar causalidade. O framework consiste em três componentes principais:

A. Localização Funcional via Probing Causal

Os autores dividem as camadas do Transformer em três regiões funcionais baseadas em intervenções causais no modelo base (antes do RL):

• Camadas Iniciais (Early): Processamento visual simples (reconhecimento, OCR).
• Camadas Médias (Mid): Processamento visual de alto nível (contagem, grounding).
• Camadas Finais (Late): Computação de raciocínio abstrato e linguístico.
• Técnica: Substituição de tokens visuais e ablação de camadas (layer skipping) para mapear onde a visão e o raciocínio são causalmente processados.

B. Caracterização de Atualização via Comparação de Parâmetros

Análise da geometria e magnitude das atualizações de parâmetros ($\Delta W$) entre o modelo IN (SFT) e o modelo RL:

• Energia de Atualização: Medida pela norma de Frobenius.
• Diversidade de Atualização: Analisada através do espectro de valores singulares (Singular Value Spectrum) para ver se as atualizações são difusas ou concentradas em poucas direções dominantes.

C. Teste de Transferibilidade via Fusão de Modelos (Model Merging)

Criação de modelos híbridos ("Frankenstein") combinando regiões de camadas de modelos IN e RL:

• Exemplo: Um modelo com camadas Early do IN, mas Mid e Late do RL.
• Objetivo: Verificar se as melhorias induzidas pelo RL são modulares e transferíveis para outros modelos.

D. Validação de Necessidade via Congelamento (Freezing)

Durante o treinamento de RL, as camadas de uma região específica são congeladas. Se o ganho de desempenho desaparece ao congelar uma região, isso prova que o refinamento nessa região é necessário para o sucesso do RL.

3. Principais Contribuições e Resultados

A. Desconstrução das Melhorias (Métricas Finas)

Ao contrário dos benchmarks agregados, as métricas finas revelam que:

• A capacidade de visão pura ($M_{vis}$) e o raciocínio linguístico isolado ($M_{rea}$) não melhoram monotonicamente do Base $\to$ IN $\to$ RL.
• O ganho real ocorre na Alinhamento Visão-Raciocínio ($M_{v2r}$), onde o modelo aprende a integrar consistentemente evidências visuais no processo de raciocínio.

B. Padrões Consistentes de Atenção

O RL induz uma mudança consistente no comportamento de inferência:

• Há um aumento significativo na atenção dos tokens de raciocínio para os tokens visuais.
• Esse efeito é concentrado quase exclusivamente nas camadas médias e tardias (Mid-Late), sendo ausente nas camadas iniciais.

C. Geometria das Atualizações

• Tanto IN quanto RL atualizam fortemente as camadas médias.
• No entanto, o RL apresenta uma diversidade de atualização menor (espectro de valores singulares mais íngreme) nas camadas médias e tardias. Isso indica que o RL refina o modelo em direções dominantes específicas, focando em otimizar a integração visão-raciocínio, em vez de fazer atualizações difusas.

D. Transferibilidade e Necessidade

• Transferibilidade: Modelos híbridos que mantêm as camadas Mid-Late do RL (ex: IN:RL:RL) mantêm consistentemente as melhorias de alinhamento e raciocínio, mesmo que as camadas iniciais venham do modelo IN.
• Necessidade: Congelar as camadas Late durante o treinamento de RL elimina quase totalmente os ganhos de desempenho. Congelar camadas iniciais tem um efeito muito menor.

4. Conclusão e Significado

O artigo conclui que o RL não melhora uniformemente a percepção visual nem o raciocínio linguístico isolado. Em vez disso, o RL atua como um refinamento sistemático das camadas médias e tardias do Transformer.

• Mecanismo Principal: O RL otimiza a alinhamento entre visão e raciocínio, ensinando o modelo a direcionar a atenção dos tokens de raciocínio para as evidências visuais nas camadas profundas da rede.
• Implicação: Avaliações baseadas apenas em benchmarks agregados são insuficientes para entender a evolução de VLMs, pois mascaram a natureza específica das melhorias (alinhamento vs. percepção).
• Impacto: Este framework oferece uma metodologia principista para diagnosticar o que é aprendido em diferentes receitas de treinamento, sugerindo que a "mágica" do RL no raciocínio multimodal reside na reorganização da computação nas camadas profundas para integrar modalidades, e não na criação de novas capacidades de visão do zero.

Em resumo, o RL transforma o modelo de "ver e responder" para "ver, integrar e raciocinar", e essa transformação ocorre estruturalmente nas camadas médias e finais da arquitetura.