💬 NLP

Learning Self-Correction in Vision-Language Models via Rollout Augmentation

O artigo apresenta o Octopus, um framework de aprendizado por reforço que aumenta a eficiência de amostragem e estabiliza o treinamento para modelos de visão-linguagem através da síntese de exemplos densos de autocorreção por meio de recombinação de rollout e uma estratégia de mascaramento de resposta, resultando no modelo de última geração Octopus-8B.

Autores originais: Yi Ding, Ziliang Qiu, Bolian Li, Ruqi Zhang

Publicado 2026-06-05

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yi Ding, Ziliang Qiu, Bolian Li, Ruqi Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um aluno muito inteligente (um Modelo de Visão-Linguagem) a resolver quebra-cabeças complexos envolvendo imagens e palavras. O aluno é bom, mas às vezes comete erros em seu raciocínio. O objetivo deste artigo é ensinar ao aluno um superpoder: Autocorreção. Esta é a capacidade de perceber: "Espere, eu errei esse passo", e corrigi-lo imediatamente dentro da mesma resposta, em vez de apenas tentar adivinhar novamente do zero.

Aqui está como os autores, Yi Ding e sua equipe, resolveram o problema de ensinar essa habilidade, explicados de forma simples.

O Problema: A "Agulha no Palheiro"

Normalmente, quando treinamos esses modelos de IA usando um método chamado Aprendizado por Reforço (RL), damos a eles uma recompensa apenas no final: "Certo" ou "Errado".

O Problema: O modelo raramente descobre como corrigir seus próprios erros por conta própria. É como tentar ensinar alguém a editar sua redação dizendo apenas "A" ou "F" ao final. Eles podem até adivinhar, mas não aprenderão a habilidade específica de detectar e corrigir erros.
A Realidade: Em uma sessão de treinamento padrão, momentos eficazes de "ops, eu corrigi" são incrivelmente raros. O artigo descobriu que, na maior parte do tempo, o modelo se autocorrige naturalmente em menos de 1%. Tentar aprender com eventos tão raros é como tentar aprender a nadar esperando que um tubarão apareça uma vez por ano.

A Solução: "Octopus" (O Truque de Aumento)

Os autores perceberam que, embora o modelo raramente corrija seus próprios erros, ele frequentemente gera tanto uma resposta errada quanto uma resposta certa durante a mesma sessão de treinamento. Eles chamam sua solução de Octopus.

Pense no processo de treinamento como um chef fazendo sopa.

RL Padrão: O chef prova a sopa no final. Se estiver ruim, ele a joga fora e começa de novo.
Octopus: O chef percebe que, enquanto cozinhava, acidentalmente fez duas versões da sopa: uma salgada (errada) e uma perfeita (certa). Em vez de jogar a salgada fora, o Octopus diz: "Ei, vamos parear estas duas!".
A Magia: Ao pegar o caminho "errado" e o caminho "certo" do mesmo lote de tentativas e forçá-los a sentar um ao lado do outro, o modelo vê um exemplo claro de: "Aqui está o erro, e aqui está a correção".
O Resultado: Eles transformam um raro momento de "eureka!" em dezenas de lições claras e explícitas. Eles chamam isso de Aumento de Rollout (Rollout Augmentation). É como tirar uma foto de um erro e uma foto da correção, e então fotocopiar essas fotos 100 vezes para que o aluno possa estudá-las repetidamente sem precisar cozinhar 100 novas sopas.

A Estratégia: Treinamento em Duas Etapas (O Truque de "Mascaramento")

Ensinar o modelo a corrigir erros é difícil porque ele pode ficar confuso. Ele pode pensar: "Devo tentar acertar a resposta de primeira ou devo errar de propósito para poder corrigir depois?". Isso é chamado de "conflito".

Para resolver isso, os autores usam uma abordagem de Treinamento em Duapas com uma técnica especial de "mascaramento" (cobrir partes da resposta):

Etapa 1: A Classe "Consertar"
- O modelo é instruído a ignorar a primeira parte de sua resposta (o erro).
- Ele só tem permissão para aprender com a segunda parte (a correção).
- Analogia: Imagine um professor cobrindo a primeira metade de um problema matemático e avaliando o aluno apenas sobre como ele corrigiu o erro na segunda metade. Isso garante que o aluno aprenda a habilidade de corrigir sem se distrair tentando tornar a primeira parte perfeita imediatamente.
Etapa 2: A Classe "Mestre"
- Uma vez que o aluno é bom em corrigir erros, o professor revela a primeira parte.
- Agora, o modelo aprende a fazer ambos: acertar a resposta de primeira e corrigi-la se escorregar.
- Analogia: Agora o aluno faz o teste completo. Como ele praticou tanto a correção de erros na Etapa 1, é menos provável que ele entre em pânico quando cometer um erro, e ele consegue se recuperar mais rápido.

Os Resultados: Mais Rápidos e Inteligentes

O artigo apresenta um modelo chamado Octopus-8B.

Desempenho: Tornou-se o melhor modelo de código aberto de seu tamanho, superando outros modelos de ponta (como o Qwen3-VL-Thinking) em 7 testes diferentes envolvendo matemática, diagramas e conhecimentos gerais.
Eficiência: Como o Octopus recicla seus dados de treinamento (reutilizando os pares "errado" e "certo"), ele aprende muito mais rápido. Ele alcançou resultados melhores usando apenas 72% do tempo de treinamento exigido pelos melhores métodos anteriores.

Resumo

O artigo argumenta que, para tornar a IA mais inteligente, não devemos apenas esperar que ela aprenda acidentalmente como corrigir seus erros. Em vez disso, devemos fabricar esses momentos de aprendizado, pareando seus erros com seus sucessos. Ao fazer isso, e ao ensinar a habilidade de "corrigir" separadamente da habilidade de "responder", a IA torna-se um pensador mais robusto e capaz de autocorreção.

Lição Principal: Você não precisa de mais dados; você precisa reorganizar os dados que já possui para tornar as lições mais claras.

Resumo Técnico: Aprendizado de Autocorreção em Modelos de Visão-Linguagem via Aumento de Rollout

Declaração do Problema

Modelos de Visão-Linguagem (VLMs) com capacidades de raciocínio têm demonstrado um desempenho impressionante em tarefas complexas, frequentemente exibindo comportamentos emergentes de "autocorreção" (ex: "momentos aha") onde o modelo revisa seu raciocínio dentro de uma única resposta. No entanto, os atuais paradigmas de Aprendizado por Reforço com Recompensas Verificáveis (RLVR) lutam para ensinar ou controlar explicitamente essa capacidade.

O desafio central é a extrema esparsidade dos sinais de autocorreção eficazes. No treinamento padrão de RL, os comportamentos de autocorreção (especificamente transições de raciocínio incorreto para correto, ou errado → correto) emergem apenas raramente e de forma implícita. Métodos existentes que tentam incentivar a reflexão via prompting ou modelagem de recompensa ainda dependem desses comportos emergentes esparsos e não controlados. Além disso, tentativas de otimizar conjuntamente o raciocínio direto e a autocorreção usando recompensas binárias padrão frequentemente levam ao reward hacking (onde o modelo gera deliberadamente respostas iniciais incorretas para disparar uma correção trivial) e ao colapso de modo, desestabilizando o treinamento.

Metodologia: Estrutura Octopus

Para enfrentar esses desafios, os autores propõem o Octopus, uma estrutura de aumento de rollout projetada para sintetizar exemplos densos e explícitos de autocorreção a partir de rollouts padrão de RL sem sobrecarga computacional adicional. A metodologia consiste em três componentes principais:

1. Aumento de Rollout Específico para Correção

Os autores observam que, dentro de um grupo de rollout de RL padrão (um conjunto de $n$ respostas geradas para uma única entrada), trajetórias corretas e incorretas frequentemente coexistem. Em vez de esperar que o modelo gere espontaneamente uma sequência errado → correto, o Octopus constrói explicitamente esses pares recombinando rollouts existentes.

Mecanismo: Dado $n$ rollouts, o sistema pareia a resposta pré-correção ( $o_1$ ) de um rollout com a resposta pós-correção ( $o_2$ ) de outro. Esse pareamento combinatório gera $n^2$ amostras potenciais.
Categorização: Esses pares enquadram-se em quatro categorias: errado → correto (positivo), correto → correto (positivo), correto → errado (negativo) e errado → errado (negativo).
Estratégia de Amostragem: Para garantir a estabilidade do treinamento, a estrutura seleciona uma mistura equilibrada de amostras positivas e negativas deste pool aumentado (ex: selecionando 16 amostras equilibradas de 64 pares gerados quando $n=8$ ). Isso aumenta simultaneamente a eficiência de amostragem ao reutilizar rollouts e estabiliza a otimização ao equilibrar a distribuição de vantagem.

2. Estratégia de Mascaramento de Resposta (Treinamento em Dois Estágios)

Para resolver o conflito entre aprender o raciocínio direto e a autocorreção, os autores introduzem um pipeline de treinamento de dois estágios com uma estratégia de mascaramento de resposta:

Estágio I (Aprendendo Apenas Autocorreção): O modelo é treinado para melhorar a resposta pós-correção ( $o_2$ ) enquanto trata a resposta pré-correção ( $o_1$ ) como contexto fixo. O erro (loss) é mascarado para todos os tokens em $o_1$ , e uma restrição de divergência KL é aplicada para manter $o_1$ próximo ao modelo de referência. Isso isola o sinal de aprendizado para autocorreção, evitando que o modelo realize "reward hacking" ao degradar $o_1$ para aumentar artificialmente o sinal de correção.
Estágio II (Coevolução de Raciocínio e Correção): O modelo otimiza conjuntamente ambas as capacidades. Crucialmente, os autores aplicam o desmascaramento seletivo: $o_1$ só é desmascarado (e, portanto, atualizado) para amostras onde a correção permanece consistente antes e depois do token de correção (ou seja, correto → correto ou errado → errado). Para amostras que exibem autocorreção eficaz (errado → correto), $o_1$ permanece mascarado para evitar que o gradiente reforce o erro inicial.

3. Construção de Dados de Cold-Start

Antes do treinamento de RL, um estágio de Supervised Fine-Tuning (SFT) de cold-start é empregado para ensinar o modelo o formato de saída específico ( $o_1 \oplus \langle sc \rangle \oplus o_2$ ). Os autores descobrem que a amostragem mista — onde $o_1$ é amostrado do modelo de política e $o_2$ é amostrado de um modelo professor mais forte — é superior à amostragem dentro da distribuição, pois evita o colapso de entropia e fornece exemplos de correção de maior qualidade para a inicialização.

Principais Contribuições

Identificação da Esparsidade: O artigo identifica que os sinais de autocorreção eficazes são extremamente esparsos em rollouts padrão de RL (frequentemente <1% das amostras) e demonstra que esses sinais podem ser densificados ao parear trajetórias corretas e incorretas existentes.
Aumento Octopus: Uma nova estrutura que sintetiza exemplos densos de autocorreção recombinando rollouts, melhorando a eficiência de amostragem e a estabilidade do treinamento sem custos extras de geração.
Otimização Desacoplada: Uma estratégia de mascaramento de resposta que desacopla com sucesso o aprendizado de autocorreção do raciocínio direto, evitando o reward hacking e a instabilidade associados à otimização conjunta.
Modelo Octopus-8B: Um VLM de raciocínio que alcança desempenho estado da arte (SoTA) entre modelos de código aberto de tamanho comparável.

Resultados

O modelo proposto Octopus-8B foi avaliado em 7 benchmarks (incluindo MathVista, MathVerse, WeMath, HallusionBench, MMStar, MMMU e CharXiv).

Desempenho: O Octopus-8B alcança uma precisão média de 71,7%, superando o Qwen3-VL-8B-Instruct base em 9,5 pontos e a variante de raciocínio aprimorado oficial (Qwen3-VL-8B-Thinking) em 1,2 pontos. Ele supera o baseline de RLVR mais forte (GSPO) em 1,0 ponto.
Eficiência: Apesar de usar 16 rollouts por etapa (via aumento), o Octopus requer apenas 0,72× o tempo de treinamento por etapa em comparação ao melhor baseline de RLVR (GSPO com 16 rollouts), pois reutiliza a geração de apenas 8 rollouts.
Estudos de Ablação: Remover o aumento causa uma queda significativa no desempenho (4,3 pontos), confirmando que os ganhos derivam de sinais de autocorreção enriquecidos e não apenas do aumento do tamanho da amostra. Remover o Estágio I leva a uma queda de 1,9 pontos, validando a necessidade do aprendizado desacoplado.
Escalabilidade de Tempo de Teste: O modelo demonstra autocorreção controlável; anexar tokens $\langle sc \rangle$ adicionais durante a inferência melhora ainda mais a precisão e a eficiência de tokens, indicando que a capacidade é generalizável e escalável.
Generalização: O modelo treinado em dados de visão-linguagem também melhora o desempenho em benchmarks apenas de texto (AIME2024, MMLU-Pro), sugerindo que a autocorreção é uma estratégia agnóstica de modalidade.

Significância e Alegações

O artigo afirma que a autocorreção é uma capacidade crucial para o raciocínio robusto de VLMs, mas tem sido difícil de aprender explicitamente via RL devido à esparsidade do sinal e aos conflitos de otimização. Ao propor o Octopus, os autores demonstram que:

Sintetizar supervisão estruturada a partir de amostras da política (rollouts) é uma direção promissora para melhorar o desempenho e reduzir custos de treinamento.
Aprender explicitamente a autocorreção leva a modelos que são não apenas mais precisos, mas também mais eficientes no treinamento e capazes de escalabilidade em tempo de teste.
A estratégia de mascaramento de resposta proposta oferece uma solução para o problema comum de objetivos de aprendizado entrelaçados em RL de passagem única, permitindo a coevolução do raciocínio direto e da correção sem colapso de modo.

O trabalho estabelece um novo estado da arte para VLMs de código aberto, mostrando que a autocorreção controlável pode ser aprendida de forma eficaz e eficiente, indo além da dependência de comportamentos emergentes.