Wiki-R1: Incentivizing Multimodal Reasoning for Knowledge-based VQA via Data and Sampling Curriculum

O artigo apresenta o Wiki-R1, um framework de aprendizado por reforço com currículo baseado em geração de dados que otimiza o raciocínio multimodal para Resposta a Perguntas Visuais Baseadas em Conhecimento (KB-VQA) ao alinhar distribuições de treinamento com a evolução da capacidade do modelo, alcançando resultados state-of-the-art nos benchmarks Encyclopedic VQA e InfoSeek.

O essencial

Imagine que você tem um gênio da lâmpada (um modelo de Inteligência Artificial) que é muito inteligente, mas só conhece o mundo pelo que viu em filmes e livros de ficção. Agora, você quer que ele responda perguntas sobre uma foto específica, como "Qual é a espécie exata dessa ave rara que vive no topo de uma montanha no Peru?".

O problema é que o gênio nunca viu essa ave. Se você perguntar diretamente, ele vai inventar uma resposta (alucinar) ou chutar. Para ajudar, você tem uma biblioteca gigante (a internet/Wikipedia) e um bibliotecário (o sistema de busca) que tenta encontrar o livro certo para o gênio ler antes de responder.

O artigo Wiki-R1 é sobre como ensinar esse gênio a usar a biblioteca de forma inteligente, mesmo quando o bibliotecário às vezes entrega o livro errado ou com páginas rasgadas.

Aqui está a explicação passo a passo, usando analogias simples:

1. O Problema: O "Choque de Realidade"

Antes do Wiki-R1, os pesquisadores tentavam treinar o gênio usando Reforço (dando pontos quando ele acertava). Mas havia um grande problema:

• O Bibliotecário é barulhento: Muitas vezes, ele traz livros irrelevantes ou com informações confusas.
• O Gênio fica perdido: Como o livro trazido não é perfeito, o gênio não consegue responder. Ele erra.
• Sem pontos, sem aprendizado: Como ele erra quase sempre, ele nunca ganha "pontos" (recompensa) no treinamento. Sem pontos, ele não sabe o que fazer para melhorar. É como tentar ensinar alguém a andar de bicicleta em uma tempestade: ele cai o tempo todo e desiste.

2. A Solução: O "Currículo de Treinamento" (Wiki-R1)

A ideia do Wiki-R1 é não jogar o gênio direto na tempestade. Em vez disso, eles criaram um plano de ensino progressivo, como um jogo de videogame que começa fácil e fica difícil aos poucos.

A. Criando os Níveis de Dificuldade (Geração de Dados)

Em vez de usar apenas os livros que o bibliotecário entrega naturalmente (que são bagunçados), o Wiki-R1 controla o bibliotecário para criar níveis de treino:

• Nível 1 (Fácil): O sistema entrega exatamente o livro perfeito, sem erros. O gênio lê e acerta. Ele ganha confiança e pontos.
• Nível 2 (Médio): O sistema entrega o livro perfeito, mas mistura com 2 ou 3 livros inúteis. O gênio precisa aprender a ignorar o lixo e focar no que importa.
• Nível 3 (Difícil): O sistema entrega apenas livros ruins ou incompletos. O gênio precisa usar todo o seu raciocínio para deduzir a resposta ou admitir que não sabe.

O segredo é: o sistema só sobe de nível quando o gênio já dominou o anterior. É como um professor que só passa para o capítulo 2 quando o aluno entendeu o capítulo 1.

B. Escolhendo os Alunos Certos (Amostragem Curricular)

Às vezes, mesmo no nível difícil, o gênio acerta por sorte ou erra por azar. O Wiki-R1 usa uma técnica inteligente para escolher quais perguntas fazer a ele.

• Eles querem perguntas que sejam desafiadoras, mas possíveis de resolver (nem muito fáceis, nem impossíveis).
• Como o gênio não responde a todas as perguntas de uma vez, o sistema usa um "mapa de conexões". Se o gênio acertou uma pergunta sobre "Águias", o sistema assume que ele provavelmente também consegue responder sobre "Falcões" (porque são pássaros parecidos) e usa isso para estimar a dificuldade de perguntas que ainda não viu. É como um professor que, vendo que você acertou uma equação de álgebra, assume que você consegue resolver uma de geometria parecida, mesmo que ainda não tenha tentado.

3. O Resultado: Um Mestre da Biblioteca

Depois de passar por esse treinamento curado:

• O gênio aprendeu a filtrar informações ruins.
• Ele aprendeu a raciocinar com base em dados imperfeitos.
• Ele se tornou o melhor do mundo em responder perguntas sobre imagens usando conhecimento externo.

Em resumo:
O Wiki-R1 não é apenas "jogar mais dados" no modelo. É como ter um treinador pessoal de elite que:

1. Começa com exercícios fáceis para ganhar confiança.
2. Aumenta a dificuldade gradualmente, controlando o "ruído" do ambiente.
3. Escolhe os exercícios certos para que o aluno nunca fique entediado (muito fácil) nem desespere (muito difícil).

Graças a isso, o modelo conseguiu quebrar recordes em testes de perguntas difíceis sobre imagens, provando que, com o método certo de ensino, a Inteligência Artificial pode aprender a pensar de verdade, mesmo quando as informações não são perfeitas.

Resumo técnico

1. Problema: Lacuna Distribucional e Recompensa Esparsa no KB-VQA

O Visual Question Answering Baseado em Conhecimento (KB-VQA) exige que modelos de linguagem multimodal (MLLMs) respondam a perguntas sobre uma imagem integrando conhecimento externo (ex: Wikipedia). O desafio principal reside em duas características:

1. Ruído na Recuperação: Sistemas de recuperação (RAG) frequentemente retornam evidências imperfeitas ou irrelevantes.
2. Natureza Enciclopédica: O conhecimento recuperado é estruturado e denso, criando uma grande lacuna distribucional em relação aos dados de pré-treinamento dos MLLMs.

Observações Críticas:

• Ao aplicar algoritmos de Aprendizado por Reforço (RL) padrão (como DAPO) diretamente neste domínio, os autores observaram que mais de 80% das amostras apresentam vantagem zero (zero-advantage), e a precisão de treinamento permanece baixa (~10%).
• Isso indica um problema severo de recompensa esparsa: o modelo não recebe sinais de aprendizado significativos porque a distribuição dos dados de treinamento (ruidosa e complexa) é muito distante da distribuição de pré-treinamento do modelo.
• Experimentos com "recuperação de verdade absoluta" (oracle) mostraram que a redução do ruído alivia o problema, confirmando que o ruído da recuperação e a lacuna distribucional são as causas raiz.

---

2. Metodologia: Wiki-R1

O Wiki-R1 é um framework de Aprendizado por Reforço com Currículo (Curriculum RL) baseado em geração de dados. Em vez de selecionar amostras de um conjunto fixo, o sistema gera distribuições de treinamento adaptativas que preenchem a lacuna entre o pré-treinamento e o domínio alvo do KB-VQA.

O framework consiste em dois componentes principais acoplados:

A. Geração de Dados de Currículo Controlável (Controllable Curriculum Data Generation)

O objetivo é criar uma sequência de distribuições de treinamento com dificuldade progressiva, manipulando o sistema de recuperação:

• Nível Mais Fácil ($g=0$): O recuperador retorna apenas o trecho (snippet) da verdade absoluta (ground-truth), eliminando o ruído. Isso se assemelha à distribuição de pré-treinamento.
• Níveis Intermediários ($1 < g < G$): O número de candidatos recuperados aumenta, introduzindo ruído gradualmente, mas mantendo o trecho correto.
• Nível Mais Difícil ($g=G$): O sistema retorna candidatos ruidosos sem garantir a inclusão do trecho correto, alinhando-se totalmente à distribuição de inferência real.
• Agendamento Dinâmico: O nível de dificuldade ($g$) é aumentado automaticamente quando a precisão média de treinamento (em uma janela deslizante) excede um limiar ($\tau$), garantindo que o modelo domine um nível antes de avançar.

B. Amostragem de Currículo com Propagação de Observação (Curriculum Sampling with Observation Propagation)

Como a geração de dados pode não corresponder perfeitamente à dificuldade desejada, o Wiki-R1 utiliza uma estratégia de amostragem inteligente:

• Seleção de Amostras Informativas: O RL funciona melhor com amostras onde a precisão esperada está próxima de 0.5 (nem muito fáceis, nem impossíveis). O sistema amostra dados centrados nessa faixa.
• Estimativa de Dificuldade via Propagação: Como as recompensas no RL são esparsas (muitas amostras não são observadas durante um passo), o sistema constrói um grafo de propagação de rótulos.
  • A similaridade entre amostras é baseada na similaridade dos seus artigos de conhecimento base associados.
  • As recompensas observadas são propagadas para amostras não observadas, permitindo estimar a dificuldade esperada de todo o conjunto de dados e selecionar as amostras mais promissoras para o treinamento.

---

3. Contribuições Principais

1. Framework Wiki-R1: Proposta de um método de RL baseado em currículo que utiliza geração de dados controlada e amostragem adaptativa para incentivar o raciocínio multimodal em KB-VQA.
2. Ponte Distribucional: Demonstração de que a criação de uma sequência de distribuições de treinamento (do fácil ao difícil) é crucial para mitigar a lacuna entre o pré-treinamento e o domínio de tarefa complexo.
3. Mecanismo de Propagação: Introdução de um mecanismo de propagação de observação que supera a esparsidade de recompensas, permitindo uma estimativa robusta da dificuldade de amostras não vistas.
4. Eficiência de Dados: O método alcança resultados superiores utilizando uma escala de dados de treinamento drasticamente menor (40k amostras) em comparação com métodos anteriores que usam milhões de amostras.

---

4. Resultados Experimentais

O método foi avaliado em dois benchmarks padrão: Encyclopedic VQA (EVQA) e InfoSeek.

• Desempenho Geral (SOTA):
  • Encyclopedic VQA: Acurácia aumentou de 35.5% (estado da arte anterior) para 37.1%.
  • InfoSeek: Acurácia aumentou de 40.1% para 44.1%.
  • InfoSeek (Unseen-Question): O modelo atingiu 47.8%, superando sua própria acurácia geral, demonstrando forte capacidade de generalização para consultas não vistas.
• Robustez: Diferente de métodos anteriores (como ReflectiVA) que são sensíveis ao modo de recuperação (visual vs. textual), o Wiki-R1 mantém desempenho consistente em ambos os modos.
• Transferência Zero-Shot: No benchmark ViQuAE, o Wiki-R1 superou significativamente métodos baseados em MLLMs e até configurações semi-oráculo de métodos anteriores, alcançando 55.6 de F1 (modelo 7B).
• Eficiência: O treinamento foi realizado em apenas 9-12 horas em 4 GPUs A100, utilizando apenas 40.000 amostras, enquanto métodos concorrentes utilizam milhões de amostras e tempos de treinamento muito superiores.

---

5. Significado e Impacto

O trabalho Wiki-R1 oferece uma solução principista para um dos maiores gargalos na aplicação de MLLMs em tarefas de raciocínio complexo com conhecimento externo: a adaptação de domínio com recompensa esparsa.

• Mudança de Paradigma: Em vez de apenas melhorar o recuperador ou treinar o modelo em grandes volumes de dados ruidosos, o Wiki-R1 demonstra que controlar a dificuldade dos dados de treinamento é mais eficaz para o aprendizado por reforço.
• Generalização: A capacidade de generalizar para perguntas não vistas e diferentes distribuições de dados sugere que o modelo aprende um processo de raciocínio robusto, e não apenas memorização.
• Viabilidade Prática: Ao reduzir drasticamente a necessidade de dados de treinamento e tempo de computação, o método torna a adaptação de MLLMs para tarefas de conhecimento profundo mais acessível e eficiente.

Em resumo, o Wiki-R1 estabelece um novo estado da arte ao alinhar a geração de dados e a amostragem com a capacidade evolutiva do modelo, transformando um problema de aprendizado difícil e esparsamente recompensado em um processo de treinamento estável e eficiente.