Resumo Técnico: Eficiência de Dados de Treinamento em Modelos de Recompensa de Processo Multimodais

1. Declaração do Problema

Modelos de Recompensa de Processo Multimodais (MPRMs) são essenciais para fornecer supervisão ao nível de passo em Modelos de Linguagem de Grande Escala Multimodais (MLLMs) durante tarefas de raciocínio visual. No entanto, o treinamento de MPRMs depende tipicamente de corpora de larga escala de rollouts anotados via Monte Carlo (MC) (ex: VisualPRM400K-v1.1 com 565K rollouts e 3,17M de passos anotados). Este processo acarreta custos computacionais substanciais.

O artigo identifica um gargalo prático: eficiência de dados de treinamento. Observações preliminares sugerem que o desempenho do MPRM satura rapidamente quando os dados de treinamento são subamostrados aleatoriamente, indicando redundância significativa nos corpora existentes anotados por MC. As questões centrais de pesquisa são:

1. Como o desempenho do MPRM escala com o orçamento de rollout?
2. Como selecionar subconjuntos informativos de dados que preservem ou excedam o desempenho do conjunto total sem incorrer em custos adicionais de anotação ou chamadas de modelo?

2. Metodologia

2.1 Estudo Preliminar Empírico

Os autores conduziram experimentos preliminares utilizando o conjunto de dados VisualPRM400K-v1.1 e o backbone InternVL2.5-8B.

• Observação de Redundância: A subamostragem aleatória (ex: mantendo apenas 25% dos rollouts) resultou em um desempenho que atingiu um platô rapidamente, permanecendo próximo ao desempenho do conjunto de dados total mesmo com significativamente menos atualizações. Isso sugere que o aumento do tamanho do conjunto de dados gera retornos decrescentes devido ao ruído de rótulo e redundância de dados.
• Análise Heurística: Os autores compararam diferentes estratégias de seleção de subconjuntos:
  • Aleatório (Random): Linha de base (baseline).
  • Baixo-MC (Low-MC): Selecionar rollouts com as menores pontuações médias de MC (maiores razões de erro-passo). Isso introduziu muitos rótulos "pseudo-positivos" (passos rotulados como positivos apesar de taxas de sucesso muito baixas), o que prejudicou o desempenho.
  • Misto (Mixed): Selecionar rollouts contendo tanto passos corretos quanto incorretos. Isso superou a seleção aleatória, mas ainda era subótimo em comparação a uma abordagem equilibrada.

2.2 Estrutura Teórica

Para explicar essas descobertas empíricas, os autores formalizaram uma estrutura de abstração Professor-Aluno (Teacher-Student):

• Modelo Professor (Teacher Model): Um modelo ideal que conhece a correção real ao nível de passo ($q^*$).
• Modelo Aluno (Student Model): O MPRM aprendido treinado em rótulos anotados por MC ruidosos.
• Análise de Gradiente: Os autores modelaram o ruído de estimativa de MC via um modelo probabilístico de inversão de rótulo (label-flip model). Eles derivaram que o sinal de gradiente informativo depende de dois fatores multiplicativos:
  1. Mistura de Rótulos (Incerteza): O termo $q^*(1-q^*)$ é maximizado quando o professor está incerto (ou seja, o rollout contém uma mistura de passos positivos e negativos). Rollouts puramente positivos ou puramente negativos fornecem sinais fracos.
  2. Confiabilidade do Rótulo (Nível de Ruído): A taxa de ruído efetiva $\eta$ é alta para passos com pontuações de MC extremamente baixas que ainda são rotulados como positivos (pseudo-positivos). Esses passos atuam como amostras de rótulo invertido, adicionando variância em vez de sinal.
• Conclusão: Rollouts informativos são aqueles que são mistos (alta incerteza), mas confiáveis (baixo ruído nos rótulos positivos).

.3 Solução Proposta: Pontuação de Informação Equilibrada (BIS)

Guiados pelas percepções teóricas, os autores propõem a Pontuação de Informação Equilibrada (Balanced-Information Score - BIS), um mecanismo de pontuação ao nível de rollout que não requer chamadas de modelo ou supervisão adicionais. Ele utiliza apenas as pontuações de MC já armazenadas no conjunto de dados.

Para um rollout $x$ com $n$ passos:

1. Mistura de Rótulos ($p_{pos}$): A proporção de passos positivos no rollout. O termo de mistura é $p_{pos}(1 - p_{pos})$, que é maximizado quando o rollout contém um equilíbrio de passos positivos e negativos.
2. Confiabilidade ($R(x)$): A pontuação média de MC dos passos positivos no rollout. Um $R(x)$ alto indica que os passos positivos são genuinamente confiáveis (baixo ruído).
3. Fórmula BIS:
   $$BIS(x) = (p_{pos}(1 - p_{pos}) + \alpha) \times R(x)$$
   Onde $\alpha$ é uma constante de suavização pequena para evitar pesos zero para rollouts de baixa mistura.

Processo de Seleção: Os rollouts são classificados por sua pontuação BIS dentro de cada conjunto de dados de origem, e a fração superior $\rho$ é selecionada para formar o subconjunto de treinamento.

3. Principais Resultados

Experimentos foram conduzidos no VisualProcessBench utilizando dois backbones: InternVL2.5-8B e Qwen2.5-VL-7B.

• Eficiência de Dados: Subconjuntos selecionados via BIS consistiram em igualar ou superar o desempenho do conjunto de dados total usando significativamente menos rollouts.
  • InternVL2.5-8B: Um subconjunto BIS-10% (usando apenas 10% dos dados) alcançou um micro-F1 global de 65,46%, igualando o desempenho do conjunto de dados total e superando a linha de base Random-10% em +2,6 pontos.
  • Qwen2.5-VL-7B: O modelo mostrou ganhos ainda maiores em regimes de baixo orçamento, com o BIS-5% superando o Random-5% em +10,9 pontos.
• Reclassificação Best-of-N (Best-of-N Reranking): Em cenários práticos de reclassificação (selecionando a melhor resposta entre 16 candidatos), os MPRMs treinados em subconjuntos BIS-25% alcançaram o maior desempenho em quatro benchmarks (MM-K12, OlympiadBench, MathVerse, MathVista), superando tanto os modelos Random-25% quanto os de Dados Totais (Full-Data).
• Estudos de Ablação:
  • Remover o componente de mistura ou de confiabilidade (ex: usando apenas subconjuntos "Mistos" ou apenas "Confiáveis") resultou em menor desempenho, confirmando que ambos os fatores são necessários.
  • O método é robusto à constante de suavização $\alpha$, com $\alpha=0,05$ produzindo resultados ótimos.
  • O uso de rótulos MC suaves (soft) foi considerado inferior aos rótulos binários rígidos (hard), provavelmente devido ao ruído nas estimativas de MC.

4. Significância e Alegações

O artigo afirma fornecer uma receita prática para reduzir o custo computacional do treinamento de MPRMs sem sacrificar o desempenho do modelo.

• Percepção Teórica: Estabelece que o treinamento de MPRM é limitado principalmente pelo ruído de gradiente (causado pelo ruído de rótulo e falta de mistura) em vez da escassez de dados.
• Eficiência: O método BIS permite o treinamento com tão pouco quanto 10% dos dados originais enquanto mantém o desempenho do conjunto de dados total, economizando efetivamente ~90% do custo computacional associado ao processamento de dados e etapas de treinamento.
• Seleção Sem Custo: Diferente de aprendizado ativo ou outros métodos de seleção de dados, o BIS depende inteiramente dos sinais de MC existentes, incorrendo em custo zero para inferência de modelo ou anotação.
• Generalização: A abordagem é agnóstica ao modelo e demonstrou eficácia através de diferentes arquiteturas de backbone (séries InternVL e Qwen).

Os autores concluem que os futuros corpora de MPRM devem ser curados com base nestes princípios de "mistura e confiabilidade" em vez de simplesmente aumentar a escala, ofereando um princípio centrado em dados para o treinamento eficiente de raciocínio multimodal.