💬 NLP

Beyond Majority Voting: Towards Fine-grained and More Reliable Reward Signal for Test-Time Reinforcement Learning

Este trabalho apresenta o SCOPE, um novo quadro para aprendizagem por reforço no tempo de teste que supera as limitações do voto majoritário ao integrar estimativas de pseudo-rótulos ponderadas por confiança passo a passo e particionamento dinâmico de subgrupos, resultando em sinais de recompensa mais fiáveis e em ganhos significativos de desempenho em tarefas de raciocínio complexo.

Autores originais: Weiqin Wang, Yile Wang, Kehao Chen, Hui Huang

Publicado 2026-04-23

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Weiqin Wang, Yile Wang, Kehao Chen, Hui Huang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um grupo de estudantes muito inteligentes, mas que às vezes se confundem, a resolver problemas de matemática complexos. O objetivo é fazê-los aprender sozinhos, sem um professor humano corrigindo cada resposta (o que seria caro e demorado).

O método antigo (chamado TTRL no papel) funcionava assim:

O modelo gera 32 respostas diferentes para a mesma pergunta.
Ele olha para todas e pergunta: "Qual resposta apareceu mais vezes?"
Se a resposta "B" apareceu 10 vezes e a "A" apareceu 5 vezes, o sistema assume que "B" é a correta e dá um "ponto" (recompensa) para quem acertou "B".

O problema?
Às vezes, a maioria erra! Imagine que 10 alunos gritam "B" porque todos estão confusos da mesma maneira, mas a resposta certa é "A", que só 5 alunos mais cautelosos e inteligentes encontraram. O método antigo ignora os 5 inteligentes e reforça o erro dos 10. Isso é chamado de viés de confirmação (o modelo só acredita no que a maioria diz, mesmo que esteja errado). Além disso, o aprendizado é lento porque o modelo só recebe um "sim" ou "não" global, sem saber onde ele errou no raciocínio.

A Solução: SCOPE (O "Detetive de Grupos")

Os autores propõem uma nova abordagem chamada SCOPE. Eles usam duas ideias principais para consertar isso:

1. Não conte apenas os votos, pesquise a "confiança" (O Analista de Vozes)

Em vez de apenas contar quantas vezes cada resposta apareceu, o SCOPE pergunta: "Quão confiante foi cada aluno ao dar essa resposta?"

Analogia: Imagine que você está em uma sala de reunião.
- O Aluno X diz a resposta errada, mas fala muito alto e rápido (muitos votos, mas baixa confiança/precisão).
- O Aluno Y diz a resposta certa, mas fala com calma, verificando cada passo do cálculo (menos votos, mas alta confiança).
O SCOPE ignora o volume da voz e foca na qualidade do raciocínio passo a passo. Ele dá mais peso para as respostas que foram construídas com mais certeza, permitindo que a resposta correta (mesmo que minoritária) ganhe o prêmio.

2. Divida a turma em pequenos grupos (O Professor de Turmas Pequenas)

O método antigo tratava todos os 32 alunos como uma única massa gigante. O SCOPE divide a turma em subgrupos menores (ex: grupos de 2 ou 4 alunos).

Analogia: Em vez de pedir para a turma inteira votar em uma única resposta, o professor divide a sala em grupos de discussão.
- No Grupo 1, eles podem chegar na resposta "A".
- No Grupo 2, eles podem chegar na resposta "B".
- No Grupo 3, eles podem chegar na resposta "C".
Por que isso é bom? Isso evita que todos pensem igual (o que chamamos de "colapso de modo"). Cada grupo tem seu próprio "consenso local". Isso cria mais diversidade de pensamento e permite que o modelo explore caminhos diferentes, em vez de apenas repetir o que a maioria diz.

3. O "Gerente de Equilíbrio" (A Pareto)

O SCOPE é inteligente o suficiente para decidir automaticamente: "Quantos alunos devo colocar em cada grupo hoje?"

Se os grupos forem muito pequenos, há muito ruído e confusão.
Se os grupos forem muito grandes, todos pensam igual e não há criatividade.
O sistema usa uma técnica matemática (chamada Otimização de Pareto) para encontrar o "ponto ideal" onde há o máximo de qualidade nas respostas e o máximo de diversidade de ideias, ajustando isso a cada momento do treinamento.

O Resultado?

Ao usar essa combinação de "ouvir a confiança" e "dividir em grupos inteligentes", o modelo aprende muito mais rápido e com mais precisão.

Nos testes: O modelo melhorou drasticamente em provas de matemática muito difíceis (como o AIME 2025), superando os métodos anteriores em mais de 13% em alguns casos.
A lição: Para aprender coisas complexas, não basta seguir a multidão. É preciso ouvir quem pensa com cuidado, permitir que diferentes grupos explorem ideias diferentes e encontrar o equilíbrio perfeito entre seguir regras e ser criativo.

Em resumo, o SCOPE transforma o aprendizado de "votar na maioria" para "analisar a qualidade e diversificar a exploração", tornando a inteligência artificial mais confiável e menos propensa a cometer erros de grupo.

Título: Além da Votação Majoritária: Rumo a um Sinal de Recompensa Mais Granular e Confiável para Aprendizado por Reforço em Tempo de Teste

1. O Problema

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) tem sido fundamental para melhorar o raciocínio de Grandes Modelos de Linguagem (LLMs), mas depende fortemente de dados anotados manualmente, o que é custoso e ineficiente. Para contornar isso, surgiu o Aprendizado por Reforço em Tempo de Teste (TTRL), que utiliza a votação majoritária de múltiplas respostas geradas pelo modelo para criar "pseudo-rótulos" (etiquetas falsas) sem supervisão externa.

No entanto, o TTRL enfrenta duas limitações críticas:

Viés de Confirmação: A votação majoritária trata todos os votos igualmente. Se a maioria das respostas for incorreta (mas plausível), o modelo reforça seus próprios erros, ignorando respostas minoritárias corretas que podem ter alta confiança interna.
Recompensas Esparsas: A natureza binária da votação (certo/errado) falha em capturar sinais de recompensa densos e granulares necessários para o ajuste fino (fine-tuning) de raciocínios complexos.

2. Metodologia: O Framework SCOPE

Os autores propõem o SCOPE (Subgroup-specific step-wise Confidence-weighted pseudo-label estimation), um framework que integra confiança do modelo e particionamento dinâmico de subgrupos para superar as limitações do TTRL. O processo é dividido em três componentes principais:

A. Confiança Passo a Passo (Step-wise Confidence):
- Em vez de confiar apenas na frequência de respostas, o SCOPE calcula a confiança média passo a passo para cada resposta.
- O modelo decompõe a resposta em passos de raciocínio (separados por quebras de linha) e calcula a média da confiança dos tokens em cada passo.
- Votação Ponderada pela Confiança: Ao estimar o rótulo de consenso, as respostas com maior confiança acumulada recebem mais peso. Isso permite que uma resposta minoritária, mas altamente confiável e correta, seja selecionada em detrimento de uma resposta majoritária, mas incerta e incorreta.
B. Recompensas Granulares via Subgrupos:
- Para mitigar a esparsidade da recompensa, o pool de respostas não é tratado como um único grupo global.
- As respostas são divididas dinamicamente em subgrupos independentes. Cada subgrupo gera seu próprio rótulo de consenso local.
- Isso cria múltiplos alvos de supervisão, encorajando a exploração de diferentes caminhos de raciocínio e evitando que o modelo colapse em uma única estratégia (mode collapse).
C. Seleção Automática de Tamanho de Subgrupo (Otimização de Pareto):
- O tamanho ideal do subgrupo ( $m$ ) não é fixo; é selecionado automaticamente durante o treinamento.
- O sistema equilibra dois objetivos conflitantes usando Otimização de Pareto:
  1. Qualidade do Raciocínio: Maximizar a consistência das respostas com o consenso local.
  2. Exploração: Manter a diversidade das soluções para evitar overconfidence.
- Um parâmetro de trade-off ( $\lambda$ ) é ajustado para encontrar o ponto ótimo na fronteira de Pareto, selecionando o tamanho de subgrupo que maximiza a eficiência da amostra.

3. Principais Contribuições

Novo Framework de RL em Tempo de Teste: O SCOPE é a primeira abordagem a integrar ponderação de confiança passo a passo e particionamento de subgrupos dinâmico para RL não supervisionado.
Recuperação de Respostas Minoritárias: Ao usar a confiança como peso, o método consegue identificar e promover respostas corretas que estariam perdidas em uma votação majoritária simples.
Equilíbrio Dinâmico: A introdução da seleção de tamanho de subgrupo via Pareto resolve o dilema entre densidade de recompensa (subgrupos pequenos) e estabilidade de consenso (subgrupos grandes).
Código Aberto: O código foi disponibilizado publicamente, facilitando a reprodução e extensão do trabalho.

4. Resultados Experimentais

Os experimentos foram realizados em diversos modelos (Qwen2.5, Qwen3, LLaMA3.1) e benchmarks de raciocínio matemático (AIME 2024, AIME 2025, AMC, MATH-500).

Desempenho Geral: O SCOPE superou consistentemente as linhas de base (TTRL, INTUITOR, RLPR, etc.) em todos os benchmarks.
Ganhos Significativos:
- No modelo Qwen3-8B, houve uma melhoria relativa de 13,1% no desafiador benchmark AIME 2025 e 8,1% no AMC.
- No Qwen2.5-Math-1.5B (modelo leve), o SCOPE obteve um aumento de 36,5% no AIME 2024 em comparação ao TTRL, demonstrando eficácia mesmo em modelos com capacidade de raciocínio limitada.
Estudos de Ablação:
- Remover a ponderação por confiança ("w/o Conf") causou uma queda de ~5% no desempenho, confirmando que a confiança é crucial para evitar viés de confirmação.
- Remover o particionamento de subgrupos ("w/o Subgroup") levou a uma queda de ~5,8%, indicando que a supervisão global única cria um gargalo de exploração.
Estabilidade de Pseudo-rótulos: O SCOPE demonstrou maior precisão nos pseudo-rótulos (PLA) em comparação ao TTRL, reduzindo o "drift" (desvio) do consenso ao longo do treinamento.

5. Significado e Impacto

Este trabalho representa um avanço significativo na direção de LLMs autônomos capazes de melhorar seu próprio raciocínio sem depender de dados rotulados humanos.

Superação do Viés de Confiança: Ao priorizar a qualidade do raciocínio (confiança) sobre a quantidade (frequência), o SCOPE mitiga um dos maiores problemas do aprendizado não supervisionado: o reforço de erros.
Eficiência de Amostra: A estratégia de subgrupos permite extrair mais sinais de aprendizado de cada lote de dados, tornando o treinamento mais eficiente.
Aplicabilidade: O método é agnóstico ao modelo e pode ser aplicado a qualquer LLM capaz de gerar raciocínios passo a passo, oferecendo uma solução escalável para tarefas complexas de raciocínio em cenários do mundo real onde dados anotados são escassos.

Em resumo, o SCOPE transforma o processo de auto-aprendizado de LLMs, substituindo a "democracia cega" da votação majoritária por um sistema mais sofisticado que valoriza a certeza e a diversidade, resultando em modelos mais robustos e inteligentes.