🤖 AI

CoRE: Consensus Rewards via Equilibrium for Test-Time Reinforcement Learning

O artigo introduz o CoRE, um método de aprendizado por reforço em tempo de teste que substitui a votação por maioria frágil por recompensas de consenso baseadas em grafos derivadas de dinâmica de replicador para fornecer sinais graduados e autossupervisionados que melhoram a precisão e a velocidade de convergência através de diversos modelos e benchmarks.

Autores originais: Ambuj Mehrish, Sebastiano Vascon

Publicado 2026-08-11

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ambuj Mehrish, Sebastiano Vascon

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde um robô superinteligente está tentando aprender a resolver um quebra-cabeça difícil, mas ninguém está lá para dizer se ele acertou a resposta. Este é o cotidiano dos modelos de IA modernos quando enfrentam novas perguntas sem rótulos. Para aprender, esses modelos geralmente precisam de um professor para dizer: "Bom trabalho!" ou "Tente novamente!" com base em uma chave de respostas correta. Mas o que acontece quando não há uma chave de respostas? É aqui que entra um campo chamado Aprendizado por Reforço em Tempo de Teste (Test-Time Reinforcement Learning). É um truque inteligente onde a IA tenta ensinar a si mesma gerando muitas tentativas diferentes (chamadas de "roll-outs") para o mesmo problema e, em seguida, analisando seu próprio trabalho para descobrir no que acreditar.

A maneira padrão de fazer isso é como uma votação em sala de aula. Se a IA gera 64 respostas diferentes, ela simplesmente as conta. Se 35 dizem "42" e 29 dizem "17", a IA assume que "42" é a verdade porque teve mais votos. Ela então recompensa cada tentativa que disse "42" e pune as demais. Isso funciona bem na maioria das vezes, mas tem uma falha fatal: trata um palpite de sorte da mesma forma que uma solução brilhante e bem fundamentada, e ignora a possibilidade de a "maioria" estar confiante, porém errada. Se um pequeno grupo de tentativas inteligentes e confiantes diz "17", enquanto um grupo maior e confuso grita "42", o sistema de votação esmagará a minoria inteligente. Este artigo pergunta: Podemos construir uma maneira mais inteligente para a IA ouvir a si mesma, uma que valorize como as respostas concordam, não apenas quantas concordam?

O Problema com a Urna Eleitoral

Imagine um grupo de detetives tentando resolver um crime. No método antigo (o método do "Voto da Maioria"), eles apenas levantam as mãos. Se 60 detetives apontam para o mordomo e 40 apontam para o jardineiro, o mordomo é culpado. Mas e se os 60 que apontam para o mordomo estiverem todos confusos, enquanto os 40 que apontam para o jardineiro forem, na verdade, os únicos que leram as pistas corretamente? O sistema de votação puniria os detetives inteligentes e recompensaria os confusos, tornando toda a equipe mais burra ao longo do tempo.

É exatamente isso que acontece com modelos de IA que usam o aprendizado por reforço padrão em tempo de teste. Eles geram várias respostas, contam os vencedores e assumem que o vencedor está certo. Se a IA comete um erro sistemático que acaba sendo popular, ela reforça esse erro. É como uma democracia quebrada onde a voz mais alta vence, mesmo que esteja gritando nonsense.

Conheça o CoRE: A Mesa Redonda dos Detetives

Os autores deste artigo, Ambuj Mehrish e Sebastiano Vascon, propõem um novo método chamado CoRE (Consenso de Recompensas via Equilíbrio). Em vez de apenas contar cabeças, o CoRE trata as tentativas da IA como uma complexa teia de relacionamentos.

Veja como funciona, usando uma analogia simples:
Imagine que as 64 tentativas da IA são pessoas sentadas em uma sala.

O Gráfico: Em vez de apenas gritar respostas, essas pessoas formam uma grande teia de conexões. Duas pessoas estão conectadas se deram a mesma resposta. Mas a conexão não é apenas "sim/não". Ela é ponderada pela semelhança de seu raciocínio (elas usaram a mesma lógica?) e pelo quão confiantes elas pareceram (elas falaram com certeza?).
O Equilíbrio: O sistema então executa uma simulação matemática chamada "dinâmica do replicador". Pense nisso como um jogo de dança das cadeiras onde as pessoas que são mais apoiadas por seus vizinhos confiantes e lógicos começam a se levantar e formar um círculo apertado e forte. O "conjunto dominante" é o grupo que detém o maior apoio mútuo.
A Recompensa: Em vez de dar um simples "passou" ou "falhou" para todos que votaram no vencedor, o CoRE dá uma pontuação graduada. Se sua resposta fez parte de um círculo lógico, confiante e coeso, você recebe uma recompensa alta. Se você fez parte de um grupo fraco e confuso, você recebe uma recompensa baixa. Mesmo que você estivesse na minoria, se o seu grupo fosse o mais coerente e confiante, o CoRE pode, na verdade, escolher você como o vencedor.

O Que Eles Descobriram

Os pesquisadores testaram este novo método "CoRE" contra o antigo método de "Voto da Maioria" em sete modelos de IA diferentes e cinco benchmarks de matemática e ciência. Eles realizaram os experimentos com três sementes aleatórias diferentes (basicamente, três condições iniciais diferentes) para garantir que os resultados fossem reais.

Os resultados foram bastante promissores:

Melhores Pontuações: Em média, os modelos usando o CoRE melhoraram sua precisão em 21,7 pontos em comparação com seu ponto de partida sem nenhum aprendizado. O antigo método de votação melhorou apenas 20,4 pontos.
Vencendo as Batalhas Contestadas: A verdadeira magia aconteceu quando as respostas estavam divididas. Em situações onde a IA estava incerta e o "voto" estava acirrado, o CoRE superou o método de votação em até 7,5 pontos. Ele conseguiu resgatar a "minoria inteligente" que o sistema de votação ignoraria.
Aprendizado Mais Rápido: O CoRE não apenas melhorou; ele chegou lá mais rápido. Ele atingiu o mesmo nível de precisão final que o método de votação em 54% a 70% menos etapas. Isso sugere que as recompensas graduadas e matizadas do CoRE fornecem um sinal mais claro e útil para o aprendizado.

A "Zona de Recuperação"

O artigo também explica quando isso funciona melhor. Eles encontraram uma "zona de recuperação" específica. Se a IA for tão ruim que não consegue resolver o problema de forma alguma, ou tão boa que todos concordam perfeitamente, o CoRE age exatamente como o antigo método de votação (o que é bom). Mas no meio termo confuso — onde um pequeno grupo de respostas corretas e confiantes luta contra um grupo maior de respostas erradas e confiantes — o CoRE brilha.

Os autores demonstraram matematicamente que, se as respostas corretas forem mesmo que ligeiramente mais confiantes do que as erradas, o CoRE pode inverter o cenário e escolher a resposta certa, mesmo que seja a minoria. É como um juiz sábio que percebe que os 40 detetives com um álibi sólido são mais dignos de confiança do que os 60 detetives que apenas chutaram.

A Conclusão

Este artigo sugere que não precisamos descartar o sistema de votação inteiramente; o CoRE, na verdade, inclui a votação como um caso especial. Mas ao adicionar uma camada de "inteligência social" — observando como as respostas se apoiam e quão confiantes elas são — podemos transformar um voto frágil e de tudo ou nada em um sistema de recompensa inteligente e calibrado.

Os autores ressaltam cuidadosamente que isso não é uma varinha mágica que conserta tudo. Se a IA estiver completamente perdida (o "piso de competência"), o CoRE não pode inventar uma resposta correta do nada. Mas para os problemas complicados onde a IA está quase certa, mas se confunde com a multidão, o CoRE sugere uma maneira de ouvir a voz silenciosa e confiante da razão, em vez de apenas o grito mais alto. Ele transforma uma simples contagem de cabeças em uma conversa sofisticada, ajudando os modelos de IA a aprender de forma mais rápida e inteligente com seus próprios erros.

Resumo Técnico: CoRE – Consenso de Recompensas via Equilíbrio para Aprendizado por Reforço em Tempo de Teste

Declaração do Problema

O Aprendizado por Reforço em Tempo de Teste (TTRL) visa melhorar o raciocínio de modelos de linguagem em dados de teste não rotulados, derivando supervisão a partir das próprias execuções (roll-outs) do modelo. A abordagem padrão, Votação Majoritária, trata o conjunto de $N$ respostas amostradas como uma urna de votação: ela identifica a resposta mais frequente como um rótulo pseudo e atribui uma recompensa binária (1 ou 0) às trajetórias que coincidem com esse rótulo.

Esta abordagem sofre de três limitações críticas:

Agregação Frágil: Ela descarta respostas corretas se estas constituírem uma minoria, mesmo que sejam internamente coerentes. Inversamente, pode recompensar aglomerados majoritários incorretos, potencialmente amplificando erros sistemáticos.
Recompensas Binárias: Atribui recompensas idênticas a uma derivação bem fundamentada e a um chute de sorte, falhando em distinguir a qualidade do acordo.
Ponderação Uniforme de Questões: Trata cada questão de forma igual, independentemente de as execuções formarem um consenso coerente ou um conjunto fragmentado de soluções incompatíveis.

O desafio central é construir um sinal de recompensa a partir de execuções não rotuladas que capture a estrutura relacional e o suporte mútuo entre os caminhos de raciocínio, em vez de meramente contar votos.

Metodologia: CoRE

Os autores propõem o CoRE (Consensus Rewards via Equilibrium), um método que substitui a votação majoritária por uma abordagem de equilíbrio baseada em grafos. O CoRE opera sobre as mesmas $N$ execuções do TTRL padrão, mas as processa de forma distinta para gerar sinais refinados.

1. Construção do Grafo de Execuções

O CoRE constrói um grafo ponderado $G=(V, E, \omega)$ onde os nós representam as $N$ execuções. As arestas são definidas por uma matriz de afinidade $A'$ que combina três sinais:

Acordo de Resposta: Um núcleo rígido (hard kernel) $K_{ans}$ garante que as arestas existam apenas entre execuções com a mesma resposta extraída.
Similaridade de Raciocínio: Um núcleo suave (soft kernel) $K_{rsn}$ , baseado na similaridade de cosseno de vetores $n$ -gramas TF-IDF do texto de raciocínio, fortalece os vínculos dentro da mesma classe de resposta.
Calibração de Confiança: Os pesos dos nós $w_i$ são derivados da confiança de geração (média da log-probabilidade dos tokens). As arestas são escalonadas pela média geométrica das confianças dos pontos finais ( $\sqrt{w_i w_j}$ ), garantindo que trajetórias de alta confiança reforcem umas às outras mais fortemente.

A matriz de afinidade final $A'$ é bloco-diagonal, onde cada bloco corresponde a uma classe de resposta única.

2. Extração de Conjunto Dominante via Dinâmica de Replicador

Em vez de contar votos, o CoRE extrai um Conjunto Dominante (DS) do grafo usando Dinâmica de Replicador (RD), um processo de otimização da teoria dos jogos evolutivos.

Inicialização: O sistema parte do baricentro do simplex, atribuindo massa inicial proporcional ao tamanho de cada classe de resposta (efetivamente partindo da votação majoritária).
Dinâmica: O sistema atualiza iterativamente a distribuição de massa $x$ com base na forma quadrática $x^\top A' x$ . Este processo converge para um ponto estável $x^*$ onde a massa se concentra no subconjunto de trajetórias que possuem maior suporte mútuo.
Resultado: O suporte de $x^*$ (nós com massa acima de um limiar) define o consenso.

3. Geração de Recompensa

A partir do estado de equilíbrio $x^*$ , o CoRE deriva três sinais distintos:

Pseudo-rótulo Refinado ( $y^*$ ): A classe de resposta com a maior massa de equilíbrio. Isso pode diferir da votação de pluralidade se um grupo minoritário menor, porém altamente coerente, emergir como dominante.
Recompensas Graduadas ( $R_i$ ): Cada execução recebe uma recompensa contínua proporcional à sua afinidade com o consenso, em vez de um valor binário 0/1.
Portão de Coesão ( $w_q$ ): Um escalar ao nível da questão que mede a coerência global do consenso. Este portão escala a função de perda na atualização da política (GRPO), filtrando questões onde não existe um consenso confiável.

Principais Contribuições

1. Inovação Metodológica

O CoRE é o primeiro método de RL em tempo de teste que utiliza a extração de Conjunto Dominante para construir recompensas. Ele transforma o grupo de execuções de uma "urna de votação" em um "grafo", permitindo a recuperação de clusters minoritários corretos que são coerentes e confiantes, mesmo quando em menor número. Ele se integra diretamente ao GRPO sem exigir modelos auxiliares ou execuções extras.

2. Análise Teórica

O artigo fornece um arcabouço teórico rigoroso:

Generalização: Prova-se que a votação majoritária é um caso especial do CoRE (quando a similaridade de raciocínio é ignorada e a confiança é uniforme).
Limiar de Recuperação: Uma análise de valor de bloco deriva o limiar exato no qual uma minoria correta pode superar uma pluralidade incorreta. O limiar depende da razão entre os tamanhos dos clusters e sua coerência interna.
Multiplicação de Confiança: A análise prova que a calibração de confiança reduz multiplicativamente o limiar de recuperação. Especificamente, se as execuções corretas forem mais confiantes do que as incorretas, a coerência necessária para uma minoria vencer diminui exponencialmente com a diferença de confiança.

3. Evidência Empírica

Avaliado em 7 backbones (Qwen, DeepSeek, Llama, Mistral) e 5 benchmarks (AMC, AIME, MATH-500, MATH-L4/5, GPQA-Diamond) com 42 configurações de modelo-benchmark:

Desempenho: O CoRE melhora a precisão em +21,7 pontos sobre a base não treinada em média em todas as 42 células modelo–benchmark, superando o TTRL de Votação Majoritária (+20,4 pontos). Notavelmente, modelos especializados em matemática sozinhas mostram uma melhoria média de +25,0 pontos.
Consenso Contestado: O CoRE alcança ganhos de até +7,5 pontos sobre a votação especificamente em cenários onde o acordo é contestado (ex: subconjuntos MATH-L4/L5).
Eficiência de Amostragem: O CoRE atinge o platô de precisão final do baseline de votação em 54–70% menos passos de otimização.
Ablação: Remover tanto a estrutura de grafo quanto a calibração de confiança reduz o desempenho para níveis próximos à votação majoritária, confirmando que a sinergia entre coerência estrutural e confiança é essencial.

Significância e Alegações

O artigo afirma que consenso não é meramente contar. Ao modelar o suporte mútuo entre os caminhos de raciocínio, o CoRE converte um mecanismo de votação frágil em um sinal de recompensa calibrado e graduado, autossupervisionado.

Mecanismo: O método tem sucesso ao recuperar supervisão de "grupos corretos menores, coerentes e confiantes" que as contagens de votos perdem.
Regimes de Operação: Os ganhos concentram-se no "regime intermediário", onde uma minoria correta coerente existe, mas não é a pluralidade. Nos regimes de "saturação" (respostas corretas quase unânimes) ou "piso de competência" (tentativa aleatória), o CoRE naturalmente degrada para ou performa de forma semelhante à votação majoritária, evitando o sobreajuste ao ruído.
Autossupervisão: O CoRE demonstra que tratar as execuções como um grafo, em vez de amostras independentes, gera um sinal de treinamento mais denso, melhorando tanto a qualidade do pseudo-rótulo quanto a eficiência da atualização da política.

Os autores concluem que o CoRE representa um componente substantivo de RL autossupervisionado, oferecendo uma maneira principiada de lidar com o desacordo na adaptação em tempo de teste sem supervisão externa.