Resumo Técnico: TTRL-CoCoV

Definição do Problema

O Aprendizado por Reforço em Tempo de Teste (TTRL - Test-Time Reinforcement Learning) emergiu como um paradigma livre de rótulos para aprimorar as capacidades de raciocínio de Grandes Modelos de Linguagem (LLMs) através da otimização de políticas via autoamostragem e construção de recompensa interna, contornando a necessidade de anotações humanas ou rótulos oracle. Embora métodos recentes de TTRL tenham melhorado com sucesso a precisão de geração de passagem única (Pass@1), a otimização de Pass@k (cobertura de geração dentro de $k$ amostras) permanece criticamente subexplorada em cenários livres de rótulos.

A aplicação direta de estratégias padrão de otimização de Pass@k provenientes de Aprendizado por Reforço com Recompensas Verificáveis (RLVR) supervisionado ao TTRL falha devido a três desafios fundamentais identificados através de análise empírica:

1. Sinais de Exploração Ruidosos: A otimização de Pass@k depende da exploração de amostras de baixa confiança. Em cenários livres de rótulos, essas amostras sofrem de ruído severo de pseudo-rótulos, corrompendo os sinais de exploração e degradando o desempenho ao longo do tempo.
2. Colapso de Variância de Comprimento: Diferente de configurações supervisionadas, a otimização de Pass@k no TTRL falha em manter a diversidade de resposta. Os modelos exibem um "colapso de comprimento" onde os desvios padrão das respostas encolhem, indicando convergência prematura para templates de raciocínio rígidos e repetitivos.
3. Falha de Formulação: Formulações de vantagem padrão para Pass@k em ambientes supervisionados não se traduzem efetivamente para ambientes não supervisionados, levando a uma degradação do desempenho real de Pass@k em vez da expansão pretendida do espaço exploratório.

Metodologia: TTRL-CoCoV

Os autores propõem o TTRL-CoCoV (Test-Time Reinforcement Learning with Confidence-Conditioned Verification), um novo framework que emprega um único modelo de pesos compartilhados ($\pi_\theta$) atuando tanto como gerador quanto como verificador. A inovação central é um mecanismo condicionado pela confiança que aloca dinamicamente recursos de verificação com base na confiança de consenso interno do modelo ($C_{maj}$) para resolver os desafios identificados.

O framework classifica as amostras em três zonas de otimização distintas:

1. Zona de Exploração de Alta Confiança ($C_{maj} \ge \tau_{high}$)

• Status: O modelo exibe alto consenso; os pseudo-rótulos são considerados confiáveis.
• Ação: A resposta majoritária é usada como o pseudo-rótulo. A verificação é ativada ($I_{verify}=1$) não para filtragem, mas para impulsionar o verificador (bootstrap) usando dados de alta qualidade, permitindo a coevolução.
• Mecanismo de Diversidade: Para evitar o "colapso de comprimento" observado no TTRL padrão, uma recompensa de aumento de exploração ($R_{div}$) é aplicada. Esta recompensa incentiva a diversidade de trajetória (desvios do comprimento médio da resposta) para amostras rotuladas corretamente, garantindo que o modelo continue a explorar estratégias de raciocínio variadas mesmo em problemas já dominados.

2. Zona de Verificação de Baixa Confiança ($C_{maj} < \tau_{low}$)

• Status: O modelo exibe baixo consenso; os pseudo-rótulos provenientes de votação majoritária são altamente ruidosos.
• Ação: O framework delega a seleção de pseudo-rótulos ao verificador. O modelo gera múltiplas trajetórias de verificação para respostas candidatas.
• Filtragem: Apenas candidatos com uma Alta Taxa de Passagem de Verificação (VPR) são admitidos ao conjunto de confiança. Se nenhum candidato passar, a amostra é ignorada para evitar contaminar o modelo com gradientes errôneos. Isso resolve o desafio do "sinal de exploração ruidoso".

3. Zona de Transição de Confiança Média ($\tau_{low} \le C_{maj} < \tau_{high}$)

• Status: Níveis de confiança ambíguos onde a verificação oferece vantagem negligenciável sobre a votação majoritária.
• Ação: A verificação é ignorada ($I_{verify}=0$) para economizar overhead de inferência. A resposta majoritária é usada diretamente para atualizações do gerador sem recompensas de exploração adicionais.

Objetivo de Treinamento

O erro total é uma soma ponderada da perda da política de geração ($L_{first}$) e da perda da política de verificação ($L_{second}$). A perda de verificação utiliza uma matriz de recompensa suave assimétrica, penalizando falsos positivos (validar incorretamente uma resposta errada) mais pesadamente do que falsos negativos para garantir que o verificador atue como um filtro rigoroso.

Estratégia de Recozimento de Dois Estágios (Two-Stage Annealing)

Para ampliar ainda mais a lacuna entre o desempenho livre de rótulos e o supervisionado, os autores introduzem uma fase de recozimento de política pós-treinamento. Após a fase inicial de "exploração" (TTRL-CoCoV), a recompensa de diversidade é removida e o modelo passa por uma fase de "explotação" focada na maximização do Pass@1 de caminho único. Isso permite que o modelo refine as trajetórias de raciocínio diversas acumuladas durante a exploração em soluções altamente otimizadas.

Principais Contribuições

1. Diagnóstico Empírico: O artigo fornece a primeira investigação sistemática dos modos de falha da otimização de Pass@k em TTRL não supervisionado, identificando sinais ruidosos, colapso de diversidade e incompatibilidades de formulação como causas raízes.
2. Framework Adaptativo à Confiança: O TTRL-CoCoV introduz um mecanismo onde o gerador e o verificador coevoluem. Amostras de alta confiança treinam o verificador, que por sua vez filtra o ruído para amostras de baixa confiança, criando um ciclo virtuoso.
3. Recompensa de Aumento de Exploração: Um mecanismo de recompensa customizado ($R_{div}$) é projetado para sustentar a diversidade de trajetória especificamente em regiões de alta confiança, evitando a convergência prematura.
4. Desempenho SOTA: O método alcança resultados de estado da arte em múltiplos benchmarks, revertendo a típica degradação de Pass@k em configurações livres de rótulos.

Resultados Experimentais

Experimentos foram conduzidos em seis benchmarks de raciocínio (incluindo MATH500, AIME24/25, AMC, GPQA e DAPO) utilizando backbones Qwen3-4B e Qwen3-8B.

• Melhorias no Pass@1: O TTRL-CoCoV alcançou ganhos absolutos médios de +9,8% sobre o TTRL padrão no Qwen3-4B e +6,2% no Qwen3-8B.
• Melhorias no Pass@16: O método gerou ganhos massivos na cobertura de geração, com melhorias absolutas médias de +18,7% (Qwen3-4B) e +13,0% (Qwen3-8B) sobre o TTRL.
• Superando Baselines Supervisionados: Através da estratégia de recozimento de dois estágios, o TTRL-CoCoV totalmente não supervisionado alcançou melhorias de Pass@1 de até +5,0% sobre baselines de GRPO totalmente supervisionados em benchmarks específicos de raciocínio complexo (ex: AIME25, GPQA), efetivamente quebrando o teto de desempenho estabelecido por métodos supervisionados.
• Estabilidade: O framework manteve uma precisão de recompensa estável (>0,8) durante todo o treinamento, evitando o colapso de pseudo-rótulos de estágio tardio visto em métodos concorrentes.

Significância e Alegações

O artigo afirma que o TTRL-CoCoV aborda fundamentalmente a "lacuna de verificação-geração" no aprendizado não supervisionado. Ao demonstrar que a capacidade de verificação geralmente leva à capacidade de geração, o framework aproveita a própria habilidade do modelo de verificar seus outputs para refinar os sinais de treinamento.

Os autores afirmam que sua abordagem consegue, com sucesso, reduzir a lacuna entre o aprendizado livre de rótulos e o aprendizado supervisionado por rótulos. Notavelmente, eles alegam que, ao primeiro expandir o espaço exploratório (Pass@k) e depois refiná-lo (recozimento), o método pode não apenas igualar, mas superar os limites de desempenho superiores de baselines totalmente supervisionados em tarefas de raciocínio desafiadoras, tudo isso sem exigir qualquer rótulo de verdade fundamental (ground-truth) durante o processo de treinamento.