💬 NLP

TTCS: Test-Time Curriculum Synthesis for Self-Evolving

Este artigo propõe o TTCS, um framework de treinamento em tempo de teste autoevolutivo que otimiza iterativamente um sintetizador de questões e um resolvedor de raciocínio para gerar um currículo personalizado de questões sintéticas progressivamente desafiadoras, estabilizando assim as atualizações online e aumentando significativamente as capacidades de raciocínio de LLMs em benchmarks difíceis.

Autores originais: Chengyi Yang, Zhishang Xiang, Yunbo Tang, Zongpei Teng, Chengsong Huang, Fei Long, Yuhan Liu, Jinsong Su

Publicado 2026-02-02

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Chengyi Yang, Zhishang Xiang, Yunbo Tang, Zongpei Teng, Chengsong Huang, Fei Long, Yuhan Liu, Jinsong Su

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um estudante brilhante, mas inexperiente, a resolver os problemas matemáticos mais difíceis do mundo. Você entrega a ele uma única questão incrivelmente difícil de uma competição de alto nível (como o AIME).

O Problema com os Métodos Antigos (TTRL)
No passado, pesquisadores tentavam ajudar o estudante a aprender apenas fazendo com que ele encarasse essa única questão difícil repetidamente. Eles pediam ao estudante para tentar resolvê-la 100 vezes. Se o estudante obtivesse a mesma resposta errada 51 vezes e uma resposta errada diferente 49 vezes, o método antigo diria: "Ok, a maioria diz que esta resposta errada é a correta!" e diria ao estudante para memorizar esse erro.

Isso é como um estudante tentando escalar uma parede vertical sem apoios para as mãos. Ele continua escorregando e, como continua caindo na mesma direção, ele acaba aprendendo acidentalmente a cair melhor, não a escalar. O artigo chama isso de "rótulos pseudo-falsos não confiáveis" (unreliable pseudo-labels) e "recompensas ruidosas" (noisy rewards). O estudante fica confuso e piora, em vez de melhorar.

A Nova Solução: TTCS (A Abordagem de "Currículo")
Os autores deste artigo, TTCS, perceberam que você não pode simplesmente jogar um estudante no fundo do poço. Você precisa de um currículo — um plano de aprendizagem passo a passo que começa fácil e se torna mais difícil.

Eles construíram um sistema com dois "agentes" (modelos de IA) que atuam como um Treinador e um Estudante, ambos partindo do mesmo nível de conhecimento.

O Treinador (O Sintetizador):
Em vez de apenas dar a questão difícil ao estudante, o Treinador olha para essa questão difícil e cria um "campo de treinamento". Ele pega o problema difícil e o decompõe em versões relacionadas e ligeiramente mais fáceis.
- Analogia: Se a questão difícil é "Como eu pulo um muro de 3 metros?", o Treinador cria questões como "Como eu pulo um muro de 60 centímetros?", depois um muro de 1,20 metro, depois um de 1,80 metro.
- Crucialmente, o Treinador observa o Estudante. Se o Estudante estiver ficando muito bom, o Treinador torna as questões de prática mais difíceis. Se o Estudante estiver com dificuldades, o Treinador as torna mais fáceis. O Treinador cria apenas problemas que o Estudante é quase capaz de resolver. Este é o "ponto ideal" para o aprendizado.
O Estudante (O Solucionador):
O Estudante não olha apenas para a questão original difícil. Ele pratica na mistura da questão original e nas questões de prática customizadas pelo Treinador.
- Como as questões de prática são projetadas para serem solucionáveis, o Estudante recebe um feedback claro e correto. Ele aprende a lógica do problema, não apenas um palpite de sorte.
- À medida que o Estudante fica mais inteligente, o Treinador atualiza sua própria estratégia para criar questões de prática ainda melhores. Eles "coevoluem" (crescem juntos).

Por que Isso Funciona Melhor

Sem Feedback Ruim: No método antigo, o estudante estava aprendendo com respostas erradas porque as questões eram difíceis demais. No TTCS, as questões são adaptadas ao nível de habilidade atual do estudante, de modo que o feedback é quase sempre correto.
Estabilidade: Como o estudante está sempre trabalhando em problemas que ele quase consegue resolver, ele não fica preso em um ciclo de confusão. Ele escala a escada de dificuldade de forma constante.
Generalização: O artigo mostra que, ao aprender a resolver esses problemas matemáticos "em etapas", o estudante realmente melhora em outros tipos de raciocínio também, não apenas nos problemas matemáticos específicos que praticou.

Os Resultados
O artigo testou isso em benchmarks matemáticos muito difíceis (como AIME e AMC).

Os métodos antigos (como o TTRL) tiveram dificuldades e às vezes até pioraram porque estavam tentando aprender com questões impossíveis.
O método TTCS melhorou consistentemente as pontuações dos modelos, muitas vezes por uma margem enorme. Por exemplo, em um teste, melhorou a pontuação de um modelo em mais de 24 pontos, enquanto os métodos antigos melhoraram apenas alguns pontos.

Em Resumo
Pense no método antigo como jogar um nadador no meio do oceano e dizer a ele para "nadar". Ele se afoga.
O TTCS é como construir uma piscina com uma escada. Você começa na parte rasa, o Treinador ajusta a profundidade da água conforme o nadador fica mais forte e, quando ele chega na parte profunda, ele é um campeão nadador. O artigo prova que essa abordagem de "currículo" permite que modelos de IA ensinem a si mesmos de forma eficaz sem a necessidade de um professor humano para corrigir cada uma das respostas.

Resumo Técnico: TTCS - Síntese de Currículo em Tempo de Teste para Autoevolução

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) têm demonstrado potencial para o raciocínio autônomo através do Treinamento em Tempo de Teste (TTT), particularmente o Aprendizado por Reforço em Tempo de Teste (TTRL). No entanto, os métodos existentes enfrentam gargalos críticos de escalabilidade quando aplicados a tarefas de raciocínio complexas (ex: matemática de nível de Olimpíada):

Pseudo-rótulos Não Confiáveis: Para problemas difíceis, a maioria das respostas amostradas é incorreta. Consequentemente, a votação por maioria — um mecanismo comum para derivar pseudo-rótulos — converge para um consenso errado, gerando sinais de recompensa ruidosos que desorientam ativamente a atualização da política.
Falta de Amostras Aprendíveis: O TTRL opera diretamente em um pequeno conjunto de questões de teste extremamente desafiadoras que frequentemente estão muito além da capacidade atual do modelo. Sem variantes intermediárias para construir a ponte entre o estado atual do modelo e a dificuldade alvo, o processo de aprendizado torna-se instável e propenso a falhas.

Metodologia: Estrutura TTCS

Os autores propõem o TTCS (Test-Time Curriculum Synthesis - Síntese de Currículo em Tempo de Teste), uma estrutura de treinamento em tempo de teste de coevolução projetada para construir dinamicamente um currículo adaptado às capacidades evolutivas do modelo. A estrutura acopla dois agentes, ambos inicializados a partir do mesmo modelo pré-treinado, que otimizam iterativamente usando Otimização de Política Relativa de Grupo (GRPO):

1. Sintetizador Consciente de Capacidade

O sintetizador ( $\pi_\phi$ ) gera variantes de currículo para cada questão de teste. Seu treinamento é guiado por uma função de recompensa composta projetada para manter as questões geradas dentro da "fronteira de capacidade" do solver (problemas que não são nem triviais, nem impossíveis).

Síntese Guiada por Questões de Teste: O sintetizador preserva a estrutura de raciocínio subjacente da questão de teste original enquanto varia as realizações superficiais (objetos, cenários, restrições).
Avaliação de Qualidade da Questão: O sintetizador é recompensado com base no desempenho do solver nas questões geradas:
- Recompensa Adaptável à Capacidade: Maximiza a variância do escore de autoconsistência do solver (visando um escore $\approx 0.5$ ), garantindo que as questões estejam na borda da habilidade atual do solver.
- Penalidade de Similaridade: Penaliza a paráfrase trivial da questão original e a redundância entre as amostras geradas para garantir diversidade e evitar o colapso do modelo.

2. Solver de Autoevolução Online

O solver ( $\pi_\theta$ ) realiza treinamento online em uma mistura de questões de teste originais e questões de currículo sintéticas geradas pelo sintetizador.

Construção de Dados: O lote de treinamento é a união de questões de teste amostradas e variantes sintéticas. Uma estratégia de reamostragem evita que a distribuição de treinamento seja dominada por dados autogerados.
Recompensa de Autoconsistência: O solver gera múltiplas respostas por questão. Uma previsão de consenso (votação por maioria) serve como um pseudo-rótulo. Uma recompensa binária é atribuída com base no acordo com este consenso.
Filtragem Online: Para garantir a qualidade do treinamento, as amostras são filtradas com base em seu escore de consistência, retendo apenas aquelas onde o solver não é consistentemente correto nem consistentemente errado (ou seja, $|s(x) - 0.5| \leq \delta$ ).

3. Ciclo de Coevolução

Os dois agentes operam em um ciclo fechado:

O Solver atua como um juiz implícito, fornecendo feedback sobre a dificuldade das questões sintetizadas.
O Sintetizador usa esse feedback para ajustar sua distribuição de geração, produzindo questões que se alinham com a fronteira de capacidade atual do Solver.
O Solver atualiza sua política usando os sinais de supervisão confiáveis derivados dessas variantes tratáveis, estabilizando o processo de treinamento em tempo de teste.

Principais Contribuições

Identificação de Limitações: O artigo identifica formalmente que pseudo-rótulos não confiáveis e a ausência de amostras de dificuldade intermediária são as principais causas de falha nos treinamentos de tempo de teste existentes.
Estrutura TTCS: Introdução de uma estrutura de coevolução totalmente autônoma, que elimina a necessidade de rótulos humanos externos ou modelos professores mais fortes. Ela constrói dinamicamente um currículo centrado no problema para transformar o feedback ruidoso em um caminho confiável para a autoevolução.
Validação Empírica: Experimentos extensos demonstrando que o TTCS supera consistentemente os baselines (incluindo TTRL, Self-Consistency e R-Zero) em vários benchmarks matemáticos e escalas de modelos.

Resultados Experimentais

Os autores avaliaram o TTCS em três backbones de modelos (Qwen2.5-Math-1.5B, Qwen2.5-Math-7B e Qwen3-4B-Base) através de benchmarks matemáticos de nível de competição (AIME24/25, AMC23) e fundamentais (MATH-500, Minerva, OlympiadBench).

Ganhos de Desempenho: O TTCS alcançou consistentemente a maior precisão média. No modelo Qwen2.5-Math-1.5B, ele melhorou o escore médio de 17.30 (Pré-treinado) para 41.49, superando significativamente o TTRL (36.56) e o Self-Consistency (27.62).
Robustez em Tarefas Difíceis: O método mostrou melhorias substanciais nos benchmarks mais difíceis (AIME24/25), onde o TTRL frequentemente enfrentava dificuldades. Por exemplo, no AIME24 com o modelo 1.5B, o TTCS alcançou 19.79 comparado aos 13.23 do TTRL.
Generalização:
- Transversal de Domínios: Modelos treinados no AIME25 via TTCS mostraram generalização superior para benchmarks de raciocínio de domínio geral (MMLU-Pro, SuperGPQA) em comparação ao TTRL e R-Zero.
- Fora da Distribuição: Solvers treinados em conjuntos de dados específicos (ex: MATH-500) demonstraram ganhos de desempenho robustos em benchmarks não vistos e mais desafiadores (ex: AIME24), sugerindo a aquisição de lógica de raciocínio universal em vez de memorização de padrões.
Eficiência de Dados: O TTCS permaneceu eficaz mesmo com dados de teste limitados (ex: usando apenas 10% do conjunto de dados AIME24), superando significativamente o TTRL em regimes de baixos dados.
Estudos de Ablação: Remover o treinamento do sintetizador (usando um professor estático) ou as penalidades de diversidade resultou em quedas significativas de desempenho, confirmando que a adaptabilidade do currículo é mais crítica do que a força absoluta do modelo professor.

Significância e Alegações

O artigo posiciona o TTCS como um caminho escalável para a construção dinâmica de currículos de tempo de teste para LLMs de autoevolução. Os autores alegam que, ao abordar a natureza "inescalável" da otimização direta em questões de teste difíceis, o TTCS permite que os modelos melhorem autonomamente sem dependência de rótulos de verdade fundamental extensos ou modelos professores mais fortes.

O trabalho é apresentado como um passo fundamental para a auto-melhoria autônoma. Os autores enfatizam que sua abordagem converte o feedback ruidoso inerente ao treinamento padrão em tempo de teste em um sinal de supervisão confiável, permitindo que os modelos preencham a lacuna entre suas capacidades atuais e tarefas de raciocínio complexas através de um processo de aprendizado estruturado e alinhado à capacidade. Eles não alegam resolver todos os problemas de raciocínio, mas destacam a eficácia do método em transformar o paradigma de treinamento de escalonamento passivo de inferência para uma autoevolução ativa baseada em currículo.