Thickening-to-Thinning: Reward Shaping via Human-Inspired Learning Dynamics for LLM Reasoning

O artigo apresenta o T2T (Thickening-to-Thinning), um novo framework de recompensa dinâmica inspirado no aprendizado humano que alterna entre incentivar trajetórias mais longas para explorar soluções em tentativas erradas e penalizar o comprimento após o acerto para eliminar redundâncias, resultando em desempenho superior de raciocínio em modelos de linguagem em benchmarks matemáticos.

O essencial

Imagine que você está ensinando um aluno muito inteligente, mas um pouco ansioso, a resolver problemas de matemática complexos. Esse aluno é um Modelo de Linguagem (IA), como o ChatGPT ou o DeepSeek.

O artigo que você enviou apresenta uma nova forma de ensinar esse aluno, chamada T2T (Espessando para Afinando). A ideia central é inspirada em como os humanos aprendem: primeiro, a gente "enche a cabeça" de informações e tenta de tudo; depois, quando entendemos, a gente resume e vai direto ao ponto.

Aqui está a explicação simples, usando analogias do dia a dia:

O Problema: O Aluno Confuso

Antes dessa nova técnica, os métodos de ensino de IA funcionavam assim:

• Se o aluno acertava a resposta, ele recebia um "bom trabalho".
• Se errava, recebia um "tente de novo".
• O problema: O sistema não ligava se a resposta certa foi dada em 2 linhas ou em 200 linhas cheias de repetição. E, pior, quando o aluno estava travado em um problema difícil, ele tendia a ficar em "loop", repetindo coisas sem sentido ou desistindo rápido demais. Era como se o professor não soubesse quando incentivar o aluno a pensar mais e quando pedir para ele ser mais direto.

A Solução: A Técnica T2T (Espessando para Afinando)

A técnica T2T muda as regras do jogo baseando-se em duas fases do aprendizado, como se fosse um ciclo de "explorar" e "refinar".

Fase 1: "Espessando" (Thickening) – O Momento da Exploração

Quando acontece: Quando o aluno está tentando resolver um problema difícil e ainda não acertou.
A analogia: Imagine que você está procurando uma agulha em um palheiro. Se você só olhar rápido, não vai achar. Você precisa espalhar a palha, mexer em tudo, checar cada canto.
O que a IA faz: O sistema diz: "Ei, você ainda não achou a resposta certa? Não se preocupe com o tamanho! Escreva mais, tente caminhos diferentes, explore ideias loucas, faça cálculos extras."

• Resultado: A IA gera respostas mais longas e detalhadas. Isso aumenta a chance de ela encontrar a solução correta em meio a tantas tentativas. É o momento de "ler o livro grosso", absorvendo tudo.

Fase 2: "Afinando" (Thinning) – O Momento da Eficiência

Quando acontece: Quando o aluno já acertou a resposta.
A analogia: Agora que você achou a agulha, você não precisa ficar mexendo no palheiro por horas. Você pega a agulha, limpa o excesso de palha e guarda. Ou imagine um aluno que aprendeu a tocar uma música: no começo, ele pratica devagar, com muitas notas erradas e pausas. Depois de dominar, ele toca a música de forma fluida, rápida e sem erros desnecessários.
O que a IA faz: O sistema diz: "Ótimo, você acertou! Mas agora, vamos ser eficientes. Resuma sua resposta, tire as repetições e vá direto ao ponto."

• Resultado: A IA aprende a dar a resposta correta de forma mais curta e precisa. Isso economiza tempo e deixa o raciocínio mais "cristalino".

Por que isso é genial?

1. Não é "tamanho único": Métodos antigos puniam respostas longas o tempo todo (o que matava a criatividade em problemas difíceis) ou não puniam nada (o que deixava a IA falando bobagem). O T2T é inteligente: ele sabe quando é hora de ser longo e quando é hora de ser curto.
2. Imita o cérebro humano: Como o matemático Hua Luogeng dizia: primeiro você "lê o livro grosso" (entende tudo profundamente) e depois "lê o livro fino" (resumiu o essencial). A IA agora faz o mesmo.
3. Melhor desempenho: Nos testes de matemática (como o MATH-500 e competições de matemática), essa técnica fez as IAs acertarem muito mais problemas difíceis e, ao mesmo tempo, responderem de forma mais rápida e limpa quando já dominavam o assunto.

Resumo da Ópera

O T2T é como um treinador esportivo que sabe exatamente o que gritar para o atleta:

• Se o atleta está travado em uma prova difícil: "Corra mais, tente tudo, não pare!" (Espessando).
• Se o atleta já venceu a prova: "Agora, faça com elegância e sem desperdício de energia." (Afinando).

Essa abordagem simples, mas profunda, conseguiu fazer modelos de inteligência artificial se tornarem melhores em raciocínio lógico, sem precisar de computadores mais caros ou de mais tempo de treinamento.

Resumo técnico

---

1. Problema

O artigo aborda as limitações atuais do Aprendizado por Reforço com Recompensas Verificáveis (RLVR) no aprimoramento do raciocínio de Modelos de Linguagem de Grande Escala (LLMs). Embora o RLVR tenha sido bem-sucedido em domínios como matemática e código, ele enfrenta desafios críticos:

• Colapso de Entropia e Verbosidade Excessiva: Os modelos tendem a gerar respostas excessivamente longas e redundantes ou, inversamente, colapsam em estratégias de busca limitadas.
• Falha em Distinguir Fases de Aprendizado: Esquemas de recompensa existentes tratam a "exploração extensiva" (necessária para problemas difíceis) e a "maestria concisa" (necessária para conhecimento dominado) da mesma forma. Eles não diferenciam quando é benéfico expandir a busca (gerar mais tokens) e quando é apropriado comprimir a resposta.
• Dinâmica Entrelaçada: A exploração e a consolidação permanecem entrelaçadas, em vez de serem separadas estruturalmente, o que impede a otimização eficiente sob orçamentos computacionais finitos.

2. Metodologia: T2T (Thickening-to-Thinning)

Os autores propõem o T2T, um framework de moldagem de recompensa inspirado no princípio pedagógico humano de "ler o livro grosso" (exploração) e depois "ler o livro fino" (abstração). O método introduz uma dinâmica de recompensa de duas fases baseada na competência atual do modelo em relação a uma consulta específica.

A. Mecanismo de Dupla Fase

O T2T modula a recompensa com base na probabilidade de sucesso atual ($p$) do modelo para uma dada pergunta:

1. Fase de "Espessamento" (Thickening): Quando o modelo falha ou tem baixa probabilidade de sucesso ($p \approx 0$), o T2T incentiva trajetórias mais longas. Isso amplia o espaço de busca, encorajando o modelo a explorar caminhos de raciocínio alternativos e a gastar mais "computação interna" para resolver problemas difíceis.
2. Fase de "Afinamento" (Thinning): Quando o modelo atinge a correção e a competência aumenta ($p \approx 1$), o T2T impõe penalidades de comprimento. Isso desencoraja redundância, forçando o modelo a condensar o raciocínio em representações precisas e eficientes, consolidando o conhecimento.

B. Formulação da Recompensa

A recompensa $R_{T2T}$ é definida como uma função da verificação de correção ($V$), do comprimento da resposta ($s_L$) e da taxa de sucesso estimada ($\hat{p}$):

$$R_{T2T}(q, o, \theta) = \begin{cases} 1 - \alpha \cdot s_L(o) \cdot \hat{p}, & \text{se } V(q, o) = 1 \text{ (Correto)} \\ \alpha \cdot s_L(o) \cdot (1 - \hat{p}), & \text{se } V(q, o) = 0 \text{ (Incorreto)} \end{cases}$$

Onde:

• $\alpha$ é um hiperparâmetro de escalonamento.
• $s_L(o)$ é uma pontuação de comprimento normalizada.
• $\hat{p}$ é a taxa de acerto estimada "on-policy" (baseada em uma amostra de respostas do modelo atual).

Ordem de Preferência Induzida:
O T2T cria uma ordem de preferência clara e interpretável para as respostas:
$$\text{Correto Curto} \succ \text{Correto Longo} \succ \text{Incorreto Longo} \succ \text{Incorreto Curto}$$
Isso garante que a correção seja priorizada, mas que, entre respostas incorretas, as mais longas (exploratórias) sejam recompensadas, e entre as corretas, as mais curtas (eficientes) sejam preferidas.

C. Implementação

• O método é compatível com algoritmos padrão como GRPO (Group Relative Policy Optimization).
• Não requer modelos auxiliares, supervisão em nível de token ou sobrecarga computacional adicional durante o treinamento.
• A estimativa de $p$ é feita dinamicamente durante o treinamento, permitindo que o comportamento de recompensa evolua conforme o modelo aprende.

3. Contribuições Chave

1. Mudança de Paradigma no RLVR: Propõe uma abordagem baseada em heurísticas de aprendizado humano (expansão seguida de compressão) em vez de apenas correções teóricas de otimização.
2. Dinâmica de Aprendizado Adaptativa: O T2T atua como um regulador de competência, aumentando o "orçamento de pensamento" para problemas difíceis e reduzindo-o para problemas dominados, sem necessidade de supervisão externa.
3. Simplicidade e Eficiência: É uma modificação leve na função de recompensa que pode ser integrada em pipelines existentes de RLVR sem alterar a arquitetura do modelo ou o processo de inferência.
4. Mitigação de Pathologias: Resolve problemas comuns como o colapso de entropia e a geração excessivamente verbosa, mantendo a exploração necessária para problemas complexos.

4. Resultados Experimentais

Os autores avaliaram o T2T em benchmarks matemáticos rigorosos (MATH-500, AIME'24, AIME'25, AMC'23) utilizando modelos das séries Qwen e DeepSeek.

• Desempenho Superior: O T2T superou consistentemente o GRPO padrão e outras bases avançadas (LASER, W-REINFORCE, EntroPIC).
  • No modelo Qwen3-14B, o T2T alcançou o melhor desempenho em todas as métricas Pass@1 e Pass@64.
  • No Qwen2.5-3B, houve ganhos consistentes, especialmente em benchmarks difíceis como AIME e AMC.
• Dinâmica de Treinamento:
  • Entropia: O T2T manteve uma entropia da política mais alta e estável durante o treinamento, indicando uma capacidade de exploração sustentada, ao contrário do GRPO que tendia a colapsar.
  • Eficiência de Aprendizado: O método alcançou maior precisão de treinamento mais rapidamente, encontrando caminhos de raciocínio corretos que as bases padrão perdiam.
  • Modulação de Comprimento: Análise detalhada mostrou que o T2T encurta respostas corretas (afinamento) e alonga respostas incorretas (espessamento) de forma adaptativa.
• Limitações em Modelos Pequenos: Em modelos muito pequenos (1.5B), o T2T teve desempenho marginal ou ligeiramente inferior, sugerindo que uma capacidade mínima do modelo é necessária para lidar com as cadeias de raciocínio longas incentivadas na fase de "espessamento".

5. Significado e Impacto

O trabalho T2T oferece uma evolução significativa para o treinamento de LLMs com raciocínio:

• Ponte entre Escala de Teste e Treinamento: O T2T internaliza a lógica do "Test-Time Scaling" (escalar a computação no momento da inferência) dentro do processo de treinamento. Ele ensina o modelo a alocar recursos computacionais dinamicamente: explorar profundamente quando incerto e ser conciso quando confiante.
• Eficiência Computacional: Ao reduzir a redundância em tarefas dominadas, o T2T pode levar a modelos mais eficientes em tempo de inferência, sem sacrificar a capacidade de resolver problemas complexos.
• Direção Futura: Sugere que mimetizar aspectos fundamentais do aprendizado humano (transição de exploração expansiva para compressão deliberada) é um caminho promissor para superar as limitações das formulações de recompensa estáticas atuais.

Em resumo, o T2T demonstra que moldar o comportamento de aprendizado do modelo para refletir a natureza cíclica da descoberta humana (explorar para encontrar, depois condensar para reter) resulta em modelos de raciocínio mais robustos, eficientes e generalizáveis.