Resumo Técnico: InftyThink+

1. Declaração do Problema

Grandes modelos de raciocínio (LRMs) demonstraram desempenho superior ao escalar o raciocínio de cadeia de pensamento (CoT) em tempo de inferência. No entanto, esse paradigma enfrenta três barreiras fundamentais quando os traços de raciocínio tornam-se excepcionalmente longos:

1. Custo Quadrático: O mecanismo de autoatenção nos Transformers incorre em uma complexidade computacional de $O(L^2)$, tornando traços de raciocínio muito longos proibitivamente caros.
2. Limites de Contexto: O raciocínio é limitado pelo limite máximo de janela de contexto do modelo. Se um problema exigir uma cadeia de pensamento que exceda esse limite, a geração termina prematuramente, deixando problemas complexos insolúveis.
3. Perda no Meio (Lost-in-the-Middle): À medida que os traços de raciocínio crescem, os modelos sofrem de degradação de desempenho, onde informações críticas iniciais tornam-se inacessíveis, mesmo que o limite de contexto não seja excedido.

Soluções existentes, como o raciocínio iterativo com sumarização periódica, tentam mitigar esses problemas. No entanto, os métodos atuais dependem de ajuste fino supervisionado (SFT) ou heurísticas fixas para determinar quando sumarizar, o que preservar e como retomar o raciocínio. Essas abordagens falham em otimizar essas decisões sequenciais, que possuem consequências de longo horizonte. Um resumo ruim pode condenar o raciocínio subsequente, enquanto iterações desnecessárias desperdiçam computação. O artigo argumenta que essas trocas exigem uma otimização ao nível da trajetória que o SFT não pode fornecer.

2. Metodologia: InftyThink+

Os autores propõem o InftyThink+, um framework de aprendizado por reforço (RL) de ponta a ponta que otimiza toda a trajetória de raciocínio iterativo. O método baseia-se no paradigma InftyThink, que desacopla a profundidade do raciocínio do comprimento do contexto ao decompor o raciocínio em múltiplas rodadas iterativas conectadas por resumos explícitos gerados pelo modelo.

2.1. O Paradigma InftyThink

Ao contrário do paradigma "Vanilla", onde um modelo gera uma única CoT contínua e longa, o InftyThink opera em rodadas:

• Iteração $i$: O modelo condiciona-se na consulta original $q$ e no resumo $s_{i-1}$ da iteração anterior.
• Geração: Ele gera um segmento de raciocínio $r_i$ e um resumo atualizado $s_i$.
• Terminação: O processo se repete até que o modelo decida autonomamente gerar uma conclusão final $c$ em vez de um resumo.
• Contexto Limitado: Cada iteração opera dentro de uma janela de contexto limitada (consulta + último resumo), evitando o transbordamento de contexto e reduzindo o custo computacional por etapa.

2.2. Esquema de Treinamento de Dois Estágios

O InftyThink+ emprega um processo de treinamento de dois estágios para separar a aquisição de formato da otimização de estratégia:

1. Cold-Start (Ajuste Fino Supervisionado):

   • Objetivo: Ensinar ao modelo o formato básico do InftyThink (gerar segmentos de raciocínio e resumos).
   • Transformação de Dados: Dados de raciocínio vanilla existentes $(q, r, c)$ são transformados em instâncias iterativas. O traço de raciocínio $r$ é particionado em segmentos $\{r_1, \dots, r_n\}$ com base em um limite de tokens $\eta$. Um LLM de propósito geral gera resumos $\{s_1, \dots, s_{n-1}\}$ condicionados ao segmento atual e ao resumo anterior.
   • Treinamento: O modelo é ajustado nesses exemplos transformados para produzir saídas iterativas sintaticamente válidas. Este estágio não otimiza quando sumarizar ou o que preservar; ele apenas estabelece o formato procedimental.

2. Aprendizado por Reforço (Otimização ao Nível da Trajetória):

   • Objetivo: Otimizar decisões estratégicas (tempo de compressão, conteúdo dos resumos, estratégias de continuação) via feedback ao nível da trajetória.
   • Rollout: Para uma consulta $q$, o modelo gera uma trajetória $O_i = \{o_1, \dots, o_{n_i}\}$ consistindo de múltiplas rodadas de raciocínio. O rollout termina se o modelo produzir uma conclusão, falhar em produzir um formato válido ou atingir um limite máximo de iterações $\phi$.
   • Design de Recompensa:
     • Recompensa de Tarefa ($R_{task}$): Recompensa binária baseada na correção da resposta final.
     • Recompensa de Eficiência ($R_{eff}$): Uma função de decaimento quadrático $1 - (\frac{n_i-1}{\phi})^2$ que penaliza iterações excessivas, incentivando o modelo a resolver problemas em menos etapas quando possível.
     • Recompensa Total: $R(O_i) = R_{task}(O_i) \cdot R_{eff}(O_i)$. Esta formulação multiplicativa garante que a eficiência só seja recompensada para soluções corretas.
   • Otimização de Política: Os autores utilizam Group Relative Policy Optimization (GRPO). Crucialmente, as vantagens são computadas ao nível da trajetória e compartilhadas entre todos os tokens de uma trajetória. Isso garante que iterações iniciais (ex: um primeiro resumo de alta qualidade) recebam sinais de gradiente positivos se contribuírem para uma resposta final correta, mesmo que o próprio resumo não contenha a resposta.
   • Estabilidade: O framework utiliza IcePop, uma técnica de mascaramento de gradiente ao nível do token, para mitigar a instabilidade de treinamento causada por incompatibilidades entre os motores de inferência e treinamento.

3. Principais Contribuições

1. RL de Ponta a Ponta para Raciocínio Iterativo: O artigo introduz o primeiro framework que aplica aprendizado por reforço diretamente ao paradigma de raciocínio iterativo, permitindo que o modelo aprenda estratégias ótimas de sumarização e continuação em vez de depender de heurísticas fixas ou imitação.
2. Framework InftyThink+: Uma receita de treinamento completa que compreende:
   • Uma fase de cold-start para estabelecer o formato iterativo.
   • Otimização ao nível da trajetória com vantagens compartilhadas para dar crédito às decisões iniciais.
   • Modelagem de recompensa consciente da eficiência para equilibrar precisão e custo de inferência.
3. Validação Empírica: Experimentos extensos demonstram que o InftyThink+ supera tanto o raciocínio iterativo baseado em SFT quanto os baselines padrão de RL de contexto longo.

4. Resultados Experimentais

Experimentos foram conduzidos no DeepSeek-R1-Distill-Qwen-1.5B e Qwen3-4B-Base.

• Melhorias de Precisão:
  • No AIME24, o InftyThink+ melhorou a precisão em 21% em comparação com o baseline, e superou o RL de CoT longo convencional por uma margem clara (um ganho adicional de 9% sobre o RL padrão).
  • Em benchmarks fora de distribuição como GPQA Diamond, alcançou uma melhoria de 5% na precisão sobre o baseline e um ganho de 4% sobre abordagens vanilla.
• Ganhos de Eficiência:
  • Latência de Inferência: No AIME25, o InftyThink+ reduziu a latência de raciocínio em 32,8% em comparação com a abordagem vanilla.
  • Velocidade de Treinamento: O framework gerou uma aceleração de 18,2% no tempo de treinamento de RL devido à redução do overhead computacional por etapa.
• Generalização: O método generalizou-se bem para modelos maiores (Qwen3-4B) e tarefas fora de distribuição, incluindo raciocínio de código e científico.

5. Significância e Alegações

O artigo afirma que o InftyThink+ demonstra que a otimização ao nível da trajetória é essencial para um raciocínio iterativo eficaz. O insight chave é que a eficácia do raciocínio iterativo provém não do formato em si, mas da capacidade do modelo de tomar decisões estratégicas ótimas (quando comprimir, o que preservar, como continuar) em cada etapa.

Ao separar o aprendizado de formato (via SFT) da otimização de estratégia (via RL), o InftyThink+ permite que os modelos aprendam comportamentos adaptativos que:

• Desacoplam a profundidade do raciocínio do comprimento do contexto: Permitindo raciocínio indefinido enquanto mantêm um custo computacional limitado.
• Otimizam a troca entre precisão e eficiência: Através de recompensas conscientes da eficiência, o modelo aprende a encerrar o raciocínio mais cedo sem sacrificar a precisão.
• Melhoram a estabilidade e velocidade de treinamento: Ao reduzir a complexidade quadrática da atenção durante os rollouts de treinamento.

Os autores posicionam o InftyThink+ como um passo significativo em direção ao raciocínio de longo horizonte escalável, eficiente e eficaz em grandes modelos de linguagem, indo além das limitações de janelas de contexto estáticas e compressão baseada em heurísticas.