Resumo Técnico: Esquemas de Pensamento Diversos Estimulam Melhor Raciocínio em Grandes Modelos de Linguagem

Definição do Problema

Grandes Modelos de Raciocínio (LRMs) têm demonstrado capacidades significativas na resolução de problemas matemáticos complexos ao gerar cadeias de pensamento estendidas. No entanto, as abordagens atuais frequentemente dependem de estruturas de raciocínio excessivamente predefinidas, como cadeias estritamente lineares ou árvores explicitamente organizadas, o que pode limitar a flexibilidade cognitiva. Os autores identificam dois aspectos críticos, porém subexplorados, do processo de raciocínio: Transições de Raciocínio (as mudanças distintas entre etapas intermediárias de raciocínio, por exemplo, "Deixe-me tentar outra abordagem") e Candidatos de Resposta (a variedade de caminhos de solução ou conclusões intermediárias propostas pelo modelo). O artigo postula que os modelos existentes frequentemente convergem para padrões de raciocínio estreitos, falhando em explorar totalmente o espaço de solução, o que limita sua capacidade de se recuperar de erros ou encontrar soluções otimizadas em tarefas complexas.

Metodologia: Estrutura DiScO

Para abordar essas limitações, os autores propõem o DiScO (Otimização de Política de Esquemas Diversos), uma estrutura projetada para aumentar a diversidade dos "esquemas de pensamento" (a estrutura de raciocínio latente que governa transições e caminhos de solução) durante o treinamento e a inferência. A estrutura consiste em três componentes principais:

1. Ajuste Fino Supervisionado (SFT) Consciente de Esquemas

O modelo é primeiro equipado com "consciência de esquema" ao ser treinado para anotar explicitamente suas próprias cadeias de raciocínio. Dois tokens especializados são introduzidos:

• \ReasoningTransition: Marca mudanças na perspectiva ou estratégia de raciocínio.
• \AnswerCandidate: Marca potenciais respostas finais ou conclusões intermediárias.
  Esta etapa torna a estrutura de pensamento latente observável e passível de análise sem exigir anotação humana externa para cada etapa de treinamento (as anotações são geradas por um anotador de LLM, especificamente o Qwen3-Max).

2. Aprendizado por Reforço (RL) Orientado à Diversidade

Após o SFT, o modelo passa por aprendizado por reforço usando um algoritmo Otimização de Política Relativa de Grupo (GRPO) modificado. A inovação central é uma função de recompensa composta ($R$) que equilibra precisão com diversidade:
$$R = W_{div}R_{div} + W_{acc}R_{acc} + W_{form}R_{form}$$

• Recompensa de Diversidade ($R_{div}$): Incentiva a geração de transições de raciocínio e candidatos de resposta distintos. Ela mede a contagem de transições ($N_{thought}$), o número de candidatos de resposta ($N_{ans}$), a unicidade das soluções ($N_{uniq}$) e a correção dos candidatos intermediários ($N_{true}$). Limites de truncamento são aplicados para evitar o "reward hacking" via repetição de marcadores.
• Recompensa de Precisão ($R_{acc}$): Recompensa binária padrão para uma resposta final correta.
• Recompensa de Formato ($R_{form}$): Garante que o modelo adira às tags de anotação exigidas e à formatação da resposta final.

3. Aumento de Diversidade em Tempo de Inferência (ITDE)

Para promover ainda mais a diversidade durante a inferência, duas estratégias são empregadas quando o modelo atinge o comprimento máximo de geração sem uma resposta final:

• Truncamento Inicial: Descarta os primeiros 20% dos tokens para simular um "reset cognitivo", permitindo que o modelo reformule o problema a partir de uma nova perspectiva.
• Truncamento com Eliminação de Repetição: Detecta e remove padrões de raciocínio repetitivos (por exemplo, a mesma frase de 15 palavras) para quebrar loops locais e incentivar a exploração de novos caminhos.

Principais Contribuições

1. Definição de Conceito: O artigo introduz o "Esquema de Pensamento", definindo-o através de Transições de Raciocínio e Candidatos de Resposta observáveis. Demonstra empiricamente uma correlação positiva entre a diversidade desses esquemas e o desempenho do modelo em vários LRMs.
2. Estrutura DiScO: Os autores propõem uma nova estrutura que integra SFT consciente de esquemas, RL orientado à diversidade e estratégias de tempo de inferência para promover sistematicamente o raciocínio diverso.
3. Validação Empírica: Experimentos extensos em cinco benchmarks de raciocínio matemático e três benchmarks fora de domínio (OOD) demonstram que o DiScO supera consistentemente o GRPO padrão e outras bases orientadas à diversidade.

Resultados Experimentais

Os autores avaliaram o DiScO em modelos DeepSeek-R1-Distill-Qwen nas escalas 7B e 32B, comparando-os com modelos proprietários de fronteira (ex: GPT-5, Claude 3.5) e bases de código aberto.

• Ganhos de Desempenho: O DiScO alcançou consistentemente resultados de estado da arte entre os modelos de código aberto. Por exemplo, o DiScO-7B obteve 95,6% no MATH-500 e 70,0% no AIME 2024, superando significativamente outros modelos 7B. O DiScO-32B atingiu 83,5% de precisão média nos benchmarks, superando o DeepSeek-R1-Distill-Qwen-32B base.
• Melhoria em Tarefas Difíceis: Os ganhos foram mais pronunciados em benchmarks de nível de competição desafiadores (AIME, AMC), onde existe margem substancial para melhoria. O DiScO-32B mostrou uma melhoria absoluta de 6,7% sobre o modelo base no AIME 2024 e 2025.
• Generalização: Apesar de ter sido treinado exclusivamente em dados matemáticos, o DiScO generalizou-se efetivamente para tarefas fora de domínio (ARC-c, GPQA-diamond, MMLU-Pro), sugerindo que a diversidade de nível de esquema promove comportamentos de raciocínio transferíveis.
• Recuperação de Erros: A análise anotada por humanos revelou que o DiScO melhora significativamente a capacidade do modelo de se recuperar de tentativas iniciais errôneas (medido pela métrica FWFC: Primeiro Errado, Final Correto). Os modelos DiScO foram menos propensos a descartar respostas intermediárias corretas e mais propensos à autocorreção em comparação com as bases.
• Desempenho Pass@k: O DiScO mostrou melhor desempenho em cenários de múltiplas tentativas (Pass@k), indicando uma expansão genuína da fronteira de raciocínio, em vez de apenas remodelar a distribuição de tentativa única.

Significância e Alegações

O artigo afirma que a diversidade dos esquemas de pensamento desempenha um papel crucial no sucesso da resolução de problemas, atuando como um eixo complementar ao escalonamento padrão de modelos (parâmetros e dados). Os autores argumentam que:

• Diversidade é um Recurso Escalável: Promover esquemas de pensamento diversos permite que os modelos explorem rotas inferenciais alternativas e se recuperem de erros de forma mais eficaz, levando a um melhor desempenho em tarefas complexas sem necessariamente aumentar o tamanho do modelo.
• Além da Diversidade de Nível de Token: Ao contrário de métodos anteriores que focam na entropia de nível de token ou amostragem de trajetória em rollouts independentes, o DiScO visa a diversidade dentro de uma única trajetória de raciocínio, fomentando mudanças semânticas e de perspectiva que espelham a resolução de problemas humana.
• Impacto Prático: A estrutura oferece um caminho prático para melhorar modelos de raciocínio de código aberto, diminuindo a lacuna com sistemas proprietários de fronteira e aumentando a interpretabilidade dos processos de raciocínio através da anotação explícita de esquemas.

Os autores reconhecem limitações, incluindo o custo não trivial da anotação baseada em LLM, o aumento modesto na latência de inferência (aprox. 10% mais tokens) e o foco atual em raciocínio matemático, embora notem ganhos consistentes em tarefas fora de domínio. Eles sugerem que trabalhos futuros poderiam explorar métodos de anotação mais baratos (ex: sondagem de estados ocultos) e a aplicação desses princípios a outros regimes de raciocínio.