Mid-Think: Training-Free Intermediate-Budget Reasoning via Token-Level Triggers

o token </think> atrai a maior atenção dos tokens subsequentes, atuando efetivamente como um interruptor para ativar o raciocínio.

• O Gatilho de Nova Linha: No modo "No-Think" (Sem Pensamento), o padrão de nova linha (\n\n) após a tag </think> absorve a maior parte da atenção, suprimindo o comportamento de raciocínio.
• Fenômeno de Overfitting: Os autores observam que os modelos de raciocínio e seus conjuntos de dados de treinamento (ex: OpenR1-Math) exibem "overfitting" para esses padrões de abertura unificados (ex: iniciar pensamentos com "Okay"). Isso sugere que os modelos dependem desses tokens como interruptores rígidos em vez de interpretar instruções semânticas.

2.2 Mid-Think: Um Formato de Prompting Sem Treinamento

Aproveitando essas observações, os autores propõem o Mid-Think, um formato de prompting que combina os sinais de ativação e supressão para induzir um regime de raciocínio intermediário sem qualquer retreinamento do modelo.

O formato proposto é:
...</think>\n\n<reason>\nOkay...

• Mecanismo: O formato integra explicitamente o padrão </think>\n\n (que suprime o raciocínio) com o token Okay (que ativa o raciocínio). A tag <reason> (ou alternativas como <begin>, <less think>) serve como um delimitador estrutural para o conteúdo do pensamento.
• Efeito: Esta combinação cria um "conflito" ou equilíbrio entre os dois sinais, induzindo o modelo a gerar um traço de raciocínio que é mais curto do que o modo "Think" padrão, mas mais robusto do que o modo "No-Think".

2.3 Aplicação ao Treinamento de RL

Os autores aplicam ainda o formato Mid-Think como um objetivo de treinamento em Aprendizado por Reforço (RL) após o Ajuste Fino Supervisionado (SFT). Ao treinar modelos para gerar respostas sob o formato Mid-Think, eles visam:

• Reduzir o comprimento das sequências de raciocínio durante a fase de otimização de RL.
• Aumentar a entropia da política durante o treinamento (prevenindo o colapso precoce em padrões fixos).
• Melhorar a capacidade do modelo final de equilibrar profundidade e eficiência de raciocínio.

3. Resultados Principais

3.1 Controle em Tempo de Inferência (Sem Treinamento)

Avaliado no MATH500, AIME e GPQA em vários modelos (Qwen3-8B/14B/32B, DeepSeek-R1-Distill, Phi-4):

• Otimalidade de Pareto: O Mid-Think alcança consistentemente um desempenho que reside na ou além da fronteira de Pareto do equilíbrio precisão-comprimento. Ele supera baselines de orçamento de tokens fixos e métodos baseados em prompts.
• Desempenho: No MATH500, o Mid-Think alcança precisão comparável aos modos "Think" de alto orçamento (ex: 92% vs 94% para Qwen3-14B), mas com comprimentos de geração significativamente reduzidos (2.589 tokens vs ~4.904 tokens).
• Generalização: O método generaliza-se através de diferentes famílias de modelos (Llama, Qwen, Phi) e arquiteturas (Dense, MoE), desde que o token gatilho corresponda ao template de treinamento do modelo (ex: usando "We" em vez de "Okay" para modelos treinados em "We need...").
• Versatilidade de Tarefa: A abordagem estende-se para além da matemática para tarefas de codificação (LiveCodeBench), mantendo equilíbrios superiores de precisão-comprimento.

3.2 Eficiência e Desempenho do Treinamento de RL

Quando aplicado ao treinamento de RL (usando GRPO) em Qwen3-4B e Qwen3-8B:

• Eficiência de Treinamento: O Mid-Think reduz o tempo de treinamento de RL em aproximadamente 15% (ex: de 54 horas para 46 horas para o Qwen3-8B) em comparação com o treinamento padrão do modo "Think", devido às sequências de raciocínio mais curtas geradas durante a otimização.
• Dinâmica de Entropia: O treinamento Mid-Think mantém uma entropia mais alta durante o processo de treinamento em comparação ao modo "Think" padrão, que tende a colapsar em regimes de baixa entropia rapidamente.
• Desempenho Final: Modelos treinados com Mid-Think alcançam maior precisão em avaliações do modo "Think" do que aqueles treinados com os modos "Think" ou "No-Think" padrão.
  • AIME: O Qwen3-8B melhorou de 69,8% (RL padrão) para 72,4%.
  • GPQA: O Qwen3-8B melhorou de 58,5% para 61,1%.
• Equilíbrio Comportamental: Diferente do treinamento "No-Think", que frequentemente degrada o desempenho do modo "Think", os modelos treinados com Mid-Think preservam a eficiência enquanto mantêm fortes capacidades de raciocínio.

4. Significância e Alegações

O artigo alega que os comportamentos híbridos de raciocínio em grandes modelos de linguagem são amplamente governados por alguns gatilhos de nível de token, em vez de instruções semânticas complexas. Com base nisso, a significância do trabalho é tripla:

1. Descoberta de Mecanismo: Revela que os modos de raciocínio podem ser manipulados via pistas lexicais específicas ("Okay" vs \n\n), oferecendo uma lente leve para entender o comportamento do modelo.
2. Inferência Eficiente: O Mid-Think fornece um mecanismo sem treinamento para alcançar um raciocínio de orçamento intermediário, oferecendo um controle mais confiável e granular sobre o equilíbrio precisão-eficiência do que os baselines existentes.
3. Melhoria do Treinamento de RL: Ao integrar esses gatilhos no objetivo de RL, o método acelera o treinamento e produz modelos com comportamentos de raciocínio mais equilibrados, sugerindo que controlar o "orçamento" durante o treinamento é uma estratégia viável para melhorar o desempenho final do modelo.

Os autores observam limitações, especificamente que o Mid-Think não oferece controle totalmente dinâmico sobre níveis de orçamento arbitrários (ex: proporções precisas de 0,1 ou 0,7) e depende da existência prévia de comportamentos de nível de token com overfitting nos dados de treinamento do modelo.