Resumo Técnico: Quando Pensar, Quando Falar: Aprendizado de Políticas de Divulgação para Raciocínio de LLMs

Formulação do Problema

Os atuais Modelos de Linguagem de Grande Escala (LLMs) autoregressivos de fluxo único enfrentam uma limitação estrutural: o acoplamento de atualizações de estado interno com divulgação pública. Nas interfaces padrão, cada token gerado atualiza simultaneamente o estado oculto do modelo e se torna um compromisso público irreversível. Isso cria um "imposto de silêncio", onde os usuários devem aguardar a conclusão de todo o processo de raciocínio antes de ver conteúdo relevante para a tarefa, ou, inversamente, correm o risco de "compromissos prematuros" se o modelo transmitir informações cedo, potencialmente enviesando gerações subsequentes com alegações sem suporte.

Embora a solicitação de Cadeia de Pensamento (CoT) melhore a precisão ao elicitar raciocínio intermediário, ela exacerba essa tensão ao manifestar a deliberação como longos preâmbulos visíveis ao usuário. Soluções existentes dependem de modelos ou heurísticas fixos para divulgação ou incentivam saídas mais cedo de maneiras que encorajam preenchimento de baixa informação. O problema central abordado é como tornar o momento da divulgação uma variável de decisão aprendível dentro da decodificação autoregressiva padrão, garantindo que o texto visível inicial seja estritamente suportado pelo raciocínio produzido até aquele ponto.

Metodologia: Raciocínio Intercalado Lado a Lado (SxS)

Os autores propõem o Raciocínio Intercalado Lado a Lado (SxS), um framework que trata a visibilidade como um atributo controlável dentro de um único fluxo de tokens. O modelo escolhe entre duas ações a cada passo:

1. Pensar (R): Deliberação privada (não divulgada).
2. Falar (A): Divulgação voltada para o usuário.

Ambas as ações ocorrem dentro do mesmo contexto autoregressivo; os tokens "Falar" formam um prefixo da resposta final que o modelo escolhe revelar mais cedo, enquanto os tokens "Pensar" permitem refinamento privado contínuo sem contradizer compromissos anteriores.

Pipeline de Treinamento

A abordagem emprega um processo de treinamento em duas etapas para aprender o ritmo sem incentivar preenchimento:

1. Ajuste Fino Supervisionado (SFT) Alinhado à Entailment:

   • Construção de Dados: Triplos padrão $(x, r, a)$ (entrada, raciocínio, resposta) são transformados em trajetórias intercaladas.
   • Alinhamento: Um verificador de entailment (implementado via um grande LLM) determina o maior prefixo de resposta suportado por um determinado prefixo de raciocínio.
   • Intercalação: O modelo é treinado para emitir blocos de resposta apenas quando a fronteira de entailment avança. Isso garante que a divulgação "mais cedo" seja sinônimo de divulgação "suportada".
   • Raciocínio Final: Se a resposta completa for suportada antes do fim da sequência de raciocínio, o raciocínio restante é anexado como um bloco final para preservar comportamentos pós-solução (por exemplo, autoverificações).

2. Aprendizado por Reforço (RL):

   • Objetivo: O SFT ensina a semântica de dupla ação, mas o formato intercalado induz uma mudança de distribuição que pode degradar a precisão da tarefa final. O RL é usado para recuperar o desempenho de raciocínio sob o novo formato.
   • Algoritmo: Otimização de Política Relativa de Grupo (GRPO) é usada com uma recompensa baseada apenas no resultado (correção da resposta final).
   • Controle de Granularidade: Os autores exploram um mecanismo opcional de moldagem de recompensa usando um programa quadrático para encorajar blocos de raciocínio mais curtos (maior granularidade), mantendo estritamente o sinal de correção (separando execuções corretas de incorretas).

Contribuições Principais

1. Divulgação como Controle: O artigo formaliza o momento da divulgação como um problema de decisão sequencial (pensar vs. falar) dentro da decodificação autoregressiva padrão, transformando a visibilidade em um atributo controlável sem exigir mudanças arquitetônicas ou modelos separados.
2. Divulgação Precoce Justificada: Ao construir trajetórias intercaladas alinhadas à entailment, o método garante que divulgações iniciais sejam seguras para exibição, evitando compromissos prematuros e preenchimento.
3. Aprendizado de Trade-offs de Pareto: A combinação de SFT e RL demonstra trade-offs aprimorados entre precisão e latência em diferentes arquiteturas de modelos (MoE vs. denso), escalas e domínios.

Resultados Experimentais

Os autores avaliaram o SxS em duas arquiteturas Qwen3 (MoE Qwen3-30B-A3B e denso Qwen3-4B) em benchmarks dentro do domínio (AIME25) e fora do domínio (GPQA-Diamond, LiveCodeBench, KOR-Bench).

• Quebrando o Imposto de Silêncio: O SxS reduz significativamente o Tempo Médio de Espera Inter-resposta (AIRW), um proxy em nível de token para o tempo de espera do usuário. Por exemplo, no Qwen3-4B, o AIRW caiu de ~21.316 tokens (CoT Padrão) para ~8.519 tokens (SxS), indicando divulgações parciais mais frequentes.
• Recuperação de Precisão: O SFT inicialmente causa uma queda na precisão (por exemplo, o Qwen3-30B-A3B caiu de 76,9% para 50,8% pós-SFT) devido à mudança de distribuição. No entanto, a etapa subsequente de RL recupera com sucesso a precisão (restaurando-a para 79,2%) enquanto mantém a estrutura intercalada.
• Robustez Fora do Domínio: O SxS mitiga o esquecimento catastrófico em tarefas fora do domínio. No GPQA-Diamond, o CoT Padrão após RL focado em matemática viu uma queda significativa (por exemplo, Qwen3-4B de 55,9% para 19,0%), enquanto o SxS manteve precisão substancialmente maior (49,3%).
• Estabilidade de Granularidade: O comportamento intercalado permanece robusto mesmo sob RL baseado apenas em resultados. Embora o RL tenda a reduzir ligeiramente a frequência de intercalação, ele não colapsa de volta para um único bloco monolítico de raciocínio. A granularidade pode ser controlada ativamente via moldagem de recompensa, se desejado.

Significado e Afirmações

O artigo posiciona o ritmo de resposta como uma dimensão de controle prática e pouco explorada para modelos de raciocínio. Os autores afirmam que o SxS melhora o trade-off de Pareto entre precisão, conteúdo e latência sem modificações arquitetônicas. Ao tornar a divulgação uma política de compromisso aprendida vinculada a uma condição de suporte concreta (entailment), o método permite que os modelos revelem progresso parcial mais cedo, mantendo a confiabilidade.

As descobertas sugerem que o trade-off percebido entre deliberação e responsividade é amplamente moldado pela convenção de divulgação de fluxo único. O SxS demonstra que o ritmo pode ser aprendido como uma política comportamental estável, em vez de imposto por heurísticas, permitindo "interação a qualquer momento", onde o modelo divulga progresso parcial justificado mais cedo e continua a deliberação em privado. Os autores observam que, embora os ganhos absolutos de precisão às vezes sejam modestos, a redução consistente no atraso entre atualizações visíveis significativas representa uma melhoria significativa na responsividade percebida pelo usuário.