Resumo Técnico: DART (Draft-Agreement Routing for Training-Free Adaptive Thinking Budgets)

1. Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) de raciocínio híbrido oferecem dois modos de inferência: NOTHINK (resposta direta) e THINK (cadeia de pensamento estendida). Embora o modo THINK melhore a precisidade em tarefas complexas, aplicá-lo universalmente é ineficiente e, muitas vezes, prejudicial.

• Ineficiência: Consultas fáceis desperdiçam tokens com raciocínios desnecessários.
• Degradação de Precisão: Estudos recentes indicam que o raciocínio estendido pode, por vezes, reduzir a precisão em problemas mais simples em comparação com respostas diretas.
• Restrições de Implementação: Implementações de "sempre pensar" (always-thinking) fixas enfrentam custos operacionais e o risco de esgotar as janelas de contexto (truncamento) em problemas difíceis antes de gerar uma resposta final.
• Limitações dos Roteadores Atuais: Estratégias de roteamento adaptativo atuais geralmente exigem dados rotulados (limitando o uso apenas via API) ou dependem de heurísticas indiretas (confiança/entropia) que não medem diretamente o acordo ao nível da resposta. Além disso, avaliações de chamada única frequentemente confundem limites de orçamento de raciocínio com truncamento de resposta, criando artefatos de medição.

2. Metodologia: DART

DART (Draft-Agreement Routing for Thinking) é um framework de roteamento de dois estágios, livre de treinamento, projetado para otimizar o equilíbrio entre precisão e eficiência de tokens sem atualizações de gradiente ou dados rotulados.

Estágio 1: Roteamento por Autoconsistência (SC-Route)

O objetivo principal é determinar se uma consulta pode ser respondida diretamente sem invocar o modo THINK.

• Mecanismo: O sistema amostra $K$ rascunhos independentes no modo NOTHINK (temperatura $T$).
• Lógica de Decisão: Um extrator de resposta normaliza a saída de cada rascunho. Se todos os $K$ rascunhos concordarem (unanimidade de acordo) sob uma função de equivalência plugável $eq$, o sistema aceita a resposta do rascunho imediatamente.
• Escalação: Se os rascunhos discordarem, a consulta é roteada para o modo THINK.
• Escolha de Design: Os autores utilizam unanimidade estrita com $K=2$ em vez de votação majoritária. Isso concentra a probabilidade na resposta dominante enquanto mantém os custos baixos e evita o overhead de valores maiores de $K$ usados no decodificação padrão de autoconsistência.
• Módulo de Equivalência: Este é o único componente de domínio específico. Pode ser normalização de string para matemática, correspondência de execução em ambiente isolado (sandbox) para código ou comparação de saída estruturada.

Estágio 2: Alocação de Orçamento de Entropia

Para consultas roteadas para o modo THINK (onde os rascunhos discordaram), o DART aloca um orçamento de pensamento específico para a consulta, em vez de usar um limite fixo.

• Sinal de Incerteza: O sistema calcula a entropia do rascunho ($H(q)$) a partir dos $K$ rascunhos NOTHINK. Uma entropia mais alta indica maior incerteza/dificuldade.
• Mapeamento de Orçamento: A entropia é mapeada para um orçamento de pensamento $\hat{B}$ usando regressão isotônica ajustada em um conjunto de calibração de consultas com discordância.
• Geração em Dois Estágios: Para evitar o "artefato de truncamento de chamada única" (onde o modelo esgota os tokens enquanto raciocina e falha em emitir uma resposta), o traço de raciocínio e a resposta final são gerados em chamadas de conclusão separadas. Quando o traço de raciocínio atinge o orçamento previsto $\hat{B}$, um token de parada é injetado e a resposta final é gerada em uma nova chamada.

3. Principais Contribuições

1. Unanimidade de Rascunho como Proxy de Dificuldade: O artigo caracteriza o acordo entre rascunhos NOTHINK baratos como um forte sinal binário de dificuldade da consulta, mostrando uma correlação consistente com a correção do modo "sempre pensar".
2. Roteador Livre de Treinamento: O DART opera sem dados de dificuldade rotulados ou retreinamento específico do modelo, tornando-o compatível com acesso apenas via texto a modelos híbridos fechados.
3. Protocolo de Dois Estágios: Ao separar o traço de pensamento da geração da resposta final, o DART elimina artefatos de medição causados pelo truncamento de resposta sob orçamentos de tokens apertados.
4. Orçamentação Baseada em Entropia: O framework aloca dinamicamente orçamentos de pensamento baseados na entropia do rascunho, concentrando tokens em consultas mais difíceis enquanto permite que consultas mais fáceis terminem precocemente.

4. Resultados Experimentais

O framework foi avaliado no Qwen3 (8B, 14B, 32B) e DeepSeek-V3.2 através de raciocínio matemático (MATH-500, OlympiadBench) e geração de código (HumanEval, MBPP).

• Precisão vs. Eficiência: O DART iguala ou supera a precisão de uma linha de base "sempre pensar" (AT) enquanto reduz significativamente o uso de tokens de pensamento.
  • Raciocínio Matemático: A precisão melhorou em até +9,0 pontos em problemas de nível Olympiad (Qwen3-14B) enquanto reduzia os tokens de pensamento em 15–69%.
  • Raciocínio de Código: A precisão melhorou em até +22,5 pontos no HumanEval (Qwen3-32B) enquanto reduzia os tokens de pensamento em 51–63%. Os ganhos em código são atribuídos ao roteador identificar corretamente que muitas consultas de código são melhor resolvidas via respostas diretas (NOTHINK) em vez de raciocínio estendido.
• Comparação com Baselines:
  • O DART superou roteadores supervisionados (MLP, Gradient Boosted Trees) treinados em características de rascunho, mesmo quando esses roteadores tinham acesso a características de unanimidade.
  • Superou significativamente as baselines de roteamento auto-promptado e agregação de voto majoritário, particularmente em tarefas de código onde o acordo baseado em execução é superior à votação de nível de token.
• Generalização: O sinal de roteamento (unanimidade de rascunho) permaneceu robusto através de diferentes escalas de modelos (0.6B a 32B) e diferentes famílias de modelos.
• Latência: O DART alcançou uma aceleração de 2.3x na latência de tempo real (wall-clock) em comparação ao AT, principalmente porque 78% das consultas foram resolvidas via rascunhos NOTHINK paralelos.

5. Significância e Alegações

O artigo afirma que o DART fornece uma solução prática e pronta para implementação para modelos de raciocínio híbrido que não requer retreinamento.

• Redução de Custo: Demonstra que economias significativas de tokens (até 69%) podem ser alcançadas sem sacrificar, e muitas vezes melhorando, a precisão.
• Robustez: O método funciona efetivamente tanto em modelos de pesos abertos quanto em APIs hospedadas (DeepSeek), provando sua utilidade em cenários de implementação do mundo real, onde os pesos do modelo são inacessíveis.
• Integridade da Medição: Ao abordar o "artefato de truncamento", o artigo argumenta que as comparações anteriores entre estratégias de roteamento e baselines de sempre pensar eram frequentemente falhas; o protocolo de dois estágios do DART fornece uma comparação mais justa, revelando que o roteamento pode superar o sempre pensar de orçamento fixo mesmo com orçamentos de tokens equivalentes.
• Análise de Erro: Os autores identificam "falsos aceites" (onde os rascunhos concordam em uma resposta errada) como a principal fonte de erro restante, sugerindo que melhorias futuras poderiam focar em calibração leve ou rodadas adicionais seletivas de rascunho, em vez de treinamentos complexos.

O trabalho conclui que o acordo de rascunho é um sinal de alta precisão e agnóstico ao domínio, permitindo orçamentos de pensamento adaptativos que são tanto eficientes quanto precisos.