Select-then-Solve: Paradigm Routing as Inference-Time Optimization for LLM Agents

Título: Select-then-Solve: Roteamento de Paradigma como Otimização em Tempo de Inferência para Agentes LLM

1. O Problema

O campo de agentes baseados em Grandes Modelos de Linguagem (LLMs) tem visto uma proliferação de "paradigmas de raciocínio" (estratégias de inferência) como Chain-of-Thought (CoT), ReAct, Plan-and-Execute, Reflection e ReCode. A questão central que este trabalho investiga é: quando um agente melhora em uma tarefa, o ganho vem do modelo em si ou do paradigma de raciocínio que o envolve?

A literatura atual carece de comparações controladas. Trabalhos anteriores frequentemente introduzem um novo paradigma e o avaliam em tarefas desenhadas especificamente para suas forças, mudando simultaneamente o modelo, o formato do prompt e as ferramentas. Isso deixa uma lacuna fundamental: não se sabe claramente quando a estrutura adicional de raciocínio ajuda e quando ela prejudica o desempenho.

2. Metodologia

Os autores desenvolveram o PARADIGM, um framework de avaliação unificado para comparar seis paradigmas de inferência em quatro LLMs de ponta e dez benchmarks.

• Paradigmas Estudados:

  1. Direct: Resposta livre, sem scaffolding.
  2. CoT (Chain-of-Thought): Raciocínio passo a passo instruído.
  3. ReAct: Interleaving de raciocínio e chamadas de ferramentas (busca web, execução de código).
  4. Plan-Execute: Decomposição do plano seguida de execução.
  5. Reflection: Geração de resposta, crítica e revisão.
  6. ReCode: Resolução de problemas através de geração e execução recursiva de código.

• Configuração Experimental:

  • Modelos: GPT-5, Gemini-3-Flash, Qwen3-Max e Qwen3-30B.
  • Benchmarks: 10 conjuntos de dados cobrindo geração de código (HumanEval), matemática (MATH500, AIME), QA (HotpotQA, NQ), conhecimento (MMLU) e tarefas intensivas em ferramentas (GAIA, SEAL, τ-bench).
  • Escala: Aproximadamente 18.000 execuções completas.
  • Controle: Todos os paradigmas compartilham a mesma interface de modelo, código de avaliação e conjunto de ferramentas (busca web e execução Python), diferenciando-se apenas na organização da inferência.

• Abordagem Proposta (Select-then-Solve):
  Baseado na observação de que nenhum paradigma domina todos os casos, os autores propõem um sistema de roteamento. Antes de responder a uma tarefa, um roteador leve (baseado em embeddings) analisa a entrada e seleciona o paradigma mais adequado.

3. Principais Contribuições e Resultados

A. A Estrutura de Raciocínio é Condicional à Tarefa
O estudo revela que a estrutura de raciocínio não é universalmente benéfica; ela pode ajudar, ser neutra ou prejudicial dependendo da tarefa:

• Ganhos Significativos: Em tarefas que exigem informações externas (ex: GAIA), o ReAct superou o Direct em 44 pontos percentuais (pp).
• Prejuízos: Em tarefas de geração de código (HumanEval), o CoT degradou o desempenho em 15pp em comparação ao Direct, pois o raciocínio passo a passo em linguagem natural interrompeu a qualidade do código.
• Custo vs. Benefício: Paradigmas complexos como Reflection podem custar até 9,4x mais tokens do que o Direct por ganhos marginais em certas tarefas.

B. Complementaridade e o "Oracle Gap"
Não existe um único paradigma dominante. Um "oráculo" (um sistema ideal que escolhe o melhor paradigma para cada tarefa individualmente) supera o melhor paradigma fixo em média por 17,1pp (de 49,0% para 69,4% de precisão média). Isso confirma que diferentes paradigmas resolvem subconjuntos genuinamente diferentes de problemas.

C. O Framework Select-then-Solve
Os autores implementaram um roteador que decide o paradigma antes da execução:

• Método: Um roteador baseado em embeddings (usando text-embedding-3-small) combinado com características manuais, treinado com Regressão Logística.
• Desempenho: O roteador aumentou a precisão média de 47,6% (base Direct) para 53,1%, superando o melhor paradigma fixo (50,3%) em 2,8pp.
• Recuperação do Gap: O roteador recuperou até 37% da lacuna entre o desempenho do melhor paradigma fixo e o oráculo ideal.
• Eficiência: O roteador alcançou maior precisão que o ReAct (que é caro) com apenas metade do custo de tokens, pois frequentemente seleciona o Direct para tarefas simples.

D. Roteamento Automático (Self-Routing) é Ineficaz
A tentativa de fazer o próprio LLM escolher seu paradigma (zero-shot self-routing) falhou para modelos mais fracos:

• O GPT-5 conseguiu um desempenho decente (67,1%), mas modelos mais fracos (Qwen3-Max, Qwen3-30B) tiveram desempenho pior que suas bases Direct, muitas vezes escolhendo paradigmas complexos (como ReAct) para tarefas de conhecimento simples onde não eram necessários.
• Isso sugere que a seleção de paradigma é uma capacidade de "meta-raciocínio" distinta que modelos menores não dominam nativamente.

4. Significado e Conclusão

O trabalho demonstra que a eficácia de um agente LLM não depende apenas da força do modelo base, mas da adequação da estratégia de inferência à tarefa específica.

• Mudança de Paradigma: A escolha do paradigma de raciocínio deve ser uma decisão por tarefa, feita por um roteador aprendido, e não uma escolha arquitetônica fixa.
• Otimização de Custo: O roteamento permite usar a estrutura complexa (ferramentas, iterações) apenas quando necessário, economizando custos computacionais significativos.
• Limitações dos Modelos Atuais: A incapacidade de modelos mais fracos de selecionar seus próprios paradigmas indica que a "inteligência" de um agente não é apenas sobre resolver problemas, mas sobre saber como abordá-los.

Em suma, os agentes mais eficazes do futuro podem não ser aqueles com os scaffolds de raciocínio mais elaborados, mas sim aqueles que sabem quando usar essas estruturas e quando simplesmente responder diretamente.