Resumo Técnico: CodeRescue: Roteamento de Recuperação Calibrado por Orçamento para Agentes de Codificação

1. Formulação do Problema

O artigo aborda o desafio de implantação de agentes de codificação operando em ambientes executáveis onde tentativas falhas geram feedback acionável (ex: erros de compilação, testes falhos, rastros de stderr) em vez de apenas saídas incorretas. Sistemas existentes que consideram o custo tipicamente tratam as falhas do modelo como uma decisão binária: escalar imediatamente para um modelo mais forte e caro.

Os autores argumentam que essa abordagem é subótima para codificação porque o feedback de execução pode tornar viáveis novas tentativas por um modelo barato. Isso cria uma questão de implantação com orçamento definido: quando um agente falha, ele deve gastar mais computação barata para reparar a solução (refletir) ou replanejar, ou deve escalar para um modelo mais forte?

O problema é formulado como roteamento de recuperação pós-falha. Dada uma tentativa inicial falha de um modelo barato, o sistema deve escolher entre três ações heterogêneas:

1. Refletir (Reflect): Revisar a solução existente usando o feedback de execução.
2. Replanejar (Replan): Gerar uma nova solução a partir de um plano diferente usando o modelo barato.
3. Escalar (Escalate): Delegar o problema (com o feedback) para um modelo mais forte e caro.

O objetivo é maximizar a taxa de resolução sujeita a um orçamento médio de recuperação ($B$) especificado pelo usuário, sem retreinar a política para cada nova restrição de orçamento.

2. Metodologia

2.1 Roteador de Recuperação Supervisionado

O componente central é um roteador supervisionado treinado em rollouts de execução offline.

• Entrada: Um contexto de recuperação $x = (q, v_0, e_0)$, consistindo no enunciado do problema, o veredito de execução e o rastro de stderr.
• Rotulagem: Para cada instância de falha, o rótulo "oráculo" é definido como a ação bem-sucedida mais barata ($a^\dagger$) entre o conjunto de ações que resolvem a instância ($S(x)$). Instâncias onde nenhuma ação tem sucesso são excluídas.
• Treinamento: Um modelo de linguagem (ex: Qwen3.5-4B) é ajustado via entropia cruzada para prever a ação bem-sucedida mais barata. O roteador pontua as ações com base em log-probabilidades e as normaliza via softmax.

2.2 Política Regularizada por Custo

Para permitir a implantação sob vários orçamentos sem retreinamento, os autores introduzem uma penalidade de custo $\lambda \ge 0$. A política $\pi_\lambda(x)$ seleciona a ação que maximiza:
$$s_\theta(a | x) - \lambda c(a, x)$$
onde $s_\theta$ é a pontuação do roteador e $c(a, x)$ é o custo estimado de implantação.

• À medida que $\lambda$ aumenta, a política se desloca para ações mais baratas (refletir/replanejar).
• Isso cria um conjunto discreto de pontos de operação (uma fronteira de custo-qualidade) derivado de um único roteador treinado.

2.3 Calibração de Orçamento Conformal (CRC)

Para selecionar o $\lambda$ apropriado para um orçamento de usuário específico $B$ com garantias estatísticas, os autores aplicam o Controle de Risco Conformal (CRC).

• Mecanismo: Usando um conjunto de calibração de instâncias falhas mantido à parte, o sistema calcula o custo médio empírico para vários valores de $\lambda$.
• Regra de Seleção: Ele seleciona a penalidade menos restritiva $\hat{\lambda}$ de modo que a restrição de orçamento de amostra finita seja satisfeita:
  $$\frac{n \hat{C}_n(\lambda) + c_{\max}}{n + 1} \le B$$
  onde $c_{\max}$ é um teto de custo conhecido e o termo aditivo fornece uma correção conformal de "deixe-um-fora" (leave-one-out).
• Garantia: Sob a suposição de permutabilidade (exchangeability), este procedimento garante que o custo médio esperado de recuperação da política implantada em dados de teste futuros não exceda $B$. Crucialmente, esta garantia aplica-se ao custo, não à taxa de resolução, permitindo padrões de sucesso não monotônicos entre as ações.

3. Principais Contribuições

1. Roteamento de Recuperação Pós-Falha: O artigo formula a recuperação de agentes de codificação como um problema de roteamento sobre ações heterogêneas (refletir, replanejar, escalar) em vez de um simples cascateamento para um modelo mais forte.
2. Implantação Controlável por Orçamento: Introduz um roteador calibrado por CRC que permite que um único roteador treinado opere em múltiplos pontos orçamentários com controle de custo esperado marginal, eliminando a necessidade de retreinar para diferentes restrições de orçamento.
3. Trade-offs Empíricos de Recuperação: O estudo fornece evidências empíricas de que a recuperação barata e a escalada de modelos exibem padrões de sucesso complementares (ou seja, algumas falhas só são solucionáveis por ações baratas, outras apenas por escalada, e algumas por ambos), formando uma fronteira discreta de custo-qualidade.

4. Resultados Experimentais

O sistema foi avaliado em cinco benchmarks de codificação (APPS, TACO, BigCodeBench, LiveCodeBench, CodeContests) usando GPT-5.4-NANO como o modelo barato e GPT-5.4 como o modelo forte.

• Eficácia do Roteador: Um roteador aprendido supera significativamente as linhas de base de ação fixa. O roteador não restrito alcançou uma taxa de resolução de 81,7% com um custo médio de 5,51 m$, comparado a 68,6% para "sempre escalar" com 7,22 m$.
• Complementaridade: A análise das ações mais baratas "oráculo" revelou que 28% das falhas eram solucionáveis apenas por ações baratas, 45% apenas por escalada e 27% por ambos. Essa heterogeneidade justifica a necessidade de um roteador em vez de um cascateamento fixo.
• Calibração de Orçamento: A fronteira calibrada por CRC demonstrou que, com um orçamento de 2,56 m$, o sistema alcançou uma taxa de resolução de 71,7%. Isso superou a linha de base "sempre escalar" (68,6%), utilizando apenas 35% do custo médio da estratégia de sempre escalar.
• Linhas de Base: O roteador aprendido superou os roteadores baseados apenas em prompts (LLMs zero-shot atuando como roteadores) e as linhas de base de cascata binária, confirmando que o sinal de roteamento requer aprendizado a partir de rollouts, e não apenas engenharia de prompt.

5. Significância e Alegações

O artigo afirma que tratar as falhas de codificação como um problema de reparo diagnosticável, em vez de uma simples lacuna de capacidade, permite uma alocação de recursos mais eficiente. Ao desacoplar o treinamento do roteador do orçamento de implantação via CRC, o sistema oferece um mecanismo prático para inferência controlada por orçamento.

Os autores enfatizam que sua abordagem não pretende controlar a taxa de resolução de forma conformal; em vez disso, fornece uma garantia de custo, enquanto as melhorias na taxa de resolução são observações empíricas. O trabalho sugere que, para agentes de codificação, o "próximo passo útil mais barato" nem sempre é o modelo mais forte, mas sim uma ação de recuperação específica adaptada ao modo de falha, e que essa decisão pode ser tomada dinamicamente sob restrições de orçamento rigorosas.

Limitações observadas pelos autores:

• A recuperação é modelada como uma única decisão pós-falha, enquanto agentes reais podem iterar sobre múltiplas rodadas.
• O rótulo "mais barato bem-sucedido" é um proxy e não uma estimativa de probabilidade calibrada.
• O CRC controla o custo esperado, não a taxa de resolução, o que significa que as melhorias de qualidade permanecem observações empíricas.