🤖 AI

COMPAS: Difficulty-Aware Joint Search for Optimizing Code Generation

O COMPAS é um framework consciente da dificuldade que otimiza a geração de código ao buscar conjuntamente o melhor modelo, prompt e configurações de decodificação para grupos específicos de dificuldade de tarefas, alcançando melhorias significativas tanto nas taxas de aprovação quanto na eficiência de custo em benchmarks como LiveCodeBench e SWE-bench.

Autores originais: Jingzhi Gong, Jie M. Zhang, Gunel Jahangirova, Dong Huang, Mohammad Reza Mousavi, Mark Harman

Publicado 2026-08-06

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jingzhi Gong, Jie M. Zhang, Gunel Jahangirova, Dong Huang, Mohammad Reza Mousavi, Mark Harman

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando assar o bolo perfeito, mas tem um forno mágico que pode falar com você. No mundo da ciência da computação, este "forno" é um Grande Modelo de Linguagem (LLM), uma IA superinteligente que consegue escrever código de computador exatamente como um programador humano. Para conseguir o melhor bolo, você precisa escolher três coisas: qual forno usar (o modelo), qual receita dar a ele (o prompt) e como ajustar a temperatura e o temporizador (configurações de decodificação). Durante muito tempo, cientistas tentaram encontrar a única receita e configuração de forno perfeitas que funcionariam para cada bolo, desde um simples cupcake até um complexo bolo de casamento de vários andares. Mas eles continuavam encontrando um problema: uma configuração que torna um cupcake fofinho pode queimar um bolo de casamento, e uma configuração que economiza dinheiro em farinha pode estragar o sabor. A grande questão era: como encontramos a combinação perfeita para cada tarefa específica sem gastar uma fortuna ou anos tentando todas as possibilidades?

Surge o COMPAS, um novo método que atua como um chef de cozinha brilhante e consciente do orçamento. Em vez de adivinhar uma regra para todos, o COMPAS percebe que diferentes tarefas têm diferentes "níveis de dificuldade". Ele sugere que devemos agrupar nossas tarefas — como classificar problemas em "Fácil", "Médio" e "Difícil" — e então encontrar uma receita única e perfeita para cada grupo. Os pesquisadores descobriram que os prompts (as instruções) e as configurações de decodificação (os botões do forno) funcionam melhor quando ajustados juntos, não separadamente, e que o que funciona para um modelo de IA pode falhar para outro. Ao usar um processo inteligente de duas etapas — primeiro escolhendo o forno certo para o trabalho, depois ajustando finamente a receita e os botões juntos — eles construíram um "menu" de opções para cada nível de dificuldade. Quando uma nova tarefa chega, o COMPAS verifica instantaneamente a dificuldade dela, escolhe o menu pré-definido perfeito para aquele grupo e começa a trabalhar.

Em seus experimentos, essa abordagem foi um enorme sucesso. Em um conjunto de testes de problemas de codificação chamado LiveCodeBench, o COMPAS conseguiu a resposta correta 52,8% das vezes, superando o método anterior que alcançava apenas 45,9%. Melhor ainda, ele fez isso gastando significativamente menos dinheiro: o custo caiu de US$ 36,57 para apenas US$ 4,92. Eles também o testaram em um desafio mais complexo envolvendo a correção de bugs em projetos de software inteiros (SWE-bench), onde resolveu 7ou 76,0% das tarefas, superando novamente os melhores métodos existentes.

O ingrediente secreto do COMPAS é sua estratégia "consciente da dificuldade". Os pesquisadores descobriram três coisas fundamentais através de seus experimentos. Primeiro, as instruções e as configurações do forno interagem; mudar ambos juntos produz melhores resultados do que mudar um por um. Segundo, um ajuste que ajuda um modelo de IA pode, na verdade, prejudicar outro, então você deve escolher seu modelo cuidadosamente antes de começar a ajustar. Terceiro, e mais importante, a "melhor" configuração para um problema fácil é totalmente diferente da "melhor" para um problema difícil. Uma abordagem global de "tamanho único" simplesmente não funciona.

Para resolver isso, o COMPAS usa um plano de duas fases. Na fase offline (a fase de preparação), ele divide todas as tarefas de treinamento em grupos baseados em quão difíceis elas são. Ele então executa um teste rápido e barato para escolher o melhor modelo de IA para cada grupo. Uma vez escolhido o modelo, ele entra em um modo de "busca conjunta", onde utiliza um ciclo de feedback inteligente para ajustar simultaneamente o prompt e as configurações de decodificação. Ele não apenas tenta combinações aleatórias; ele aprende com seus erros e sucessos, construindo uma "fronteira de qualidade-custo" — essencialmente, uma lista dos melhores compromissos possíveis entre obter um bom resultado e economizar dinheiro — para cada grupo de dificuldade.

Na fase online (o cozimento em tempo real), quando uma nova tarefa chega, o COMPAS não perde tempo procurando. Ele simplesmente olha para o rótulo de dificuldade da tarefa, encontra o grupo correspondente e escolhe a configuração ideal daquele grupo pré-construído. É como ter uma biblioteca de receitas perfeitamente ajustadas prontas para ir, para que você nunca tenha que começar do zero.

O artigo mostra que este método é robusto. Mesmo quando eles alteraram as sementes aleatórias (como embaralhar o baralho de cartas de forma diferente) ou o testaram em diferentes tipos de modelos de IA, o COMPAS superou consistentemente outros métodos. Também provou que decompor as tarefas por dificuldade é crucial; se você ignorar os níveis de dificuldade e tentar usar uma configuração para tudo, seus resultados caem significantemente. Embora o método atualmente funcione melhor quando os modelos de IA são da mesma "família", os pesquisadores sugerem que esta abordagem pode ser expandida no futuro. Por enquanto, o COMPAS é uma demonstração poderosa de que ser inteligente sobre como você busca as configurações certas é tão importante quanto as próprias configurações.

Resumo Técnico: COMPAS

Declaração do Problema

Sistemas de geração de código que utilizam Grandes Modelos de Linguagem (LLMs) requerem três escolhas de configuração críticas para cada chamada de inferência: o modelo, o prompt e as configurações de decodificação (ex: temperatura, top-p, penalidade de frequência). As abordagens de otimização existentes sofrem de limitações significativas:

Otimizadores Globais (ex: EcoTune, EcoOptiGen) buscam uma única configuração aplicável a todas as tarefas, ignorando que as configurações ideais variam conforme a dificuldade da tarefa.
Roteadores (ex: RouteLLM) selecionam apenas o modelo, mantendo os prompts e as configurações de decodificação fixos.
Otimizadores de Prompt (ex: GEPA) ajustam prompts, mas fixam o modelo e as configurações de decodificação.

Essa fragmentação deixa obscuras as interações conjuntas e específicas de grupo entre modelos, prompts e configurações de decodificação. Além disso, uma busca por força bruta no espaço de configuração é computacionalmente proibitiva; por exemplo, buscar através de 10 prompts, 2 modelos e 10 valores para três configurações de decodificação através de três grupos de dificuldade resulta em 60.000 candidatos, exigindo mais de 20 dias de avaliação serial.

Motivações Empíricas

Os autores conduziram um estudo empírico em larga escala no conjunto LiveCodeBench release-v5 (880 tarefas) usando DeepSeek-V3 e DeepSeek-V3.2 para identificar padrões que guiam o design do COMPAS. Três observações principais emergiram:

Prompts e Decodificação Interagem: A melhor configuração conjunta (72,2% Pass@1) supera significativamente as melhores configurações de apenas prompt (64,3%) ou apenas decodificação (64,9%). Isso necessita de uma busca conjunta em vez de um ajuste independente.
O Ajuste Conjunto é Específico do Modelo: Uma atualização de prompt-decodificação que melhora um modelo (ex: DeepSeek-V3 de 76,3% para 77,2%) pode degradar outro (ex: DeepSeek-V3.2 de 74,0% para 72,1%). Isso sugere que a seleção do modelo deve preceder o ajuste conjunto para reduzir o espaço de busca.
A Melhor Configuração Difere por Grupo: A melhor configuração para um grupo de dificuldade específico (62,4% de Pass@1 médio) supera tanto a configuração padrão (54,1%) quanto a melhor configuração global única (53,4%). Isso indica que uma frente global única é subótima; frentes de qualidade-custo separadas são necessárias para diferentes grupos de dificuldade.

Metodologia: O Framework COMPAS

COMPAS (Code-generation Optimization over Models, Prompts, And Decoding Settings) é um método baseado em dificuldade de duas fases, que separa a busca offline do roteamento online.

1. Fase de Busca Offline

Dado um conjunto de treinamento e um orçamento fixo de tokens, o COMPAS particiona as tarefas em grupos de dificuldade (Fácil, Médio, Difícil) com base em rótulos de benchmark (ex: classificações Elo para LiveCodeBench, tempo de correção estimado para SWE-bench). Ele então otimiza cada grupo em dois estágios:

Estágio 1: Seleção Rápida de Modelo:
- O COMPAS sonda modelos candidatos em um pequeno subconjunto aleatório de tarefas (limitado a 8 problemas por grupo) usando um prompt padrão e configurações de decodificação fixos.
- Uma regra sensível ao custo seleciona o modelo vencedor ( $m^*_g$ ) para cada grupo, equilibrando qualidade e custo usando um peso $\alpha_g$ (0,2 para Fácil, 0,5 para Médio, 0,8 para Difícil).
- Isso reduz o espaço de busca subsequente para um único modelo por grupo.
Estágio 2: Ajuste Conjunto de Prompt e Configurações de Decodificação:
- Usando o modelo selecionado, o COMPAS realiza uma busca reflexiva para mutar conjuntamente o prompt e as configurações de decodificação (temperatura, top-p, penalidade de frequência).
- Loop de Reflexão: Um LLM analisa um contexto compacto contendo padrões de falha/sucesso, histórico de busca e frentes de Pareto atuais para propor uma nova configuração candidata.
- Avaliação de Mini-lote: Os candidatos são avaliados em um mini-lote de um pool de busca e um pool de teste (held-out) para evitar overfitting. Um candidato é aceito apenas se melhorar a pontuação ou reduzir o custo sem degradar o desempenho no conjunto de teste.
- Construção da Frente de Pareto: Candidatos aceitos são adicionados a uma frente de qualidade-custo específica do grupo ( $F_g$ ) se forem Pareto-ótimos.

2. Fase de Teste Online

Durante a implantação, nenhuma busca adicional ocorre.

Roteamento: Uma tarefa $x$ é atribuída ao seu grupo de dificuldade $g(x)$ usando rótulos de benchmark existentes.
Seleção: O sistema seleciona a configuração de $F_{g(x)}$ que maximiza um trade-off de qualidade-custo normalizado usando os mesmos pesos $\alpha_g$ estabelecidos no Estágio 1.
Fallback: Se a frente de um grupo estiver vazia, o sistema recorre a uma frente de dificuldade mais grosseira ou à configuração padrão.

Principais Contribuições

Caracterização Empírica: O artigo fornece evidências de que as interações prompt-decodificação são significativas, os efeitos de ajuste são específicos do modelo e as configurações ideais variam conforme a dificuldade da tarefa.
Busca Sensível à Dificuldade: Ao contrário de métodos que constroem uma frente global única, o COMPAS particiona os problemas em grupos e constró de frentes de qualidade-custo separadas para cada um, permitindo uma otimização especializada.
Busca Eficiente de Dois Estágios: O framework combina uma sondagem de modelo barata com um loop de reflexão baseado em LLM para a otimização conjunta de prompt-decodificação, tornando o espaço de busca tratável.

Resultados Experimentais

O método foi avaliado no LiveCodeBench (geração de código em nível de função e de repositório) e no SWE-bench Verified-mini.

LiveCodeBench (apenas v6): Sob um orçamento de busca correspondente (1M de tokens), o COMPAS alcançou um Pass@1 de 52,8% com um custo de $4,92. Isso superou o melhor baseline (EcoTune), que alcançou 45,9% de Pass@1 com um custo de $36,57. O COMPAS reduziu os custos em 7,4× enquanto melhorou a qualidade em 6,9 pontos percentuais.
Robustez: Os resultados mantiveram-se consistentes através de divisões aleatórias independentes e múltiplas sementes aleatórias. O COMPAS liderou consistentemente em Pass@1 e custo em cinco sementes diferentes.
Generalização:
- No SWE-bench, o COMPAS resolveu 76,0% das tarefas (38/50), superando o melhor baseline (70,0%), embora com um custo mais alto devido ao roteamento de mais tarefas para modelos mais fortes.
- Em diferentes famílias de modelos (DeepSeek, Devstral, Qwen3.5), o COMPAS geralmente melhorou em relação aos baselines, particularmente no Qwen3.5 (40,6% Pass@1).
Estudos de Ablação: Remover qualquer componente (ex: agrupamento de tarefas, seleção de modelo, busca conjunta) degradou o desempenho. O agrupamento de tarefas foi identificado como o componente mais crítico; removê-lo reduziu o Pass@1 para 39,4% (abaixo do baseline padrão).

Significância e Alegações

O artigo afirma que o COMPAS demonstra que a seleção conjunta de modelos, prompts e configurações de decodificação com base na dificuldade da tarefa produz trade-offs de qualidade-custo superiores em comparação com roteadores, otimizadores globais ou otimizadores apenas de prompt.

Os autores enfatizam que sua abordagem é uma solução de engenharia de software baseada em busca que depende do feedback de execução em vez de configurações desenhadas manualmente. Eles observam que seus resultados são específicos para o harness fixo usado nos experimentos e que a principal limitação é o teste de apenas dois LLMs da mesma família por pool. Eles sugerem que trabalhos futuros poderiam estender isso para buscas entre diferentes famílias. O artigo não afirma resolver o problema geral da geração de código, mas sim otimizar a estratégia de configuração dentro de frameworks de geração existentes.