AdaptEvolve: Improving Efficiency of Evolutionary AI Agents through Adaptive Model Selection

1. Declaração do Problema

Sistemas agênticos evolutivos (por exemplo, AlphaEvolve, OpenEvolve) aprimoram as capacidades de raciocínio gerando, mutando e selecionando iterativamente soluções candidatas usando Modelos de Linguagem de Grande Porte (LLMs). No entanto, esses sistemas enfrentam um compromisso crítico:

• Custo Computacional: Invocar repetidamente modelos grandes e de alta capacidade (por exemplo, 32B+ parâmetros) para cada etapa de refinamento é proibitivamente caro.
• Capacidade de Raciocínio: Modelos menores e eficientes (por exemplo, 4B parâmetros) frequentemente falham em tarefas complexas de raciocínio ou "casos extremos" que surgem à medida que a busca evolutiva progride.

Soluções existentes, como cascatas de modelos ou roteamento estático, geralmente dependem de heurísticas fixas ou classificadores externos. Essas abordagens não levam em conta a incerteza intrínseca do modelo e a natureza não estacionária da busca evolutiva, onde a dificuldade dos problemas muda dinamicamente à medida que a população evolui para soluções mais complexas. Consequentemente, roteadores estáticos frequentemente escalam para modelos grandes desnecessariamente ou falham em escalar quando necessário, levando a uma relação custo-eficiência subótima.

2. Metodologia: Framework AdaptEvolve

O AdaptEvolve introduz um framework para Seleção Adaptativa de LLM dentro de um loop de refinamento sequencial evolutivo. Em vez de usar controladores externos, ele aproveita a confiança intrínseca de geração para tomar decisões de roteamento em tempo real.

Componentes Principais

1. Arquitetura de Duplo Modelo:

   • $M_S$ (Modelo Pequeno): Um modelo eficiente em termos de custo (por exemplo, Qwen3-4B) usado para etapas de refinamento rotineiras.
   • $M_L$ (Modelo Grande): Um modelo denso em capacidade (por exemplo, Qwen3-32B) reservado para obstáculos de raciocínio complexos e de alta entropia.

2. Métricas de Confiança Intrínseca:
   O sistema computa um vetor de confiança $C(x_i)$ baseado na entropia de tokens da geração do modelo pequeno. Ele utiliza quatro métricas escalares (adaptadas de Fu et al., 2025):

   • Confiança Média (MC): Incerteza média global.
   • Confiança do Grupo Mais Baixo (LGC): A incerteza máxima em uma janela deslizante, identificando o "elo mais fraco" na cadeia de raciocínio.
   • Confiança da Cauda (TC): Incerteza dos tokens finais, avaliando a estabilidade da conclusão.
   • Confiança Bottom-K% (BWC): Média dos percentis de maior incerteza, distinguindo alucinações sistêmicas de ruído transitório.

3. Mecanismo de Roteamento Adaptativo ($\Phi$):
   A função de roteamento é um classificador binário leve que decide se deve reter a saída do modelo pequeno ou escalar para o modelo grande:
   $$x'_i = \begin{cases} M_S(x_i) & \text{se } \Phi(C(x_i)) = 1 \\ M_L(x_i) & \text{caso contrário} \end{cases}$$

   • Fase de Aquecimento: Uma Árvore de Decisão rasa (impureza de Gini, profundidade=5) é inicializada usando um conjunto mínimo de 50 amostras rotuladas para capturar interações não lineares entre as métricas de confiança.
   • Adaptação Online (HAT): Para lidar com a deriva de conceito (onde a dificuldade do problema muda à medida que a população evolui), o sistema emprega uma Árvore Adaptativa de Hoeffding (HAT). A HAT atualiza incrementalmente os critérios de divisão e monitora as taxas de erro das folhas, podando e regrowing ramos automaticamente para recalibrar os limiares de escalonamento em tempo real.

3. Contribuições Principais

• Seleção Orientada por Incerteza Intrínseca: A primeira aplicação de seleção adaptativa consciente de incerteza especificamente para refinamento agêntico evolutivo, afastando-se de heurísticas estáticas ou modelos de roteamento externos.
• Calibração Leve: Introduz um método eficiente em recursos usando um conjunto mínimo de aquecimento ($N=50$) para treinar uma árvore de decisão, eliminando a necessidade de roteadores externos pesados.
• Tratamento de Não Estacionariedade: Aborda o desafio único da "deriva de conceito em nível de população" na busca evolutiva, onde roteadores estáticos se degradam ao longo do tempo. O AdaptEvolve é o primeiro a utilizar adaptação online no tempo de teste (via HAT) para este contexto específico.
• Eficiência de Pareto: Demonstra um compromisso superior entre custo e precisão, superando significativamente as bases estáticas e abordagens em cascata.

4. Resultados Experimentais

O framework foi avaliado em benchmarks de codificação (LiveCodeBench v5, MBPP e HumanEval) usando as famílias de modelos Qwen3 e LLaMA 3.1.

• Redução de Custo: O AdaptEvolve reduziu os custos totais de inferência computacional em uma média de 37,9% em todos os benchmarks.
• Retenção de Precisão: Apesar da redução de custo, o sistema manteve 97,5% da precisão do limite superior alcançada pelas bases estáticas de modelo grande.
• Ganhos de Eficiência:
  • No LiveCodeBench, alcançou uma pontuação de eficiência de 35,4 (Precisão/Custo), superando o modelo estático de 32B (23,7) e a base em cascata (26,3).
  • No MBPP, reduziu os custos em 41,5% enquanto mantinha 97,1% da precisão de pico, resultando em uma pontuação de eficiência de 132,3 (quase o dobro do modelo grande puro).
• Generalização: O método generalizou-se efetivamente para modelos LLaMA 3.1 (8B vs. 70B) no HumanEval, alcançando um aceleração de 1,56× sobre a base iterativa de 70B, enquanto superou a amostragem aleatória em ratios de roteamento idênticos.
• Impacto da Adaptação: A Árvore Adaptativa de Hoeffding (HAT) superou as árvores de decisão estáticas em 2,4 pontos de precisão no LiveCodeBench, provando a necessidade de adaptação online para tarefas evolutivas não estacionárias.

5. Significado e Limitações

Significado:
O AdaptEvolve fornece um caminho escalável para o raciocínio agêntico, provando que a alocação inteligente de recursos baseada em sinais intrínsecos do modelo é mais eficaz do que a escalada bruta ou regras estáticas. Permite que agentes de codificação evolutiva complexos operem a uma fração do custo computacional sem sacrificar o desempenho, tornando o raciocínio de IA de alto nível mais acessível.

Limitações:

• Restrição de Domínio: O framework depende de código executável e sinais de aprovação/rejeição de casos de teste como métrica de aptidão evolutiva. Atualmente, restringe-se a benchmarks de codificação e não pode ser aplicado diretamente a tarefas de raciocínio matemático ou aberto onde as soluções são simbólicas ou não executáveis, pois o loop de avaliação de aptidão quebraria.
• Dependência de Modelo: Embora generalize entre famílias de modelos, os limiares de confiança específicos e a lógica de roteamento são ajustados com base nas propriedades estatísticas dos pares de modelos específicos utilizados.

Em conclusão, o AdaptEvolve representa um passo significativo para tornar os agentes de IA evolutivos computacionalmente viáveis para implantação no mundo real, equilibrando dinamicamente o compromisso entre "modelo pequeno para velocidade" e "modelo grande para precisão".