SkillMOO: Multi-Objective Optimization of Agent Skills for Software Engineering

Resumo Técnico: SkillMOO

1. Problema Identificado

As habilidades de agentes (agent skills) baseadas em Grandes Modelos de Linguagem (LLMs) são pastas portáteis que contêm instruções, scripts e recursos para guiar agentes de codificação em tarefas específicas. Embora ferramentas como o SkillsBench demonstrem que essas habilidades podem melhorar o desempenho, a sua aplicação prática enfrenta desafios significativos:

• Custo e Fragilidade do Ajuste Manual: Ajustar manualmente "pacotes de habilidades" (skill bundles) para equilibrar taxa de sucesso, custo de inferência e tempo de execução é caro, frágil e exige expertise de domínio que nem sempre se transfere entre tarefas.
• Incerteza e Desempenho Modesto: Estudos anteriores mostram ganhos modestos em tarefas de Engenharia de Software (SE) e observam que pacotes de habilidades mal configurados podem desperdiçar recursos de overhead do agente.
• Necessidade de Refinamento Contínuo: As habilidades precisam ser refinadas continuamente com base em casos de falha, algo difícil de escalar manualmente.

O objetivo do trabalho é superar a dependência de ajustes manuais através de uma otimização automática e orientada por dados.

2. Metodologia: SkillMOO

O SkillMOO é um framework de Otimização Multi-Objetivo (MOO) que evolui automaticamente pacotes de habilidades específicos para tarefas. O sistema opera em um ciclo iterativo "Solver-Optimizer" (Resolvedor-Otimizador) com os seguintes componentes:

• Agentes:
  • Agente Solucionador (Task Solver): Executa as tarefas de codificação usando um pacote de habilidades candidato, coletando métricas de taxa de aprovação (pass rate), custo (inferência do LLM) e rastros de erro.
  • Agente Otimizador (Skill Optimizer): Analisa os rastros de falha e, guiado por uma habilidade de otimização atual, propõe edições no pacote de habilidades (filho) para a próxima geração.
• Mecanismo de Otimização:
  • Formulação Bi-objetivo: O sistema busca minimizar a função $f(b) = [-\text{pass}(b), \text{cost}(b)]$, onde $\text{pass}(b)$ é a taxa de aprovação e $\text{cost}(b)$ é o custo.
  • Seleção de Sobreviventes (NSGA-II): Após a avaliação de cada candidato filho, todos os candidatos arquivados são classificados usando o algoritmo NSGA-II (Non-dominated Sorting Genetic Algorithm II). Isso utiliza ordenação não dominada e distância de aglomeração para manter uma fronteira de Pareto de soluções equilibradas entre sucesso e custo.
  • Guarda de Preservação: Um mecanismo rejeita propostas de filhos se a taxa de aprovação cair mais de 0,05 em relação ao pai, garantindo estabilidade.
• Operações de Edição: O agente otimizador realiza operações como poda (pruning), substituição (substitution), reordenação e reescrita de blocos de instruções.
• Configuração Experimental:
  • Tarefas: Três tarefas do SkillsBench (correção de falhas de build Python, tradução Python-Scala, migração Spring Boot para Jakarta).
  • Modelo: GLM-5 utilizado tanto para o solucionador quanto para o otimizador.
  • Processo: 5 gerações de busca com tamanho de população 1 (iterativo), executado 10 vezes por tarefa.

3. Contribuições Principais

1. Framework SkillMOO: Propõe um ciclo de otimização multi-objetivo que combina edições propostas por LLMs com seleção de sobreviventes NSGA-II para evoluir pacotes de habilidades.
2. Evidência Empírica: Demonstra que a otimização de habilidades pode simultaneamente aumentar a taxa de aprovação e reduzir custos em tarefas de SE, superando pacotes originais e a ausência de habilidades.
3. Análise de Padrões: Identifica que a poda (remoção de conteúdo irrelevante) e a substituição (troca de conteúdo desalinhado) são os principais impulsionadores de melhoria, sugerindo que pacotes eficazes favorecem conteúdo mínimo e focado em vez de instruções acumuladas.
4. Reprodutibilidade: Liberação de um pacote de replicação completo com dados, scripts e artefatos de habilidades.

4. Resultados Chave

Os resultados foram avaliados em comparação com o pacote de habilidades original (ori_skill) e sem habilidades (no_skill):

• Desempenho (RQ1):
  • Task 1 (Build Fix): Aumento de 131,2% na taxa de aprovação (de 0,16 para 0,37), com redução de 31,7% no custo e 23,6% no tempo de execução.
  • Task 2 (Tradução): Aumento de 30,8% na taxa de aprovação, com redução de 5,4% no custo.
  • Task 3 (Migração): Aumento de 2,1% na taxa de aprovação (atingindo 0,99), com redução de 19,4% no custo e 29,8% no tempo.
  • Em todas as tarefas, o SkillMOO obteve o melhor rank estatístico (Scott-Knott ESD) em taxa de aprovação.
• Eficiência Econômica (RQ2):
  • O custo de otimização foi extremamente baixo em relação ao ganho. O custo por ponto percentual de melhoria no volume hipervolume (HV) variou de $0,0011 a$0,0059.
  • Ganhos de HV entre 301% e 2110% foram observados.
• Padrões de Edição (RQ3):
  • Poda e Substituição: Foram as operações mais frequentes (7 edições cada) e as mais bem-sucedidas, resultando em redução de custo em 100% dos casos (7/7).
  • Expansão: Adicionar novos blocos de instrução raramente melhorou a taxa de aprovação (0/5 casos), indicando que "menos é mais".
  • Padrões Específicos: A remoção de menções a bibliotecas obsoletas (ex: RestTemplate) ou seções de guia não utilizadas foi crucial para tarefas específicas.

5. Significado e Conclusão

O trabalho do SkillMOO é significativo porque muda o paradigma de como as habilidades de agentes de IA são gerenciadas. Em vez de depender de engenheiros humanos para escrever e ajustar manualmente grandes quantidades de instruções, o framework demonstra que uma busca multi-objetivo automatizada pode descobrir pacotes de habilidades mais eficientes, baratos e eficazes.

A descoberta central é que a melhoria no desempenho de agentes de codificação muitas vezes vem da remoção de ruído e substituição de conteúdo desalinhado, e não da adição de mais instruções. Isso oferece um caminho prático para a escalabilidade de agentes de IA em Engenharia de Software, reduzindo custos operacionais e aumentando a confiabilidade das tarefas automatizadas.

Avisos de Validade: O estudo limita-se a três tarefas e um modelo específico (GLM-5), e a expansão dos testes de verificação via GPT-5.4 pode introduzir viés, embora os resultados apontem para uma direção clara de melhoria.