Resumo Técnico: EvoSkill – Descoberta Automatizada de Habilidades para Sistemas Multi-Agente

1. O Problema

Os agentes de codificação (como Claude Code, OpenHands e Codex) tornaram-se paradigmas dominantes para resolver tarefas em diversos domínios devido à sua flexibilidade em usar código como representação intermediária. No entanto, essa flexibilidade não confere, por si só, a expertise de domínio necessária para tarefas especializadas.

Atualmente, as "habilidades" (skills) de agentes — fluxos de trabalho reutilizáveis e código que aumentam as capacidades do agente — são majoritariamente criadas manualmente (hand-crafted). Esse processo é intensivo em mão de obra, não escala bem com o aumento de tarefas e depende de conhecimento de domínio específico.

Abordagens evolutivas existentes (como AlphaEvolve e GEPA) tentam otimizar artefatos de baixo nível (prompts ou trechos de código). Contudo, essas soluções são frequentemente acopladas a modelos e tarefas específicas, não gerando componentes reutilizáveis que possam ser transferidos entre diferentes configurações.

2. Metodologia: O Framework EvoSkill

O EvoSkill é um framework de auto-evolução que descobre e refina habilidades de agentes em um nível de abstração superior (o nível da "habilidade"), em vez de otimizar prompts ou código diretamente. O modelo base permanece congelado; apenas o repositório de habilidades e os metadados do agente evoluem.

Arquitetura do Sistema

O sistema utiliza três agentes colaborativos:

1. Agente Executor (A): Executa tarefas sob a governança do programa atual do agente.
2. Agente Propositor (P): Analisa os traços de execução, respostas previstas e respostas "ground-truth" (verdadeiras) para diagnosticar falhas. Ele propõe descrições de alto nível para novas habilidades ou edições nas existentes. Nota: As respostas verdadeiras são usadas apenas para diagnóstico, não são propagadas para a habilidade gerada.
3. Agente Construtor de Habilidades (S): Transforma a proposta textual do Agente Propositor em uma pasta de habilidade estruturada (formato de diretório), contendo:
   • Metadados de gatilho (trigger metadata).
   • Instruções procedimentais (SKILL.md).
   • Scripts de ajuda (Python/TypeScript) ou material de referência.

O Loop de Evolução (Algoritmo)

O processo segue um ciclo iterativo guiado por descida de feedback textual (textual feedback descent):

1. Seleção: Um programa "pai" é selecionado de uma fronteira de Pareto ($G$) contendo os $k$ programas com maior pontuação.
2. Coleta de Falhas: O Executor roda no conjunto de treinamento. Amostras que falham (pontuação abaixo de um limiar) são coletadas.
3. Diagnóstico e Proposta: O Agente Propositor analisa as falhas, consulta o histórico de feedbacks anteriores ($H$) para evitar redundâncias e propõe uma nova habilidade ou edição.
4. Materialização: O Agente Construtor cria o programa candidato ($\tilde{p}$) com a nova habilidade.
5. Validação e Fronteira: O candidato é avaliado em um conjunto de validação held-out. Se sua pontuação superar a do pior membro da fronteira, ele entra na fronteira, substituindo o pior.
6. Histórico: A proposta, sua pontuação e o veredito são adicionados ao histórico $H$ para guiar iterações futuras.

O resultado final é o programa de maior pontuação na fronteira após $T$ iterações.

3. Contribuições Principais

1. Abstração de Habilidade: Propõe um framework que opera no nível de habilidades (módulos reutilizáveis) em vez de otimizar artefatos de baixo nível, resultando em capacidades mais interpretáveis e compostas.
2. Desempenho em Benchmarks: Demonstra melhorias substanciais em dois benchmarks distintos usando apenas subconjuntos pequenos de dados de treinamento.
3. Transferência Zero-Shot: Prova que habilidades evoluídas em uma tarefa podem ser transferidas sem modificações para tarefas não vistas, demonstrando generalização real.

4. Resultados Experimentais

O EvoSkill foi avaliado em dois benchmarks principais:

A. OfficeQA (Raciocínio Fundamentado em Documentos)

• Contexto: Perguntas sobre dados do Tesouro dos EUA (bulletins complexos, tabelas, gráficos).
• Configuração: Modelo base Claude Code com Opus 4.5.
• Resultados:
  • A acurácia de correspondência exata (exact-match) aumentou de 60,6% para 67,9% (+7,3 pontos percentuais) usando apenas 10% dos dados de treinamento.
  • A configuração de "fusão de habilidades" (skill-merge), que combina habilidades únicas de execuções independentes, obteve o melhor resultado, indicando que diferentes execuções descobrem modos de falha complementares.
  • Habilidades Descobertas: Exemplos incluem protocolos rigorosos para extração de dados de tabelas (evitando erros de células adjacentes) e metodologias estruturadas para análise quantitativa financeira.

B. SealQA (Perguntas com Busca Aumentada e Ruído)

• Contexto: Perguntas onde a busca na web retorna resultados conflitantes ou ruidosos.
• Resultados:
  • A acurácia aumentou de 26,6% para 38,7% (+12,1 pontos percentuais).
  • Habilidade Chave: Descobriu-se um protocolo de "persistência de busca" (search-persistence-protocol), que força o agente a expandir interpretações de termos, verificar múltiplas fontes e evitar a terminação prematura da busca.

C. Transferência Zero-Shot (Generalização)

• Experimento: A habilidade de "persistência de busca" evoluída no SealQA foi aplicada diretamente (sem modificações) ao benchmark BrowseComp.
• Resultado: A acurácia melhorou de 43,5% para 48,8% (+5,3 pontos).
• Significado: Isso prova que as habilidades descobertas capturam capacidades gerais (como busca exaustiva antes de concluir) que são transferíveis entre domínios, ao contrário de otimizações de prompts que tendem a ser específicas da tarefa.

5. Significado e Conclusão

O EvoSkill representa um avanço significativo na automação da engenharia de agentes. Ao focar na evolução de habilidades estruturadas e reutilizáveis em vez de prompts ou código solto, o framework resolve o problema de escalabilidade na criação de agentes especializados.

• Interpretabilidade: As habilidades são arquivos legíveis (SKILL.md) com lógica clara, diferentemente de "caixas pretas" de prompts otimizados.
• Modularidade: As habilidades podem ser combinadas e reutilizadas.
• Eficiência: O sistema aprende com falhas específicas, refinando o agente iterativamente sem necessidade de re-treinamento do modelo base (frozen model).

O trabalho sugere que a otimização no nível de habilidades é uma unidade de transferência mais natural e robusta do que a otimização no nível de prompts, abrindo caminho para bibliotecas de habilidades compartilhadas e agentes multi-domínio mais capazes.