🤖 AI

CODESKILL: Learning Self-Evolving Skills for Coding Agents

CODESKILL é um framework baseado em aprendizado por reforço que aprende a extrair, evoluir e manter um banco compacto de habilidades procedimentais de multi-granularidade a partir de trajetórias de agentes de codificação, melhorando significativamente o desempenho em tarefas subsequentes em benchmarks como o SWE-Bench Verified em comparação com abordagens existentes baseadas em prompts ou memória.

Autores originais: Yanzhou Li, Yiran Zhang, Xiaoyu Zhang, Xiaoxia Liu, Yang Liu

Publicado 2026-05-26

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yanzhou Li, Yiran Zhang, Xiaoyu Zhang, Xiaoxia Liu, Yang Liu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um assistente robótico muito inteligente a corrigir erros de software. Cada vez que o robô tenta corrigir um problema, ele passa por um longo processo: analisa o código, tenta um comando, vê um erro, tenta novamente e, eventualmente (espera-se), corrige-o. Toda essa jornada é chamada de "trajetória".

O problema é que, se você deixar o robô manter um diário de cada coisa que já fez, o diário se tornará uma montanha bagunçada e avassaladora de papel. A maior parte dele são apenas detalhes específicos sobre um bug particular que não ajudarão no próximo.

CODESKILL é um novo sistema projetado para transformar essa montanha bagunçada de papel em um manual de instruções elegante e organizado que o robô pode realmente usar.

Veja como funciona, dividido em conceitos simples:

1. O Problema: Muito Ruído, Pouco Sinal

Atualmente, quando robôs tentam aprender com seus erros passados, eles frequentemente dependem de regras rígidas ou prompts fixos (como um professor que diz: "Sempre faça X quando vir Y"). Mas a engenharia de software é complexa. Às vezes o robô tem sucesso por acidente, e às vezes falha por um motivo estranho. É difícil dizer o que é uma habilidade reutilizável (como "como corrigir uma conexão de internet quebrada") versus apenas um acaso passageiro (como "como corrigir o erro de digitação específico neste arquivo").

Os métodos existentes são como um bibliotecário que apenas empilha livros no chão sem organizá-los. Eles não sabem quais livros são realmente úteis para o próximo leitor.

2. A Solução: O "Bibliotecário Autoevolutivo"

O CODESKILL atua como um bibliotecário inteligente que gerencia a base de conhecimento do robô (chamada de Banco de Habilidades). Em vez de apenas armazenar histórias brutas, ele:

Extrai Habilidades: Lê as jornadas passadas do robô e extrai as "pepitas de ouro" — as regras gerais que se aplicam a muitas situações.
Evolui Habilidades: Se o robô tenta uma habilidade e ela falha, o bibliotecário não apenas descarta a habilidade. Ele atualiza o manual de instruções para dizer: "Ah, esta regra funciona, a menos que você veja esta mensagem de erro específica."
Mantém a Biblioteca: Verifica constantemente a biblioteca. Se dois livros dizem a mesma coisa, ele os funde. Se um livro é muito específico ou inútil, ele o descarta. Isso mantém a biblioteca pequena e eficiente.

3. Como Ele Aprende: O "Treinador e o Atleta"

A parte mais única do CODESKILL é como ele aprende a ser um bom bibliotecário. Ele não apenas adivinha; recebe feedback de um "atleta congelado" (o robô de programação).

O Atleta: Este é o robô de programação que resolve os problemas reais. Ele não muda seu cérebro; apenas tenta resolver tarefas.
O Treinador (CODESKILL): Este é o sistema que gerencia as habilidades.
O Ciclo de Treinamento:
1. O Treinador cria uma nova regra baseada na experiência passada.
2. O Treinador dá essa regra ao Atleta.
3. O Teste: O Atleta resolve o problema mais rápido ou melhor com essa nova regra?
4. A Recompensa: Se o Atleta tiver sucesso, o Treinador recebe uma pontuação alta. Se o Atleta falhar, o Treinador recebe uma pontuação baixa.
5. O Treinador usa essa pontuação para aprender: "Ok, preciso escrever regras melhores na próxima vez."

O artigo chama isso de Aprendizado por Reforço. É como treinar um cachorro: você não apenas diz ao cachorro o que fazer; você dá um petisco quando ele acerta, para que ele aprenda a repetir o comportamento que ganha o petisco.

4. Dois Tipos de Habilidades

O CODESKILL organiza o conhecimento em dois tipos de instruções, como um livro de receitas com duas seções:

Habilidades de Nível de Tarefa (O Quadro Geral): São estratégias de alto nível. Exemplo: "Quando vir uma compilação Java falhar, verifique primeiro sua conexão de internet, depois verifique suas dependências."
Habilidades Acionadas por Eventos (Correções Rápidas): São reações a momentos específicos. Exemplo: "Se vir um erro dizendo 'Arquivo Não Encontrado', verifique imediatamente se o caminho do arquivo tem um erro de digitação."

5. Os Resultados: Um Robô Mais Inteligente e Rápido

Os pesquisadores testaram o CODESKILL em três diferentes "salas de exame" (benchmarks) onde robôs de programação precisam resolver problemas de software do mundo real.

A Linha de Base: Um robô sem manual de instruções (apenas inteligência bruta).
A Concorrência: Robôs usando métodos mais antigos de lembrar tarefas passadas (como apenas ler um diário ou usar prompts fixos).
CODESKILL: O robô usando a biblioteca de habilidades autoevolutiva.

O Resultado:
O robô do CODESKILL resolveu significativamente mais problemas que os outros.

Melhorou a taxa de sucesso em cerca de 9,7% em comparação com não ter habilidades alguma.
Venceu os métodos de "memória" existentes mais fortes em cerca de 4%.
Também resolveu problemas mais rápido, levando menos passos para chegar à solução porque tinha melhores instruções a seguir.

A Conclusão

O CODESKILL é uma estrutura que ensina um robô de programação a aprender a aprender. Em vez de apenas memorizar cada coisa que aconteceu, ele aprende a destilar essas experiências em um conjunto compacto e evolutivo de regras. Ele atua como um treinador que refina constantemente o livro de jogadas com base em se a equipe realmente vence o jogo, garantindo que o robô fique melhor e mais eficiente ao longo do tempo sem precisar ser reprogramado do zero.

Resumo Técnico: CODESKILL

Declaração do Problema

Agentes de codificação geram trajetórias ricas e de longo horizonte ao resolver tarefas de engenharia de software (SWE), contendo experiência reutilizável que, teoricamente, poderia orientar comportamentos futuros. Embora trabalhos recentes tenham explorado mecanismos de memória para armazenar ou resumir essas trajetórias, abordagens existentes para construir e manter habilidades procedurais (conhecimento compacto e reutilizável que especifica quando agir e como) enfrentam limitações significativas. Os métodos atuais dependem fortemente de prompts fixos e regras heurísticas de atualização para determinar qual conhecimento extrair, como abstratá-lo e como atualizar o banco de habilidades. Essa abordagem estática falha em adaptar-se às necessidades específicas de agentes a jusante, particularmente em contextos de SWE onde as trajetórias contêm feedback denso e heterogêneo. Consequentemente, permanece incerto como selecionar, abstrair e manter habilidades de forma ótima para garantir que sejam tanto reutilizáveis entre tarefas quanto acionáveis para decisões concretas do agente.

Metodologia

Os autores propõem o CODESKILL, um framework baseado em LLM que reformula a extração de habilidades e a manutenção do banco de habilidades como uma política de gerenciamento aprendível, em vez de um processo heurístico fixo.

Arquitetura do Framework

O CODESKILL gerencia um banco de habilidades $B$ composto por habilidades procedurais de multi-granularidade:

Habilidades de nível de tarefa: Estratégias de alto nível para famílias de tarefas (por exemplo, inspeção de repositório, localização de problemas).
Habilidades orientadas a eventos: Orientação local para eventos recorrentes de execução (por exemplo, lidar com mensagens de erro específicas ou falhas de comando).

O framework opera através de um loop de três componentes principais:

Extração de Habilidades: Gera novas habilidades de nível de tarefa ou orientadas a eventos a partir de evidências de trajetória.
Evolução de Habilidades: Revisa habilidades existentes com base em novas evidências de trajetória ou falhas para abordar casos ausentes ou modos de falha.
Manutenção do Banco de Habilidades: Decide se deve adicionar, fundir ou descartar habilidades candidatas para manter o banco compacto e de alta qualidade.

Pipeline de Treinamento

O CODESKILL é treinado usando uma abordagem híbrida que combina aprendizado supervisionado e aprendizado por reforço (RL):

Aquecimento Supervisionado: O modelo ( $M_\theta$ ) é ajustado finamente em dados gerados por um professor (usando GPT-5.4-mini) para aprender o esquema para operações de extração, evolução e manutenção de habilidades.
Aprendizado por Reforço (RL): A política é otimizada usando Otimização de Política Relativa por Grupo (GRPO). O loop de treinamento envolve:
- Design de Recompensa Híbrida: A função de recompensa combina:
  - Feedback Denso Baseado em Rubrica: Um LLM como juiz avalia a qualidade da habilidade (fundamentação, reutilizabilidade, especificidade, acionabilidade) e o alinhamento comportamental.
  - Feedback Esparsos de Execução Verificável: O impacto da habilidade é medido pela melhoria de desempenho de um agente de codificação a jusante congelado (por exemplo, Qwen3.5-35B-A3B) em tarefas específicas. A recompensa é a diferença entre o sucesso do agente com a habilidade versus uma linha de base sem habilidade.
  - Fator de Alinhamento: Um mecanismo para garantir que o agente realmente seguiu o fluxo de trabalho da habilidade, abordando questões de atribuição em tarefas de longo horizonte.
- Currículo de Três Estágios: O treinamento progride de apenas extração de habilidades, para extração + evolução, e finalmente para o ciclo de vida completo incluindo manutenção, permitindo reutilização de dados entre os estágios.

Contribuições Principais

Framework CODESKILL: Um sistema inovador baseado em LLM que aprende a extrair, evoluir e manter habilidades procedurais reutilizáveis a partir de trajetórias de agentes de codificação, indo além da destilação de habilidades baseada em prompts estáticos.
Política de Gerenciamento Aprendível: Os autores reformulam o gerenciamento de habilidades como uma política aprendível otimizada via RL. A função de recompensa equilibra de forma única julgamentos de qualidade baseados em rubricas densas com feedback de execução esparsos e verificáveis de um agente a jusante congelado.
Validação Empírica: Avaliação extensa em EnvBench, SWE-Bench Verified e Terminal-Bench 2 demonstra que o gerenciamento aprendido de habilidades supera tanto linhas de base sem habilidade quanto linhas de base fortes baseadas em prompts ou memória.

Resultados Experimentais

Os autores avaliaram o CODESKILL (instanciado com Qwen3.5-4B) contra várias linhas de base, incluindo execução sem habilidade, memória de nível de subtarefa e gerenciamento de habilidades baseado em prompts, utilizando tanto backends de código aberto (Qwen3.5-4B) quanto fechados (GPT-5.4-mini).

Ganhos de Desempenho:
- O CODESKILL melhorou a taxa de aprovação média em 9,69% sobre a linha de base sem habilidade.
- Superou a linha de base mais forte baseada em prompts ou memória em 4,01% (um ganho relativo de ~11%).
- Os ganhos foram consistentes em tarefas dentro do domínio (EnvBench, SWE-Bench) e fora da distribuição (Terminal-Bench 2).
Eficiência: O CODESKILL reduziu o número médio de etapas de raciocínio em instâncias resolvidas (de 44,12 para 35,15 sob a política Qwen3.5-35B-A3B), indicando que a orientação procedural recuperada ajuda os agentes a alcançar soluções de forma mais direta.
Generalização: A política aprendida generalizou-se efetivamente para um agente a jusante congelado diferente (GPT-5.4-mini), sugerindo que o comportamento de gerenciamento de habilidades não está superajustado a um solucionador específico.
Estudos de Ablação:
- Tanto as habilidades de nível de tarefa quanto as orientadas a eventos contribuíram com conhecimento complementar.
- O ciclo de vida completo (incluindo manutenção) reduziu o tamanho do banco de habilidades em quase metade (de 1.252 para 676 habilidades) enquanto preservava a maior parte da utilidade a jusante, demonstrando controle efetivo de redundância.
- O ajuste fino supervisionado (SFT) sozinho não generalizou bem para tarefas fora da distribuição, destacando a necessidade de RL com feedback a jusante.

Significado e Alegações

O artigo afirma que o gerenciamento aprendido de memória procedural é uma direção promissora para agentes de codificação. Diferentemente de métodos que dependem de prompts fixos ou recuperação simples de memórias episódicas, o CODESKILL demonstra que otimizar uma política de gerenciamento de habilidades com feedback verificável a jusante permite que os agentes acumulem e reutilizem experiência de engenharia de software de longo horizonte de forma mais eficaz. O trabalho destaca que a injeção estática de habilidades é insuficiente; em vez disso, é necessária uma política adaptativa e aprendível para garantir que as habilidades permaneçam reutilizáveis, acionáveis e com tamanho apropriado para a resolução de tarefas futuras.

Limitações Reconhecidas pelos Autores:

O sistema atual foca em habilidades de instrução em linguagem natural e ainda não gera scripts executáveis, APIs ou definições de ferramentas.
O espaço de ação é restrito a uma operação em uma única habilidade candidata por vez, limitando a capacidade de expressar decisões complexas de manutenção multi-habilidade (por exemplo, dividir uma habilidade ampla ou coordenar múltiplas atualizações simultaneamente).