🤖 AI

SkillForge: Self-Distilling Agents for Project-Specific Issue Resolution

O SkillForge é um framework de autodestilação que aprimora proativamente a capacidade de agentes de grandes modelos de linguagem de resolver problemas de software em repositórios específicos ao sintetizar e resolver problemas artificiais derivados de funcionalidades principais, destilando assim conhecimento de projeto reutilizável e fundamentado em entidades sem depender de dados históricos de reparo ou de exploração dispendiosa em tempo de execução.

Autores originais: Silin Chen, Han Li, Xiaodong Gu, Yuling Shi, Haibing Guan

Publicado 2026-08-20

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Silin Chen, Han Li, Xiaodong Gu, Yuling Shi, Haibing Guan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Na vasta e intrincada paisagem do software moderno, o código é a base sobre a qual o nosso mundo digital repousa. Quando algo quebra em um programa complexo, consertá-lo muitas vezes exige uma compreensão profunda não apenas da peça quebrada, mas de como essa peça se encaixa em toda a máquina. Por décadas, os humanos têm sido os principais mecânicos para este trabalho, mas recentemente, a inteligência artificial começou a assumir as ferramentas. Grandes modelos de linguagem, que são programas de computador poderosos treinados em quantidades massivas de texto e código, mostraram que podem navegar por esses repositórios digitais, encontrar bugs e escrever correções. No entanto, um obstáculo significativo permanece: esses agentes de IA frequentemente têm dificuldade quando confrontados com um projeto específico e desconhecido. Eles carecem do contexto local — as regras não escritas, as formas específicas como diferentes partes do código conversam entre si e a história única de como aquele software em particular foi construído. Sem esse conhecimento interno, a IA é como um mecânico brilhante deixado em uma garagem que ele nunca viu, forçado a adivinhar como o motor funciona toda vez que encontra um novo problema.

Pesquisadores da Universidade Jiao Tong de Xangai desenvolveram uma nova abordagem para resolver este problema, um método que chamam de SkillForge. Em vez de esperar que a IA tropece em erros do mundo real e aprenda com seus erros ao longo do tempo, este sistema ensina proativamente a IA sobre o projeto específico antes mesmo de ela tentar uma correção real. A equipe percebeu que, para entender um projeto, a IA precisa praticar nele primeiro. Assim, eles criaram um campo de treinamento onde a própria IA gera seus próprios problemas falsos. Ao pegar as funções principais de um projeto de software — aquelas partes que já são testadas e conhecidas por funcionar — e pedir à IA que as reescreva do zero, o sistema força a IA a cometer erros. Como a IA não tem acesso ao código original, ela deve confiar em seu conhecimento geral, o que inevitavelmente leva a erros que são específicos de como aquele projeto é realmente construído. Esses erros, que os pesquisadores chamam de questões sintéticas, são então usados como uma ferramenta de aprendizado. A IA tenta corrigir esses bugs falsos e, ao fazer isso, revela os padrões ocultos e as regras específicas desse projeto de software.

O sistema então pega os caminhos que a IA utilizou para resolver esses problemas falsos e os destila em um conjunto de "habilidades". Pense nessas habilidades como um guia personalizado para esse software específico. Os pesquisadores organizaram esse conhecimento em dois tipos. O primeiro tipo é um mapa de alto nível que ajuda a IA a entender a estrutura geral do projeto, como o que diferentes partes do código devem fazer e como elas costumam interagir. O segundo tipo é um conjunto de instruções específicas para quando a IA está realmente editando o código, alertando-a sobre armadilhas comuns e lembrando-a das peculiaridades únicas do projeto. Quando a IA é posteriormente solicitada a resolver um problema real naquele mesmo software, ela consulta este guia. Ela primeiro carrega o mapa de alto nível para se orientar e, em seguida, conforme mergulha no código, recebe lembretes de "just-in-time" sobre as regras específicas que precisa seguir. Isso acontece automaticamente, garantindo que a IA tenha o contexto certo exatamente quando precisa dele.

Os pesquisadores testaram este método em uma ampla gama de projetos de software do mundo real, usando dois modelos de IA poderosos diferentes para ver se funcionava. Eles compararam seu sistema com outros métodos que tentam ajudar a IA a aprender com correções humanas passadas ou explorando o código enquanto resolvem um problema. Os resultados foram claros: a abordagem SkillForge superou consistentemente os outros. Em um teste padrão de tarefas de engenharia de software, o sistema melhorou a taxa de sucesso da IA em quase seis pontos percentuais em comparação com um modelo de base que não possuía conhecimento especial do projeto. Essa melhoria mante-se verdadeira mesmo quando os pesquisadores testaram o sistema em um conjunto de desafios diferente e mais difícil. O estudo mostrou que, ao ensinar a IA sobre o projeto específico antes que o trabalho real comece, o sistema pode resolver problemas de forma mais precisa e eficiente do que métodos que tentam aprender sobre o voo ou que dependem de dados históricos que podem não cobrir o problema atual.

Um dos aspectos mais reveladores da pesquisa foi observar como o comportamento da IA mudou com este novo conhecimento. Em um caso específico envolvendo um bug de formatação complexo em um framework web popular, uma IA sem este treinamento rapidamente se estabeleceu em uma solução simples e incorreta que parecia certa à primeira vista, mas falhou ao ser testada contra todo o conjunto de requisitos. Ela perdeu a lógica sutil e específica do projeto necessária para lidar com os dados corretamente. Em contraste, a IA equipada com o guia SkillForge adotou uma abordagem mais cuidadosa e estruturada. Ela parou para considerar as regras específicas do projeto, evitou uma armadilha comum na qual a IA não treinada caiu e, finalmente, encontrou uma solução que passou em todos os testes necessários. Isso demonstrou que o sistema não estava apenas dando mais informações à IA, mas estava mudando fundamentalmente a forma como ela raciencia sobre o código, ajudando-a a evitar os tipos de erros que vêm de aplicar regras gerais a um ambiente específico e único.

Os pesquisadores também exploraram se o conhecimento adquirido de um modelo de IA poderia ser transferido para outro. Eles descobriram que as habilidades destiladas por um modelo de IA eram mais eficazes quando usadas pelo mesmo modelo. Isso sugere que o conhecimento está profundamente ligado à forma como uma IA específica pensa e escre-se código, em vez de ser um conjunto universal de fatos sobre o software. Essa descoberta destaca que o valor do sistema reside em sua capacidade de capturar a forma específica como uma IA particular interage com um projeto específico. Além disso, o estudo mostrou que o sistema funciona melhor quando foca em reescrever múltiplas partes conectadas do código juntas, em vez de apenas funções isoladas. Essa abordagem captura as interações complexas entre diferentes partes do software, que é onde o conhecimento mais crítico e específico do projeto costuma se esconder.

Fundamentalmente, este trabalho oferece uma nova maneira de preencher a lacuna entre a IA geral poderosa e as necessidades específicas da engenharia de software do mundo real. Ao mudar de uma abordagem reativa, onde a IA aprende com os erros depois que eles acontecem, para uma abordagem proativa, onde ela aprende as regras do jogo antes que a partida comece, os pesquisadores mostraram um caminho para agentes de software mais confiáveis e capazes. O sistema não requer um histórico massivo de correções humanas passadas para funcionar, nem exige que a IA gaste tempo e recursos explorando o código cegamente durante o processo de reparo real. Em vez disso, constrói uma base de conhecimento direcionada e eficiente que permite que a IA comece o trabalho com prontidão. Os resultados sugerem que, para a IA se tornar verdadeiramente uma parceira no desenvolvimento de software, ela deve ter a chance de aprender a linguagem e os costumes específicos do projeto em que está trabalhando, e o SkillForge fornece uma maneira prática e eficaz de fazer exatamente isso.

Resumo Técnico: SkillForge

Definição do Problema

Agentes baseados em Grandes Modelos de Linguagem (LLMs) têm demonstrado proficiência significativa na resolução automatizada de problemas de software, particularmente em benchmarks padrão como o SWE-bench. No entanto, surge um gargalo crítico ao implantar esses agentes em repositórios específicos do mundo real: o problema do cold-start (início a frio). Os agentes tipicamente carecem de conhecimento específico do projeto, como regularidades estruturais, padrões de falha recorrentes, contratos de API específicos e caminhos de execução implícitos únicos de uma base de código.

Abordagens existentes para preencher essa lacuna são reativas em vez de proativas:

Métodos baseados em histórico (ex: EvoCoder, SWE-Exp) destilam conhecimento de trajetórias históricas de resolução de problemas. Eles são limitados pela cobertura e qualidade dos problemas passados; não conseguem aprender sobre comportamentos ou componentes do repositório que ainda não foram exercitados por dados históricos.
Métodos online refinam os agentes durante a exploração em tempo de teste no problema atual. Embora eficazes, eles incorrem em custos substanciais por problema em termos de tokens, tempo e recursos computacionais.

O artigo argumenta que esperar pelo acúmulo de problemas reais ou confiar na exploração online dispendiosa é insuficiente. Há necessidade de um framework que adquira proativamente o conhecimento específico do projeto a partir do próprio repositório antes de tentar resolver problemas reais.

Metodologia: SkillForge

O SkillForge é um framework de autodestilação projetado para adquirir proativamente o conhecimento específico do projeto através da síntese de problemas diretamente do código e dos testes do repositório. O framework opera através de quatro estágios distintos:

1. Síntese de Problemas Específicos do Projeto

Em vez de esperar por relatórios de bugs reais, o SkillForge gera problemas sintéticos reescrevendo funcionalidades principais do repositório.

Escopo Orientado a Testes: O framework identifica casos de teste que cobrem funcionalidades principais e os executa sob instrumentação de cobertura para gerar traços de execução.
Seleção de Segmentos Críticos: Um LLM seleciona segmentos de código de alto impacto (funções ou fragmentos coesos) exercitados por esses testes.
Reescrita de Código: O LLM é solicitado a reimplementar esses segmentos sob uma restrição de "máscara estrita" (strict-mask). Crucialmente, o LLM não recebe a implementação original, recebendo apenas o contexto circundante e o objetivo do teste. Isso força o modelo a depender de conhecimento de codificação geral, resultando frequentemente em erros de implementação que violam convenções específicas do projeto (ex: acoplamento de API, caminhos de execução específicos).
Montagem de Instâncias: O código reescrito induz falhas nos testes. Essas falhas são convertidas em instâncias de problemas sintéticos (declaração do problema, patch bugado, patch de referência) que mimetizam o formato das tarefas padrão do SWE-bench.

2. Destilação de Habilidades (Skill Distillation)

Um agente SWE tenta resolver esses problemas sintéticos. As trajetórias de ação resultantes são então destiladas em um repositório de habilidades de nível duplo:

Habilidades Diagnósticas Globais ( $M_{ext}$ ): Captura o conhecimento de nível de projeto para diagnóstico e navegação. Para cada entidade do repositório, registra:
- Propósito: O papel da entidade na resolução de problemas.
- Playbook: Estratégias de raciocínio reutilizáveis validadas durante a resolução.
- APIs Relacionadas: Padrões de interação entre APIs específicos do projeto.
Habilidades de Intervenção Local ( $M_{int}$ ): Captura orientações de modificação específicas de cada entidade. Registra lições acionáveis de trajetórias bem-sucedidas e falhas, como "evitar sobrescrever X" ou "garantir que setup_query seja chamado", para prevenir falhas recorrentes.

3. Adaptação de Habilidades (Recuperação e Injeção)

Durante a resolução de problemas do mundo real subsequentes, o SkillForge utiliza o conhecimento destilado através de um mecanismo de dois estágios:

Inicialização de Macro-nível: Antes de resolver um problema, habilidades diagnósticas globais relevantes ( $M_{ext}$ ) são recuperadas (via BM25) com base na descrição do problema e são prefixadas ao prompt do agente para fornecer contexto de alto nível do projeto.
Injeção Just-in-Time (JIT) de Micro-nível: À medida que o agente interage com o código (ex: executando comandos de shell para ler arquivos), o sistema injeta dinamicamente habilidades de intervenção local ( $M_{int}$ ) associadas às entidades acessadas. Isso garante que a orientação seja fornecida exatamente quando o agente encontra regiões de código específicas, evitando ruído de contexto.

Principais Contribuições

Paradigma de Autodestilação Proativa: O artigo propõe uma abordagem inovadora para o problema do cold-start que adquire conhecimento específico do projeto diretamente dos testes e do código do repositório, eliminando a necessidade de trajetórias ricas de problemas históricos ou exploração online dispendiosa por problema.
Repositório de Habilidades de Nível Duplo: O design de uma base de conhecimento estruturada separando habilidades diagnósticas globais (para navegação e raciocínio) e habilidades de intervenção local (para modificações de código específicas), permitindo recuperação baseada em entidades e orientação just-in-time.
Validação Empírica: Experimentos extensos demonstram que esta estratégia de aquisição proativa supera significativamente tanto os baselines de histórico quanto os online em diversos benchmarks e backbones de modelos.

Resultados Experimentais

O framework foi avaliado no SWE-bench Verified (500 tarefas) e no SWE-bench Pro (731 tarefas) utilizando DeepSeek-V3.2 e GPT-5-mini.

Ganhos de Desempenho:
- No SWE-bench Verified, o SkillForge alcançou 72,2% (DeepSeek) e 60,6% (GPT-5) de Pass@1, melhorando o baseline Mini-SWE-Agent em +5,8% e +5,6%, respectivamente.
- No SWE-bench Pro, alcançou 34,1% (DeepSeek) e 51,7% (GPT-5) de Pass@1, melhorando o baseline em +5,8% (DeepSeek) e +4,1% (GPT-5).
Comparação: O SkillForge superou todos os baselines de histórico (ex: MemGovern, SWE-Exp) e online (ex: SAGE, SWE-Debate) avaliados. Notavelmente, evitou os altos custos por problema associados aos métodos de exploração online.
Estudos de Ablação:
- A remoção de qualquer uma das habilidades (global ou local) resultou em quedas significativas de desempenho, confirmando a necessidade de ambos os tipos de conhecimento.
- Transferibilidade: Descobriu-se que o conhecimento destilado é específico do LLM. O conhecimento destilado por um modelo (ex: DeepSeek) proporcionou menos benefício para outro (ex: GPT-5), sugerindo que os "desajustes" expostos durante a síntese são dependentes do modelo.
Hiperparâmetros: Contagens moderadas de recuperação ( $k_r=5$ ) e escopos de síntese ( $k_s=5$ segmentos) produziram resultados ótimos; a recuperação ou reescrita excessiva introduziu redundância ou complexidade que degradou o desempenho.
Generalização: O SkillForge mostrou melhorias consistentes em sete repositórios diversos (ex: Django, Scikit-learn, Sphinx) sem regressão, enquanto os baselines de histórico mostraram desempenho inconsistente e regressões ocasionais.

Significância e Alegações

O artigo afirma que adquirir proativamente o conhecimento específico do projeto antes de resolver problemas reais é uma estratégia superior à aquisição reativa. Ao sintetizar problemas que expõem a lacuna entre os vieses de codificação gerais de um agente e os padrões de implementação específicos de um repositório, o SkillForge cria uma base de conhecimento reutilizável e fundamentada em entidades.

Os autores enfatizam que esta abordagem:

Resolve o problema do cold-start sem depender de dados históricos que podem ser escassos ou enviesados.
Evita os custos proibitivos da exploração de teste em tempo real para cada novo problema.
Fornece um mecanismo escalável para adaptar agentes de LLM de propósito geral a bases de código específicas, levando a uma resolução de problemas mais robusta e precisa em diversos projetos de software.

O trabalho conclui que a "autodestilação" de conhecimento a partir do próprio repositório, em vez de história externa ou tentativa e erro em tempo real, representa uma alternativa eficaz e escalável para aprimorar agentes de engenharia de software.