Resumo Técnico: De Fragmentos a Caminhos: Recuperação de Contexto em Nível de Tarefa para Grandes Bases de Código Industriais

1. Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado um forte desempenho em várias tarefas de engenharia de software (SE), compreender de forma confiável grandes repositórios de código industriais continua sendo um desafio significativo. As abordagens existentes frequentemente dependem da recuperação de fragmentos locais isolados (ex: via similaridade semântica ou grafos de dependência estática), mas falham em recuperar o contexto mais amplo e relevante para a tarefa, necessário para tarefas complexas em nível de repositório.

Principais desafios identificados incluem:

• Fragmento vs. Caminho: A conclusão bem-sucedida de uma tarefa frequentemente exige o raciocínio sobre uma cadeia de implementação completa que abrange interfaces, lógica de negócio, configurações, testes e dependências entre módulos, em vez de apenas trechos de código isolados.
• Dependências Implícitas: Muitas ligações críticas em repositórios industriais (ex: registro de configuração, injeção de dependência, propagação de eventos) são expressas implicitamente e negligenciadas pela recuperação semântica padrão ou análise estática explícita.
• Restrições de Frescor e Orçamento: Muitos métodos de compreensão de repositório dependem de índices pré-construídos offline (bancos de dados vetoriais, grafos estáticos). Em ambientes industriais que evoluem rapidamente, com commits frequentes e mudanças de módulos, manter esses artefatos é dispendioso e leva ao atraso de sincronização, degradando a qualidade e a tempestividade da recuperação.

2. Metodologia: DEEPDISCOVERY

Os autores propõem o DEEPDISCOVERY, um método de compreensão de repositório em nível de tarefa projetado para recuperar o contexto completo relevante para a tarefa sob restrições de orçamento, sem depender de pré-processamento offline. O sistema opera através de um framework de dois estágios: Localização–Inferência.

A. Representação do Repositório

O repositório é modelado como um grafo multirelacional $G = (V, A)$, onde $V$ representa artefatos (arquivos fonte, configurações, testes) e $A$ representa três tipos de relações:

1. Dependências Explícitas: Imports, chamadas, herança, referências.
2. Ligações Implícitas Relevantes para a Tarefa: Mapeamentos de configuração-para-código, locais de registro, fiação de injeção de dependência, vínculos de eventos e pontes de teste-para-implementação (extraídas via uma biblioteca de regras leve).
3. Relações Organizacionais: Contenção de pastas, limites de módulos, pistas de propriedade e proximidade física.

B. O Fluxo de Trabalho de Dois Estágios

Estágio 1: Localização (Localização de Âncoras da Tarefa)

O objetivo é identificar um pequeno conjunto de pontos de entrada de alta confiança (âncoras) para estreitar o espaço de busca. Este estágio envolve:

• Análise Consciente do Ambiente: Inferir fatores relevantes para a tarefa (stack tecnológica, escopo do módulo) para suprimir áreas não relacionadas.
• Compressão Adaptativa do Repositório: Construir uma visão comprimida do repositório que ajusta a granularidade com base na escala e no orçamento, preservando pistas estruturais sem carregar o texto completo.
• Localização de Âncoras Guiada por Regras: Classificar entidades candidatas usando uma função de pontuação que combina:
  • Similaridade semântica (embedding + correspondência lexical).
  • Alinhamento com a visão estrutural comprimida.
  • Correspondências de modelos de regras (padrões de nomenclatura, estruturas de diretórios, palavras-chave de frameworks).
  • Priores condicionadas à tarefa sobre papéis de artefatos.

Estágio 2: Inferência (Recuperação de Caminho de Implementação Multirelacional)

Partindo das âncoras identificadas, o sistema expande incrementalmente para recuperar o caminho de implementação mais amplo:

• Expansão Consciente do Orçamento: O sistema seleciona ações de expansão (seguindo links explícitos/implícitos ou proximidade organizacional) baseadas em uma pontuação de prioridade: $Prioridade = \frac{Ganho}{Custo}$.
  • Ganho: Melhoria estimada na relevância da tarefa e na completude do caminho.
  • Custo: Uso de tokens e latência de exploração.
• Construção de Candidatos e Reclassificação: As ações selecionadas formam clusters de candidatos que são filtrados e reclassificados antes de serem adicionados ao contexto.
• Construção de Contexto Baseada em Metadados: Para otimizar o orçamento, o sistema escolhe entre uma visão de metadados (resumo estrutural) e o conteúdo de texto completo para cada entidade. O texto completo só é carregado se uma pontuação de promoção indicar que ele é necessário para o raciocínio subsequente.

3. Principais Contribuições

1. Framework DEEPDISCOVERY: Um novo método para grandes bases de código industriais que trata a compreensão do repositório como recuperação de contexto relevante para a tarefa, em vez de apenas recuperação de fragmentos. Utiliza um processo de dois estágios de Localização–Inferência combinando localização de âncoras, expansão multirelacional e construção baseada em metadados.
2. Avaliação Controlada em Nível de Método: Uma comparação contra cinco baselines representativos (DeepWiki, CodeWiki, RAG, GraphRAG, AST+GraphRAG) em tarefas de média escala, demonstrando qualidade superior na recuperação de arquivos sem pré-processamento offline.
3. Avaliação de Sistema em Escala Industrial: Uma avaliação sistemática em um ecossistema de código integrado de escala de produção (2,67 milhões de linhas de código, mais de 25.000 arquivos) e múltiplos sistemas de codificação de IA reais (Cline, Cursor, Claude Code, etc.), mostrando melhorias consistentes na Taxa de Recuperação Total (Full Recall Rate).
4. Impacto de Ponta a Ponta: Uma avaliação controlada no SWE-bench Verified mostrando que a melhor compreensão do repositório correlaciona-se diretamente com maiores Taxas de Resolução (Solve Rates) de tarefas.

4. Resultados Experimentais

Comparação de Método (Tarefas de Média Escala)

Em 27 tarefas de média escala com 135 arquivos relevantes de referência (gold):

• Qualidade de Recuperação: O DEEPDISCOVERY alcançou a maior Taxa de Recuperação Total (FRR) de 92,6%, superando o melhor baseline (AST+GraphRAG com 90,4%) e superando significativamente o RAG (84,4%).
• Eficiência: O DEEPDISCOVERY exigiu 0 horas de pré-processamento offline, enquanto os baselines baseados em grafos exigiram ~9 horas.
• Latência: No tempo de execução da tarefa, o DEEPDISCOVERY foi significativamente mais rápido (13,2s) do que os pipelines do tipo RAG (44,8s – 63,8s).
• Uso de Tokens: Alcançou alta recuperação com menos tokens de execução do que o AST+GraphRAG, indicando ganhos de eficiência além da simples exposição de mais conteúdo.

Avaliação de Sistema (Ecossistema Industrial)

Avaliado em 27 tarefas de média escala e 40 tarefas de grande escala em seis sistemas de codificação de IA:

• Taxa de Recuperação Total: O DEEPDISCOVERY melhorou a FRR em todos os sistemas.
  • Subprojetos Grandes: Os ganhos absolutos variaram de 1,6 a 9,2 pontos percentuais.
  • Subprojetos Médios: Os ganhos absolutos variaram de 2,5 a 7,4 pontos percentuais.
• Estabilidade: As melhorias foram consistentes em múltiplas execuções e sistemas, com os ganhos mais significativos observados em sistemas com capacidades nativas de busca de repositório mais fracas.

Avaliação de Ponta a Ponta (SWE-bench Verified)

• Taxa de Resolução (Solve Rate): Um sistema equipado com DEEPDISCOVERY alcançou uma Taxa de Resolução de 78,6%, superando o baseline correspondente (70,4%) em 8,2 pontos percentuais (41 tarefas adicionais resolvidas).
• Significância Estatística: A melhoria foi estatisticamente significativa ($p < 0,01$) via teste de McNemar pareado.
• Especificidades do Repositório: Os ganhos foram mais pronunciados em repositórios que exigem raciocínio entre arquivos, entre módulos ou sensíveis a configurações (ex: django, xarray, scikit-learn), enquanto tarefas localizadas viram ganhos mínimos ou nulos.

Estudo de Ablação

A remoção de componentes chave reduziu o desempenho:

• Apenas Localização: A FRR caiu de 85,8% para 80,0%, confirmando que âncoras sozinhas são insuficientes.
• Sem Compressão Adaptativa: A FRR caiu para 81,5%.
• Sem Relações Implícitas: A FRR caiu para 83,3%, destacando a importância de ligações não explícitas.
• Sem Metadados Primeiro: A FRR caiu para 82,2%, mostrando o valor do carregamento seletivo de texto completo.

5. Significância e Alegações

O artigo afirma que uma compreensão mais forte do repositório em nível de tarefa é um fator crítico para melhorar o desempenho de agentes de codificação em tarefas complexas de SE.

• Mudança de Paradigma: O trabalho argumenta a favor da transição da "recuperação de fragmentos" para a "recuperação de contexto em nível de tarefa", reconhecendo que tarefas industriais exigem a ponte entre dependências implícitas e artefatos de configuração que a recuperação padrão perde.
• Viabilidade Prática: Ao evitar o pré-processamento offline, o DEEPDISCOVERY aborda o problema do "frescor", oferecendo uma solução viável para bases de código que evoluem rapidamente, onde manter grafos estáticos é impraticável.
• Complementaridade: Os resultados sugerem que a compreensão do repositório e o raciocínio do modelo são complementares; mesmo modelos de fundação fortes beneficiam-se significativamente de mecanismos de recuperação de contexto aprimorados.

Os autores mantêm um tom modesto, observando que o DEEPDISCOVERY é um aprimoramento "orientado à recuperação" que pode não beneficiar todas as tarefas igualmente (ex: tarefas altamente localizadas) e que falhas podem ocorrer com descrições de tarefas ambíguas ou convenções de nomenclatura inconsistentes. Eles posicionam o trabalho como um passo significativo em direção à compreensão robusta de repositórios em nível de tarefa, em vez de uma solução universal para todos os cenários de recuperação.