Resumo Técnico: Do Laboratório para Aplicações do Mundo Real: Avaliação de Raciocínio de Agentes de Código no Nível de Repositório

Declaração do Problema

À medida que os Modelos de Linguagem de Grande Escala (LLMs) evoluem para agentes de software autônomos, a competência central exigida deslocou-se da execução de raciocínio localizado em fragmentos de código isolados para a manutenção da consistência lógica em sistemas de arquivos extensos e interdependentes. Os autores definem essa capacidade como Raciocínio no Nível de Repositório.

Os métodos de avaliação atuais sofrem de uma lacuna crítica:

1. Benchmarks Isolados: Conjuntos de dados como CRUXEval e REval operam em "ambientes de laboratório" usando fragmentos isolados, carecendo das dependências entre arquivos e dos contextos arquitetônicos complexos do software do mundo real.
2. Avaliações de Caixa Preta: Frameworks como o SWE-bench avaliam agentes em ambientes de repositório reais, mas funcionam como caixas pretas, verificando apenas se um problema foi resolvido, sem fornecer insights sobre por que um agente falha.

Essa falta de diagnóstico granular obscurece os gargalos cognitivos específicos que impedem os agentes de escalar para tarefas de engenharia de software do mundo real.

Metodologia: RepoReason

Para abordar essas lacunas, os autores introduzem o RepoReason, um benchmark de diagnóstico de caixa branca centrado na Verificação Abdutiva de Asserções. O pipeline de construção é projetado como um sistema de defesa de cinco fases para garantir que as tarefas sejam logicamente autênticas, resistentes à contaminação de dados e livres de superficialidade.

1. Filosofia de Design: Asserções como Âncoras Semânticas

Diferentemente da previsão tradicional de Entrada/Saída ou consultas de rastreamento bruto (que permitem aprendizado de atalhos via análise estática), o RepoReason utiliza asserções de teste unitário como âncoras semânticas.

• Raciocínio Abductivo: A tarefa é enquadrada como "Dada a história de execução complexa, qual é o estado atual do sistema?". O modelo deve deduzir um valor determinístico para satisfazer uma asserção mascarada (ex: assert len(cache) == <mask>).
• Desacoplamento: Essa abordagem separa o raciocínio lógico central do ruído sintático (ex: erros de formatação, alucinações de API), garantindo que as falhas reflitam déficits genuínos de raciocínio.

2. Framework de Mutação Orientado à Execução (Anti-Memorização)

Para evitar que os modelos dependam de dados de pré-treinamento (memorização mecânica) ou correlações espúrias, os autores implementam um mecanismo de Mutação Orientada à Execução:

• Oráculo Semântico: O ambiente de execução de código atua como um Oráculo Semântico.
• Mutação: Um LLM professor realiza mutações visuais e lógicas unificadas (renomeando variáveis, alterando constantes, reestruturando código) enquanto preserva estritamente a sequência original de chamadas de API para manter a complexidade invariante do raciocínio.
• Regeneração da Verdade Terrena: O código mutado é executado para capturar valores reais de tempo de execução. Esses valores são usados para reconstruir asserções que correspondem ao estilo da base de código original (ex: preservando o uso de is vs. ==).
• Validação: Um mecanismo de controle estrito garante executabilidade, validade da asserção e preservação da API.

3. Filtragem Estrutural e Protocolo de Valor Determinístico

• Filtragem Baseada em Rastreamento: Para eliminar superficialidade lógica, o sistema captura rastreamentos de tempo de execução usando sys.settrace(). Um sistema de pontuação ponderada prioriza a intensidade computacional (contagem de chamadas), profundidade de execução (profundidade da pilha) e dependências entre módulos. Apenas tarefas de alta complexidade (Pontuação ≥ 0,30) são retidas.
• Protocolo de Valor Determinístico: Para garantir reprodutibilidade, o protocolo filtra valores não determinísticos (ex: carimbos de data/hora, endereços de memória aleatórios) e exige que os valores mascarados representem estados concretos de tempo de execução (literais, constantes globais ou construtores resolúveis por parâmetros).

4. Framework de Diagnóstico Cognitivo

O benchmark quantifica a complexidade do raciocínio usando três métricas ortogonais derivadas da segmentação dinâmica de programas:

1. Carga de Leitura (ESV - Volume de Segmentação Efetivo): Mede o volume de código-fonte causalmente relevante necessário. Um ESV alto indica Sobrecarga de Contexto.
2. Profundidade de Simulação (MCL - Comprimento da Cadeia de Mutação): Mede o número de etapas de atualização de estado dinâmico. Um MCL alto indica Déficits de Rastreamento de Estado.
3. Largura de Integração (DFI - Fan-in de Dependência): Mede o número de entradas lógicas a montante independentes que determinam o valor da asserção. Um DFI alto indica Déficits de Agregação.

Resultados Experimentais

Os autores avaliaram modelos de ponta (incluindo Claude-Sonnet-4.5, DeepSeek-v3.1-Terminus, GPT-5.2, Kimi-K2 e Qwen3-Coder) em sete repositórios Python diversos (variando de ~1,2 mil a 776 mil Linhas de Código).

Principais Descobertas

• Degradação de Desempenho: Todos os modelos exibiram um declínio claro na precisão à medida que a dificuldade da tarefa aumentava (Fácil → Difícil).
• O Déficit de Agregação: A descoberta mais significativa é um Déficit de Agregação prevalente. À medida que a Largura de Integração (DFI) aumenta, a precisão cai abruptamente. Quando o DFI excede 20 fontes a montante independentes, a maioria dos modelos (exceto o Claude) cai abaixo de 40% de precisão.
• Efeitos de Penhasco:
  • Leitura: Um declínio acentuado no desempenho ocorre quando o Volume de Segmentação Efetivo (ESV) excede 600 linhas de código.
  • Simulação: Perda significativa de consistência ocorre além de 100 etapas de execução (MCL).
• Específicos do Modelo:
  • Claude-Sonnet-4.5 manteve a maior precisão em todos os níveis, mas ainda mostrou fragilidade na integração de múltiplas fontes.
  • DeepSeek-v3.1 demonstrou a arquitetura mais equilibrada, mostrando robustez excepcional contra DFI alto.
  • GPT-5.2 foi o mais vulnerável em todas as dimensões.
• Correlação Parcial: Mesmo após controlar a carga de leitura (ESV) e a profundidade de simulação (MCL), o DFI permaneceu como a única métrica com correlação negativa estatisticamente significativa com a precisão, confirmando-o como o principal gargalo cognitivo.

Contribuições

O artigo reivindica quatro contribuições primárias:

1. Da Previsão para Verificação Abductiva: Pioneirismo em um paradigma no nível de repositório que muda da previsão direta de resultados para a verificação de asserções mascaradas, desacoplando inteligência arquitetônica do ruído sintático.
2. O Framework do Oráculo Semântico: Resolução do "Dilema Riqueza-Contaminação" via Mutação Orientada à Execução, garantindo que as tarefas sejam logicamente autênticas, mas não memorizadas.
3. Instrumento de Diagnóstico de Caixa Branca: Introdução de um sistema de diagnóstico granular (ESV, MCL, DFI) que mapeia falhas de raciocínio para gargalos cognitivos específicos (sobrecarga de contexto, rastreamento de estado, agregação).
4. Revelação Empírica de Déficits de Agregação: Fornecimento da primeira análise quantitativa do raciocínio de agentes em bases de código massivas, identificando a Largura de Integração (DFI) como a principal barreira para agentes de próxima geração.

Significado e Limitações

Significado:
O artigo argumenta que o caminho para otimizar a próxima geração de engenharia de software de agentes requer ir além do raciocínio local. As descobertas sugerem que pesquisas futuras devem priorizar a síntese de informações de alta amplitude e a consistência de estado de cadeia longa para superar os déficits de agregação identificados. A abordagem de diagnóstico de caixa branca oferece um roteiro para identificar falhas cognitivas específicas, em vez de depender de métricas finais de aprovação/reprovação.

Limitações:
Os autores reconhecem várias restrições:

• Escopo de Linguagem: Atualmente limitado a Python, embora a arquitetura seja projetada para ser portátil.
• Profundidade Lógica: A profundidade do raciocínio é parcialmente limitada pela complexidade dos conjuntos de testes originais do repositório, embora o mecanismo de mutação expanda essa diversidade.
• Profundidade de Rastreamento: Uma profundidade máxima de chamadas de 3 é usada para o cálculo de métricas para otimizar a relação sinal-ruído, filtrando funções de infraestrutura de baixo nível.
• Envolvimento de LLMs: Embora LLMs sejam usados nas etapas de mutação e resolução de variáveis, os valores de verdade terrena são derivados estritamente da execução concreta do código, não da geração do modelo.