Towards Comprehensive Benchmarking Infrastructure for LLMs In Software Engineering

Resumo Técnico: Rumo a uma Infraestrutura de Benchmarking Abrangente para LLMs em Engenharia de Software

Declaração do Problema
O rápido avanço dos Grandes Modelos de Linguagem para código (LLMc) superou o desenvolvimento de metodologias de avaliação confiáveis. As práticas atuais de benchmarking sofrem de três deficiências primárias que obscurecem lacunas críticas em robustez, interpretabilidade, equidade, eficiência e usabilidade no mundo real dos modelos:

1. Falta de Datasets Especializados em SE: Os datasets existentes focam predominantemente em pares isolados de código-fonte e linguagem natural, negligenciando atributos essenciais de engenharia de software (SE), como estruturas de repositórios, configurações de build, históricos de commits e restrições específicas de projeto. Isso resulta em benchmarks que avaliam a correção sintática, mas falham em avaliar a integração em projetos de software reais.
2. Dependência Excessiva de Métricas Centradas em ML: A avaliação é fortemente enviesada para acurácia, precisão, recall e similaridade de texto (ex: BLEU, CodeBLEU). Essas métricas falham em capturar equivalência semântica, correção parcial ou dimensões críticas de SE, como manutenibilidade, segurança e viés. Além disso, a "Ilusão do SWE-bench" sugere que a alta acurácia frequentemente decorre da memorização de soluções curadas, em vez de um raciocínio genuíno.
3. Ausência de Pipelines de Dados Padronizados: A construção de benchmarks é fragmentada, com cada grupo de pesquisa construindo sua própria infraestrutura do zero. Isso leva a um pré-processamento inconsistente, procedência de dados não documentada, contaminação de dados generalizada (leakage) e excesso de overhead de recursos (frequentemente 50–75% do esforço de pesquisa), dificultando a reprodutibilidade e a comparação justa.

Metodologia
Para enfrentar esses desafios, os autores empregaram uma abordagem de método duplo, combinando uma pesquisa abrangente de benchmarks existentes com insights de um workshop dedicado da comunidade.

• Pesquisa (Survey): Os autores analisaram benchmarks em cinco tarefas principais de SE: geração de código, correção de bugs, detecção de vulnerabilidades, geração de testes e sistemas de agentes/multitarefa. Eles revisaram benchmarks proeminentes (ex: HumanEval, SWE-bench, LiveCodeBench, SecBench) publicados em conferências líderes (ICSE, ASE, FSE, TOSEM).
• Síntese de Workshop: Os autores sintetizaram as perspectivas de especialistas da comunidade para identificar lacunas de infraestrutura e formular requisitos para um ecossistema de avaliação de próxima geração.
• Proposta de Framework: Com base nessas descobertas, os autores propuseram o BEHELM (Benchmarking for Holistic Evaluation of Large Language Models for Code), uma infraestrutura unificada projetada para padronizar a especificação de cenários e a avaliação multimétrica.

Principais Contribuições

1. Síntese de Lacunas de Infraestrutura: O artigo identifica e articula três barreiras críticas para a avaliação confiável de LLMc: a ausência de datasets ricos em SE, o domínio de métricas de ML estreitas e a falta de pipelines de engenharia de dados padronizados.
2. Pesquisa Abrangente de Benchmarks: Uma análise detalhada dos benchmarks atuais revela suas limitações, como a contaminação de dados em benchmarks "vivos" (ex: o LiveCodeBench mostrando quedas de desempenho de 15–20% em dados pós-cutoff) e a incapacidade de soluções de referência única em capturar a avaliação baseada em intenção.
3. O Framework BEHELM: Os autores introduzem uma infraestrutura holística composta por dois componentes interconectados:
   • Especificação de Cenário de Software: Uma taxonomia sistemática que decompõe contextos de avaliação em cinco propriedades: Tarefa de Software (ex: correção de bugs, tradução), Linguagem de Programação, Granularidade de Entrada (ex: tokens, snippets), Granularidade de Saída (ex: métodos, arquivos) e Tipo de I/O (ex: código-para-código, texto-para-código).
   • Avaliação Multimétrica: Uma mudança da avaliação de métrica única para um espaço multidimensional que avalia seis dimensões: Acurácia, Eficiência, Interpretabilidade, Viés, Equidade e Robustez.
4. Recomendações da Comunidade: Diretrizes concretas para o desenvolvimento de infraestrutura de benchmarking sustentável, incluindo pipelines automatizados para extração e deduplicação de dados, rastreamento rigoroso de procedência e formatos de relatório padronizados.

Resultados e Descobertas
O estudo destaca observações empíricas específicas do cenário pesquisado:

• Efeitos de Contaminação: Os modelos apresentam degradação significativa de desempenho (15–20%) em tarefas lançadas após seus cutoffs de treinamento, indicando que os altos escores atuais frequentemente refletem memorização.
• Discrepâncias de Dificuldade de Tarefa: Enquanto os melhores modelos alcançam >70% em subconjuntos curados como o SWE-bench Verified, o desempenho cai para ~23% no SWE-bench Pro (usando código recente e privado), revelando um gap entre o desempenho no benchmark e a capacidade no mundo real.
• Limitações de Métricas: Taxas de passagem de testes são proxies insuficientes para qualidade de código; por exemplo, o SecBench descobriu que mesmo os melhores LLMs alcançaram apenas 49% de sucesso na geração de exploits de prova de conceito e 34% no patch de vulnerabilidades.
• Ineficiência: O fardo manual da criação de datasets é insustentável, com estudos mostrando que até 75% do tempo de projeto é consumido pela engenharia de dados, em vez de métodos de avaliação novos.

Significância e Alegações
O artigo afirma que a infraestrutura BEHELM proposta é significativa porque move o campo de avaliações fragmentadas e estreitas em direção a um framework de avaliação unificado, reprodutível e realista.

• Avaliação Holística: Ao desacoplar a definição de cenário da seleção de métricas, o BEHELM permite que pesquisadores avaliem modelos através de diversos contextos de engenharia de software e dimensões de qualidade simultaneamente.
• Redução de Overhead: O framework visa baixar a barreira de entrada para a criação de novos benchmarks ao fornecer ferramentas padronizadas para perfilamento, comparação e depuração do comportamento do modelo, reduzindo assim o esforço redundante atualmente gasto na construção de datasets.
• Preparação para o Futuro: A infraestrutura é projetada para suportar a avaliação de ferramentas modernas de desenvolvimento assistido por IA (ex: sistemas agentes) através de avaliações conscientes de processo e baseadas em marcos (milestones), em vez de métricas binárias de sucesso/falha.

Os autores posicionam o BEHELM não como um único benchmark estático, mas como um hub impulsionado pela comunidade destinado a unificar esforços existentes e facilitar a criação de novas avaliações de alta qualidade que reflitam a complexidade da engenharia de software do mundo real.