Resumo Técnico: AUTOBAXBUILDER

Declaração do Problema

À medida que os Modelos de Linguagem de Grande Escala (LLMs) são cada vez mais integrados à engenharia de software, a avaliação confiável da correção e segurança do código gerado por LLMs tornou-se crítica. Pesquisas anteriores indicam que LLMs frequentemente geram código com vulnerabilidades de segurança, muitas vezes negligenciando a segurança em favor da correção funcional. As estruturas de avaliação existentes sofrem com três limitações primárias:

1. Contaminação de Dados: Benchmarks criados manualmente inevitavelmente vazam para os dados de treinamento de modelos futuros, comprometendo a validade da avaliação.
2. Escalabilidade e Extensibilidade: Criar novos benchmarks exige esforço humano significativo para projetar cenários, escrever testes funcionais e desenvolver explorações de segurança, tornando difícil acompanhar a evolução rápida dos modelos.
3. Dificuldade de Escalonamento: Os benchmarks devem aumentar continuamente em dificuldade para desafiar LLMs mais capazes, uma tarefa que é intensiva em recursos para especialistas humanos.

Benchmarks atuais frequentemente avaliam correção e segurança em tarefas separadas ou focam apenas na geração em nível de função, falhando em capturar as complexidades de backends de aplicações inteiras. Embora o benchmark BAXBENCH tenha abordado isso ao avaliar backends de aplicações web de ponta a ponta, sua criação dependeu fortemente de esforço manual humano, limitando sua longevidade e escalabilidade.

Metodologia: AUTOBAXBUILDER

Os autores propõem o AUTOBAXBUILDER, um pipeline automatizado e agêntico que inicia a criação de tarefas de benchmarking de segurança de código a partir do zero. O sistema aproveita as capacidades de compreensão de código dos LLMs combinadas com verificações robustas de confiabilidade baseadas em execução para gerar especificações de cenários, testes funcionais e explorações de segurança de ponta a ponta sem intervenção humana.

O pipeline opera em três etapas iterativas de refinamento, orquestradas por um LLM central (o "Orquestrador") e validadas contra soluções de referência geradas por "LLMs de Solução":

1. Proposta de Cenário: O orquestrador gera uma especificação de serviço backend nova (no formato OpenAPI) projetada para expor uma superfície de ataque clara. Ele garante a novidade verificando contra títulos de cenários existentes. Em seguida, LLMs de Solução geram implementações de referência iniciais.
2. Geração de Testes Funcionais: O orquestrador extrai requisitos funcionais e constrói testes funcionais. Para garantir a correção, o pipeline emprega um loop de refinamento em duas fases:
   • Refinar Soluções: Soluções de referência que falham são corrigidas com base em logs de execução, sem que o orquestrador veja o código de teste para evitar sobreajuste.
   • Refinar Testes: O orquestrador analisa a relação entre o código de teste, o código da solução e os logs de execução para determinar se uma falha decorre de um teste defeituoso ou de uma solução defeituosa. Ele itera até que um consenso global seja alcançado, garantindo que pelo menos uma solução de referência passe em todos os testes.
3. Geração de Explorações de Segurança: O orquestrador identifica vulnerabilidades potenciais (CWEs) no cenário e nas soluções de referência. Para cada vulnerabilidade alvo, ele gera uma exploração e a valida usando uma abordagem contrastiva:
   • A exploração é executada em uma solução de referência.
   • Se o resultado for correto (por exemplo, uma solução vulnerável é sinalizada), o orquestrador gera uma solução "contrastiva" corrigindo a vulnerabilidade ou introduzindo-a, com base exclusivamente na descrição em linguagem natural da vulnerabilidade (não na lógica da exploração).
   • A exploração é aceita apenas se distinguir corretamente entre as versões segura e insegura da solução. Este processo itera até que um par preciso de soluções segura/insegura seja encontrado.

O pipeline inclui barreiras de segurança, como verificação YAML para especificações OpenAPI, verificações de compilação Python para código e mecanismos de autocrítica para lidar com falhas de LLM.

Contribuições Principais

1. Construção Automatizada de Benchmark: Um método robusto para construir benchmarks inteiramente novos seguindo os princípios de design do BAXBENCH com intervenção humana mínima.
2. Validação contra Baselines de Especialistas: Demonstração de que o método reproduz ou supera testes funcionais e explorações escritos por especialistas nas mesmas tarefas, efetivamente apertando o limite superior de segurança relatado pelo BAXBENCH.
3. AUTOBAXBENCH: A construção e lançamento de um novo benchmark composto por 40 cenários novos, divididos em três subconjuntos de dificuldade crescente (Fácil, Médio, Difícil), que mais do que duplica os cenários de backend disponíveis para benchmarking de segurança de código.

Resultados Experimentais

Os autores avaliaram o pipeline e o benchmark resultante AUTOBAXBENCH usando uma ampla gama de LLMs de última geração (incluindo GPT-5, Claude 4.5 Sonnet, Gemini 3 Pro e vários modelos de pesos abertos).

• Validação do Pipeline: Quando aplicado a cenários existentes do BAXBENCH, os testes e explorações gerados pelo AUTOBAXBUILDER mostraram alta concordância com os escritos por humanos. Especificamente, os testes funcionais coincidiram em 80,9% das soluções. As explorações de segurança geradas pelo pipeline sinalizaram mais instâncias como inseguras do que as explorações originais escritas por humanos, atribuído à descoberta de CWEs adicionais e variantes de ataque. Uma auditoria manual de 71 explorações geradas encontrou apenas uma exploração inválida.
• Desempenho do Benchmark: No AUTOBAXBENCH, mesmo o modelo mais forte avaliado (Claude 4.5 Sonnet) alcançou um sec_pass@1 (razão de soluções seguras e corretas) geral de apenas 36%. Na divisão "Difícil", isso caiu para 25%. A lacuna entre pass@1 (correção funcional) e sec_pass@1 destaca que muitas implementações funcionalmente corretas permanecem exploráveis.
• Eficiência: O pipeline gera novas tarefas em menos de 2 horas com um custo de API inferior a US$ 4 por tarefa. Incluindo verificação manual, isso reduz o esforço humano por um fator de 12 em comparação com a construção manual.
• Robustez: Estudos de ablação usando conjuntos disjuntos de modelos para construção mostraram alta correlação de rank (Spearman $\rho > 0,9$) no desempenho dos modelos, indicando que o benchmark não é enviesado em relação aos modelos usados para gerá-lo.

Significado e Alegações

O artigo afirma que o AUTOBAXBUILDER aborda o desafio crítico de contaminação de benchmarks e escalabilidade na avaliação de segurança de LLMs. Ao automatizar a geração de benchmarks não contaminados e de alta qualidade, a estrutura permite uma avaliação de longo prazo e confiável das capacidades de codificação segura de LLMs.

Os autores enfatizam que seu método fornece um limite superior sólido de segurança ao usar explorações baseadas em execução em vez de análise estática, que é propensa a falsos positivos e negativos. Eles afirmam que a estrutura é "à prova de futuro", capaz de gerar tarefas cada vez mais difíceis à medida que as capacidades dos modelos melhoram, aproximando-se da complexidade de APIs de backend implantadas. O trabalho conclui que, embora os LLMs tenham feito progresso na geração de código funcional, uma lacuna significativa permanece em sua capacidade de gerar código seguro de forma confiável, uma lacuna que o AUTOBAXBENCH expõe efetivamente.