Capture the Flags: Family-Based Evaluation of Agentic LLMs via Semantics-Preserving Transformations

Título: Capture the Flags: Avaliação Baseada em Famílias de LLMs Agentes via Transformações Preservadoras de Semântica

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) agentes estão sendo cada vez mais utilizados em tarefas de cibersegurança, como descoberta de vulnerabilidades e testes de penetração automatizados. No entanto, os métodos de avaliação atuais baseados em Capture The Flag (CTF) apresentam limitações críticas:

• Avaliação Pontual: Benchmarks existentes (como Cybench e Intercode) consistem em tarefas independentes e heterogêneas. Isso revela apenas o desempenho do modelo em um conjunto fixo de desafios, sem oferecer insights sobre a robustez do agente contra perturbações de entrada ou sua capacidade de generalização.
• Contaminação de Dados: Como muitos desafios de CTF são públicos, há um risco elevado de contaminação do conjunto de dados (os modelos podem ter memorizado as soluções durante o treinamento), similar ao observado em benchmarks de matemática.
• Falta de Diagnóstico: Não é claro se o sucesso de um modelo se deve a um verdadeiro raciocínio sobre o código ou apenas à correspondência de padrões superficiais (como nomes de variáveis familiares ou estruturas de código conhecidas).

2. Metodologia

Os autores propõem uma abordagem complementar baseada em Famílias de Desafios CTF. Em vez de criar novos desafios do zero, eles geram famílias de desafios semanticamente equivalentes a partir de um único desafio original, aplicando transformações de código que preservam a semântica (a lógica de exploração permanece a mesma), mas alteram a estrutura sintática.

Ferramenta: Evolve-CTF
Foi desenvolvido um novo tool chamado Evolve-CTF para gerar essas famílias a partir de desafios em Python. O processo envolve:

1. Transformações Preservadoras de Semântica: O sistema aplica transformações que não alteram o comportamento do programa, mas dificultam a leitura humana e a análise do modelo. As transformações incluem:
   • $R$ (Renomeação): Substituição de identificadores (variáveis, funções, classes) por nomes aleatórios ou vocabulário de codificação.
   • $T1$ a $T4$ (Inserção de Código Redundante): Inserção de loops redundantes (que não executam), condicionais falsas, definições de funções inúteis e comentários enganosos.
   • $T5$ (Combinação): Aplicação sequencial das transformações anteriores.
   • $O$ (Ofuscação): Uso da ferramenta PyObfuscator para renomear identificadores, remover docstrings, criptografar literais de string e comprimir o código com gzip.
2. Estrutura em Árvore: Cada desafio original gera uma família de 24 instâncias (incluindo o original), formando uma árvore de transformações. Isso permite uma análise composicional: comparar um nó com seu pai para isolar o efeito marginal de cada transformação.
3. Validação: O Evolve-CTF confirma que as instâncias geradas ainda são solucionáveis utilizando a "solução dourada" (golden solution) original.

Configuração Experimental:

• Benchmarks: 16 desafios Python selecionados do Cybench e Intercode.
• Modelos: 13 configurações de LLMs (incluindo variações de raciocínio explícito) de provedores como Anthropic, OpenAI, Google, DeepSeek, entre outros.
• Framework: Avaliação realizada usando o framework Inspect, que permite o uso de ferramentas (bash, python, submit) pelos agentes.
• Protocolo: 5 execuções repetidas por instância, com limite de 200.000 tokens por execução.

3. Principais Contribuições

• Conceito de Famílias de CTF: Introdução de uma nova metodologia para avaliar a robustez e generalização de LLMs agentes, indo além de benchmarks estáticos.
• Ferramenta Evolve-CTF: Um sistema modular e automatizado para gerar famílias de desafios preservando a semântica, capaz de expandir benchmarks existentes.
• Conjunto de Dados em Larga Escala: Um dataset massivo caracterizando o desempenho de modelos de ponta (SOTA) em cenários de cibersegurança com variações sintáticas controladas.
• Diagnóstico de Benchmarks: Demonstração de que a metodologia pode identificar desafios existentes que são triviais ou carecem de poder discriminativo.

4. Resultados Chave

A avaliação revelou insights significativos sobre o comportamento dos agentes:

• Robustez a Renomeação e Comentários: Os modelos são extremamente robustos à renomeação de identificadores ($R$) e à inserção de comentários enganosos ($T4$). O desempenho não diminuiu significativamente, indicando que os modelos não dependem fortemente de nomes de variáveis semânticos para raciocinar.
• Impacto de Transformações Compostas: A combinação de transformações ($T5$) causa uma degradação significativa no desempenho, muito maior do que a soma das partes. Isso sugere que a complexidade sintática acumulada exige estratégias de raciocínio mais sofisticadas.
• Ofuscação Profunda ($O$): A aplicação de ofuscação agressiva (PyObfuscator) reduz drasticamente a taxa de sucesso. Os modelos raramente resolvem esses desafios sem primeiro escrever scripts para reverter a ofuscação (descomprimir e decifrar strings).
• Uso de Ferramentas (Tools):
  • Para desafios compostos ($T5$) e ofuscados, os modelos aumentam substancialmente o número de chamadas de ferramentas.
  • Estratégias observadas incluem o uso de grep para buscar palavras-chave de segurança e sed/head/tail para inspecionar regiões de código específicas.
  • O uso de ferramentas quase duplica em instâncias $T5$ em comparação com originais.
• Raciocínio Explícito: A ativação de modos de "raciocínio explícito" (high-reasoning) teve pouco impacto nas taxas de sucesso, sugerindo que o gargalo não é a falta de raciocínio passo a passo, mas sim a capacidade de navegar na complexidade sintática e usar ferramentas corretamente.
• Falhas por Limite de Tokens: A maioria das falhas (97,9%) ocorreu devido ao esgotamento do limite de tokens, não por submissão incorreta de bandeiras. Isso indica que os modelos tentam resolver os desafios, mas o esforço adicional exigido pelas transformações excede o orçamento computacional.
• Desafios Triviais: Três desafios do Intercode eram tão simples que quase todos os modelos resolveram todas as suas variações, indicando que esses benchmarks específicos não têm poder discriminativo para avaliar modelos de ponta.

5. Significado e Conclusão

Este trabalho fornece uma nova lente para a avaliação de LLMs em cibersegurança. Ao demonstrar que os modelos atuais são robustos a alterações superficiais (como renomeação) mas frágeis a ofuscação profunda e transformações compostas, o estudo destaca a necessidade de benchmarks que testem a compreensão real do código e a estratégia de uso de ferramentas, e não apenas a memorização de padrões.

A metodologia de "Famílias de CTF" permite:

1. Medir a robustez de forma controlada.
2. Identificar benchmarks existentes que precisam de atualização.
3. Entender como os agentes falham (ex: esgotamento de tokens devido à complexidade sintática).

O trabalho sugere que, para avançar na área, os futuros sistemas de avaliação devem focar em desafios que exijam a adaptação dinâmica de estratégias de exploração frente a variações sintáticas, em vez de apenas testar a capacidade de resolver um problema estático.