Resumo Técnico: Mastermind – Aprendizado Baseado em Estratégia para Reprodução de Vulnerabilidades em Escala de Repositório

1. Caracterização do Problema

A reprodução de vulnerabilidades em escala de repositório é uma tarefa de engenharia de software (SE) exigente que requer um agente autônomo para inspecionar uma base de código, inferir a gramática de entrada para um caminho vulnerável, construir uma prova de conceito (PoC) e verificar se o erro ocorre apenas na compilação vulnerável (não na versão corrigida). Embora agentes recentes de Grandes Modelos de Linguagem (LLMs) tenham melhorado na execução de comandos (navegar em repositórios, editar arquivos, enviar PoCs), eles frequentemente falham devido a erros estratégicos em vez de erros de execução. Os agentes frequentemente desperdiçam rodadas explorando direções improdutivas ou falham em revisar hipóteses com base no feedback.

O artigo identifica que o principal gargalo é a seleção de estratégia (decidir o que tentar a seguir) em vez da capacidade de execução de baixo nível. Abordagens padrão como amostragem independente (Best-of-N) sofrem de retornos decrescentes, e simplesmente adicionar mais contexto (por exemplo, patches de verdade fundamental) não se traduz automaticamente em um plano de investigação executável. Os autores argumentam que a "estratégia" — um plano compacto em linguagem natural para inspeção, construção de entrada e validação — é a unidade apropriada de aprendizado, distinta da trajetória de execução completa, ruidosa e cara.

2. Metodologia: O Framework Mastermind

O Mastermind é um framework de loop duplo que separa o aprendizado de estratégia transferível da experiência específica da tarefa. Ele desacopla o "Planner" (que decide a abordagem) do "Executor" (que realiza as ações).

Componentes Principais

• Curator (Curador): Mantém a experiência local da tarefa. Ele ativa registros relevantes de estratégias/resultados anteriores (ex: localizações de arquivos, hipóteses falhas, comportamentos de parser) antes de cada tentativa e anexa novos registros após a verificação. Isso mantém fatos voláteis e específicos da tarefa fora dos pesos do modelo.
• Planner (Planejador): Uma política treinável que emite uma Estratégia compacta em linguagem natural. Dado a tarefa e a experiência do curador, o Planner descreve onde inspecionar, qual estrutura de entrada visar e como validar a PoC. Ele não emite comandos de shell; ele escolhe a abordagem.
• Executor (Executor): Um substrato de atuação congelado (ex: GPT-5.5, GPT-5.4 mini, GLM 5.1) que instancia a Estratégia do Planner em ações de repositório e submissões de PoC. Manter o Executor congelado isola os ganhos para um melhor planejamento, em vez de uma melhor geração de comandos.
• Verifier (Verificador): Fornece a verdade fundamental executável via benchmark CyberGym. Ele valida as trajetórias, atribui pontuações de marcos (milestones) e roteia o feedback tanto para o Curator quanto para o Planner (durante o treinamento).

Mecanismo de Aprendizado

O Mastermind emprega um processo de treinamento de loop duplo:

1. Loop de Experiência: Evidências locais da tarefa (estratégias e resultados) são acumuladas no Curator. As tentativas subsequentes são condicionadas a este histórico concreto e específico da tarefa.
2. Loop de Política: O Planner é treinado usando Fine-Tuning Supervisionado (SFT) e Otimização de Política Relativa de Grupo (GRPO).
   • SFT: Inicia o Planner para aprender o padrão de revisão de estratégias com base no feedback.
   • GRPO: Otimiza o Planner usando recompensas densas de marcos derivadas do CyberGym. Para garantir a diversidade, o treinamento utiliza amostragem condicionada por slot, onde cada grupo de estratégias candidatas é condicionado a diferentes hipóteses (ex: "formato-do-parser", "alocação-de-limites", "estado-de-tempo-de-vida").
   • Função de Recompensa: A recompensa é baseada em uma hierarquia de marcos (0–7) que varia desde localizar o código fonte até a reprodução completa de build duplo. Inclui uma penalidade para estratégias longas para desencorajar a narração completa da trajetória, mantendo a unidade de aprendizado compacta.

3. Principais Contribuições

1. Identificação do Gargalo Estratégico: O artigo demonstra, através de experimentos controlados, que a qualidade da estratégia afeta causalmente os resultados de reprodução. Um executor fixo com uma estratégia "Soft Oracle" alcança uma taxa de sucesso de 39,5%, comparado a 23,5% sem estratégia, provando que a seleção de estratégia é o gargalo dominante.
2. Framework Mastermind: Uma arquitetura inovadora de loop duplo que treina em estratégias compactas de linguagem natural em vez de trajetórias de execução completas. Isso torna o aprendizado por reforço prático para agentes de SE de longo horizonte ao desacoplar a atualização da política da execução cara.
3. Aprendizado Transferível: O framework mostra que um Planner treinado em um executor (GPT-5.4 mini) pode melhorar significativamente o desempenho de diferentes executores congelados (GPT-5.5, GLM 5.1) sem retreinamento, demonstrando que as estratégias aprendidas são transferíveis entre backbones de execução.

4. Resultados Experimentais

O framework foi avaliado no CyberGym, um benchmark de 1.507 tarefas reais de reprodução de vulnerabilidade. O estudo utilizou 260 tarefas para treinamento e 200 tarefas reservadas para avaliação.

• Desempenho com GPT-5.5: O Mastermind alcançou uma taxa de sucesso de 84,5% (169/200 tarefas), superando significativamente:
  • Amostragem independente Best-of-8: 63,0%
  • Melhoria iterativa local da tarefa (sem planejador aprendido): 77,0%
  • Contexto de livro aberto (Verdade fundamental Nível 3): 60,0%
• Transferibilidade: O mesmo Planner melhorou o GPT-5.4 mini de 45,0% para 60,0% e o GLM 5.1 de 58,5% para 71,0%.
• Eficiência: O Mastermind alcançou esses resultados com menos rodadas e menor custo computacional (estimado em \8 por passagem para GPT-5.5 vs. \29 para Best-of-8) devido à interrupção antecipada e melhor seleção de estratégia.
• Estudos de Ablação: A remoção dos componentes de loop duplo confirmou que tanto o Planner aprendido (Loop de Política) quanto a experiência local da tarefa (Loop de Experiência) são necessários para o desempenho máximo. O baseline "Sem loop duplo" (Best-of-8 independente) alcançou apenas 63,0% no GPT-5.5.

5. Significância e Alegações

O artigo argumenta que, para agentes de SE em escala de repositório, escolher a abordagem é mais difícil do que executá-la. O Mastermind demonstra que aprender estratégias de alto nível é um mecanismo eficaz e transferível para melhorar esses agentes.

• Abstração Estratégica: Ao tratar a estratégia como a unidade de aprendizado, o sistema evita o custo proibitivo de treinar em trajetórias de execução completas, enquanto ainda captura os padrões de raciocínio necessários para depuração complexa.
• Separação de Preocupações: O framework atribui corretamente "padrões de raciocínio transferíveis" (ex: quando inspecionar o código fonte) aos pesos do Planner e "fatos voláteis específicos da tarefa" (ex: caminhos de arquivos específicos) à memória do Curator.
• Impacto Prático: Os resultados sugerem que futuros agentes de SE devem priorizar o aprendizado de estratégia e o gerenciamento explícito de experiência em vez de apenas escalar modelos de execução ou adicionar mais contexto.

Os autores mantêm uma postura modesta, observando que, embora o aprendizado de nível de estratégia seja altamente eficaz para a reprodução de vulnerabilidades, sua generalização para outras tarefas de SE (como manutenibilidade ou interpretabilidade humana) permanece uma questão em aberto. Eles também enfatizam a segurança, observando que o framework opera em ambientes de sandbox e melhora a seleção de estratégia em executores existentes, em vez de criar novas capacidades de execução.