Human in the Loop for Fuzz Testing: Literature Review and the Road Ahead

1. O Problema

O fuzzing (testes de fuzz) é uma das técnicas mais eficazes para detectar bugs e vulnerabilidades em software. No entanto, os fuzzers automatizados tradicionais enfrentam limitações significativas:

• Barreiras Semânticas: Dificuldade em lidar com estruturas de entrada complexas (protocolos, máquinas de estado) e restrições semânticas profundas.
• Estagnação de Cobertura: Os heurísticos automatizados frequentemente atingem platôs de cobertura, falhando em explorar caminhos de execução profundos ou raros.
• Falta de Explicabilidade: Os sistemas automatizados não conseguem explicar por que a exploração estagnou, dificultando a intervenção humana.
• Limitações dos LLMs: Embora os Modelos de Linguagem Grandes (LLMs) ofereçam novas capacidades de geração e raciocínio, eles sofrem com alucinações, falta de consistência e dificuldade em raciocínio complexo, tornando a substituição total do humano inviável.

Existe uma lacuna na literatura: não há um roteiro de pesquisa sistemático para integrar eficazmente a Inteligência Humana no Loop (HITL) com o fuzzing, especialmente considerando a era emergente dos LLMs.

2. Metodologia

Os autores realizaram uma revisão sistemática da literatura seguindo as seguintes etapas:

• Coleta de Dados: Busca em bases como Google Scholar, IEEE Xplore, ACM Digital Library e DBLP, utilizando palavras-chave relacionadas a fuzzing, monitoramento humano (visualização, dashboard) e direção humana (interativo, guiado).
• Snowballing: Aplicação de técnicas de snowballing (para trás e para frente) para identificar trabalhos fundamentais e recentes que as buscas diretas poderiam ter perdido.
• Critérios de Seleção: Foram selecionados apenas artigos que integravam explicitamente a intervenção humana no processo de fuzzing (não apenas na configuração inicial ou análise final).
• Corpus Final: A partir de 115 artigos candidatos, foram analisados e categorizados 44 trabalhos relevantes (35 artigos técnicos e 9 pesquisas).
• Taxonomia: Os trabalhos foram classificados com base nas 5 fases canônicas do fuzzing (Pré-processamento, Gerenciamento de Sementes, Agendamento, Síntese de Casos de Teste e Execução) e nos dois modos de interação humana:
  1. Monitoramento Humano (Passivo): Observação e interpretação do estado do fuzzer.
  2. Direção Humana (Ativa/Steering): Intervenção ativa para alterar estratégias, priorizar sementes ou injetar restrições.

3. Principais Contribuições e Resultados da Revisão

A. Análise do Estado da Arte (HITL Atual)

A revisão revelou que o envolvimento humano é desigualmente distribuído:

• Foco no Monitoramento: A maioria dos trabalhos concentra-se na fase de Execução, utilizando visualizações para monitorar crashes, cobertura e progresso.
• Foco na Direção (Steering): A intervenção ativa ocorre predominantemente nas fases iniciais (Pré-processamento e Gerenciamento de Sementes), onde humanos preparam drivers, anotam código ou selecionam sementes iniciais.
• Lacuna Crítica: Há uma escassez de ferramentas que permitam direção em tempo real (in-situ) durante a execução do fuzzer. A maioria das intervenções exige reiniciar o processo ou é feita offline, o que é ineficiente.
• Declínio Recente: O interesse em HITL puro diminuiu com o surgimento de fuzzing assistido por LLMs, que muitas vezes tentam substituir o papel humano, embora com limitações de confiabilidade.

B. O Roteiro de Pesquisa (Road Ahead)

Os autores propõem uma evolução em três estágios para o futuro do fuzzing HITL:

• Estágio I: Monitoramento Fuzzing de Alta Granularidade e Explicável

  • Objetivo: Superar métricas agregadas (como cobertura de controle de fluxo) e criar um modelo de observabilidade unificado.
  • Ação: Desenvolver um pool de dados multimodal que integre sinais de todas as 5 fases (ex: frequência de seleção de sementes, eficácia de operadores de mutação, padrões de acesso à memória).
  • Visualização: Criar sistemas de visualização interativa para diagnóstico, permitindo que os humanos identifiquem gargalos e ineficiências ocultas.

• Estágio II: Direção Humana em Tempo Real e Estratégica

  • Objetivo: Transicionar da análise post-mortem para a intervenção in-situ (durante a execução).
  • Ação: Projetar pipelines de tempo de execução que aceitem orientação humana sem reiniciar o fuzzer.
  • Técnicas: Desenvolver interfaces avançadas (ex: dashboards interativos, parâmetros configuráveis, interfaces em linguagem natural) para que humanos possam ajustar prioridades de agendamento, suprimir caminhos improdutivos ou focar em regiões críticas de código dinamicamente.

• Estágio III: Colaboração Sinérgica Humano-LLM

  • Objetivo: Integrar LLMs como "assistentes de especialista" em vez de substitutos completos.
  • Divisão de Trabalho:
    • LLMs: Automatizam tarefas de baixo nível (deduplicação de sementes, geração de drivers, triagem de crashes, ajuste de parâmetros).
    • Humanos: Atuam como supervisores de alto nível, definindo objetivos estratégicos, validando decisões e fornecendo conhecimento de domínio que os LLMs não possuem.
  • Visão: Sistemas multi-agente onde LLMs especializados (Exploradores, Analistas, Estrategistas) colaboram sob a supervisão humana.

4. Significância e Impacto

Este trabalho é fundamental por:

1. Unificar Disciplinas: Conecta a Engenharia de Software (fuzzing), Interação Humano-Computador (HCI) e Inteligência Artificial (LLMs) em um único framework.
2. Definir o Futuro: Estabelece um roteiro claro para superar as limitações atuais da automação pura, propondo que a próxima geração de ferramentas de teste deve ser interativa, guiada por humanos e aumentada por IA.
3. Solução para Escalabilidade: Ao automatizar tarefas repetitivas com LLMs e manter o humano no comando de decisões estratégicas e de validação, o modelo proposto visa criar um ecossistema de fuzzing escalável, confiável e adaptável a sistemas complexos modernos.

Em resumo, o artigo argumenta que o futuro do fuzzing não é "humano vs. máquina", mas sim uma simbiose humano-LLM, onde a intuição e o julgamento de especialistas são potencializados pela capacidade de processamento e geração de dados das IAs.