Helpful or Harmful? Evaluating LLM-Assisted Vulnerability Patching via a Human Study

Resumo Técnico: Avaliando a Correção de Vulnerabilidades Assistida por LLM via um Estudo Humano

Declaração do Problema
A remediação de vulnerabilidades de software é uma tarefa cognitivamente exigente que requer perícia especializada em segurança, a qual frequentemente falta em desenvolvedores de uso geral. Embora se hipotetize que os Grandes Modelos de Linguagem (LLMs) possam acelerar esse processo, existe um risco significativo de que eles introduzam "alucinações" ou código inseguro. A preocupação central abordada por este estudo é o fenômeno das "correções falsas" (fake fixes): patches que passam com sucesso em suítes de testes funcionais visíveis (satisfazendo o desenvolvedor), mas falham em eliminar a vulnerabilidade de segurança subjacente. Isso cria uma ilusão perigosa de segurança onde o código parece correto, mas permanece explorável. Os autores argumentam que os benchmarks automatizados atuais frequentemente recompensam a passagem de testes em detrimento da eliminação genuína da vulnerabilidade, e que estudos com seres humanos têm apresentado resultados mistos em relação à dependência excessiva do desenvolvedor e à qualidade de segurança real do código gerado por LLM.

Metodologia
Os autores propõem um experimento empírico controlado usando um design de Crossover Balanceado (inspirado em matrizes ortogonais de Taguchi) para isolar os efeitos da assistência de LLM da variância de habilidade individual.

• Plataforma Experimental: Um WebApp customizado foi desenvolvido para hospedar execução de código, coleta de telemetria e entrega de cenários. Ele se integra ao LimeSurvey para perfilamento demográfico e pesquisas de percepção pós-experimento.
• Cenários: O estudo utiliza seis tarefas de reparo de vulnerabilidade autossuficientes derivadas de projetos de código aberto reais em Python. Cada cenário inclui:
  • Um artefato de origem vulnerável.
  • Uma suíte de testes visível (regressão funcional + testes de segurança específicos).
  • Testes Fantasmas (Ghost Tests): Casos de teste ocultos, específicos de segurança, executados apenas na submissão final. Eles probe comportamentos relevantes para exploração que são ortogonais à suíte visível para detectar correções falsas.
• Design: Os participantes são divididos em dois grupos (A e B) e designados para resolver cenários sob duas condições: Manual (documentação padrão) e Assistida por LLM (usando assistentes de codificação de propósito geral). O design de crossover garante que cada participante resolva cenários sob ambas as condições, e que cada cenário seja resolvido por participantes sob ambas as condições.
• Participantes: Desenvolvedores de software freelance recrutados via UpWork, visando desenvolvedores de uso geral em vez de especialistas em segurança para refletir restrições do mundo real. Um estudo piloto com 8 estudantes de doutorado validou a plataforma e a viabilidade de tempo limitado (time-box).
• Restrições de LLM: No estudo principal, os participantes podem escolher entre uma lista curada de modelos (ex: gpt-4o-mini, gpt-5-mini, Claude Haiku 4.5) acessados via um gateway sem estado e com isolamento de memória (Duck.ai) para evitar personalização e vazamento de histórico.
• Métricas:
  • Velocidade (RQ1): Tempo de remediação (limitado a 30 minutos).
  • Eficácia (RQ2): Taxas de aprovação para testes funcionais ($F$), testes de segurança ($S$) e a pontuação composta ($E = F \cdot S$). Uma "correção falsa" é definida como $F=1$ mas $S=0$.
  • Percepção (RQ3): Utilidade auto-relatada em uma escala Likert de 5 pontos.

Principais Contribuições

1. Estrutura de Testes Fantasmas (Ghost Test Framework): A introdução de "Testes Fantasmas" ocultos e específicos de segurança para distinguir empiricamente entre patches superficiais que satisfazem requisitos funcionais e correções de segurança genuínas. Isso aborda a lacuna nos benchmarks existentes que dependem apenas de suítes de testes visíveis.
2. Estudo Controlado de Interação Humano-LLM: Diferente de estudos observacionais anteriores ou benchmarks puramente automatizados, este trabalho emprega um rigoroso design de crossover dentro dos sujeitos para medir como os desenvolvedores direcionam, julgam e se adaptam à assistência de LLM em cenários de remediação de vulnerabilidades do mundo real.
3. Operacionalização de "Correções Falsas": O estudo define formalmente e mede a taxa de correções falsas em um ambiente de humano-no-circuito (human-in-the-loop), hipotetizando que a assistência de LLM pode aumentar a probabilidade de tais patches devido ao pareamento de padrões sem um embasamento semântico profundo de segurança.

Resultados (Insights do Estudo Piloto)
O artigo apresenta resultados de um estudo piloto (N=8) que informou o design do estudo principal, mas observa que o tamanho da amostra do piloto é insuficiente para conclusões estatísticas definitivas sobre as hipóteses principais.

• Velocidade: A condição assistida por LLM foi mais rápida (média de 13,82 min) comparada à condição manual (média de 15,59 min).
• Eficácia: No piloto, as taxas de aprovação funcional foram comparáveis (56% manual vs. 50% LLM). Surpreendentemente, o piloto mostrou zero correções falsas na condição de LLM contra duas na condição manual, embora os autores notem que essa tendência é oposta à sua hipótese principal ($H_E$) e não é estatisticamente significativa neste tamanho de amostra.
• Percepção: Os participantes relataram baixa confiança em sua própria capacidade de corrigir bugs de segurança sem assistência, levando a uma alta dependência do LLM e confiança em seu output com pouca verificação.
• Ajustes: Com base no feedback do piloto, o estudo principal estende o limite de tempo para 30 minutos, remove prompts sugeridos nos cenários de avaliação para observar a engenharia de prompt natural e impõe controles mais rígidos para evitar que os participantes utilizem LLMs externos durante as tarefas manuais.

Significância e Alegações
O artigo afirma fornecer a primeira evidência empírica controlada sobre a eficácia de segurança do patching assistido por LLM em um cenário com sujeitos humanos, visando especificamente o risco de "correções falsas".

• Hipótese Central: Os autores hipotetizam que, embora a assistência de LLM reduza o tempo de remediação, ela leva a uma menor eficácia de segurança (maior taxa de correções falsas), enquanto é percebida como útil pelos usuários.
• Escopo Modesto: Os autores declaram explicitamente que a unidade de análise é a interação humano-LLM, não a precisão de qualquer modelo específico. Eles reconhecem limitações, incluindo o uso de cenários apenas em Python, o potencial de fadiga em sessões longas e a dificuldade de garantir uma linha de base perfeitamente livre de LLM em um ambiente online.
• Objetivo: O estudo visa revelar se os LLMs realmente melhoram o processo de correção de segurança ou se apenas aceleram a geração de código que satisfaz testes funcionais enquanto deixa falhas de segurança intactas. Os achados pretendem informar o desenvolvimento de melhores mecanismos de verificação e treinamento de desenvolvedores em relação à dependência de LLM em tarefas críticas de segurança.