Resumo Técnico: AI Slop e Alucinações em Avaliação de Vulnerabilidades

1. Declaração do Problema

A integração de Modelos de Linguagem de Grande Escala (LLMs) na avaliação de vulnerabilidades de cibersegurança introduziu uma "crise de confiabilidade" impulsionada pela proliferação de "AI slop" (lixo de IA). Diferente dos falsos positivos tradicionais decorrentes de regras conservadoras de Teste de Segurança de Aplicação Estática (SAST), o AI slop consiste em artefatos de segurança (relatórios, provas de conceito, patches) que exibem alta fluência linguística e plausibilidade estrutural, mas carecem de validade semântica ou fundamentação executável.

Esses artefatos incluem:

• Vulnerabilidades alucinadas: CVEs (Common Vulnerabilities and Exposures) fabricados, APIs inexistentes e caminhos de execução desconexos.
• Síntese de patch incorreta: Correções que abordam sintomas superficiais enquanto ignoram as causas raízes, ou patches que introduzem novas regressões.
• Repacotamento semântico: A transformação de conhecimento existente ou correções "silenciosas" (não divulgadas) em relatórios aparentemente novos e autoritativos.

Este fenômeno cria uma carga cognitiva nos pipelines de triagem humana que espelha um ataque de negação de serviço (DoS). O problema central é uma lacuna de raciocínio fundamental: especialistas em segurança humanos dependem de raciocínio dedutivo causal de múltiplas etapas fundamentado em restrições do sistema, enquanto LLMs autorregressivos operam via geração probabilística de tokens baseada em correlações estatísticas. Quando a informação excede o horizonte de raciocínio de um LLM, ele recorre a continuações estatisticamente plausíveis em vez de fatos verificados.

2. Metodologia

O artigo emprega uma revisão sistemática da literatura e uma análise conceitual para investigar evidências empíricas e formalizar o problema.

• Busca de Literatura: Os autores consultaram o IEEE Xplore, ACM Digital Library e arXiv utilizando palavras-chave relacionadas a LLM e segurança. Dois revisores independentes filtraram os resultados, retendo estudos com evidência empírica de modos de falha de LLM em contextos de segurança.
• Construção de Taxonomia: As falhas foram categorizadas em três ramos primários baseados na natureza da falha de raciocínio.
• Análise de Lacunas: O artigo contrasta modelos cognitivos humanos (dedutivos, preservadores de invariantes) com restrições arquiteturais de LLMs (probabilísticos, limitados pela janela de contexto).
• Proposta de Métrica: Os autores operacionalizam a lacuna de raciocínio através de um proxy mensurável, o Deductive Coverage Score (DCS), e propõem novos instrumentos de avaliação (CVE-Bench, Slop-Score).
• Revisão Arquitetural: Estratégias de mitigação existentes (detecção passiva, watermarking) são revisadas e criticadas, seguida por uma proposta de arquiteturas de verificação neuro-simbólica ativa.

3. Principais Contribuições

A. Formalização e Taxonomia de AI Slop

O artigo define AI slop na cibersegurança e estabelece uma taxonomia composta por três modos distintos de falha:

1. Vulnerabilidades Alucinadas: O modelo inventa falhas (ex: CVEs fabricados, APIs inexistentes) para satisfazer as expectativas do prompt. Isso inclui a alucinação sicofante (encontrar bugs em código seguro) e o confundimento de viés de token (mudança de julgamento baseada em alterações sintáticas superficiais).
2. Síntese de Patch Incorreta: Modelos geram patches que compilam e passam em verificações superficiais, mas falham em resolver o problema subjacente ou introduzem novas regressões de segurança (ex: trocar um CWE por outro).
3. Repacotamento Semântico: Modelos remodelam informações existentes (incluindo correções silenciosas de commits de código aberto) em relatórios "novos". Isso explora a falta de verdade fundamental pública para correções não divulgadas, tornando as alegações repacotadas indetectáveis por validação baseada em busca.

B. Análise da Lacuna de Raciocínio

O artigo identifica a causa raiz como a divergência entre o raciocínio dedutivo humano e a geração probabilística de LLM:

• Especialistas Humanos: Constroem modelos mentais, rastreiam o fluxo de dados através de fronteiras procedurais e verificam restrições. Eles tratam descobertas com ceticismo até que sejam provadas.
• LLMs: Estimam probabilidades de tokens baseadas em distribuições de treinamento. Eles costuram padrões familiares (chamadas de API, nomes de variáveis) sem verificar um único caminho de execução.
• Limitações das Mitigações Atuais: Os autores argumentam que o prompting de Chain-of-Thought (CoT) e agentes de uso de ferramentas estreitam, mas não fecham essa lacuna. O CoT frequentemente resulta em cadeias de raciocínio mais longas, porém igualmente incorretas, e o uso de ferramentas frequentemente leva à "confabulação de uso de ferramenta", onde agentes interpretam erroneamente as saídas das ferramentas.

C. Crítica da Detecção Passiva e Watermarking

O artigo argumenta que as estratégias de mitigação atuais focadas em proveniência (determinar se o texto foi escrito por uma máquina) estão desalinhadas com a necessidade de corretude.

• Detecção Estatística: Falha porque relatórios de segurança são inerentemente formulaicos (baixa diversidade lexical), causando altos índices de falsos positivos para relatórios escritos por humanos.
• Watermarking: Incompatível com a lógica de segurança; forçar a seleção de tokens com watermarking em domínios de código restritos frequentemente quebra a lógica ou cria payloads inválidos.

D. Soluções Propostas e Instrumentos de Avaliação

• Verificação Neuro-Simbólica: Os autores defendem uma arquitetura onde os LLMs atuam como geradores de hipóteses, e suas saídas são submetidas à verificação determinística (Análise Estática, Fuzzing Dinâmico, Execução Simbólica) antes de chegarem aos analistas humanos.
• Deductive Coverage Score (DCS): Uma métrica que quantifica o grau em que uma alegação de vulnerabilidade está fundamentada em evidências explícitas e verificáveis (ex: referências específicas de código, rastros de execução) versus interpolação estatística.
• CVE-Bench: Um benchmark projetado para testar a capacidade dos sistemas de triagem de separar relatórios fundamentados de caminhos de exploração fantasmas e fluentes, usando verdade fundamental validada por execução.
• Slop-Score: Uma métrica contínua que quantifica a lacuna entre fluência linguística e substância verificável, penalizando artefatos que são fluentes, mas carecem de densidade de evidência ou satisfação de restrições.

4. Resultados e Descobertas

• Evidência Empírica: O levantamento destaca que aproximadamente 20% dos relatórios em alguns programas de bug bounty (ex: HackerOne por meados de 2025) foram identificados como AI slop de baixa qualidade, levando à descontinuação de certos programas (ex: o programa de recompensa do cURL em 2026) devido à incapacidade de distinguir relatórios válidos de ruído gerado por IA.
• Déficit de Fundamentação: Uma revisão de trabalhos representativos (Tabela 1) revela que nenhum estudo fornece validação em nível de execução das saídas de LLM. A fundamentação mais forte encontrada é a verificação de compilação ou análise estática, que operam muito abaixo dos requisitos de um raciocínio de segurança rigoroso.
• Falha de Pontes Parciais: Embora ferramentas como ReAct e Geração Aumentada de Recuperação (RAG) reduzam alucinações fáticas (ex: inventar CVEs inexistentes), elas falham em abordar alucinações lógicas (extrair inferências causalmente incorretas a partir de fatos precisos).

5. Significância e Alegações

O artigo posiciona-se como um levantamento, análise conceitual e roteiro. Sua principal significância reside na mudança do paradigma de avaliação de fluência linguística para verificabilidade matemática.

• Falha Estrutural: Os autores afirmam que o AI slop não é meramente um problema de desempenho, mas uma falha estrutural onde a geração probabilística substitui a verificação causal.
• Confiabilidade: A confiança na triagem impulsionada por IA não pode ser alcançada apenas através de melhor prompting ou rastreamento de proveniência. Requer verificação neuro-simbólica ativa que mapeie cada componente do pipeline para sistemas anteriores com limites documentados (ex: os limites de explosão de caminho da execução simbólica).
• Direção Futura: O artigo conclui que a IA confiável na cibersegurança emergirá de sistemas que tratam a geração como o ponto de partida de um pipeline de verificação, garantindo que o julgamento humano seja exercido apenas sobre alegações que sobreviveram a testes determinísticos. As métricas propostas (DCS, Slop-Score) e os benchmarks (CVE-Bench) pretendem fornecer a infraestrutura necessária para eliminar essa falha estrutural do sistema.