💻 computer science

Evaluating Retrieval-Augmented Generation for Explainable Malware Analysis

Este artigo demonstra empiricamente que a Geração Aumentada por Recuperação (RAG) frequentemente degrada a qualidade das explicações de malware ao introduzir ruído e contexto irrelevante, sugerindo que a análise de malware é melhor tratada como uma tarefa de extração de sinal do que como um problema de recuperação de conhecimento quando evidências estruturadas já estão disponíveis.

Autores originais: Jayson Ng, Amin Milani Fard

Publicado 2026-05-06

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Jayson Ng, Amin Milani Fard

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive tentando resolver um mistério: Por que este arquivo de computador está se comportando como um criminoso?

No mundo da cibersegurança, os analistas possuem um banco de dados massivo chamado VirusTotal. Pense nesse banco de dados como um relatório policial superdetalhado. Ele lista exatamente o que o arquivo fez: "Ele abriu uma porta", "Ele copiou um arquivo", "Ele ligou para um número de telefone suspeito". Tudo está lá, em fatos claros e estruturados.

Recentemente, especialistas em segurança começaram a usar detetives de IA (Modelos de Linguagem Grandes, ou LLMs) para ler esses relatórios policiais e escrever uma história clara explicando por que o arquivo é malicioso.

A Grande Pergunta: Precisamos de uma "Biblioteca" para a IA?

Existe uma ideia popular na IA chamada RAG (Geração Aumentada por Recuperação). A lógica é a seguinte: "Se nosso detetive de IA estiver escrevendo uma história, vamos dar a ele uma biblioteca de livros extras para ler primeiro. Talvez ele precise consultar o que 'abrir uma porta' geralmente significa em outras histórias de crimes para escrever uma explicação melhor."

Os autores deste artigo decidiram testar se essa "biblioteca" realmente ajuda quando o relatório policial (VirusTotal) já é perfeito e completo.

O Experimento: O Detetive com e sem a Biblioteca

Os pesquisadores montaram um teste com dois grupos de detetives de IA:

Grupo A: Leu o relatório do VirusTotal e escreveu uma explicação.
Grupo B: Leu o relatório do VirusTotal, além disso, a IA foi à "biblioteca", pegou alguns livros extras sobre malware e tentou misturar essas histórias na explicação.

Eles usaram um sistema de pontuação (chamado BERTScore) para ver quão bem a história da IA correspondia ao "padrão ouro" de uma explicação perfeita.

O Resultado Surpreendente: A Biblioteca Piorou as Coisas

O artigo descobriu que adicionar os livros extras da biblioteca na verdade piorou as explicações da IA.

Aqui está a analogia:
Imagine que você está tentando explicar um acidente de carro a um juiz. Você tem o relatório policial oficial com a velocidade, as marcas de derrapagem e o clima.

Sem a biblioteca: A IA olha para o relatório e diz: "O carro estava em alta velocidade e bateu na árvore." (Claro, preciso).
Com a biblioteca: A IA vai à biblioteca, encontra um livro sobre "Como as árvores crescem" e outro sobre "A história dos limites de velocidade". Ela tenta misturar isso na história. De repente, a explicação se torna: "O carro estava em alta velocidade e, embora as árvores geralmente cresçam lentamente, esta foi atingida por um carro rápido, o que nos lembra os debates sobre limites de velocidade dos anos 1990..."

A informação extra não ajudou; ela distraiu a IA. Adicionou "ruído" e tornou a história confusa ou genérica.

Por Que Isso Aconteceu?

Os autores explicam que analisar malware é como encontrar uma agulha num palheiro, não como escrever um ensaio do zero.

O relatório do VirusTotal já tem todas as "agulhas" (os comportamentos ruins específicos).
O trabalho da IA é apenas extrair essas agulhas e dizer o que elas significam.
Quando você força a IA a ler livros extras (RAG), ela começa a olhar para o "palha" (informação irrelevante ou fracamente relacionada) em vez das agulhas. Ela fica confusa com histórias que soam relacionadas, mas não são realmente sobre este arquivo específico.

A Conclusão para Equipes de Segurança

O artigo conclui que, para este trabalho específico (explicar malware com base em um relatório completo), menos é mais.

Não complique demais: Se você já tem todos os fatos, não force a IA a consultar informações extras. Isso apenas faz a IA alucinar ou se distrair.
Sinal vs. Ruído: O trabalho é extrair os sinais claros dos dados, não sintetizar novos conhecimentos a partir de uma biblioteca.
Ferramentas Melhores: Em vez de usar uma abordagem de "biblioteca", as ferramentas de segurança devem focar em ajudar a IA a ler o relatório existente com mais cuidado, talvez organizando melhor os fatos ou ignorando distrações irrelevantes.

Em resumo: Quando a evidência já está bem na sua frente, enviar a IA para a biblioteca apenas faz com que ela esqueça o que deveria estar observando.

Resumo Técnico: Avaliação da Geração Aumentada por Recuperação para Análise Explicável de Malware

Declaração do Problema

Enquanto os Modelos de Linguagem de Grande Escala (LLMs) são cada vez mais utilizados para traduzir indicadores de malware de baixo nível (por exemplo, chamadas de API, edições de registro) em explicações em linguagem natural, a eficácia da Geração Aumentada por Recuperação (RAG) neste domínio específico permanece não verificada. A suposição predominante é que a injeção de conhecimento de segurança externo via RAG melhora a qualidade das explicações. No entanto, a análise de malware frequentemente depende de evidências estruturadas (como relatórios do VirusTotal) que já encapsulam dados contextuais suficientes. Os autores postulam que a recuperação indiscriminada em tais cenários pode introduzir "ruído narrativo", contexto distrativo ou redações genéricas que degradam a capacidade do modelo de extrair sinais salientes, potencialmente levando a explicações enganosas em pipelines críticos para segurança.

Metodologia

O estudo conduz uma avaliação empírica da explicabilidade de LLMs com e sem RAG, utilizando relatórios estruturados do VirusTotal como entrada principal.

Conjunto de Dados e Arquitetura: O conjunto de dados compreende 1.702 relatórios do VirusTotal do corpus MalGPT, contendo indicadores estruturados como chamadas de API e operações de registro. O pipeline RAG utiliza o LlamaIndex para orquestração, ChromaDB para armazenamento vetorial e o OpenRouter como gateway de LLM. Os embeddings são gerados usando all-MiniLM-L6-v2 e text-embedding-3-large da OpenAI. Os documentos são divididos em blocos de 1.024 tokens com uma sobreposição de 100 tokens, e a recuperação emprega busca de similaridade top- $k$ com um limiar de 0,5.
Base de Conhecimento: A fonte de recuperação inclui o framework MITRE ATT&CK, orientações de pesquisa (por exemplo, MalGPT, mapeamentos CISA/MITRE), documentação técnica do VirusTotal e conjuntos de dados de inteligência de malware (taxonomias, CVEs).
Prompt do Sistema: Um prompt estruturado em 10 seções impõe consistência, exigindo que as saídas incluam veredictos, resumos não técnicos, citações de evidências, mapeamento de famílias de malware, agrupamento de IoC, resumos comportamentais, pontuações de confiança e recomendações acionáveis.
Protocolo de Avaliação: Um estudo de ablação compara vários LLMs (GPT OSS 21B, DeepSeek-R1 671B e GPT-5.1) sob prompts idênticos, testando-os com JSON do VirusTotal isoladamente versus JSON aumentado com contexto recuperado. Nenhum ajuste fino é aplicado para isolar os efeitos da recuperação.
Métricas: A qualidade da explicação é medida usando BERTScore, que avalia a similaridade semântica contra uma linha de base GPT-5.1 (sem RAG). Esta métrica é escolhida por sua robustez para parafraseamento e sensibilidade ao desvio semântico causado por passagens recuperadas pouco relacionadas.

Resultados Principais

Os experimentos revelam que o RAG frequentemente degrada a qualidade da explicação em vez de aprimorá-la quando evidências estruturadas já estão presentes:

Degradação de Desempenho: Em vários modelos, a adição de contexto recuperado geralmente reduziu os BERTScores. Por exemplo, o DeepSeek-R1 alcançou sua maior pontuação (0,8617) sem RAG, enquanto o desempenho caiu para 0,8583 e 0,8582 com diferentes modelos de embedding. Da mesma forma, o GPT OSS 21B viu uma queda significativa de 0,8407 (sem RAG) para 0,8184 com o recuperador all-MiniLM-L6-v2.
Sensibilidade ao Embedding: Embora o text-embedding-3-large tenha oferecido melhorias marginais para o GPT OSS 21B, não trouxe benefício ao DeepSeek-R1.
Causa da Degradação: Os autores atribuem o declínio à recuperação de passagens semanticamente similares, mas de baixa utilidade (por exemplo, descrições genéricas de malware) que atuam como "negativos difíceis". Esses distratores deslocam a atenção do modelo para narrativas plausíveis, mas irrelevantes, diluindo os sinais específicos encontrados nos relatórios estruturados do VirusTotal.
Comportamento do Modelo: Modelos mais robustos (como o DeepSeek-R1) parecem tratar o contexto adicional como redundante ou levemente contraditório, apoiando ainda mais a hipótese de que a tarefa é de extração de sinais e não de conclusão de conhecimento.

Contribuições Principais

Desafio Empírico às Suposições do RAG: O trabalho fornece evidências de que a aplicação padrão de RAG à explicação de malware é contraproducente quando evidências estruturadas de alta qualidade (relatórios do VirusTotal) estão disponíveis.
Reenquadramento da Tarefa: Os autores argumentam que a explicação de malware é primariamente uma tarefa de extração de sinais, não um problema de recuperação de conhecimento. Consequentemente, adicionar contexto externo pode introduzir carga cognitiva e riscos de erro sem agregar valor.
Recomendações de Design: O artigo delineia estratégias específicas para mitigar o ruído induzido pela recuperação em fluxos de trabalho de segurança:
- Pular o RAG quando relatórios estruturados forem suficientes (usando preditores de suficiência de contexto).
- Aplicar reclassificadores ajustados ao domínio com limites estritos de $k$ para evitar negativos difíceis.
- Substituir a divisão em blocos de janela fixa por blocos centrados em comportamento ou IoC, enriquecidos com metadados.
- Explorar alternativas como Geração Aumentada por Cache (CAG) e Engenharia de Contexto.

Significado e Alegações

O artigo afirma que, em pipelines críticos para segurança, o risco de viés de automação aumenta quando explicações baseadas em RAG se desviam da evidência subjacente. Os autores afirmam que os analistas se beneficiam mais da consistência e rastreabilidade do que de narrativas expandidas. Ao demonstrar que o RAG pode degradar o desempenho em domínios impulsionados por raciocínio estruturado, o trabalho defende uma mudança no design de ferramentas: afastando-se da síntese de conhecimento via recuperação e rumo à extração estruturada de sinais. As descobertas sugerem que, para tarefas onde a evidência de origem já é abrangente, o "ruído" introduzido pelos mecanismos de recuperação supera os benefícios potenciais da injeção de conhecimento externo.