Resumo Técnico: Avaliando LLMs de Pesos Abertos para a Geração de Informações de Ameaças Estruturadas para Vulnerabilidades em Veículos Autônomos

Declaração do Problema

Veículos Conectados e Autônomos (CAVs) dependem de interações complexas de componentes de software e hardware, incluindo sensores, Unidades de Controle Eletrônico (ECUs) e telemática, tornando-os suscetíveis a vulnerabilidades de segurança. Essas vulnerabilidades são atualmente documentadas como descrições de texto simples não estruturadas no banco de dados de Vulnerabilidades e Exposições Comuns (CVE). Profissionais de segurança exigem informações estruturadas sobre ativos afetados, tipos de fraquezas e comportamentos de ataque para mitigar riscos de forma eficaz. Embora o formato Structured Threat Information Expression (STIX) ofereça uma maneira padronizada de representar esse conhecimento, converter descrições de CVE não estruturadas em pacotes STIX (compostos por STIX Domain Objects [SDO], STIX Relationship Objects [SRO], Common Weakness Enumeration [CWE] e mapeamentos MITRE ATT&CK) é um processo manual laborioso.

Embora os Grandes Modelos de Linguagem (LLMs) possuam a capacidade de compreender a linguagem e gerar conhecimento estruturado, estudos anteriores indicam que as saídas STIX geradas por LLMs frequentemente sofrem com objetos incompletos, relacionamentos incorretos, estruturas inválidas e atributos alucinados. Além disso, os conjuntos de dados existentes para geração de STIX focam em textos de cibersegurança geral ou tarefas específicas como previsão de CWE, carecendo de um benchmark dedicado para CVEs relacionados a CAV mapeados para pacotes STques STIX completos. Há uma necessidade crítica de avaliar LLMs de pesos abertos para este domínio específico e de estabelecer um conjunto de dados de verdade fundamental (ground-truth) para facilitar a geração confiável de inteligência de ameaças automatizada.

Metodologia

Construção do Conjunto de Dados (CAV-STIXGen)

Para abordar a falta de benchmarks específicos do domínio, os autores construíram o conjunto de dados CAV-STIXGen através de um processo de seis etapas:

1. Construção de Palavras-chave: Uma lista de palavras-chave específicas do domínio foi gerada usando LLMs e refinada pelos autores para cobrir componentes de CAV (ex: LiDAR, barramento CAN, V2X) e fabricantes.
2. Coleta de CVE: 445 registros de CVE candidatos foram recuperados da National Vulnerability Database (NVD) usando as palavras-chave.
3. Filtragem de Relevância: Os registros foram filtrados com base em critérios de inclusão (componentes de veículos, carregamento de VE, infoentretenimento, etc.) e critérios de exclusão (vulnerabilidades genéricas de web/software). Isso resultou em 183 CVEs únicos e relevantes relacionados a CAV.
4. Anotação: Dois autores anotaram manualmente SDOs e SROs para cada CVE de acordo com as especificações STIX 2.1, alcançando 94% de concordância entre avaliadores.
5. Mapeamento: As CVEs foram mapeadas para categorias CWE e técnicas MITRE ATT&CK. Os mapeamentos fornecidos pela NVD foram verificados, e uma análise manual foi conduzida onde os dados da NVD estavam ausentes.
6. Conversão: As anotações validadas foram convertidas em pacotes JSON STIX 2.1 de verdade fundamental.

Avaliação de LLM

O estudo avaliou 11 LLMs de pesos abertos (variando de 4B a 120B de parâmetros) em quatro categorias: propósito geral, especializados em cibersegurança, orientados a código e modelos de grande capacidade. A avaliação envolveu:

• Entrada: Identificadores e descrições de CVE.
• Estratégias: Três estratégias de prompting foram testadas:
  • Sem contexto (Contextless): Instruções mínimas.
  • Guiado por STIX (STIX-guided): Instruções explícitas para tipos de objetos, relacionamentos e mapeamentos.
  • Few-Shot Dinâmico (Dynamic Few-Shot): Prompt guiado aumentado por cinco exemplos de verdade fundamental similares selecionados por pontuação de similaridade.
• Parâmetros: Os experimentos foram executados em temperaturas de 0, 0.25, 0.75 e 1.0.
• Métricas: Precisão micro, recall e pontuações F1 foram usadas para extração de SDO, SRO e CWE. Para MITRE ATT&CK, tanto Match@1 (pelo menos uma técnica correta) quanto Match@All (todas as técnicas corretas) foram reportados.
• Configuração Multi-Agente: Uma configuração usando Gemma-4-31B e Codestral-22B foi testada para examinar se a decomposição por papéis específicos (separando tarefas de extração, mapeamento e validação) melhorava o desempenho.

Análise de Padrões de Ameaça

O conjunto de dados de verdade fundamental foi analisado para identificar categorias CWE frequentes e técnicas MITRE ATT&CK. A análise de coocorrência foi realizada usando FP-Growth (suporte mínimo 0.02) e regras de associação (confiança mínima 0.30) para identificar padrões de ataque recorrentes.

Principais Contribuições

1. Conjunto de Dados CAV-STIXGen: Um benchmark anotado manualmente mapeando 183 CVEs relacionados a CAV para pacotes JSON STIX 2.1 de verdade fundamental, incluindo SDOs, SROs, CWE e mapeamentos MITRE ATT&CK.
2. Avaliação de LLM: Uma avaliação abrangente de 11 LLMs de pesos abertos para gerar inteligência de ameaças estruturada a partir de descrições não estruturadas de vulnerabilidades de CAV.
3. Análise de Estratégia de Prompting: Um estudo comparativo demonstrando como diferentes níveis de orientação de tarefa (contextless, guiado, few-shot) afetam a qualidade da geração entre diferentes tamanhos e tipos de modelos.
4. Identificação de Padrões de Ameaça: Uma análise dos dados de verdade fundamental revelando padrões de coocorrência de CWE e MITRE ATT&CK frequentes específicos para o domínio de segurança de transporte.

Resultados

Características do Conjunto de Dados

O conjunto de dados final contém 183 CVEs, compreendendo 1.383 instâncias de SDO e 1.395 instâncias de SRO. Os tipos de SDO mais frequentes são infraestrutura, padrão de ataque, vulnerabilidade, identidade e ator de ameaça. Em média, cada CVE contém 7,56 SDOs, 7,62 SROs, 1,15 mapeamentos CWE e 1,61 mapeamentos MITRE ATT&CK.

Desempenho do LLM

• Estratégia de Prompting: O prompting few-shot dinâmico apresentou consistentemente os melhores resultados em todas as tarefas. O prompting sem contexto resultou em baixo desempenho, particularmente para objetos e relacionamentos implícitos.
• Desempenho por Tarefa:
  • Extração de SDO: Alto desempenho foi alcançado, com os principais modelos (ex: Phi-4, LLaMA-70B, Codestral-22B) atingindo pontuações F1 de 0.94 sob prompting few-shot dinâmico.
  • Extração de SRO: O desempenho foi inferior devido à complexidade de identificar pares de origem/destino e tipos de relacionamento corretos. O melhor resultado foi uma pontuação F1 de 0.63 (Qwen-Coder).
  • Mapeamento de CWE: Observou-se alta precisão, com vários modelos atingindo pontuações F1 próximas a 0.99 sob prompting few-shot dinâmico.
  • Mapeamento MITRE ATT&CK: Esta permaneceu como a tarefa mais desafiadora. Embora as pontuações Match@1 tenham melhorado (até 0.68 para Gemma-4-31B), as pontuações Match@All permaneceram baixas, indicando dificuldade em identificar todas as técnicas válidas para um único CVE.
• Comparação de Modelos: Nenhum modelo único se destacou em todas as sub-tarefas. Modelos orientados a código (Qwen-Coder, Codestral) e grandes modelos de propósito geral (LLaMA-70B, GPT-120B) geralmente tiveram o melhor desempenho.
• Configuração Multi-Agente: A configuração multi-agente melhorou a extração de SDO para Gemma-4-31B (F1 0.91), mas não superou consistentemente os melhores resultados de few-shot de modelo único para extração de SRO (Codestral-22B alcançou 0.43 F1).

Análise de Padrão de Ameaça

• CWE: As fraquezas mais frequentes foram CWE-787 (Out-of-bounds Write), CWE-284 (Improper Access Control) e CWE-20 (Improper Input Validation). Cinco das 10 principais CWEs no conjunto de dados sobrepõem-se à lista CWE Top 25 de 2025.
• MITRE ATT&CK: As técnicas mais frequentes foram T1499 (Endpoint Denial of Service), T1203 (Exploitation for Client Execution) e T1210 (Exploitation of Remote Services).
• Coocorrência: O par de técnicas mais frequente foi T1203–T1499 (aparecendo em 10 CVEs), seguido por T1210–T1499 e T1068–T1548.

Significância e Alegações

O artigo afirma que o conjunto de dados CAV-STIXGen fornece uma base necessária para avaliar a geração de inteligência de ameaças assistida por IA no domínio de transporte. Os resultados demonstram que, embora os LLMs de pesos abertos possam extrair efetivamente objetos de vulnerabilidade explícitos e mapear fraquezas (CWE), eles têm dificuldade com o raciocínio de nível de grafo exigido para a extração de relacionamentos complexos e o mapeamento abrangente de técnicas de ataque (MITRE ATT&CK).

Os autores afirmam que a orientação do prompt é crítica; especificamente, o prompting few-shot dinâmico supera significativamente as abordagens puramente guiadas ou sem contexto ao fornecer exemplos relevantes para o alvo. Eles concluem que, embora os LLMs possam automatizar partes da tradução CVE-para-STIX, os modelos atuais requerem validação externa e potencialmente abordagens multi-agente ou de recuperação aumentada (RAG) para lidar com toda a complexidade da inteligência de ameaças estruturada, particularmente para a construção de relacionamentos e o mapeamento de múltiplas técnicas de ataque. O estudo posiciona o conjunto de dados e as descobertas como um recurso para priorizar a defesa na segurança de transporte ao identificar padrões de ameaça recorrentes.