🤖 AI

Threat Modelling using Domain-Adapted Language Models: Empirical Evaluation and Insights

Este artigo apresenta uma avaliação empírica abrangente de Modelos de Linguagem Grandes e Pequenos adaptados a domínios para modelagem de ameaças 5G STRIDE, revelando que nem a adaptação de domínio nem a escalabilidade do modelo garantem consistentemente desempenho confiável, destacando assim limitações fundamentais nos LLMs atuais para tarefas de segurança estruturada e a necessidade de raciocínio e fundamentação aprimorados.

Autores originais: Saba Pourhanifeh, AbdulAziz AbdulGhaffar, Ashraf Matrawy

Publicado 2026-05-12

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Saba Pourhanifeh, AbdulAziz AbdulGhaffar, Ashraf Matrawy

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um grupo de robôs de tamanhos diferentes a agir como guardas de segurança para uma complexa rede de telefones 5G. Seu objetivo é fazê-los olhar para uma ameaça de segurança específica (como um hacker fingindo ser uma torre de celular) e classificá-la em um de seis "recipientes" específicos rotulados STRIDE (Spoofing, Tampering, Repudiation, Information Disclosure, Denial of Service, Elevation of Privilege).

Este artigo é como um boletim de notas de um teste onde os pesquisadores testaram oito robôs diferentes para ver qual era o melhor nesse trabalho.

Aqui está a análise de seu experimento e o que descobriram, usando analogias simples:

1. Os Concorrentes: Generalistas vs. Especialistas

Os pesquisadores testaram dois tipos de robôs:

Os Generalistas: São robôs padrão e inteligentes, treinados em tudo (livros, código, notícias). São como um bibliotecário que sabe um pouco sobre tudo.
Os Especialistas: São os mesmos robôs, mas receberam "cursos intensivos" extras especificamente sobre telecomunicações e cibersegurança. São como esse mesmo bibliotecário que também passou o último ano lendo apenas manuais de 5G e guias de hackers.

A Grande Pergunta: Dar ao robô um curso intensivo especializado o torna melhor em classificar ameaças de segurança do que apenas deixá-lo usar seu conhecimento geral?

O Resultado: Surpreendentemente, não. Os robôs "Especialistas" não venceram consistentemente os "Generalistas". Às vezes os especialistas eram melhores, mas muitas vezes eram apenas tão bons (ou às vezes piores) quanto os generalistas. Acontece que apenas conhecer o vocabulário do campo não é suficiente; o robô precisa saber como pensar sobre o problema, não apenas os fatos.

2. O Tamanho Importa (Mas Não é Tudo)

Os pesquisadores testaram robôs de tamanhos diferentes:

Robôs Minúsculos (1 Bilhão de parâmetros): Como uma criança pequena inteligente.
Robôs Médios (3 Bilhões de parâmetros): Como um adolescente.
Robôs Grandes (8 Bilhões de parâmetros): Como um adulto experiente.

O Resultado: Os Robôs Grandes geralmente fizeram o melhor trabalho. Foram mais precisos e cometeram menos erros. No entanto, o artigo alerta que apenas aumentar o tamanho do robô não garante perfeição. Mesmo os maiores robôs ainda ficaram confusos, perderam algumas ameaças ou deram respostas que não faziam sentido. Ser grande ajuda, mas não é uma varinha mágica.

3. A "Cola" (Prompting)

Os pesquisadores tentaram duas maneiras de fazer os robôs responderem às perguntas:

Zero-Shot (ZS): Apenas fazendo a pergunta diretamente, como "Em qual recipiente isso vai?".
Few-Shot (FS): Dando ao robô alguns exemplos primeiro, como "Aqui está uma ameaça que vai no recipiente 'Spoofing'. Aqui está uma para 'Tampering'. Agora, onde vai esta nova?".

O Resultado: Dar os exemplos (Few-Shot) geralmente ajudou os robôs a acertar mais respostas, especialmente os maiores. Foi como mostrar a um aluno alguns exercícios práticos antes da prova. No entanto, para os robôs minúsculos, os exemplos às vezes os confundiram, fazendo com que performassem pior.

4. O "Teste de Estresse" (Estratégias de Decodificação)

Os pesquisadores pediram aos robôs que respondessem à mesma pergunta de duas maneiras:

Greedy Decoding: O robô escolhe a única resposta mais óbvia toda vez. É como um robô que sempre escolhe o primeiro caminho que vê.
Stochastic Sampling: O robô é permitido ser um pouco aleatório. Ele escolhe de uma lista de respostas "boas". Se você perguntar 10 vezes, ele pode te dar 10 respostas ligeiramente diferentes.

O Resultado: O método Stochastic foi uma ótima maneira de ver quão instáveis os robôs eram. Os robôs minúsculos eram muito nervosos; se você fizesse a mesma pergunta 10 vezes, eles poderiam dar 10 respostas diferentes. Os robôs grandes foram muito mais consistentes. Isso mostrou que, para trabalho de segurança, você precisa de um robô que não fique oscilando em suas respostas.

5. O Problema do "Lixo" (Saídas Inválidas)

Esta foi uma descoberta importante. Os pesquisadores não contaram apenas respostas certas ou erradas; eles também procuraram absurdos.

Alguns robôs ignoraram as regras e escreveram longos ensaios em vez de apenas escolher um recipiente.
Alguns robôs inventaram novos recipientes que não existiam (alucinações).
Alguns robôs deram uma resposta no recipiente, mas depois escreveram uma explicação que a contradizia (por exemplo, "Isso é Spoofing", mas depois escreveram "Isso é na verdade Tampering").
Alguns robôs apenas desistiram e escreveram código ou espaço em branco.

O Resultado: A Taxa de Saída Inválida foi alta, especialmente para robôs menores e quando não lhes foi dado um formato estrito (como um modelo de chat). O artigo conclui que você não pode confiar nesses robôs para trabalhar sozinhos ainda. Mesmo que eles acertem a resposta 60% das vezes, se nas outras 40% das vezes estiverem escrevendo nonsense ou se contradizendo, um humano ainda precisa verificar cada resposta individualmente.

O Veredito Final

O artigo conclui que:

Treinamento especializado sozinho não é suficiente. Você não pode apenas alimentar um robô com livros de segurança e esperar que ele seja um especialista em segurança; ele precisa ser treinado em como resolver o quebra-cabeça específico da modelagem de ameaças.
Quanto maior, melhor, mas não perfeito. Robôs maiores são mais confiáveis, mas ainda cometem erros.
Como você pergunta importa. Dar exemplos e formatação estrita ajuda, mas não conserta robôs quebrados.
Confiabilidade é fundamental. Para trabalho de segurança, um robô que é 80% preciso, mas 20% "maluco", é perigoso. Precisamos de robôs que sejam consistentes e sigam instruções perfeitamente, e a tecnologia atual ainda não chegou lá completamente.

Em resumo: Esses modelos de IA são ferramentas promissoras para segurança, mas, por enquanto, são como estagiários inteligentes, mas propensos a devaneios. Eles precisam de um supervisor humano para verificar seu trabalho antes de ser usado no mundo real.

Resumo Técnico: Modelagem de Ameaças usando Modelos de Linguagem Adaptados ao Domínio

Declaração do Problema

Embora os Modelos de Linguagem de Grande Escala (LLMs) mostrem promessa em aplicações de cibersegurança, como detecção de vulnerabilidades, sua eficácia em modelagem de ameaças estruturada permanece pouco explorada. Pesquisas anteriores focaram amplamente em LLMs de propósito geral sob configurações limitadas de prompt. Existe uma lacuna crítica na compreensão de saber se modelos adaptados ao domínio (especificamente aqueles treinados em corpora de telecomunicações e cibersegurança) superam seus equivalentes de propósito geral no contexto de classificação de ameaças baseada em STRIDE para redes 5G. Além disso, o impacto da escala do modelo, estratégias de decodificação (determinísticas vs. estocásticas) e técnicas de prompt (Zero-Shot vs. Few-Shot) sobre a confiabilidade e validade das saídas estruturadas não foi sistematicamente avaliado.

Metodologia

O estudo apresenta uma avaliação empírica abrangente envolvendo 52 configurações distintas em 8 modelos de linguagem ajustados por instrução (variando de 1B a 8B parâmetros). Os modelos incluíram LLMs de propósito geral (por exemplo, variantes Llama-3) e modelos adaptados ao domínio (Tele-LLMs para telecomunicações e Foundation-Sec para cibersegurança).

Configuração Experimental

Tarefa: Classificação multirrótulo de ameaças 5G nas seis categorias STRIDE (Falsificação, Alteração, Repúdio, Divulgação de Informações, Negação de Serviço, Elevação de Privilégio).
Conjunto de Dados: Seis ameaças 5G representativas cobrindo todas as categorias STRIDE, derivadas de Mahyoub et al. [14].
Estratégias de Prompt:
- Zero-Shot (ZS): Instrução direta da tarefa sem exemplos.
- Few-Shot (FS): Inclusão de exemplos em contexto demonstrando a classificação de ameaças.
- Modelos de Chat: Avaliação com e sem modelos de chat específicos do modelo para avaliar a adesão à instrução.
Estratégias de Decodificação:
- Decodificação Gulosa: Avaliação determinística, execução única.
- Amostragem Estocástica: 10 execuções independentes por ameaça (Temperatura=0.7, Top_p=0.9) para avaliar consistência de saída e incerteza.
Métricas de Avaliação:
- Métricas padrão de classificação (Precisão, Revocação, Pontuação F1).
- Taxa de Saída Inválida (IOR): A proporção de saídas que falham em conformar-se ao formato requerido (por exemplo, respostas vazias, rótulos alucinados, explicações contraditórias).
- Pontuação F1 Penalizada: Uma métrica composta definida como $F1 \times (1 - IOR)$ , priorizando tanto a precisão quanto a validade da saída.

Contribuições Principais

Avaliação Sistemática da Adaptação ao Domínio: O artigo fornece a primeira análise comparativa de LLMs adaptados ao domínio (Telecom e Cibersegurança) versus modelos de propósito geral especificamente para classificação de ameaças baseada em STRIDE.
Análise de Propriedades do Modelo: Investiga a inter-relação entre a escala do modelo (1B–8B) e as estratégias de decodificação, revelando como a amostragem estocástica expõe incerteza de classificação e problemas de estabilidade em modelos menores.
Impacto da Técnica de Prompt: O estudo quantifica os efeitos do prompt Few-Shot e de modelos de chat tanto na qualidade da classificação quanto na adesão à instrução.
Insights sobre Confiabilidade da Saída: Além da precisão padrão, o artigo identifica e categoriza modos de falha específicos (por exemplo, categorias alucinadas, contradições rótulo-explicação e falta de abstenção graciosa) que tornam as saídas do modelo inutilizáveis para modelagem de ameaças automatizada.
Diretrizes Práticas de Prompt: Com base em observações empíricas, os autores propõem estratégias de prompt específicas para modelagem de ameaças estruturada para melhorar a confiabilidade da saída.

Resultados e Descobertas

1. A Adaptação ao Domínio Não é uma Panaceia

Contrariando a hipótese de que o treinamento específico do domínio garante desempenho superior, modelos adaptados ao domínio não superaram consistentemente seus equivalentes de propósito geral. Embora modelos como Foundation-Sec-8B-Instruct e variantes Tele-it tenham alcançado pontuações competitivas em configurações específicas, modelos de propósito geral (por exemplo, Llama-3.1-8B-Instruct) frequentemente igualaram ou excederam-nos, particularmente sob prompt Few-Shot. Isso sugere que o raciocínio específico da tarefa e a adesão à instrução são tão críticos quanto o conhecimento do domínio.

2. Escala do Modelo e Estratégia de Decodificação

Escala: Modelos maiores (8B parâmetros) geralmente alcançaram maiores Pontuações F1 Penalizadas e maior estabilidade em comparação com modelos menores (1B e 3B). No entanto, a escalabilidade por si só não eliminou erros de classificação ou saídas inválidas.
Decodificação: A amostragem estocástica revelou variabilidade significativa em modelos menores, que frequentemente falharam em selecionar rótulos consistentes entre execuções. Em contraste, modelos maiores demonstraram seleção de rótulo mais estável.
Prompt Few-Shot: O prompt FS geralmente melhorou a revocação e as pontuações F1 para modelos maiores, ajudando-os a inferir estruturas multirrótulo. No entanto, para modelos menores (especificamente 1B), o prompt FS às vezes degradou o desempenho ou aumentou saídas inválidas, indicando um limite de capacidade na interpretação de exemplos em contexto.

3. Validade e Confiabilidade da Saída

Uma parte significativa do estudo foca na Taxa de Saída Inválida (IOR). Os resultados indicam que:

Modelos menores e configurações sem modelos de chat produziram taxas mais altas de saídas inválidas (por exemplo, texto explicativo em vez de rótulos, categorias alucinadas ou geração de código).
Modelos de chat nem sempre melhoraram a precisão da classificação, mas melhoraram significativamente a adesão à instrução, reduzindo a frequência de respostas malformadas.
Nenhum dos modelos avaliados demonstrou a capacidade de "abster-se graciosamente" ou expressar incerteza quando uma classificação válida não pôde ser determinada; eles tenderam a alucinar rótulos em vez disso.

Significado e Alegações

O artigo conclui que os LLMs atuais, mesmo quando adaptados ao domínio e escalados, enfrentam limitações fundamentais na modelagem de ameaças estruturada. As descobertas desafiam a suposição de que simplesmente adicionar mais dados de treinamento específicos do domínio ou aumentar o tamanho do modelo é suficiente para automação de segurança confiável.

Os autores afirmam que:

A adaptação ao domínio por si só é insuficiente para modelagem de ameaças estruturada; os modelos requerem alinhamento com tarefas de raciocínio específicas e restrições de saída.
A confiabilidade é distinta da precisão. Um modelo pode alcançar uma pontuação F1 razoável, mas ainda ser operacionalmente pouco confiável devido a altas taxas de saídas inválidas ou contraditórias.
Melhorias futuras devem ir além da escalabilidade de dados para incorporar mecanismos de raciocínio específicos da tarefa mais fortes e melhor fundamentação em conceitos de segurança.
Engenharia de prompt é uma alavanca crítica para melhorar a confiabilidade, especificamente através do uso de exemplos Few-Shot para modelos maiores e restrições de formatação estritas (modelos de chat) para garantir a validade da saída.

O estudo serve como uma base empírica de advertência, sugerindo que, embora os LLMs possam auxiliar na modelagem de ameaças, eles ainda não podem ser confiados como agentes autônomos sem supervisão humana significativa e configuração cuidadosa dos parâmetros de prompt e decodificação.