💻 computer science

When to Trust the Map: Confidence-Aware LLM Routing for Automotive CVE-to-ATM Mapping

Este artigo propõe um framework de roteamento de LLM consciente de confiança que reformula o mapeamento de CVE para ATM automotivo como um problema de automação seletiva, utilizando aprendizado de contexto hierárquico e pontuações de confiança calibradas para rotear mapeamentos em categorias de auto-confirmação, revisão ou retenção, melhorando significativamente a precisão em relação às linhas de base zero-shot ao isolar casos incertos para revisão de analistas.

Autores originais: Heeyun Heo, Sangmin Park, Huy Kang Kim, Sanghoon Jeon

Publicado 2026-07-22

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Heeyun Heo, Sangmin Park, Huy Kang Kim, Sanghoon Jeon

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine o mundo digital como uma cidade enorme e movimentada, onde cada carro é agora um dispositivo inteligente, conversando constantemente com a nuvem, com outros carros e até com os semáforos. Assim como qualquer cidade, esta metrópole digital tem sua parcela de encrenqueiros tentando invadir, roubar dados ou causar o caos. Para manter todos seguros, especialistas em segurança usam dois "idiomas" diferentes para descrever essas ameaças. Um idioma, chamado CVEs, é como um manual técnico de um mecânico; ele lista exatamente qual parafuso está frouxo ou qual fio está desgastado. O outro idioma, chamado ATM (Matriz de Ameaças Automotivas), é mais como um livro de estratégia de um detetive; ele descreve como um criminoso pensa, quais são seus objetivos e os truques específicos que eles usam para cometer um crime.

O problema é que esses dois idiomas não se comunicam bem. Uma nota de um mecânico sobre um fio partido não diz automaticamente ao detetive: "Ah, isso é uma tática de 'Execução Remota de Código!'". Se tentarmos traduzir esses idiomas automaticamente usando Inteligência Artificial (IA), a IA pode se confundir, misturar as pistas ou inventar com confiança um crime que nunca aconteceu. No mundo dos carros autônomos, um erro não é apenas um erro de digitação; pode significar que um carro será hackeado ou que um sistema de segurança falhará ao ser ativado. Portanto, a grande questão não é apenas "A IA consegue traduzir essas ameaças?", mas sim "Podemos confiar na IA o suficiente para deixá-la decidir por conta própria, ou precisamos de um humano para conferir o trabalho?".

É aqui que o artigo "When to Trust the Map" (Quando Confiar no Mapa) entra em cena. Os pesquisadores, trabalhando com uma equipe da Universidade de Korea e da Universidade de Kookmin, decidiram parar de pedir à IA para apenas "tentar e errar". Em vez disso, eles construíram um sistema inteligente que atua como um policial de trânsito consciente de sua confiança. Eles perceberam que, embora a IA seja ótima em gerar ideias, ela frequentemente sofre de "alucinações" — inventando coisas com total convicção. Para corrigir isso, criaram um framework que não apenas gera uma lista de ameaças, mas atribui uma pontuação de confiança a cada sugestão, essencialmente perguntando à IA: "O quão certa você está disso?".

Eis como o sistema deles funciona, usando uma analogia lúdica: Imagine que a IA é um detetive júnior tentando resolver um caso. Em vez de deixar o detetive agir sem controle, o sistema o coloca em um treinamento rigoroso. Primeiro, o detetive observa uma biblioteca de casos resolvidos no passado (chamada de "aprendizado em contexto") para encontrar padrões semelhantes. Em seguida, o sistema não aceita apenas a palavra do detetive. Ele envia o caso para um segundo detetive (um "juiz" de IA) que olha apenas para as evidências brutas — o texto real do relatório de segurança — sem saber o que o primeiro detetive supôs. Esse segundo detetive verifica se as pistas realmente sustentam a teoria.

O sistema então combina essas duas vozes: a consistência do primeiro detetive (ele deu a mesma resposta várias vezes?) e a verificação de evidências do segundo detetive (o texto realmente diz isso?). Esses sinais são alimentados em um "meta-modelo", que é como um sábio chefe de polícia. O chefe calcula uma pontuação de confiança final (um número entre 0 e 1) para cada sugestão de ameaça. Com base nessa pontuação, o sistema classifica cada sugestão em uma de três categorias:

AUTO (Luz Verde): Se a pontuação de confiança for muito alta (acima de 0,74 em seu melhor modo), o sistema diz: "Isso é sólido! Podemos confiar nisso automaticamente". Em seus testes, quando o sistema estava tão confiante, ele estava correto 87,8% das vezes. Isso é mais do que o dobro da precisão de apenas adivinhar aleatoriamente ou usar métodos de IA mais antigos e simples.
REVIEW (Luz Amarela): Se a pontuação estiver no meio do caminho, o sistema diz: "Isso parece interessante, mas não tenho 100% de certeza. Vamos mostrar isso a um especialista humano". Isso garante que casos complicados ou ambíguos recebam a atenção humana necessária.
HOLD (Luz Vermelha): Se a pontuação for muito baixa, o sistema diz: "Não tenho ideia, e as evidências são fracas. Coloque em espera". Em seus testes, cada caso que o sistema colocou na categoria "HOLD" era, de fato, incorreto, provando que o sistema sabe quando não deve adivinhar.

Os pesquisadores testaram isso em um conjunto de dados de 269 relatórios reais de segurança automotiva (CVEs) que foram cuidadosamente rotulados por especialistas humanos. Eles descobriram que sua abordagem "consciente da confiança" foi muito melhor em filtrar palpites ruins do que uma IA padrão que apenas tenta responder à pergunta diretamente. Ao separar as "certezas" das "possibilidades", eles mostraram que podemos automatizar grande parte do trabalho perigoso sem perder a segurança.

O artigo argumenta explicitamente contra a ideia de que podemos simplesmente confiar em um único modelo de IA para fazer este trabalho perfeitamente sozinho. Eles descobriram que, sem essa camada extra de verificação e pontuação de confiança, os modelos de IA são propensos demais a erros e "alucinações" para serem confiados em ambientes críticos de segurança, como carros. Eles também descartaram a ideia de que simplesmente pedir à IA para repetir a resposta várias vezes (consistência) é suficiente; você também precisa desse segundo "juiz" para verificar a evidência real.

Em resumo, este artigo sugere que não precisamos escolher entre a segurança humana e a velocidade da IA. Em vez disso, podemos construir um sistema que conheça seus próprios limites. Ele atua como um filtro inteligente, permitindo que a IA lide com as ameaças fáceis e óbvias automaticamente, enquanto sinaliza as questões confusas para especialistas humanos. Essa "automação seletiva" pode ajudar os fabricantes de automóveis a atualizar seus planos de segurança de forma mais rápida e precisa, garantindo que, quando uma nova vulnerabilidade for descoberta, as contramedidas corretas sejam aplicadas sem o risco de a IA errar. Os resultados, medidos em seu conjunto de testes específico, mostram um caminho claro a seguir: um framework onde a IA diz: "Estou confiante o suficiente para dirigir esta parte do carro", enquanto o humano permanece no assento do motorista para o restante.

Resumo Técnico: Roteamento de LLM Baseado em Confiança para Mapeamento de CVE para ATM Automotivo

Definição do Problema
O artigo aborda o desafio crítico de mapear Vulnerabilidades e Exposições Comuns (CVEs) para a Matriz de Ameaças Automotivas (ATM) do Auto-ISAC. Embora as CVEs descrevam vulnerabilidades técnicas, a ATM organiza o comportamento adversário em táticas e técnicas. O mapeamento automatizado direto é difícil porque essas representações não estão alinhadas; mapeamentos incorretos em ambientes automotivos de segurança crítica podem distorcer a interpretação de ameaças e a priorização de mitigação. Além disso, frameworks de uso geral como o MITRE ATT&CK carecem de contexto automotivo específico (ex: injeção de CAN, comprometimento de OTA), e os Grandes Modelos de Linguagem (LLMs) sofrem de alucinações e inconsistência de geração, tornando a automação de saída única pouco confiável para tarefas de segurança crítica. O problema central é formulado como um desafio de automação seletiva: distinguir mapeamentos que são confiáveis o suficiente para adoção automática daqueles que exigem revisão de analistas.

Metodologia
O framework proposto opera em um pipeline de quatro estágios projetado para gerar, verificar, calibrar e rotear mapeamentos candidatos:

Geração de Candidatos Hierárquica em Dois Estágios:
- O sistema decompõe a tarefa em prever uma tática primeiro, e então prever técnicas condicionadas a essa tática.
- Utiliza Aprendizado em Contexto Hierárquico (ICL) com o GPT-5.2 da OpenAI (esforço de raciocínio = alto).
- Estágio 1 (Tática): O modelo seleciona entre 14 IDs de táticas válidos usando um esquema de chamada de função (function-calling) para evitar violações de ontologia.
- Estágio 2 (Técnica): Para cada tática prevista, o modelo prevê técnicas a partir do subconjunto específico associado a essa tática. Ele recupera $k=8$ exemplos semanticamente similares de um "Pool de Exemplares" (derivado de CVEs mais antigas) usando recuperação k-vizinhos mais próximos (kNN) para focar em padrões específicos da tática.
- Consistência: Para mitigar a instabilidade do LLM, cada estágio é invocado $N=5$ vezes. Uma pontuação de consistência de par é calculada como o produto da frequência da tática e da frequência da técnica dada essa tática.
Verificação de Múltiplos Sinais:
- Para distinguir entre erros gerados frequentemente e mapeamentos corretos, o sistema emprega um LLM-como-Juiz fundamentado em evidências.
- O verificador extrai seis elementos estruturados do texto da CVE (alinhados com a norma ISO/SAE 21434 TARA), tais como componentes afetados e interfaces de ataque. Elementos não declarados são marcados como "desconhecidos" para forçar o raciocínio baseado apenas em evidências.
- O verificador pontua cada candidato em três eixos: suporte, contradição e suficiência. Os candidatos são anonimizados antes da verificação para evitar viés.
Calibração de Confiança:
- Um metamodelo (regressão logística com regularização L2) é treinado em um Conjunto de Desenvolvimento para integrar a estabilidade de geração (consistência) e os sinais de verificação (suporte, contradição, suficiência) em uma única pontuação de confiança calibrada ( $\hat{p}$ ).
- O modelo inclui termos de interação (ex: consistência $\times$ suporte) para garantir que a confiança seja alta apenas quando tanto a estabilidade de geração quanto o suporte factual estiverem presentes.
- A calibração post-hoc (escalonamento de sigmoide e temperatura) é aplicada para corrigir a confiança excessiva ou insuficiente (over/under-confidence).
Roteamento Operacional de Três Níveis:
- Com base em $\hat{p}$ $\overset{p}{^}$ , os candidatos são roteados para três níveis:
  - AUTO: Alta confiança; confirmado automaticamente para registros de vulnerabilidade.
  - REVIEW (REVISÃO): Confiança moderada; roteado para analistas com evidências de suporte.
  - HOLD (RETENÇÃO): Baixa confiança; adiado até que mais evidências estejam disponíveis.
- Os limiares ( $\tau_{auto}$ , $\tau_{hold}$ ) são ajustados para equilibrar precisão e recall, permitindo diferentes modos operacionais (Alta Confiança, Equilibrado, Alta Cobertura).

Principais Contribuições

Formulação: O artigo formaliza o mapeamento de CVE para ATM automotivo como um problema de automação seletiva, separando explicitamente casos confirmáveis automaticamente daqueles que requerem supervisão humana.
Framework: Introduz um framework de roteamento de múltiplos sinais que combina ICL hierárquico, verificações de autoconsistência e verificação fundamentada em evidências para impulsionar um processo de decisão calibrado de três níveis.
Dataset: Os autores construíram um conjunto de dados de referência de 269 CVEs automotivas com 483 pares de tática-técnica anotados por especialistas, abordando a falta de dados públicos para esta tarefa de mapeamento específica.

Resultados
Avaliado em um conjunto de teste de 58 CVEs (98 pares de ouro), o sistema demonstrou melhorias significativas em relação aos baselines:

Qualidade do Candidato: O sistema proposto alcançou uma precisão de 0,395 (vs. 0,277 para o baseline Flat Zero-shot GPT-5.2) enquanto mantinha o recall correspondente (0,745), reduzindo o número médio de previsões por CVE de 4,55 para 3,19.
Desempenho de Roteamento: No modo de Alta Confiança ( $\tau_{auto} \approx 0,74$ ), o nível AUTO alcançou uma precisão de 0,878, mais que o dobro da taxa de base do conjunto de candidatos (0,395).
Calibração: A pontuação de confiança calibrada $\hat{p}$ alcançou um AUROC de 0,868 ao distinguir candidatos corretos de incorretos, superando significativamente o baseline de consistência pura (AUROC 0,705).
Ablação: A remoção dos sinais do juiz fundamentado em evidências causou uma queda acentuada no AUROC, confirmando que a consistência sozinha é insuficiente para uma estimativa de confiança confiável.

Significância e Alegações
O artigo afirma que este framework fornece um caminho viável para a automação seletiva na cibersegurança automotiva. Ao isolar mapeamentos de alta confiança, o sistema suporta fluxos de trabalho autônomos de Sistemas de Gestão de Cibersegurança (CSMS), preservando a atenção do analista para casos ambíguos. Os autores enfatizam que o framework oferece evidência de decisão rastreável (pontuações de confiança e sinais de verificação) exigida para conformidade com a ISO/SAE 21434 e fluxos de auditoria.

Os autores mantêm a modéstia quanto ao escopo, observando que:

A avaliação é limitada à atual ontologia ATM (14 táticas, 75 técnicas) e ao dataset construído.
O sistema depende de um único modelo de base (GPT-5.2) tanto para geração quanto para verificação, embora salvaguardas como fundamentação em evidências e anonimização de candidatos sejam usadas para mitigar o viés de autoconfirmação.
A eficácia do nível "REVIEW" na prática requer estudos de campo futuros com analistas de segurança.
O sistema não lida atualmente com efeitos secundários indiretos ou extensões especulativas, focando estritamente em estágios de ataque diretamente verificáveis.

Mais como este