Where Do LLM-based Systems Break? A System-Level Security Framework for Risk Assessment and Treatment

Este trabalho apresenta um framework de avaliação de riscos orientado a objetivos para sistemas baseados em Grandes Modelos de Linguagem (LLMs), que integra modelagem de sistemas com Árvores de Ataque-Defesa e pontuação CVSS para identificar pontos críticos e permitir a criação de defesas direcionadas em contextos de segurança crítica, como demonstrado em um estudo de caso na área da saúde.

O essencial

Imagine que você construiu um assistente médico superinteligente (um "Robô Doutor") que usa Inteligência Artificial para ajudar médicos a ler prontuários, sugerir tratamentos e organizar dados dos pacientes. Parece ótimo, certo? Mas, e se alguém tentar enganar esse robô para que ele dê um remédio errado, roube os segredos dos pacientes ou trave o sistema todo?

Este artigo é como um manual de segurança para construir esse robô, mas com uma abordagem muito especial. Em vez de apenas olhar para o "cérebro" do robô (a IA) e ver se ele é bom, os autores olham para todo o sistema como se fosse uma fortaleza.

Aqui está a explicação simplificada, usando analogias do dia a dia:

1. O Problema: Olhar apenas para a porta, não para o castelo

Muitos especialistas em segurança hoje olham apenas para a "porta da frente" (como alguém tenta enganar a IA com um prompt malicioso). Eles esquecem que o robô precisa conversar com outros sistemas (bancos de dados, tradutores, servidores).

• A analogia: É como se você instalasse um cadeado superforte na porta da sua casa, mas deixasse a janela do porão aberta e o sistema de alarme desligado. O ladrão não precisa arrombar a porta; ele entra pela janela.
• O que o papel faz: Ele mapeia todo o caminho que um ladrão pode fazer, desde a janela até o cofre, e não apenas a porta.

2. A Ferramenta: A "Árvore de Decisão" do Ladrão

Os autores usam algo chamado Árvores de Ataque e Defesa.

• A analogia: Imagine um mapa de tesouro, mas ao contrário. Em vez de mostrar onde está o ouro, mostra todos os caminhos possíveis que um ladrão pode tomar para chegar ao ouro.
  • Nós da árvore: São os obstáculos (ex: "Precisa hackear a senha", "Precisa enganar o sistema", "Precisa roubar o servidor").
  • Conexões: Alguns caminhos exigem apenas um passo (OU), outros exigem vários passos juntos (E).
• O objetivo: Eles definem três "tesouros" que os ladrões querem:
  1. G1: Fazer o robô dar um conselho médico errado (Integridade).
  2. G2: Roubar os dados secretos dos pacientes (Confidencialidade).
  3. G3: Travar o sistema para ninguém usar (Disponibilidade).

3. A Medição: O "Termômetro de Perigo" (CVSS)

Como saber qual caminho é mais perigoso? Eles usam um sistema padrão chamado CVSS (o mesmo que os bancos e governos usam para medir falhas de software).

• A analogia: É como um termômetro que mede a "facilidade" de um ataque.
  • É fácil? (Alguém precisa estar perto? Precisa de senha? Precisa clicar em algo?)
  • Eles pegam falhas conhecidas (como se fossem "ferramentas de ladrão" já catalogadas) e calculam a pontuação de risco de cada caminho.
• O truque: Eles separam o "quão fácil é entrar" da "quão ruim é o estrago". Um ataque pode ser difícil de fazer, mas se conseguir, pode destruir o hospital. O sistema calcula isso separadamente.

4. A Solução: Onde colocar o "Cadeado" (Defesa)

A parte mais legal é que o sistema não apenas aponta o problema, mas ajuda a escolher onde gastar o dinheiro para consertar.

• A analogia: Imagine que você tem um orçamento limitado para proteger sua casa. Você pode:
  • Colocar um alarme na janela (barato, mas talvez não pare o ladrão principal).
  • Trocar a fechadura da porta (mais caro).
  • Contratar um segurança 24h (muito caro).
• O que o papel faz: Ele simula: "Se eu colocar um cadeado aqui, a pontuação de perigo cai de 8 para 4? E se eu colocar ali, cai de 8 para 2?".
  • Eles mostram que, às vezes, proteger o "ponto de estrangulamento" (onde todos os caminhos passam) é mais eficiente do que proteger cada caminho individualmente.
  • Eles comparam diferentes "pacotes de defesa" para ver qual dá o maior retorno pelo menor custo.

5. O Caso Real: O Hospital

Eles testaram tudo isso em um cenário de saúde.

• O cenário: Um robô que lê prontuários eletrônicos.
• O resultado: Eles descobriram que muitos ataques diferentes (roubar senha, enganar a IA, invadir o servidor) acabam se juntando em poucos caminhos principais.
• A lição: Ao proteger esses poucos "gargalos" (como a autenticação do usuário ou a validação das ferramentas que o robô usa), você protege o sistema inteiro contra uma variedade enorme de ataques.

Resumo Final

Este artigo é um guia prático para engenheiros e gestores de segurança. Ele diz:

"Não olhe apenas para a Inteligência Artificial. Olhe para o sistema inteiro. Desenhe o mapa de como um ladrão entraria, meça o perigo de cada caminho e coloque seus recursos (dinheiro e esforço) exatamente onde eles vão cortar mais o caminho do ladrão."

É como ter um arquiteto de segurança que não apenas diz "sua casa é fraca", mas desenha o plano exato de onde colocar os reforços para que ela fique segura sem gastar uma fortuna à toa.

Resumo técnico

Título: Onde os Sistemas Baseados em LLM Quebram? Um Framework de Segurança em Nível de Sistema para Avaliação e Tratamento de Riscos

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais integrados em fluxos de trabalho críticos para a segurança, especialmente na saúde (ex.: assistentes médicos, resumo de Prontuários Eletrônicos de Saúde - EHRs). No entanto, a análise de segurança existente apresenta lacunas significativas:

• Fragmentação: As análises de segurança atuais tendem a isolar o comportamento do modelo (ex.: injeção de prompt, jailbreaks) do contexto mais amplo do sistema.
• Falta de Visão Sistêmica: Métodos tradicionais (como STRIDE ou CVSS) são aplicados a componentes de software convencionais, mas não capturam adequadamente as interações complexas entre LLMs, orquestradores, ferramentas externas e memória de estado.
• Ausência de Caminhos de Ataque Consolidados: A literatura foca em ameaças individuais, mas não demonstra como ameaças convencionais (ciber), de ML adversarial e conversacionais se combinam para formar caminhos de ataque de múltiplos passos que levam a objetivos de segurança específicos.
• Dificuldade de Priorização: Sem uma métrica unificada, é difícil comparar diferentes portfólios de defesa e priorizar tratamentos de risco sob restrições orçamentárias.

2. Metodologia

Os autores propõem um framework de avaliação de risco orientado a objetivos, que combina modelagem de sistema com Árvores de Ataque-Defesa (ADTrees) e pontuação baseada no Common Vulnerability Scoring System (CVSS v3.1).

Etapas Principais:

1. Modelagem do Sistema:

   • Define-se uma arquitetura de assistente de saúde baseado em LLM, incluindo camadas de aplicação web, orquestrador (agente), LLM, ferramentas externas e plataformas de EHR.
   • Identificam-se três categorias de ameaças: (i) Ciberconvencionais (ex.: MitM, roubo de credenciais), (ii) ML Adversarial (ex.: envenenamento de modelo, extração de dados) e (iii) Ameaças Conversacionais (ex.: injeção de prompt).

2. Construção de Árvores de Ataque-Defesa (ADTs) Orientadas a Objetivos:

   • O risco é modelado em torno de três objetivos de segurança (G1, G2, G3):
     • G1: Interferência em procedimentos médicos (integridade).
     • G2: Vazamento de dados de EHR (confidencialidade).
     • G3: Interrupção do acesso ou disponibilidade (disponibilidade).
   • Cada árvore decomõe o objetivo em Pré-condições (P) (o que deve falhar primeiro) e Execução (V) (o ataque ativo).
   • Utiliza-se conectores lógicos OR (alternativas), AND (requisitos conjuntos) e SAND (dependências sequenciais) para modelar a composição de ameaças.

3. Quantificação Baseada em CVSS:

   • Foco na Explorabilidade: Os nós internos (pré-condições e execução) são pontuados apenas com o sub-escore de explorabilidade do CVSS (baseado em vetores de ataque, complexidade, privilégios e interação do usuário).
   • Impacto no Objetivo: O escore de impacto (Confidencialidade, Integridade, Disponibilidade) é aplicado apenas no nó raiz (objetivo final).
   • Agregação:
     • Nós OR: Assume-se o caminho mais fácil (máximo de explorabilidade).
     • Nós SAND: A complexidade de ataque (AC) das pré-condições é propagada para o nó de execução, ajustando a dificuldade do passo seguinte.
   • Mapeamento para CVEs: Cada folha da árvore é mapeada para um CVE representativo (ou uma analogia técnica) para obter vetores CVSS iniciais.

4. Tratamento de Risco e Análise de Custos:

   • Defesas são modeladas como transformações nos vetores CVSS das folhas (ex.: aumentar a complexidade de ataque de Baixa para Alta, ou exigir privilégios mais altos).
   • Define-se um modelo de custo ordinal (1 a 4) baseado em esforço de engenharia, infraestrutura, carga operacional e impacto na experiência do usuário.
   • Comparam-se cenários canônicos de defesa (ex.: endurecer apenas pré-condições vs. apenas execução vs. ambos).

3. Contribuições Chave

1. Modelagem Sistêmica Orientada a Objetivos: Um método que unifica ameaças heterogêneas (convencionais, adversariais e conversacionais) em caminhos de ataque explícitos dentro de uma arquitetura de sistema, focando em objetivos de missão (saúde).
2. Pontuação de Explorabilidade para Caminhos de Ataque: Uma abordagem inovadora para mapear vetores CVSS v3.1 em árvores de ataque, agregando-os através de lógica booleana e condicional (SAND) para gerar pontuações de explorabilidade compostas para caminhos de múltiplos passos.
3. Comparação de Portfólios de Defesa sob Restrições de Custo: Um fluxo de trabalho que permite quantificar a redução de risco (ΔE) versus o custo de implementação, ajudando a identificar gargalos onde as defesas são mais eficazes.

4. Resultados (Estudo de Caso em Saúde)

O framework foi aplicado a um assistente de saúde, gerando os seguintes insights:

• Concentração de Risco: As pontuações base do CVSS para muitos caminhos de ataque convergiram para valores altos (aproximadamente 7.5), indicando que, sem defesas, os sistemas são altamente vulneráveis.
• Identificação de Gargalos: A análise revelou que, embora as pontuações finais fossem similares, os caminhos de ataque diferiam estruturalmente. Por exemplo, a "Injeção de Prompt" dependia fortemente de comprometimento de endpoint de usuário, enquanto "Erros de Orquestração" dependia de falhas de integridade na camada de orquestração.
• Eficácia das Defesas:
  • Endurecimento de Pré-condições: Aumentar a complexidade das pré-condições (ex.: autenticação multifator, isolamento de sessão) elevou o Majority Attack Complexity (ACmaj), reduzindo significativamente a explorabilidade do passo de execução subsequente, mesmo sem adicionar controles diretos na execução.
  • Retornos Decrescentes: O modelo mostrou que, após endurecer um estágio (ex.: pré-condições), adicionar controles no outro estágio (ex.: execução) pode ter retornos decrescentes na pontuação global de explorabilidade, guiando a alocação eficiente de recursos.
  • Cenários Canônicos: A estratégia de "endurecer ambos os lados" (pré-condições e execução) ofereceu a maior redução de risco, mas com custos mais elevados. Estratégias focadas apenas em "guardrails" (execução) mostraram-se viáveis quando mudanças na infraestrutura eram limitadas.

5. Significado e Conclusão

• Ponte entre IA e Gestão de Vulnerabilidades: O trabalho conecta preocupações abstratas de segurança de IA com práticas estabelecidas de gestão de vulnerabilidades (CVSS), permitindo que equipes de segurança tradicionais avaliem riscos de LLMs.
• Agnóstico de Domínio: Embora testado na saúde, o fluxo de trabalho é aplicável a qualquer sistema crítico orquestrado por LLMs (infraestrutura, finanças), bastando substituir os objetivos e componentes.
• Colaboração Interdisciplinar: O framework fornece uma linguagem comum para equipes de segurança, engenharia de software e ML, facilitando a colaboração na identificação de ameaças e seleção de mitigações.
• Viabilidade para Estágios Iniciais: Diferente de métodos que exigem configurações de implantação detalhadas, esta abordagem é funcional em estágios iniciais de desenvolvimento, utilizando conhecimento parcial do sistema para gerar caminhos de ataque acionáveis.

Em resumo, o artigo oferece uma metodologia rigorosa e quantificável para entender onde os sistemas de LLM falham, permitindo que organizações priorizem defesas de forma estruturada, baseada em dados e custo-efetiva.