Resumo Técnico: Ganhos de Segurança Empíricos de Fluxos de Trabalho Agênticos Guiados por TRiSM em Cuidados de Saúde

Declaração do Problema

A integração de Grandes Modelos de Linguagem (LLMs) em aplicações via agentes de IA permitiu a automação de tarefas complexas, particularmente em domínios de alto risco como a área da saúde. No entanto, essa integração frequentemente introduz vulnerabilidades de segurança significativas. Para maximizar o escopo e a precisão, os agentes são frequentemente concedidos direitos de acesso que excedem os dos usuários comuns, violando o princípio do privilégio mínimo. Isso cria uma superfície de ataque expandida onde práticas de desenvolvimento inseguras (ex: "vibe coding" com revisão mínima) e falhas arquitetônicas expõem dados sensíveis de pacientes a riscos como injeção de prompt, vazamento de dados e alucinação.

Especificamente, o artigo identifica que os fluxos de trabalho de agentes tradicionais geralmente dependem de um único agente com acesso irrestrito a ferramentas e dados, tornando-os suscetíveis a:

• Ataques de Injeção: Manipulação de prompts via envenenamento de RAG, injeção de campos de dados ou injeção de rede no lado do cliente.
• Ataques de Inferência: Reconstrução de dados de treinamento ou exposição de prompts ocultos.
• Envenenamento de Memória: Tampering (adulteração) do histórico de chat ou bases de conhecimento, o que pode propagar erros em sistemas multi-agentes.
• Uso Indevido de Ferramentas: Execução não autorizada de ações externas via servidores de Protocolo de Contexto de Modelo (MCP).

As mitigações atuais muitas vezes abordam essas vulnerabilidades de forma isolada, em vez de através de uma resposta arquitetônica combinada, e há uma carência de pesquisa empírica demonstrando como operacionalizar frameworks de segurança como o AI Trust, Risk, and Security Management (TRiSM) em aplicações médicas funcionais.

Metodologia

O estudo compara duas arquiteturas de fluxo de trabalho distintas aplicadas a uma aplicação de geração de relatórios médicos construída no Mendix Studio Pro (v10.24):

1. Baseline de Agente Inseguro: Um fluxo de trabalho de agente único onde um LLM tem acesso a todas as ferramentas, recursos e dados do paciente. Os prompts são construídos no lado do cliente e o agente interage diretamente com os dados da aplicação e servidores MCP externos sem controles de acesso granulares.
2. Fluxo de Trabalho Agêntico Guiado por TRiSM: Uma arquitetura multi-agente projetada em torno dos princípios de TRiSM. Este fluxo de trabalho decompõe tarefas em agentes especializados (Busca de Paciente, Geração de Documento, Raio-X Semelhante) com partição rigorosa de dados e construção de prompt no lado do servidor. Ele impõe o privilégio mínimo, onde cada agente acessa apenas os dados e ferramentas específicos necessários para sua subtarefa.

Configuração Experimental:

• Modelos: Cinco LLMs foram avaliados: Claude Haiku 4.5, GPT-4.1-nano, GPT-4.1-mini, GPT-5.4-mini e Gemini 2.5 Flash.
• Cenários: Dois tipos de relatórios foram gerados: encontros hospitalares padrão e encontros de Covid-19.
• Volume: 800 gerações totais (40 por combinação de modelo/fluxo de trabalho) e 500 cenários de ataque simulados.
• Vetores de Ataque:
  • RAG Poisoning (Envenenamento de RAG): Injeção de conteúdo malicioso no conhecimento recuperado.
  • Data-Field Injection (Injeção de Campo de Dados): Manipulação de campos de dados específicos dentro do prompt.
  • Client-Side Network Injection (Injeção de Rede no Lado do Cliente): Intercepção e modificação de requisições do lado do cliente (estruturalmente impossível no fluxo de trabalho TRiSM devido à construção no lado do servidor).
• Métricas: Taxa de Sucesso de Ataque (ASR), precisão do relatório, latência, consumo de tokens e custo. A significância estatística foi avaliada usando o teste exato de McNemar.

Principais Contribuições

O artigo fornece as seguintes contribuições empíricas:

• Mapeamento Arquitetônico: Aplica os princípios de TRiSM a uma aplicação agêntica médica operacional, mapeando explicitamente princípios abstratos (Governança, Confiabilidade, Equidade, Confiabilidade, Proteção de Dados) para controles técnicos concretos (ex: construção de prompt no lado do servidor, acesso a ferramentas baseado em funções, partição de dados).
• Trade-offs de Segurança e Precisão: Demonstra que um redesenho guiado por TRiSM, utilizando um fluxo de trabalho multi-agente, reduz simultaneamente as taxas de sucesso de ataque e melhora a precisão dos relatórios.
• Benchmarking de Vulnerabilidades: Identifica classes específicas de vulnerabilidades que emergem quando agentes excedem as permissões do usuário e fornece benchmarks de sucesso de ataque por modelo, destacando que nenhum modelo é robusto em todos os vetores de ataque.

Resultados

Melhorias de Segurança

O fluxo de trabalho agêntico guiado por TRiSM reduziu significativamente a Taxa Média de Sucesso de Ataque (ASR) em todos os modelos testados:

• RAG Poisoning: Reduziu de 31% (baseline) para 10%.
• Data-Field Injection: Reduziu de 42% (baseline) para 25%.
• Network Injection: O vetor foi totalmente eliminado no fluxo de trabalho TRiSM porque os prompts são construídos no lado do servidor, impedindo a manipulação no lado do cliente. No baseline, a ASR média foi de 59%.

A análise estatística confirmou que essas reduções são significativas (RAG poisoning $p < 0.0001$; data-field injection $p = 0.0009$). O estudo observa que, embora o design multi-agente reduza o risco, a interação agente-a-agente pode ocasionalmente propagar erros, indicando a necessidade de verificações de nível de fronteira.

Desempenho e Precisão

• Precisão: A precisão dos relatórios aumentou em 14 pontos percentuais no total, subindo de 72,5% no baseline para 86,5% no fluxo de trabalho TRiSM. Para relatórios de Covid-19, o modelo GPT-5.4-mini apresentou um aumento de 27,5 pontos percentuais.
• Latência e Custo: O fluxo de trabalho TRiSM introduziu overhead. O consumo de tokens aumentou ligeiramente (5–29% dependendo do modelo e tipo de relatório) e a latência aumentou para relatórios complexos, particularmente com modelos menores como o GPT-4.1-nano. No entanto, o intervalo interquartil (IQR) para latência diminuiu em alguns casos, sugerindo cargas de trabalho por chamada mais previsíveis.
• Custo: O custo por relatório aumentou no máximo 16%, com o GPT-4.1-nano apresentando o menor aumento (5%) devido à maior conformidade de formato.

Significância e Alegações

O artigo argumenta que o design seguro não é meramente uma medida defensiva, mas um mecanismo para melhorar a confiabilidade. Ao decompor tarefas complexas em subtarefas menores e isoladas tratadas por agentes especializados, o sistema reduz a carga cognitiva para os LLMs individuais, reduzindo assim as alucinações e aumentando a precisão.

Os autores afirmam que a seleção de modelos isoladamente é insuficiente para garantir a segurança; nenhum modelo testado foi resistente a todos os vetores de ataque. Portanto, controles arquitetônicos (como privilégio mínimo e construção de prompt no lado do servidor) são complementos necessários à escolha do modelo. O estudo conclui que a implementação de fluxos de trabalho guiados por TRiSM em cuidados de saúde cria um "design seguro que fornece saídas mais confiáveis", equilibrando a necessidade de automação com a segurança do paciente e a conformidade regulatória.

O artigo mantém um escopo modesto, reconhecendo limitações como o uso de um único anotador para a pontuação de ataques, as restrições da plataforma Mendix e a natureza limitada do conjunto de testes adversariais devido aos recursos computacionais. Sugere que trabalhos futuros foquem na validação desses controles em outras plataformas e na expansão do conjunto de testes com financiamento dedicado.