Mitigating the OWASP Top 10 For Large Language Models Applications using Intelligent Agents

Resumo Técnico: Mitigando o OWASP Top 10 para Aplicações de Grandes Modelos de Linguagem utilizando Agentes Inteligentes

Declaração do Problema
A rápida integração de Grandes Modelos de Linguagem (LLMs) em setores críticos, como saúde, finanças e educação, introduziu vulnerabilidades de segurança significativas. O projeto Open Web Application Security Project (OWASP) identificou uma lista específica de "Top 10" riscos de segurança inerentes às aplicações de LLM. Esses riscos incluem Injeção de Prompt, Manipulação de Saída Insegura, Envenenamento de Dados de Treinamento, Negação de Serviço de Modelo, Vulnerabilidades de Cadeia de Suprimentos, Divulgação de Informações Sensíveis, Design de Plugin Inseguro, Agência Excessiva, Dependência Excessiva e Roubo de Modelo. A literatura atual indica que os LLMs são suscetíveis a ameaças adversárias, tais como contornar mecanismos de segurança através de ajuste fino (fine-tuning) com exemplos prejudiciais, executar chamadas de função arbitrárias via manipulação e vazar dados sensíveis através de memorização não pretendida. Há uma necessidade crítica de mecanismos robustos e proativos para mitigar essas vulnerabilidades sem comprometer a utilidade dos LLMs.

Metodologia
O artigo propõe um framework de segurança que utiliza agentes inteligentes autônomos para inspecionar interações de usuários e aplicar políticas de segurança organizacional em tempo real. A arquitetura proposta é construída sobre duas tecnologias principais:

1. Microsoft AutoGen: Um framework de código aberto que permite a colaboração multi-agente. Ele facilita a orquestração de agentes conversacionais que podem trabalhar juntos para resolver tarefas complexas.
2. Geração Aumentada por Recuperação (RAG): Uma técnica usada para estender o conhecimento de LLMs pré-treinados incorporando documentos e bancos de dados específicos da empresa (ex: políticas de segurança, Procedimentos Operacionais Padrão).

Arquitetura Proposta
O modelo utiliza um sistema de três agentes operando dentro do framework AutoGen:

• Agente Comandante: Atua como o orquestrador. Ele recebe entradas do usuário, delega tarefas para agentes especializados e gerencia o fluxo de comunicação entre o usuário e o sistema.
• Agente Especialista em Segurança: Responsável pela validação tanto de entrada quanto de saída. Ele utiliza RAG para cruzar prompts de usuários e saídas geradas com as políticas de segurança offline e bancos de dados da organização.
• Agente de Negócios: Responsável por gerar a resposta primária às consultas do usuário. Ele também emprega RAG para acessar o conhecimento do domínio de negócios específico da organização.

Fluxo de Trabalho

1. Validação de Entrada: O Agente Comandante recebe um prompt do usuário e o encaminha para o Agente de Segurança. O Agente de Segurança valida a entrada contra as políticas de segurança recuperadas via RAG. Se a entrada violar as políticas, ela é rejeitada; caso contrário, é encaminhada ao Agente de Negócios.
2. Geração de Resposta: O Agente de Negócios gera uma resposta utilizando seu conhecimento pré-treinado e o contexto de negócios aumentado por RAG.
3. Validação de Saída: A resposta gerada é enviada de volta ao Agente de Segurança para validação. O Agente de Segurança verifica se há saídas inseguras, divulgação de informações sensíveis ou violações de política.
4. Correção Iterativa: Se a saída for rejeitada, o Agente Comandante instrui o Agente de Negócios a regenerar a resposta, incorporando as violações específicas destacadas pelo Agente de Segurança. Este ciclo continua até que uma resposta aceitável seja produzida ou um limite predefinido seja atingido.
5. Entrega Final: Uma vez que ambos os agentes aprovem a interação, o Agente Comandante entrega a resposta final ao usuário.

Principais Contribuições

• Proposta de Framework: O artigo apresenta um esboço inicial para um framework de segurança multi-agente projetado especificamente para mitigar o OWASP Top 10 para LLMs.
• Mecanismo de Dupla Validação: Introduz um processo de validação de camada dupla (entrada e saída) onde um Agente de Segurança dedicado, aumentado por RAG, atua como um guardião tanto para prompts de entrada quanto para respostas de saída.
• Integração de RAG para Segurança: Os autores demonstram como o RAG pode ser utilizado não apenas para precisão factual, mas para fundamentar decisões de segurança nos documentos de política offline específicos de uma organização, garantindo a conformidade com regulamentos internos.
• Autonomia Controlada: A arquitetura garante que, embora os LLMs gerem conteúdo, o controle sobre a chamada de funções e execução de código permaneça com os componentes externos do sistema (AutoGen), prevenindo "Agência Excessiva" e "Design de Plugin Inseguro".

Resultados e Alegações
O artigo não apresenta resultados experimentais empíricos, benchmarks de desempenho ou dados quantitativos sobre a redução de vetores de ataque específicos. Em vez disso, oferece um modelo conceitual e uma arquitetura proposta. Os autores afirmam que este framework serve como um "esboço inicial" para pesquisas e desenvolvimentos futuros.

Significância
A significância deste trabalho reside em sua abordagem proativa para a segurança de LLMs. Ao mudar de defesas estáticas para agentes inteligentes dinâmicos que podem raciocinar sobre políticas de segurança em tempo real, o modelo proposto visa:

• Reforçar a postura de segurança das implementações de LLM dentro das empresas.
• Prevenir potenciais brechas de segurança e garantir a privacidade dos dados.
• Manter a confiança das partes interessadas ao mitigar riscos associados ao OWASP Top 10.
• Fornecer uma abordagem estruturada para desenvolvedores e especialistas em segurança aumentarem a confiabilidade das aplicações de LLM em um cenário de ameaças em rápida evolução.

Os autores concluem que, embora os LLMs ofereçam potencial transformador, sua implementação requer medidas de segurança robustas e adaptáveis, e seu framework baseado em agentes representa um passo para alcançar essa segurança.