Mitigating the OWASP Top 10 For Large Language Models Applications using Intelligent Agents

Resumen Técnico: Mitigación del OWASP Top 10 para Aplicaciones de Grandes Modelos de Lenguaje mediante Agentes Inteligentes

Planteamiento del Problema
La rápida integración de los Grandes Modelos de Lenguaje (LLM, por sus siglas en inglés) en sectores críticos como la salud, las finanzas y la educación ha introducido vulnerabilidades de seguridad significativas. El Proyecto Abierto de Seguridad de Aplicaciones Web (OWASP) ha identificado una lista específica de los "10 principales" riesgos de seguridad inherentes a las aplicaciones de LLM. Estos riesgos incluyen Inyección de Prompts, Manejo Inseguro de Salidas, Envenenamiento de Datos de Entrenamiento, Denegación de Servicio del Modelo, Vulnerabilidades de la Cadena de Suministro, Divulgación de Información Sensible, Diseño de Plugins Inseguro, Agencia Excesiva, Dependencia Excesiva y Robo de Modelos. La literatura actual indica que los LLM son susceptibles a amenazas adversarias, tales como el elusión de mecanismos de seguridad mediante el ajuste fino con ejemplos dañinos, la ejecución de llamadas a funciones arbitrarias mediante manipulación y la filtración de datos sensibles a través de la memorización no intencionada. Existe una necesidad crítica de mecanismos robustos y proactivos para mitigar estas vulnerabilidades sin comprometer la utilidad de los LLM.

Metodología
El artículo propone un marco de seguridad que aprovecha agentes inteligentes autónomos para inspeccionar las interacciones de los usuarios y hacer cumplir las políticas de seguridad organizacionales en tiempo real. La arquitectura propuesta se basa en dos tecnologías principales:

1. Microsoft AutoGen: Un marco de código abierto que permite la colaboración multi-agente. Facilita la orquestación de agentes conversacionales que pueden trabajar juntos para resolver tareas complejas.
2. Generación Aumentada por Recuperación (RAG): Una técnica utilizada para extender el conocimiento de los LLM pre-entrenados incorporando documentos y bases de datos específicos de la empresa (por ejemplo, políticas de seguridad, Procedimientos Operativos Estándar).

Arquitectura Propuesta
El modelo utiliza un sistema de tres agentes que operan dentro del marco AutoGen:

• Agente Comandante (Commander Agent): Actúa como el orquestador. Recibe las entradas del usuario, delega tareas a agentes especializados y gestiona el flujo de comunicación entre el usuario y el sistema.
• Agente Experto en Seguridad (Security Expert Agent): Responsable de la validación tanto de la entrada como de la salida. Utiliza RAG para contrastar los prompts del usuario y las salidas generadas con las políticas de seguridad offline y las bases de datos de la organización.
• Agente de Negocios (Business Agent): Responsable de generar la respuesta principal a las consultas del usuario. También emplea RAG para acceder al conocimiento del dominio de negocio específico de la organización.

Flujo de Trabajo

1. Validación de Entrada: El Agente Comandante recibe un prompt del usuario y lo transfiere al Agente de Seguridad. El Agente de Seguridad valida la entrada contra las políticas de seguridad recuperadas mediante RAG. Si la entrada viola las políticas, es rechazada; de lo contrario, se transfiere al Agente de Negocios.
2. Generación de Respuesta: El Agente de Negocios genera una respuesta utilizando su conocimiento pre-entrenado y el contexto de negocio aumentado por RAG.
3. Validación de Salida: La respuesta generada se envía de vuelta al Agente de Seguridad para su validación. El Agente de Seguridad verifica si existen salidas inseguras, divulgación de información sensible o violaciones de políticas.
4. Corrección Iterativa: Si la salida es rechazada, el Agente Comandante instruye al Agente de Negocios para que regenere la respuesta, incorporando las violaciones específicas resaltadas por el Agente de Seguridad. Este ciclo continúa hasta que se produce una respuesta aceptable o se alcanza un límite predefinido.
5. Entrega Final: Una vez que ambos agentes aprueban la interacción, el Agente Comandante entrega la respuesta final al usuario.

Contribuciones Clave

• Propuesta de Marco: El artículo presenta un esquema inicial para un marco de seguridad multi-agente diseñado específicamente para mitigar el OWASP Top 10 para LLM.
• Mecanismo de Validación Dual: Introduce un proceso de validación de doble capa (entrada y salida) donde un Agente de Seguridad dedicado, aumentado por RAG, actúa como portero tanto para los prompts entrantes como para las respuestas salientes.
• Integración de RAG para la Seguridad: Los autores demuestran cómo RAG puede utilizarse no solo para la precisión factual, sino para fundamentar las decisiones de seguridad en los documentos de políticas offline de una organización, asegurando el cumplimiento de las regulaciones internas.
• Autonomía Controlada: La arquitectura asegura que, mientras los LLM generan contenido, el control sobre la llamada a funciones y la ejecución de código permanezca con los componentes externos del sistema (AutoGen), previniendo la "Agencia Excesiva" y el "Diseño de Plugins Inseguro".

Resultados y Reivindicaciones
El artículo no presenta resultados experimentales empíricos, pruebas de rendimiento o datos cuantitativos sobre la reducción de vectores de ataque específicos. En su lugar, ofrece un modelo conceptual y una arquitectura propuesta. Los autores afirman que este marco sirve como un "esquema inicial" para la investigación y el desarrollo futuros.

Significancia
La significancia de este trabajo radica en su enfoque proactivo hacia la seguridad de los LLM. Al pasar de defensas estáticas a agentes inteligentes dinámicos que pueden razonar sobre las políticas de seguridad en tiempo real, el modelo propuesto tiene como objetivo:

• Reforzar la postura de seguridad de los despliegos de LLM dentro de las empresas.
• Prevenir posibles brechas de seguridad y asegurar la privacidad de los datos.
• Mantener la confianza de las partes interesadas mitigando los riesgos asociados con el OWASP Top 10.
• Proporcionar un enfoque estructurado para que los desarrolladores y expertos en seguridad mejoren la fiabilidad de las aplicaciones de LLM en un panorama de amenazas que evoluciona rápidamente.

Los autores concluyen que, si bien los LLM ofrecen un potencial transformador, su despliegue requiere medidas de seguridad robustas y adaptables, y su marco basado en agentes representa un paso hacia la consecución de esa seguridad.