Mitigating the OWASP Top 10 For Large Language Models Applications using Intelligent Agents

Résumé Technique : Atténuation du Top 10 de l'OWASP pour les applications de Grands Modèles de Langage (LLM) à l'aide d'agents intelligents

Énoncé du Problème
L'intégration rapide des Grands Modèles de Langage (LLM) dans des secteurs critiques tels que la santé, la finance et l'éducation a introduit des vulnérabilités de sécurité significatives. L'Open Web Application Security Project (OWASP) a identifié une liste spécifique des « Top 10 » des risques de sécurité inhérents aux applications de LLM. Ces risques incluent l'injection de prompts, la gestion non sécurisée des sorties, l'empoisonnement des données d'entraînement, le déni de service du modèle, les vulnérabilités de la chaîne d'approvisionnement, la divulgation d'informations sensibles, la conception non sécurisée de plugins, l'agentivité excessive, la dépendance excessive et le vol de modèle. La littérature actuelle indique que les LLM sont sensibles aux menaces adverses, telles que le contournement des mécanismes de sécurité par l'ajustement fin (fine-tuning) avec des exemples malveillants, l'exécution d'appels de fonctions arbitraires via la manipulation, et la fuite de données sensibles par mémorisation involontaire. Il existe un besoin critique de mécanismes robustes et proactifs pour atténuer ces vulnérabilités sans compromettre l'utilité des LLM.

Méthodologie
Le document propose un cadre de sécurité qui exploite des agents intelligents autonomes pour inspecter les interactions des utilisateurs et faire appliquer les politiques de sécurité organisationnelles en temps réel. L'architecture proposée repose sur deux technologies fondamentales :

1. Microsoft AutoGen : Un framework open-source permettant la collaboration multi-agents. Il facilite l'orchestration d'agents conversationnels capables de travailler ensemble pour résoudre des tâches complexes.
2. Génération Augmentée par Récupération (RAG) : Une technique utilisée pour étendre les connaissances des LLM pré-entraînés en incorporant des documents et des bases de données spécifiques à l'entreprise (ex. : politiques de sécurité, procédures opérationnelles normalisées).

Architecture Proposée
Le modèle utilise un système à trois agents opérant au sein du framework AutoGen :

• Agent Commandant (Commander Agent) : Agit comme l'orchestrateur. Il reçoit les entrées de l'utilisateur, délègue les tâches à des agents spécialisés et gère le flux de communication entre l'utilisateur et le système.
• Agent Expert en Sécurité (Security Expert Agent) : Responsable de la validation des entrées et des sorties. Il utilise le RAG pour croiser les prompts des utilisateurs et les sorties générées avec les politiques de sécurité et les bases de données hors ligne de l'organisation.
• Agent Métier (Business Agent) : Responsable de la génération de la réponse principale aux requêtes des utilisateurs. Il emploie également le RAG pour accéder aux connaissances spécifiques au domaine métier de l'organisation.

Flux de Travail (Workflow)

1. Validation de l'Entrée : L'Agent Commandant reçoit un prompt utilisateur et le transmet à l'Agent de Sécurité. L'Agent de Sécurité valide l'entrée par rapport aux politiques de sécurité récupérées via le RAG. Si l'entrée viole les politiques, elle est rejetée ; sinon, elle est transmise à l'Agent Métier.
2. Génération de la Réponse : L'Agent Métier génère une réponse en utilisant ses connaissances pré-entraînées et le contexte métier enrichi par le RAG.
3. Validation de la Sortie : La réponse générée est renvoyée à l'Agent de Sécurité pour validation. L'Agent de Sécurité vérifie l'absence de sorties non sécurisées, de divulgation d'informations sensibles ou de violations de politique.
4. Correction Itérative : Si la sortie est rejetée, l'Agent Commandant ordonne à l'Agent Métier de régénérer la réponse, en intégrant les violations spécifiques soulignées par l'Agent de Sécurité. Cette boucle se poursuit jusqu'à ce qu'une réponse acceptable soit produite ou qu'une limite prédéfinie soit atteinte.
5. Livraison Finale : Une fois que les deux agents ont approuvé l'interaction, l'Agent Commandant livre la réponse finale à l'utilisateur.

Principales Contributions

• Proposition de Framework : Le document présente un premier schéma directeur pour un cadre de sécurité multi-agents conçu spécifiquement pour atténuer le Top 10 de l'OWASP pour les LLM.
• Mécanisme de Double Validation : Il introduit un processus de validation à deux niveaux (entrée et sortie) où un Agent de Sécurité dédié, augmenté par le RAG, agit comme un garde-barrière pour les prompts entrants et les réponses sortantes.
• Intégration du RAG pour la Sécurité : Les auteurs démontent comment le RAG peut être utilisé non seulement pour l'exactitude factuelle, mais aussi pour ancrer les décisions de sécurité dans les documents de politique spécifiques et hors ligne de l'organisation, garantissant ainsi la conformité aux réglementations internes.
• Autonomie Contrôlée : L'architecture garantit que, bien que les LLM génèrent du contenu, le contrôle des appels de fonctions et de l'exécution de code reste entre les mains des composants externes du système (AutoGen), empêchant ainsi l'« Agentivité Excessive » et la « Conception de Plugins Non Sécurisée ».

Résultats et Revendications
Le document ne présente pas de résultats expérimentaux empiriques, de benchmarks de performance ou de données quantitatives concernant la réduction de vecteurs d'attaque spécifiques. Au lieu de cela, il offre un modèle conceptuel et une architecture proposée. Les auteurs affirment que ce cadre sert de « schéma directeur initial » pour la recherche et le développement futurs.

Signification
La signification de ce travail réside dans son approche proactive de la sécurité des LLM. En passant de défenses statiques à des agents intelligents capables de raisonner sur les politiques de sécurité en temps réel, le modèle proposé vise à :

• Renforcer la posture de sécurité des déploiements de LLM au sein des entreprises.
• Prévenir les brèches de sécurité potentielles et assurer la confidentialité des données.
• Maintenir la confiance des parties prenantes en atténuant les risques associés au Top 10 de l'OWASP.
• Fournir une approche structurée aux développeurs et aux experts en sécurité pour améliorer la fiabilité des applications de LLM dans un paysage de menaces en évolution rapide.

Les auteurs concluent que, bien que les LLM offrent un potentiel transformateur, leur déploiement nécessite des mesures de sécurité robustes et adaptables, et que leur cadre basé sur les agents représente un pas vers l'atteinte de cette sécurité.