Résumé Technique : Garde-fous de Politiques Latentes (LPG)

1. Énoncé du Problème

Les systèmes de sécurité IA modernes reposent sur des « garde-fous » pour filtrer les invites et les réponses. Bien que les garde-fous traditionnels soient rapides, ils sont entraînés sur des taxonomies de sécurité fixes et ne peuvent pas s'adapter à des politiques dynamiques spécifiées par l'utilisateur (par exemple, des règles d'entreprise spécifiques ou des contraintes réglementaires) sans réentraînement. À l'inverse, les garde-fous « conscients des politiques » qui acceptent des politiques en langage naturel au moment de l'inférence font face à un compromis critique :

• Les modèles non raisonneurs (par exemple, DynaGuard) sont rapides mais fragiles ; ils reposent souvent sur des artefacts positionnels ou des priors de contenu plutôt que sur un ancrage véritable de leurs verdicts dans des clauses de politiques spécifiques.
• Les modèles raisonneurs (par exemple, GuardReasoner, ThinkGuard) atteignent une haute précision en générant des chaînes de pensée explicites (CoT) pour analyser les politiques, mais cela entraîne une latence prohibitive (souvent 10 fois plus lente), les rendant inadaptés à la modération en temps réel.

Le défi central consiste à construire un garde-fou qui raisonne fidèlement sur des politiques dynamiques et hétérogènes pour produire des verdicts ancrés dans des clauses, tout en maintenant la faible latence requise pour un déploiement en production.

2. Méthodologie : Garde-fou de Politique Latente (LPG)

LPG résout cette tension en compressant le processus de délibération dans un espace latent continu plutôt qu'en générant des rationaux textuels verbeux. Le cadre repose sur le principe que les étapes de raisonnement doivent s'engager sur des sémantiques de politiques spécifiques plutôt que sur des priors de sécurité diffus.

2.1 Modèle d'Évaluation Structuré

Au lieu d'un raisonnement libre, LPG impose une trace d'évaluation fixe en trois étapes :

1. Analyse de l'Intention : Examine l'historique de conversation pour révéler des intentions malveillantes cachées (par exemple, des jailbreaks via jeu de rôle).
2. Analyse de la Politique : Identifie sélectivement les clauses de politique pertinentes parmi un grand ensemble, favorisant la correspondance sémantique plutôt que l'énumération positionnelle.
3. Formulation du Verdict : Produit un verdict compact et interprétable par machine, ancré sur les indices de politiques violées spécifiques ($P^*$).

2.2 Raisonnement Latent via Compression de Pensée Continue

Les étapes 1 et 2 (Analyse de l'Intention et de la Politique) sont compressées en tokens latents continus, tandis que l'étape 3 (Verdict) reste un texte explicite pour préserver l'interprétabilité.

• Remplacement de Token Latent : La génération explicite de tokens pour les deux premières étapes est remplacée par une séquence d'embeddings latents ($e_{t+1} = \text{Proj}(h^{(L)}_t)$) qui procèdent dans l'espace latent sans se matérialiser en tokens discrets.
• Emplacements Latents Alignés sur les Étapes : Contrairement aux travaux antérieurs utilisant un tampon unique indifférencié, LPG alloue des budgets latents séparés pour les étapes d'intention et de politique, permettant à ces sous-tâches de résider dans des sous-espaces séparables.

2.3 Stratégie de Supervision

Une innovation clé réside dans le signal de supervision, qui diffère du raisonnement latent de style mathématique (où la reconstruction de tokens suffit). Parce que les décisions de sécurité dépendent de politiques utilisateur hétérogènes et d'intentions latentes, LPG emploie une perte multi-objectifs :

1. Perte de Sortie de Verdict ($L_{out}$) : Entropie croisée standard sur la chaîne de verdict compacte finale.
2. Distillation d'États Cachés Enseignants ($L_{distill}$) :
   • Distillation de Position de Réponse : Aligne les états cachés de l'élève et du professeur au token de début du verdict pour transférer l'état computationnel produisant la décision.
   • Distillation de Frontière d'Étape : Aligne le latent final de chaque étape avec l'état caché du professeur au token de frontière correspondant.
3. Supervision de Contenu Sémantique ($L_{explain}$) : Au lieu de reconstruire les tokens du professeur, le modèle reconstruit un résumé compact du professeur (l'essence de l'intention ou le rationale de violation de politique) acheminé via le LM de base. Cela garantit que les latents restent des représentations sémantiquement significatives du contenu de la politique, et non des tampons de calcul opaques.
4. Perte de Raisonnement de Référence ($L_{ref}$) : Un régularisateur utilisant la séquence complète de raisonnement explicite du professeur pour prévenir l'oubli catastrophique des capacités de raisonnement.

2.4 Corpus d'Entraînement

LPG est entraîné sur un mélange de 40 000 enregistrements de jeux de données ancrés dans des politiques (DynaBench, GuardSet-X) et de jeux de données de sécurité généraux. Un principe de curation critique est qu'aucun exemple d'entraînement ne voit la même liste de politiques deux fois. Les politiques sont réécrites en « livres de politiques » d'une seule phrase, et les listes sont synthétisées et mélangées dynamiquement par exemple pour empêcher le modèle d'apprendre des raccourcis positionnels ou de mémoriser des chaînes de règles.

3. Contributions Clés

• Garde-fou de Politique Latente (LPG) : Le premier cadre appliquant le raisonnement latent spécifiquement à la modération de sécurité ancrée dans des politiques, compressant la délibération en environ 10 tokens latents.
• Délibération Latente Sémantique : Une conception novatrice où les étapes latentes sont explicitement alignées sur les sémantiques de la politique (intention et pertinence de la clause) via la distillation enseignante et la reconstruction de résumé, plutôt que par une simple reconstruction de tokens.
• Verdicts Ancrés dans les Clauses : Un mécanisme forçant le modèle à sortir des indices de politiques violées spécifiques, assurant l'auditabilité et empêchant la dépendance aux priors de sécurité.
• Frontière de Pareto Efficacité-Précision : Démontrant que le raisonnement profond sur les politiques peut être découplé d'une latence élevée.

4. Résultats Expérimentaux

Évalué sur GuardSet-X, DynaBench (Augmenté avec mélange et contre-factuels), et des benchmarks hors distribution (HarmBench, WildGuardTest, PolicyGuardBench) :

• Précision : LPG-4B atteint 84,5 % de précision moyenne de sécurité et 77,9 % de F1 sur les benchmarks ancrés dans des politiques, surpassant la base dynamique la plus forte (DynaGuard-8B) et les bases de raisonnement (GuardReasoner).
• Robustesse : Sur le DynaBench augmenté (avec politiques mélangées et suppression de règles contre-factuelles), LPG maintient des performances élevées, tandis que les bases non raisonneuses comme DynaGuard subissent des baisses de précision significatives (par exemple, -7,4 points sous mélange), indiquant que LPG ancre véritablement ses décisions dans le contenu de la politique.
• Latence : LPG s'exécute environ 11 fois plus vite que Qwen3-4B-Thinking et 5,4 fois plus vite que GuardReasoner-8B sous évaluation d'échantillon unique, avec une latence moyenne d'environ 748 ms.
• Études d'Ablation :
  • La suppression de la perte de distillation de position de réponse provoque une baisse de précision d'environ 20 points, l'identifiant comme le signal de supervision critique.
  • Une analyse de balayage du budget latent montre que 10 tokens latents (4 pour l'intention, 6 pour le risque) approchent les performances du raisonnement explicite complet avec une latence ~5 fois inférieure, avec des rendements décroissants au-delà de 20 tokens.
• Hors Distribution (OOD) : LPG généralise bien aux benchmarks non vus (par exemple, 96,4 % de F1 sur HarmBench), surpassant les garde-fous statiques et les bases dynamiques qui se dégradent lorsque les espaces de politiques changent.

5. Signification et Revendications

L'article revendique que LPG établit un pont pratique entre les classificateurs statiques rapides et les garde-fous de raisonnement de politiques lents mais expressifs. Sa signification principale réside dans la démonstration que la compression latente est un mécanisme viable pour le raisonnement de politiques dynamiques.

En déplaçant la délibération des tokens de surface vers des états latents continus supervisés par des sémantiques pertinentes pour la décision, LPG atteint :

1. Adaptabilité Dynamique : La capacité d'imposer des politiques arbitraires fournies par l'utilisateur sans réentraînement.
2. Auditabilité : Les verdicts sont explicitement ancrés dans les clauses violées, permettant la transparence.
3. Faisabilité en Temps Réel : La réduction de latence rend le raisonnement conscient des politiques viable pour les applications en flux (par exemple, chatbots, utilisation d'outils par des agents) où le CoT explicite est trop lent.

Les auteurs positionnent ce travail comme une étape vers le « raisonnement de conformité latent », suggérant que tout système IA nécessitant une adhésion en temps d'exécution à des règles en langage naturel peut bénéficier de cette architecture. Ils notent que, bien que la conception actuelle se concentre sur la modération de sécurité, les principes s'étendent à la conformité réglementaire et à l'application des politiques d'entreprise.