Résumé Technique : DT-Guard

Problématique

Les modèles de langage de grande taille (LLM) déployés dans des applications en monde ouvert nécessitent des garde-fous de sécurité qui équilibrent la robustesse face à des risques complexes avec l'efficacité requise pour une modération à faible latence lors de l'exécution. Les solutions existantes font face à un compromis pratique :

• Les garde-fous basés sur la classification sont efficaces mais échouent souvent face aux intentions dissimulées, aux sémantiques ambiguës et aux décisions de sécurité limites car ils compressent des jugements complexes en de simples prédictions d'étiquettes plates.
• Les garde-faux basés sur le raisonnement améliorent la qualité du jugement en générant des traces explicites de chaîne de pensée (CoT - Chain-of-Thought), mais introduisent un surcoût significatif en génération de jetons et une latence d'inférence, ce qui les rend inadaptés aux systèmes industriels à haut débit.

Il existe un besoin pour un paradigme qui tire parti de l'amélioration de la qualité du raisonnement lors de l'entraînement tout en maintenant l'efficacité d'une inférence sans raisonnement lors du déploiement.

Méthodologie

Les auteurs proposent DT-Guard, un modèle de garde-fou de sécurité de contenu basé sur un paradigme de Raisonnement Actif à l'Entraînement, Sans Raisonnement à l'Inférence. L'idée centrale est d'utiliser des trajectoires de raisonnement comme signaux de supervision pendant l'entraînement, mais de n'émettre que des étiquettes de sécurité structurées lors de l'inférence.

1. Cadre de Sécurité Orienté Intention

DT-Guard formule le jugement de sécurité comme un processus de décision progressif : Intention → Catégorie → Sécurité.

• Intention : Identifie la motivation sous-jacente de l'interaction (ex: demande bénigne vs attaque adversaire).
• Catégorie : Attribue les types de risques pertinents.
• Sécurité : Prédit le niveau de sécurité final (Sûr, Non Sûr ou Limite).
  Cette structure fournit une supervision intermédiaire plus claire pour les cas difficiles où les indices de surface sont peu fiables.

2. Construction des Données

Les auteurs ont construit un corpus de sécurité orienté intention de 811 897 échantillons couvrant les risques côté prompt (entrée) et côté réponse (sortie).

• Sources : Agrégées à partir de six domaines de sécurité (red-teaming, jailbreaks, alignement, toxicité, biais, etc.).
• Traitement : Un pipeline en deux étapes impliquant une distillation par LLM (utilisant GLM-5.1) et un vote multi-rounds avec vérification par des experts.
• Annotation : Les échantillons sont enrichis de CoT, d'étiquettes d'intention, de catégories de risque et d'étiquettes de sécurité. Les cas limites sont explicitement identifiés pour gérer l'ambiguïté.
• Équilibrage : Le jeu de données est équilibré entre les niveaux de sécurité (Sûr : Non Sûr : Limite ≈ 5,5 : 4 : 0,5) et les catégories de risques pour assurer la couverture des risques fréquents et de la longue traîne.

3. Optimisation Progressive des Cas Difficiles Guidée par le Rollout (RG-PHO)

Pour internaliser le raisonnement sans l'imposer lors de l'inférence, DT-Gaurd emploie un pipeline d'entraînement en trois étapes :

• Étape 1 : SFT Mixte Guidé par l'Intention. Le modèle apprend la structure Intention → Catégorie → Sécurité en utilisant un mélange de sorties CoT (pour les cas limites/fins) et d'étiquettes structurées compactes (pour les cas clairs). Cela injecte une supervision de raisonnement sans créer de décalage entre le format d'entraînement et celui de test.
• Étape 2 : SFT sur Cas Difficiles Piloté par l'Échec. En utilisant la cohérence multi-rollout, le système identifie les échantillons "persistamment échoués" (où le modèle échoue à prédire correctement dans tous les rollouts). Ces échantillons subissent une correction supervisée ciblée avec CoT pour réparer les échements systématiques.
• Étape 3 : DPO sur Cas Difficiles Contrastif de Rollout. Les échantillons identifiés comme "instables en préférence" (où le modèle produit à la fois des rollouts corrects et incorrects) sont utilisés pour construire des paires choisi-rejeté. L'Optimisation de Préférence Directe (DPO) est appliquée pour calibrer le comportement de sélection du modèle, renforçant les chemins de raisonnement corrects et les décisions de sécurité.

4. Inférence Sans Raisonnement

Au déploiement, DT-Guard génère uniquement des étiquettes structurées (Intention, Catégorie, Sécurité) sans émettre de traces de raisonnement explicites. La capacité de raisonnement est internalisée durant l'entraînement, permettant une discrimination à faible latence.

Contributions Clés

1. Modèle DT-Guard : Un garde-fou de sécurité qui internalise le raisonnement de sécurité complexe pendant l'entraînement tout en maintenant une inférence sans raisonnement, découplant efficacement la qualité du raisonnement de la latence d'inférence.
2. Cadre et Jeu de Données Orientés Intention : Un chemin de décision structuré (Intention → Catégorie → Sécurité) et un jeu de données curaté d'environ 812k échantillons avec des annotations d'intention, de catégorie et de CoT.
3. Stratégie RG-PHO : Une méthode d'optimisation progressive qui stratifie les cas difficiles selon la cohérence du rollout et applique un SFT ciblé sur les cas difficiles (pour les échecs persistants) et un DPO sur les cas difficiles (pour l'instabilité de préférence).
4. Équilibre Efficacité-Performance : Démontre un chemin d'entraînement qui équilibre la capacité de raisonnement avec l'efficacité du déploiement, atteignant une haute performance avec une empreinte de modèle réduite.

Résultats Expérimentaux

Les expériences ont été menées sur 10 benchmarks de sécurité côté prompt et 7 benchmarks côté réponse en utilisant un backbone de 4 milliards de paramètres (Qwen3-4B).

• Performance Côté Prompt : DT-Guard a atteint un score F1 moyen de 0,886, surpassant la base de référence 8B Qwen3Guard-8B-Gen (0,852) et YuFeng-XGuard-Reason-8B (0,849) de 3,4 points.
• Performance Côté Réponse : DT-Guard a atteint un score F1 moyen de 0,870, dépassant Qwen3Guard-8B-Gen (0,863) et YuFeng-XGuard-Reason-8B (0,841).
• Performance Globale : Avec seulement un backbone de 4B, DT-Guard a atteint un F1 moyen double-côté de 0,878, surpassant de solides bases de référence de garde-fous 8B.

Ablations et Insights :

• Supervision par l'Intention : L'ajout d'étiquettes d'intention a amélioré le F1 côté prompt de 0,8 point.
• Allocation de CoT : Un entraînement CoT complet a dégradé la performance sous inférence sans raisonnement (le F1 est tombé à 0,828). Un entraînement CoT sélectif (se concentrant sur les cas Limites) a donné les meilleurs résultats (0,860).
• Étapes RG-PHO : Le SFT sur cas difficiles a fourni un gain de F1 de +1,3, tandis que le DPO sur cas difficiles a fourni le gain le plus important de +2,7 F1.

Signification

L'article affirme que DT-Guard valide l'hypothèse selon laquelle la supervision du raisonnement peut être efficacement internalisée pendant l'entraînement et convertie en une discrimination de sécurité efficace lors de l'inférence. En séparant le processus de raisonnement (utilisé pour la supervision) du format de sortie (étiquettes structurées), le modèle atteint la robustesse des garde-fous enrichis par le raisonnement sans les pénalités de latence liées à la génération de traces de raisonnement. Cette approche permet à un modèle de 4B de surpasser des bases de référence 8B plus larges, offrant une solution scalable pour la modération de sécurité à faible latence dans des applications réelles.