Résumé Technique : Modèle de Récompense Configurable pour un Alignement de Sécurité Équilibré

Énoncé du Problème

L'alignement des modèles de langage de grande taille (LLM) sur les exigences de sécurité fait face à un défi critique : la sécurité n'est pas une constante universelle, mais une variable dépendante du contexte, façonnée par les normes culturelles, les juridictions légales et les politiques organisationnelles. Les paradigmes d'alignement actuels, particulièrement l'apprentissage par renforcement à partir de commentaires humains (RLHF), reposent sur des modèles de récompense (RM) statiques où la connaissance de la sécurité est implicitement encodée et figée lors du déploiement. Cette rigidité nécessite un cycle coûteux de réentraînement et de redéploiement chaque fois que les politiques de sécurité évoluent (par exemple, de nouvelles réglementations sur les discours de haine ou une conformité spécifique à un domaine).

Inversement, les approches existantes dites « configurables », telles que les classificateurs de sécurité autonomes (ex: Llama Guard, ShieldGemma) ou les juges de raisonnement conditionnés par des prompts (ex: DynaGuard), s'adaptent aux nouvelles politiques au moment de l'inférence. Cependant, ces modèles fonctionnent comme des classificateurs discriminatifs ou des juges basés sur le raisonnement. Leurs sorties présentent souvent des géométries de récompense mal adaptées à l'apprentissage par renforcement : les probabilités sont soit très pointues (décisions binaires), soit excessivement plates (jugements délibératifs). Par conséquent, ils fournissent des signaux épars, mal calibrés et effectivement non différentiables pour l'optimisation de la politique, ce qui conduit fréquemment à un refus excessif (rejet de requêtes bénignes) et dégrade l'utilité.

Il existe un composant manquant dans les pipelines actuels : un modèle de récompense qui soit simultanément configurable au moment de l'inférence et capable de produire une récompense scalaire dense et calibrée, adaptée à l'optimisation de la politique en boucle interne.

Méthodologie

Les auteurs introduisent le Modèle de Récompense de Sécurité Configurable (CSRM), un cadre conçu pour se conditionner sur des configurations de sécurité en langage naturel lors de l'inférence, tout en produisant une récompense scalaire pour le RLHF. La méthodologie repose sur trois composantes clés :

1. Terminologie et Structure d'Entrée

Une configuration de sécurité $p$ est définie comme un ensemble de règles avec des directives en langage naturel délimitant les contenus acceptables et inacceptables pour des catégories spécifiques. Le modèle prend en entrée un tuple $(x, r, p)$, où $x$ est l'historique de la conversation, $r$ est la réponse de l'agent, et $p$ est la configuration de sécurité. Il produit un label $y \in \{\text{sûr, dangereux}\}$ et une valeur de récompense $c \in [0, 1]$.

2. Augmentation Ciblée des Données

Pour permettre la généralisation à des configurations inédites sans annotation humaine supplémentaire, les auteurs proposent deux stratégies d'augmentation :

• Augmentation de la Configuration de Sécurité Configurable : Pour une conversation et une configuration données, un modèle de raisonnement propose une catégorie « positive » (absente de $p$) qui rendrait la conversation dangereuse si elle était ajoutée, ainsi qu'une catégorie « négative » qui la rendrait sûre. La configuration est augmentée en supprimant aléatoirement des catégories existantes et en insérant optionnellement ces nouvelles catégories. Cette augmentation bidirectionnelle augmente l'écart de récompense et améliore la modélisation par paires.
• Augmentation de la Rigueur : Pour façonner la géométrie de la récompense et refléter la sévérité des violations, les auteurs construisent des ensembles partiellement ordonnés de descriptions de directives. Ils identifient des sous-catégories au sein d'une catégorie de sécurité, les trient par sévérité estimée, et réécrivent les directives pour autoriser ou interdire sélectivement des préfixes de cette liste ordonnée. Pour garantir la fiabilité, ils emploient un test de dominance qualifié par la confiance utilisant la borne inférieure de Clopper–Pearson. Seules les paires de directives $(d, d')$ où $d$ est statistiquement plus stricte que $d'$ sont conservées pour l'entraînement. Cela garantit que le modèle apprend un spectre de sévérité calibré plutôt que des distinctions binaires arbitraires.

3. Entraînement Conjoint Discriminatif-Génératif

Le CSRM unifie la classification de sécurité et la modélisation de récompense au sein d'un cadre génératif unique.

• Perte de Classification : Le modèle est entraîné pour prédire les labels de sécurité via des jetons verbalisés (ex: « sûr », « dangereux »).
• Perte de Récompense : En utilisant les paires augmentées par la rigueur, le modèle est entraîné pour maximiser la marge entre les log-probabilités des jetons sûrs vs dangereux sous des configurations strictes vs souples. Ceci est formulé comme une perte de préférence de type Bradley–Terry, encourageant le modèle à attribuer des récompenses plus élevées aux réponses qui sont plus sûres sous des directives plus strictes.
• Calibration : Plutôt que d'utiliser une perte de calibration séparée, la calibration est induite pendant l'entraînement en construisant des paires de sévérité diverses et statistiquement validées. Cela exploite le lien empirique entre la qualité du classement et la calibration.

Contributions Clés

1. Modélisation de Récompense de Sécurité Configurable et Calibrée : Le CSRM se conditionne directement sur des configurations de sécurité en langage naturel lors de l'inférence, produisant une récompense scalaire dense et calibrée plutôt qu'un jugement binaire. Cela permet un contrôle fin de la sécurité sans réentraînement et reste compatible avec l'optimisation de politique basée sur le gradient.
2. Entraînement Conjoint avec Augmentation Ciblée : Le travail unifie la classification de sécurité et la modélisation de récompense, introduisant des augmentations de configuration et de rigueur. Cela permet au modèle de distinguer entre les violations limites et sévères, et de généraliser à des configurations inédites sans nouvelles annotations humaines.
3. Amélioration des Compromis Sécurité–Utilité : Le CSRM fournit un signal de récompense plus informatif pour le RL, produisant des politiques qui évitent le refus excessif tout en maintenant de solides garanties de sécurité, élargissant ainsi la frontière de Pareto entre sécurité et utilité.

Résultats Expérimentaux

Les auteurs ont évalué le CSRM sur plusieurs benchmarks et tâches d'alignement en aval :

• Classification de Sécurité : Sur des benchmarks incluant BeaverTails, WildGuardMix, CoSApien et DynaBench, le CSRM a atteint des performances de pointe. Notamment, il a atteint 94,6 % de F1 sur CoSApien et 75,8 % de F1 sur DynaBench, surpassant les bases comme LlamaGuard-3-8B et ShieldGemma-9B. Il a également démontré une meilleure calibration (smECE plus faible) par rapport aux juges basés sur le raisonnement.
• Modélisation de Récompense : Dans les tâches de modélisation de récompense par paires (BeaverTails-Aug, WildGuardMix-Aug), le CSRM a obtenu la meilleure précision pour ordonner les réponses selon la sévérité de la violation, surpassant nettement les bases.
• Refus Excessif : Sur les benchmarks de refus excessif (XSTest, OR-Bench), le CSRM a obtenu le F1 le plus élevé, indiquant une meilleure calibration et une moindre tendance à rejeter des requêtes bénignes par rapport aux bases ajustées par instruction.
• Alignement RL en Aval : Utilisé comme signal de récompense pour l'alignement de Mistral-7B-Instruct-v0.1 sur cinq domaines (ex: Éditeur Arabe, Production Cinématographique) via la Distillation de Récompense et REINFORCE++, le CSRM a systématiquement atteint le meilleur Score CoSA (le produit scalaire des récompenses de sécurité et d'utilité). Dans plusieurs domaines, il a atteint une utilité plus élevée pour des niveaux de sécurité comparables, démontrant un compromis supérieur. Par exemple, dans le domaine de la Production Cinématographique sous REINFORCE++, le CSRM a atteint un score CoSA de 3,981, surpassant la base LlamaGuard (3,391) et la base ajustée par instruction (3,113).

Signification et Revendications

L'article affirme que le CSRM répond à une limitation fondamentale de l'alignement de sécurité actuel : l'incapacité de s'adapter à l'évolution des exigences de sécurité sans un réentraînement coûteux, tout en maintenant un signal adapté au RL. En fonctionnant comme un signal de récompense configurable et dense dans la boucle interne du RLHF, le CSRM permet d'entraîner des modèles intrinsèquement plus sûrs plutôt que de simplement surveiller leurs sorties au moment de l'inférence.

Les auteurs soulignent que le CSRM atteint ces résultats sans nécessiter d'annotation humaine supplémentaire, en s'appuyant plutôt sur l'augmentation synthétique de jeux de données existants. Le travail suggère une voie pratique vers une configurabilité au niveau de la récompense, permettant d'adapter le comportement de sécurité en mettant à jour les spécifications lors de l'inférence tout en conservant un signal compatible avec l'optimisation pour l'entraînement.

Limites notées par les auteurs :

• Le pipeline d'augmentation repose sur des propositions générées par des LLM, qui peuvent hériter des biais du modèle proposant, bien que cela soit atténué par un filtrage statistique.
• L'étude n'a pas réalisé d'analyse ciblée du détournement de récompense (reward-hacking) ; l'exploitation stratégique sous optimisation en ligne à long terme reste un travail futur.
• Les principaux résultats utilisent une architecture de base unique (Llama-3.1-8B), bien que les tendances aient été reproduites sur Qwen3-2B. Des évaluations plus larges sur d'autres architectures et en multilingue sont laissées pour le futur.