Résumé Technique : Traiter le Sur-Refus dans les LLM avec des Récompenses Compétitives

Énoncé du Problème

L'entraînement à la sécurité des Grands Modèles de Langage (LLM) induit fréquemment un sur-refus (over-refusal), un phénomène où les modèles deviennent excessivement prudents, refusant des requêtes inoffensives ou ambiguës tout en tentant d'atténuer les sorties préjudiciables. Bien que des approches d'Apprentissage par Renforcement (RL) encourageant un raisonnement explicite aient été proposées pour aider les modèles à distinguer les intentions nuisibles des intentions bénignes, les méthodes actuelles ne parviennent souvent pas à résoudre pleinement ce compromis.

Les auteurs identifient une limitation critique des modèles actuellement entraînés à la sécurité : le raisonnement agit souvent comme un « tampon de validation » (rubber stamp) pour un refus prédéterminé plutôt que comme un mécanisme de résolution réelle de l'ambiguïté. Ces modèles présentent deux comportements fragiles :

1. Ils évitent entièrement les interprétations dangereuses et optent par défaut pour le refus.
2. Ils explorent des possibilités dangereuses mais échouent à revenir à une réponse sûre, ce qui conduit à une conformité dangereuse.

Contrairement au raisonnement mathématique, où les modèles peuvent explorer des chemins incorrects et s'auto-corriger, le raisonnement de sécurité dans les modèles actuels manque de la capacité d'explorer des interprétations potentiellement nocives de manière contrôlée pour ensuite « basculer de nouveau » vers une réponse sûre.

Méthodologie : SEAR et Récompenses Compétitives

Le papier propose SEAR (Safety Exploration through Adversarial Reasoning), un cadre qui entraîne un modèle unique à s'engager dans un raisonnement nocif en tant que signal d'exploration, tout en garantissant que la sortie finale reste sûre. Ceci est réalisé via un problème d'optimisation adversaire structuré au sein d'une chaîne de pensée unique.

Mécanisme Central : Récompenses Compétitives

Les auteurs introduisent un objectif d'entraînement qui attribue des récompenses distinctes et compétitives à différents segments de la trace de génération du modèle :

• Segment de Raisonnement ($z$) : Récompensé pour sa nocivité ($r_h$). Le modèle est incité à explorer des interprétations et des stratégies de raisonnement dangereuses.
• Segment de Réponse ($y$) : Récompensé pour sa sécurité ($r_s$). Le modèle est incité à produire une réponse finale sûre conditionnée par le raisonnement précédent (potentiellement nocif).

L'objectif pour les requêtes nocives ($D_h$) est :
$$\max_{\pi} \mathbb{E}_{x \sim D_h, (z,y) \sim \pi} [r_h(z) + r_s(y)]$$
Pour les requêtes inoffensives ($D_i$), le modèle est optimisé pour l'utilité ($r_i$). L'entraînement utilise un régularisateur de divergence KL pour maintenir la politique proche d'un modèle de base.

Insight Technique Clé : Récompenses de Processus

Le papier démontre que les récompenses basées sur le résultat (outcome-based) denses (attribuant un scalaire unique à l'ensemble de la trajectoire) sont insuffisantes pour cette tâche. Elles mènent à une instabilité d'optimisation où le modèle soit échoue à explorer le raisonnement nocif, soit dégrade ses performances sur les tâches inoffensives en raison d'un décalage entre les taux de convergence des objectifs compétitifs.

Pour résoudre cela, les auteurs implémentent des récompenses de processus (process-based rewards). Au lieu d'une récompense unique pour l'ensemble du déroulement, les récompenses sont attribuées au niveau du jeton (token) pour des segments spécifiques :

• Les jetons dans le segment de raisonnement reçoivent la récompense de raisonnement ($r_h$).
• Les jetons dans le segment de réponse reçoivent la récompense de réponse ($r_s$).

Cette formulation de « récompense de processus » permet une attribution de crédit précise, permettant au modèle d'apprendre le comportement couplé consistant à explorer des chemins nocifs et à revenir à une réponse sûre au sein d'une seule trajectoire.

Contributions Clés

1. Recadrage du Raisonnement de Sécurité : Les auteurs proposent que le raisonnement dangereux ne doit pas être bloqué préemptivement, mais plutôt encouragé comme un signal d'exploration utile pour résoudre l'ambiguïté, à condition que le modèle puisse de manière fiable revenir à une réponse sûre.
2. Cadre de Récompenses Compétitives : Ils introduisent une méthode pour entraîner un modèle unique avec des objectifs opposés (exploration nocive vs sortie sûre) au sein d'une seule chaîne de pensée, dépassant le comportement de « tampon de validation » des modèles actuels.
3. Récompenses de Processus pour la Stabilité : Le papier identifie que les récompenses denses basées sur le résultat échouent à stabiliser les objectifs compétitifs et démontre que les récompenses de processus par segment sont cruciales pour une optimisation réussie.
4. Modèle SEAR-1.5B : Ils entraînent un modèle de 1,5 milliard de paramètres (SEAR-1.5B) qui apprend explicitement à « basculer de nouveau » d'un raisonnement nocif vers des réponses sûres.

Résultats

Les auteurs évaluent SEAR-1.5B contre diverses lignes de base, incluant le RL standard basé sur le résultat, le RL dense basé sur le résultat, les bases SFT et les modèles open-source de pointe (ex: TARS, Qwen3).

• Compromis Sécurité-Refus : SEAR-1.5B atteint la meilleure performance sur la frontière de Pareto de la sécurité et de la conformité (score de moyenne quadratique de 0,930), surpassant TARS-7B (0,909) et d'autres bases de comparaison RL. Il démontre un sur-refus nettement moindre sur les requêtes ambiguës (XSTest, Fortress, False-Reject) tout en maintenant des taux de succès de défense élevés contre les attaques de type jailbreak (HarmBench).
• Exploration et Récupération : L'analyse des traces de raisonnement montre que SEAR génère une fréquence plus élevée de raisonnements nocifs par rapport aux autres modèles, mais réussit à revenir à des réponses sûres. En revanche, les autres modèles soit évitent totalement le raisonnement nocif, soit échouent à revenir à la sécurité lorsqu'ils l'explorent.
• Robustesse aux Attaques de Pré-remplissage (Pre-fill) : SEAR-1.5B présente une robustesse supérieure contre les attaques qui pré-remplissent le contexte du modèle avec un raisonnement nocif (ex: utiliser un modèle « ablaté » pour générer le début d'une chaîne nocive). SEAR maintient des scores de sécurité de réponse plus élevés que les modèles RL basés sur le résultat et les variantes plus grandes de Qwen3, démontant sa capacité à « basculer de nouveau » même lorsqu'il est forcé dans un état de raisonnement nocif.
• Généralisation : Le modèle maintient une forte généralisation hors distribution (OOD) sur les benchmarks de mathématiques et de raisonnement (GSM8K, MATH-500, GPQA), comparable ou supérieur aux bases de comparaison basées sur le résultat.

Signification et Revendications

Le papier affirme que le compromis sécurité-refus n'est pas seulement une question de décider si l'on doit refuser, mais une capacité de comment résoudre l'ambiguïté. En apprenant à raisonner à travers des possibilités nocives sans permettre à ces possibilités de dicter la réponse finale, les modèles peuvent rester utiles sur les requêtes bénignes sans compromettre la sécurité.

Les auteurs soulignent que leur approche :

• Atténue le sur-refus en permettant aux modèles de distinguer l'intention nocive de l'intention inoffensive grâce à une véritable exploration plutôt qu'une suppression préemptive.
• Fournit une défense contre les attaques dirigées par le raisonnement (comme le pré-remplissage) en entraînant le modèle à se rétablir de contextes nocifs.
• Établit que les récompenses de processus sont une composante nécessaire pour optimiser les objectifs compétitifs en RL pour la sécurité, une découverte qui pourrait se généraliser à d'autres tâches de RL multi-objectifs.

Ce travail est présenté comme une contribution de recherche à l'alignement de la sécurité, notant que le modèle et la méthodologie sont conçus à des fins de recherche pour améliorer la robustesse et l'utilité des LLM.