💬 NLP

Beyond "I cannot fulfill this request": Alleviating Rigid Rejection in LLMs via Label Enhancement

Ce papier propose LANCE, une méthode qui utilise l'inférence variationnelle pour l'amélioration des étiquettes afin de prédire des distributions de rejet fines, permettant ainsi aux grands modèles de langage de générer des réponses sûres et naturelles qui évitent les rejets rigides tout en maintenant des normes de sécurité élevées.

Auteurs originaux : Ying Zhang, Congyu Qiao, Xin Geng, Ning Xu

Publié 2026-05-11

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Ying Zhang, Congyu Qiao, Xin Geng, Ning Xu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un assistant robot très intelligent et serviable. Vous lui posez une question qui est presque sûre, mais qui touche peut-être à un sujet sensible. Au lieu de vous fournir une réponse utile accompagnée d'une petite mise en garde, le robot panique et répète à chaque fois la même phrase robotique : « Je ne peux pas satisfaire cette demande. »

C'est ce que l'article appelle le « rejet rigide ». C'est comme un videur dans une boîte de nuit qui expulse tout le monde simplement parce qu'ils portent un chapeau légèrement risqué, même s'ils sont là juste pour danser. Le robot a tellement peur de faire une erreur qu'il cesse d'être utile.

Les auteurs de cet article ont conçu un nouveau système appelé LANCE pour résoudre ce problème. Voici comment il fonctionne, en utilisant des analogies simples :

1. Le Problème : Le Commutateur « Tout ou Rien »

Actuellement, la plupart des systèmes de sécurité fonctionnent comme un simple interrupteur lumineux : ON (Sûr) ou OFF (Non sûr).

Si le système repère un mot à risque, il bascule l'interrupteur sur « OFF » et met fin à la conversation.
Le problème est que de nombreuses questions ne sont pas purement « mauvaises ». Elles peuvent être un mélange d'une idée inoffensive et d'un détail risqué. Le système actuel ne peut pas percevoir la nuance, il bloque donc tout.

2. La Solution : LANCE (Le « Variateur d'Intensité »)

LANCE remplace ce simple interrupteur par un variateur d'intensité ou un bouton de volume. Au lieu de dire simplement « Mauvais » ou « Bon », il se demande : « Quel est le niveau de risque, et exactement quelle partie est risquée ? »

Amélioration de l'Étiquetage (Le Détective) : LANCE utilise un outil spécial (appelé Inférence Variationnelle) pour examiner une question et la décomposer. Au lieu d'une étiquette simple « Oui/Non », il génère une carte continue du risque.
- Analogie : Imaginez une prévision météorologique. Les anciens systèmes disaient simplement « Pluie » ou « Pas de pluie ». LANCE dit : « Il y a 20 % de chances de bruine légère au nord, mais le sud est ensoleillé. » Il sait où se trouve le danger et combien il y a de danger.

3. Le Processus : L'« Éditeur Chirurgical »

Une fois que LANCE sait exactement où se trouve le risque et quelle est son ampleur, il ne supprime pas toute la conversation. Il agit comme un éditeur chirurgical.

Le Guide par Gradient : LANCE fournit au robot un ensemble d'instructions basées sur la carte de risque.
- Si le risque est minime (comme une légère bruine), il indique au robot d'apporter un ajustement minuscule et poli à la phrase.
- Si le risque est énorme (comme une tempête), il indique au robot d'apporter un changement plus important.
Le Résultat : Le robot réécrit la question de l'utilisateur juste assez pour la rendre sûre, tout en conservant le sens et le ton originaux.
- Ancienne Méthode : L'utilisateur demande : « Comment pirater le Wi-Fi de mon voisin ? » -> Robot : « Je ne peux pas satisfaire cette demande. »
- Méthode LANCE : Le robot réalise que la partie « piratage » est risquée, mais que la partie « Wi-Fi de mon voisin » n'est qu'une curiosité. Il réécrit la pensée ainsi : « Je ne peux pas vous aider à pirater, mais je peux vous expliquer comment fonctionne la sécurité Wi-Fi afin que vous puissiez protéger votre propre réseau. »

4. Le Résultat : Sûr mais Naturel

L'article a testé ce système par rapport à d'autres méthodes de sécurité et a constaté que LANCE est bien meilleur sur deux points :

Sécurité : Il continue d'arrêter les choses vraiment dangereuses (il est aussi sûr que les robots stricts).
Utilité et Naturalité : Il empêche le robot de sonner comme un disque rayé. Les conversations semblent plus humaines car le robot essaie d'aider plutôt que de simplement dire « Non ».

Résumé

Pensez à LANCE comme à l'apprentissage d'un robot pour être un diplomate plutôt qu'un videur.

Le Videur (Ancien Système) voit un chapeau risqué et dit : « Interdit d'entrée ! »
Le Diplomate (LANCE) voit le chapeau risqué, dit : « Ce chapeau est un peu risqué pour cette soirée, mais échangeons-le contre un plus sûr afin que vous puissiez tout de même entrer et danser. »

L'article affirme que cette méthode rend l'IA plus sûre sans la rendre agaçante ou inutile, résolvant ainsi le problème des robots trop effrayés pour nous parler.

Résumé Technique : Au-delà de « Je ne peux pas satisfaire cette demande » : Atténuation du rejet rigide dans les LLM via l'Amélioration des Étiquettes

Énoncé du Problème
Les grands modèles de langage (LLM) reposent sur un alignement de sécurité pour refuser les demandes nuisibles tout en répondant aux demandes bénignes. Cependant, les mécanismes actuels souffrent souvent d'un « rejet rigide », caractérisé par deux limitations principales : (1) le rejet excessivement défensif, où des requêtes bénignes, académiques ou éducatives concernant des sujets sensibles sont bloquées indistinctement ; et (2) les modèles de réponse mécanistes, où les modèles génèrent des rejets génériques et robotiques (par exemple, « Je ne peux pas satisfaire cette demande ») indépendamment du niveau de risque spécifique ou du contexte. Cette rigidité découle des stratégies d'alignement existantes qui s'appuient sur des étiquettes de sécurité binaires grossières ou des récompenses scalaires discrètes. Ces signaux manquent d'interprétabilité et de guidance directionnelle, empêchant les modèles d'identifier avec précision les composants à risque ou d'affiner les éléments nuisibles, compromettant ainsi le naturel et l'utilité des interactions humain-IA.

Méthodologie : Le Cadre LANCE
L'article propose LANCE (Llm rejection via lAbel eNhanCemEnt), un cadre conçu pour remplacer les jugements binaires rigides par des réponses flexibles et naturelles grâce à l'Amélioration des Étiquettes. La méthodologie se compose de deux composants principaux :

Amélioration des Étiquettes par Inférence Variationnelle :
Au lieu d'utiliser des étiquettes binaires ($0$ ou $1$), LANCE emploie un réseau d'inférence variationnelle pour transformer les étiquettes de sécurité grossières en une distribution de risque continue et désintriquée ( $d \in [0, 1]^c$ ) à travers plusieurs catégories de rejet.
- Architecture : Le système utilise un encodeur partagé basé sur RoBERTa pour extraire les caractéristiques contextuelles des paires prompt-réponse. Ces caractéristiques sont projetées dans deux espaces latents parallèles : un espace sémantique ( $z$ , modélisé comme une Gaussienne) et un espace de risque ( $d$ , modélisé comme une distribution Bêta).
- Désintrication : En supposant l'indépendance statistique entre le contenu sémantique et les contraintes de sécurité dans la postérieure, le modèle apprend à isoler l'intensité du risque sans altérer le sens linguistique sous-jacent.
- Objectif d'Entraînement : Le modèle est entraîné pour maximiser la borne inférieure de l'évidence (ELBO), en minimisant les pertes de reconstruction pour les caractéristiques sémantiques et les étiquettes de risque binaires, ainsi que la régularisation de divergence KL pour imposer les distributions a priori. Un terme de régularisation auxiliaire garantit que la distribution continue inférée reste alignée avec la supervision binaire de vérité terrain.
Raffinement des Prompts Guidé par le Risque à Finesse :
La distribution de risque continue $d$ sert de signal diagnostique pour un modèle de raffinement (par exemple, Qwen2.5-1.5B).
- Seuillage : Le système définit des seuils ( $\tau, \tau_{low}, \tau_{high}$ ) pour catégoriser les niveaux de risque comme « Mineur », « Léger » ou « Critique ».
- Gradients Textuels : Sur la base de la catégorie et de l'intensité du risque, le système génère des gradients textuels spécifiques (par exemple, « Réécrivez cette section pour la rendre moins agressive ») en utilisant un modèle $T(y_j, d_j, e_j)$ .
- Optimisation Itérative : En utilisant une approche basée sur TextGrad, le modèle de raffinement réécrit itérativement le prompt utilisateur. Il neutralise chirurgicalement les éléments dangereux tout en préservant l'intention sémantique originale, transformant les entrées non sécurisées en requêtes sûres, utiles et naturelles sans déclencher un refus ferme.

Contributions Clés

Cadre Novel : Introduction de LANCE, qui déplace l'alignement de sécurité des jugements binaires simples vers des distributions continues à travers plusieurs catégories de rejet.
Amélioration des Étiquettes : Un mécanisme pour convertir les étiquettes de rejet binaires en distributions détaillées et à finesse, permettant l'identification de composants sémantiques dangereux spécifiques et leur correction précise.
Modèle de Raffinement : Mise en œuvre d'un processus de raffinement piloté par des gradients qui utilise ces distributions pour nettoyer uniquement les éléments dangereux, permettant aux LLM de générer des réponses sûres évitant les modèles robotiques tout en maintenant le naturel conversationnel.

Résultats Expérimentaux
Les auteurs ont évalué LANCE sur le jeu de données BeaverTails (14 catégories non sécurisées) en utilisant trois architectures de base ablatées (Llama3-8B, Llama3.1-8B, Qwen2.5-7B) et l'ont comparé à cinq lignes de base : Vanilla (non aligné), RepE (pilotage latent), SysPrompt (sécurité en contexte), SelfRefine (critique itérative) et les modèles officiels Instruct (alignés par RLHF).

Arbitrage Sécurité vs Utilité : Bien que les modèles officiels Instruct aient obtenu des scores de sécurité élevés (par exemple, 9,55 sur Llama-3), leurs scores d'utilité ont chuté précipitamment (3,41), indiquant un rejet rigide sévère. LANCE a atteint une sécurité comparable (9,23) tout en restaurant significativement l'utilité (7,89) et le naturel (8,69).
Comparaison avec les Modèles Commerciaux : Comparé aux modèles commerciaux de premier plan (GPT-4o, Gemini 2.5-Pro), LANCE a démontré une utilité supérieure (7,88 contre 3,58 pour GPT-4o) tout en maintenant une sécurité compétitive (9,55), prouvant que l'échelle n'est pas la seule condition préalable à un alignement efficace.
Études d'Ablation : La suppression de la boucle de raffinement (LANCE-NR) a entraîné une sécurité médiocre (4,57). La suppression de la guidance à finesse (LANCE-NF) a amélioré la sécurité mais n'a pas permis d'égaler l'utilité et le naturel de la méthode complète, confirmant que la distribution continue de risque est essentielle pour éviter les rejets rigides.

Signification et Revendications
L'article revendique que le rejet rigide n'est pas une conséquence inévitable de l'alignement de sécurité. En découplant les objectifs de sécurité du suivi général des instructions via des variables latentes désintriquées, LANCE offre une solution robuste qui restaure l'utilité et le naturel du modèle. Le cadre démontre que le remplacement des filtres de rejet grossiers par un processus d'optimisation itérative précis et guidé par le risque permet aux modèles de naviguer intelligemment dans les limites de sécurité, générant des réponses nuancées qui sont à la fois inoffensives et constructives. Les auteurs positionnent ce travail comme une étape vers l'atténuation de la « taxe d'alignement » qui dégrade actuellement les performances des modèles ajustés pour la sécurité.