SafeConstellations: Mitigating Over-Refusals in LLMs Through Task-Aware Representation Steering

Titre : SafeConstellations : Atténuation des refus excessifs dans les LLM par un guidage de représentation conscient de la tâche

1. Problématique : Le phénomène de "Refus Excessif" (Over-Refusal)

Les modèles de langage larges (LLM) sont de plus en plus sujets à un comportement de refus excessif. Ce phénomène se produit lorsque les mécanismes de sécurité du modèle rejettent des instructions bénignes (sans intention malveillante) simplement parce qu'elles contiennent des mots-clés ou des contextes sensibles qui ressemblent à du contenu nuisible.

• Impact : Cela réduit considérablement l'utilité des applications en production (ex: analyse de sentiments, traduction, RAG) qui traitent régulièrement des textes contenant des termes sensibles (ex: "tuer" dans un contexte de jeu vidéo ou de cryptanalyse).
• Hypothèse centrale : Les taux de refus varient selon la tâche assignée à l'entrée. Les modèles actuels ignorent souvent l'intention bénigne de la tâche (ex: "Traduire ce texte") pour se focaliser uniquement sur le contenu toxique du texte source, entraînant un refus injustifié.
• Limites des approches actuelles : Les méthodes de mitigation existantes agissent souvent de manière générique (agnostique à la tâche) ou globale, ce qui peut nuire à l'utilité du modèle ou ne pas cibler précisément les trajectoires de refus spécifiques à une tâche.

2. Méthodologie : SafeConstellations

Les auteurs proposent SafeConstellations, une approche de guidage (steering) au moment de l'inférence qui repose sur l'analyse des représentations internes du modèle.

A. Analyse Mécanistique et "Constellations"
L'étude révèle que les LLM suivent des motifs de trajectoire distincts dans l'espace d'embedding à travers les couches du modèle :

• Constellations de tâche : Chaque tâche NLP (traduction, analyse de sentiments, etc.) maintient une trajectoire cohérente et stable, indépendante du type de texte d'entrée.
• Divergence Refus/Non-Refus : Au sein d'une même constellation de tâche, les cas de refus et les cas de réponse directe forment des sous-groupes distincts qui se déplacent de manière prévisible.

B. Architecture de l'Algorithme
La méthode s'articule en deux phases principales :

1. Phase de Pré-inférence (Construction des Embeddings de Tâche) :

   • Sur un ensemble de données étiqueté, le modèle est exécuté pour extraire les trajectoires de représentation.
   • Pour chaque tâche $t$, on calcule des centroïdes par couche : un centroïde pour les réponses cibles ($c_{t,tar}$) et un pour les refus ($c_{t,ref}$).
   • On définit un vecteur de guidage $v_t = c_{t,tar} - c_{t,ref}$.
   • Seules les couches les plus efficaces (top-K) où la séparation entre refus et réponse est maximale sont conservées dans une base de connaissances statique ($M$).

2. Phase d'Inférence (Guidage Dynamique) :

   • Détection de tâche : Le système calcule un score de similarité pour identifier si l'entrée correspond à une tâche bénigne connue.
   • Sélection de couches dynamique : Au lieu d'agir sur toutes les couches, l'algorithme sélectionne dynamiquement un sous-ensemble de couches ($L^*$) où la représentation actuelle est proche de la variété du refus mais loin de la trajectoire cible.
   • Application du guidage : Une perturbation conditionnelle est appliquée aux représentations cachées :
     $$\tilde{h}^{(\ell)} = h^{(\ell)} + \lambda^{(\ell)} \frac{v^{(\ell)}_{\hat{t}}}{\|v^{(\ell)}_{\hat{t}}\|}$$
     où $\lambda^{(\ell)}$ est une intensité adaptative basée sur la confiance de la détection de tâche et l'alignement de la couche.
   • Sécurité : Le guidage n'est appliqué que si la tâche est identifiée comme bénigne et si le potentiel de guidage dépasse un seuil, préservant ainsi les refus appropriés pour les vraies menaces.

3. Contributions Clés

• Nouveau Benchmark : Création d'un jeu de données de référence mesurant le refus excessif spécifique à la tâche sur cinq types de tâches (analyse de sentiments, traduction, cryptanalyse, etc.) et divers types de textes (sûrs, nuisibles, spécifiques à la tâche).
• Approche de Guidage Conditionnel : Proposition d'une méthode qui ajuste le comportement du modèle couche par couche uniquement lorsque la trajectoire interne correspond à un motif de refus excessif pour une tâche bénigne spécifique.
• Preuve Mécanistique : Démonstration que les tâches NLP suivent des trajectoires de représentation stables ("constellations") qui peuvent être exploitées pour un contrôle précis sans réentraînement.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs familles de modèles (LLaMA-3.1-8B, Qwen1.5-7B, Claude, GPT-4o).

• Réduction des Refus Excessifs :
  • Sur LLaMA-3.1-8B, la méthode réduit le taux de refus excessif de 72,92 % (passant de ~17,77 % à 4,81 %).
  • Sur Qwen1.5-7B, la réduction atteint 63,64 %.
• Préservation de l'Utilité :
  • Contrairement aux méthodes de guidage agressives qui dégradent les performances, SafeConstellations maintient les scores sur le benchmark MMLU (mesure de la compréhension générale) à leur niveau de base, indiquant qu'aucune capacité fondamentale n'est perdue.
• Analyse par Ablation :
  • La combinaison de l'identification de tâche, du guidage basé sur la trajectoire et de la sélection dynamique de couches est essentielle. Le guidage sur des couches fixes ou sans distinction de tâche entraîne soit une efficacité moindre, soit une chute des performances (utilité).
• Efficacité Temporelle : L'overhead computationnel est minime (environ 0,2 seconde par réponse courte), rendant la méthode viable pour des applications en temps réel.

5. Signification et Conclusion

SafeConstellations marque une avancée significative dans la gestion de l'équilibre sécurité-utilité des LLM :

1. Précision Contextuelle : Elle démontre que la sécurité ne doit pas être binaire. En comprenant la structure interne des tâches, on peut désamorcer les faux positifs de sécurité sans compromettre la protection contre les vraies menaces.
2. Interprétabilité : La découverte des "constellations" offre une nouvelle perspective mécanistique sur la façon dont les LLM encodent les tâches et les comportements de refus, permettant des interventions ciblées plutôt que globales.
3. Applicabilité : La méthode est particulièrement adaptée aux environnements de production structurés où les types de tâches sont connus à l'avance (ex: pipelines de traduction ou d'analyse), offrant une solution pratique pour les problèmes de refus excessifs qui entravent actuellement le déploiement des LLM.

Limites : L'approche nécessite un accès aux poids internes du modèle (limitant son application aux modèles ouverts ou via API avec accès aux activations) et les embeddings de tâche sont statiques, nécessitant une mise à jour périodique pour de nouvelles tâches ou données.