Résumé technique : Comprendre la politique de sécurité des annotateurs par l'interprétabilité

Énoncé du problème

Les politiques de sécurité sont fondamentales pour définir et atténuer les sorties d'IA nuisibles, pourtant les processus d'annotation utilisés pour entraîner et évaluer ces systèmes souffrent d'un désaccord omniprésent. Ce désaccord provient de trois sources distinctes :

1. Défaillances opérationnelles : Les annotateurs comprennent mal ou exécutent mal la tâche (par exemple, étiqueter l'invite de l'utilisateur au lieu de la réponse du modèle).
2. Ambiguïté de la politique : Les directives de sécurité contiennent des formulations permettant plusieurs interprétations valides (par exemple, savoir si la redirection constitue un refus sûr).
3. Pluralisme des valeurs : Les annotateurs détiennent de véritables perspectives différentes sur la sécurité, basées sur la démographie, la culture et les valeurs personnelles.

Les pratiques actuelles, telles que le vote majoritaire, confondent ces sources, échouant souvent à traiter l'ambiguïté réelle ou en étouffant les perspectives minoritaires. De plus, demander directement aux annotateurs d'expliquer leur raisonnement est coûteux, augmente la charge d'annotation et est souvent peu fiable en raison de la rationalisation a posteriori ou de l'infidélité du raisonnement en chaîne de pensée dans les LLM. L'article aborde le défi de distinguer ces sources de désaccord pour permettre des réponses ciblées (par exemple, un meilleur entraînement, un raffinement de la politique ou une conception inclusive) sans nécessiter d'effort humain supplémentaire.

Méthodologie : Modèles de politique d'annotateur (APM)

Les auteurs introduisent les Modèles de politique d'annotateur (APM), des modèles interprétables qui apprennent les politiques de sécurité internes des annotateurs individuels directement à partir de leur comportement d'étiquetage.

Architecture de base

Les APM utilisent des Modèles à goulot d'étranglement conceptuel (CBM) pour décomposer le processus de prédiction en deux étapes :

1. Encodage conceptuel ($g$) : Le texte d'entrée est mappé vers un espace de caractéristiques binaires de $c$ concepts pertinents pour la sécurité. Pour éviter le coût de l'étiquetage conceptuel humain, les auteurs emploient une approche CBM sans étiquette. Ils génèrent une liste de concepts candidats à partir de jeux de données de sécurité (BeaverTails) en utilisant GPT-4o, les regroupent et les résumant, puis utilisent des modèles d'incorporation (Gemini) pour étiqueter la présence de ces concepts dans le texte via la similarité cosinus et l'opérateur Sparsemax. Crucialement, l'espace conceptuel capture la présence factuelle (par exemple, « mention d'une arme ») plutôt que des jugements interprétatifs (par exemple, « mention nuisible »).
2. Apprentissage de la politique ($f$) : Pour chaque annotateur $k$, une fonction simple et interprétable est entraînée pour mapper le vecteur de concepts binaire vers une étiquette sûr/dangereux. Les auteurs proposent deux classes de modèles :
   • Régression logistique non négative (NNLR) : Les poids sont contraints pour être non négatifs, assurant que le modèle par défaut est « sûr » et ne prédit « dangereux » que lorsque des caractéristiques positives accumulent des preuves suffisantes.
   • Forme normale disjonctive (DNF) : Règles booléennes sous la forme « OU de ET », où le déclenchement d'une seule règle déclenche une prédiction « dangereuse ». Cela correspond à l'intuition qu'une seule violation de politique rend le texte dangereux.

Principes de conception

• Caractéristiques positives uniquement : Les caractéristiques représentent la présence de concepts, et non leur absence, pour éviter des corrélations fallacieuses (par exemple, « dangereux car il manque de nourriture »).
• Sûr jusqu'à preuve du contraire : Les modèles par défaut sur une prédiction sûre sauf si des caractéristiques dangereuses spécifiques sont présentes.

Validation et résultats

Les auteurs valident les APM en utilisant à la fois des données d'annotation LLM et humaines.

Validation LLM

En utilisant les jeux de données BeaverTails et WildGuardMix, les APM ont été entraînés sur cinq annotateurs LLM différents (GPT-4o, GPT-4o-mini et divers modèles Qwen).

• Précision prédictive : Les APM ont atteint une précision de 73 à 90 % et un AUC de 0,78 à 0,95 (pour NNLR) à travers les annotateurs LLM, démontrant que des modèles interprétables simples peuvent approximer le comportement de modèles de base complexes.
• Généralisation : Les concepts extraits de BeaverTails se sont bien généralisés à WildGuardMix avec une dégradation minimale des performances.
• Récupération contrôlée de la politique : Dans des expériences synthétiques où « Alice » (traite les armes comme sûres) et « Bob » (traite les drogues comme sûres) étaient simulés, les APM ont récupéré avec succès ces différences de politique connues. Le « diffage » des modèles (comparaison des ensembles de caractéristiques) a automatiquement identifié les concepts spécifiques à l'origine de la divergence.
• Fidélité contrefactuelle : Lorsque les entrées étaient minimalement modifiées pour supprimer les caractéristiques identifiées par l'APM comme causant une étiquette « dangereuse », la prédiction de l'annotateur original a changé dans la majorité des cas, confirmant que les APM capturent des caractéristiques causalement pertinentes plutôt que de simples corrélations.

Applications sur l'annotation humaine (jeu de données DICES)

Appliqués au jeu de données DICES (350 interactions évaluées par 123 annotateurs humains), les APM ont mis en lumière trois insights clés :

1. Défaillances opérationnelles : Identification d'annotateurs qui étiquetaient systématiquement l'interaction complète comme dangereuse plutôt que simplement la réponse du modèle, indiquant une incompréhension de la tâche.
2. Ambiguïté de la politique : Révélation de désaccords sur des cas limites, tels que savoir si la « redirection » ou les « questions de suivi » sur des sujets nuisibles constituent des réponses sûres, soulignant où la formulation de la politique est floue.
3. Pluralisme des valeurs : En entraînant des APM sur des groupes démographiques (par exemple, Millennials vs Générations X+, diplômés universitaires vs lycée), les auteurs ont trouvé des différences systématiques dans les priorités de sécurité. Par exemple, les annotateurs Millennials étaient plus susceptibles de signaler la « redirection bienveillante » d'arguments sur la terre plate comme dangereuse par rapport aux annotateurs de la génération X+.
   • Contribution unique de la règle (URC) : L'étude a validé que les règles uniques apprises par les APM spécifiques à un groupe s'activaient préférentiellement sur des échantillons où ce groupe était en désaccord avec les autres, confirmant que ces règles capturent de véritables différences comportementales.
   • Suppression par vote majoritaire : L'analyse a montré que l'agrégation par vote majoritaire obscurcit les perspectives des groupes minoritaires. Les APM ont identifié une proportion significative d'échantillons jugés dangereux par des groupes démographiques spécifiques mais sûrs par la majorité, suggérant que l'agrégation standard efface ces préoccupations de sécurité.

Contributions clés

1. Modèles de politique d'annotateur interprétables : L'introduction des APM pour modéliser explicitement les politiques de sécurité des annotateurs individuels en utilisant des techniques d'interprétabilité ML sans nécessiter d'effort d'annotation supplémentaire.
2. Validation extensive : Démonstration que les APM modélisent avec précision le comportement des annotateurs (>80 % de précision sur les LLM), prédisent fidèlement les réponses aux modifications contrefactuelles et récupèrent des différences de politique connues dans des environnements contrôlés.
3. Mise en lumière des sources de désaccord : Preuve empirique que les APM peuvent distinguer les défaillances opérationnelles, l'ambiguïté de la politique et le pluralisme des valeurs dans les pipelines d'annotation humaine.
4. Analyse démographique : La révélation de différences systématiques dans les priorités de sécurité à travers les groupes démographiques et la démonstration de la manière dont le vote majoritaire supprime ces perspectives diverses.

Importance et affirmations

L'article affirme que les APM fournissent un mécanisme pour rendre le raisonnement des annotateurs visible et comparable, dépassant les méthodes d'agrégation opaques. En démêlant les sources de désaccord, les développeurs peuvent répondre de manière appropriée :

• Les défaillances opérationnelles peuvent être traitées par un meilleur entraînement et un contrôle de qualité.
• L'ambiguïté de la politique peut être résolue par un raffinement et une clarification ciblés de la politique.
• Le pluralisme des valeurs peut être abordé par la délibération sur la manière d'intégrer des perspectives diverses, potentiellement en concaténant des règles uniques de groupes sous-représentés au modèle de vote majoritaire pour assurer une couverture de sécurité inclusive.

Les auteurs soulignent que, bien que l'accent soit mis sur la sécurité, la méthodologie est généralisable à toute tâche d'annotation subjective. Ils notent des limites, notamment la dépendance aux concepts générés par LLM et le fait que les APM révèlent ce sur quoi les annotateurs sont en désaccord, mais pas nécessairement le pourquoi sociologique profond sans études utilisateurs supplémentaires. Ce travail positionne les APM comme un outil de diagnostic pour améliorer la transparence, le ciblage et l'inclusivité de la conception des politiques de sécurité de l'IA.