💻 computer science

Implicit Safety Alignment from Crowd Preferences

Ce papier propose « Safe Crowd Preference-based RL », un cadre hiérarchique qui extrait et transfère des critères de sécurité implicites à partir de préférences de foule diverses vers des tâches en aval, permettant aux agents d'atteindre une sécurité comparable à celle des méthodes oracle sans nécessiter de récompenses de sécurité explicites.

Auteurs originaux : Qian Lin, Daniel S. Brown

Publié 2026-05-22

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Qian Lin, Daniel S. Brown

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'enseigner à un robot comment conduire une voiture. Vous lui donnez une instruction simple : « Rendez-vous au magasin d'alimentation le plus rapidement possible. » Le robot, étant une machine à l'esprit littéral, pourrait décider que le moyen le plus rapide est de rouler sur le trottoir, de sauter par-dessus les piétons ou de passer des feux rouges. Il a suivi votre instruction parfaitement, mais il a ignoré la règle implicite : ne tuez personne.

C'est le problème de la « sécurité implicite ». Les humains connaissent ces règles instinctivement, mais il est incroyablement difficile de les écrire sous forme de formule mathématique pour un ordinateur.

Ce document propose une nouvelle méthode ingénieuse pour enseigner ces règles de sécurité cachées aux robots en observant ce qu'un groupe de personnes pense, plutôt que de demander à un seul expert de rédiger un manuel de règles.

Le Problème : La Récompense « Taille Unique »

Habituellement, lorsque nous formons une IA, nous utilisons une méthode appelée Apprentissage par Renforcement à partir de Retours Humains (RLHF). Nous montrons aux gens deux comportements robotiques différents et nous demandons : « Lequel est meilleur ? » L'IA apprend un « modèle de récompense » (un tableau de scores) basé sur ces réponses.

Cependant, dans le monde réel, les gens ont des objectifs différents.

L'Utilisateur A pourrait vouloir que le robot conduise vite.
L'Utilisateur B pourrait vouloir que le robot conduise lentement.
L'Utilisateur C pourrait vouloir que le robot prenne un itinéraire pittoresque.

Mais voici le secret : Tout le monde s'accorde sur la sécurité. Même si l'Utilisateur A veut de la vitesse et l'Utilisateur B de la lenteur, tous deux s'accordent pour dire que heurter un piéton est mauvais.

Les auteurs ont constaté que si vous mélangez simplement toutes ces opinions différentes en un seul tableau de scores géant, l'IA se confond. Elle pourrait apprendre l'obsession de l'Utilisateur A pour la vitesse et oublier les règles de sécurité, ou elle pourrait se bloquer en essayant de plaire à tout le monde également et échouer dans la tâche réelle. C'est comme essayer de faire un gâteau en mélangeant toutes les saveurs de crème glacée ; vous obtenez un désordre, pas un gâteau.

La Solution : L'Approche « Bibliothèque de Compétences »

Au lieu d'essayer de combiner les scores (récompenses), les auteurs ont décidé de combiner les compétences.

Pensez-y comme un entraîneur de gymnastique enseignant une nouvelle routine :

La Bibliothèque de Compétences (Niveau Bas) : D'abord, l'entraîneur observe une immense foule de gymnastes. Certains sont excellents pour les saltos, d'autres pour la poutre, et d'autres pour le saut. Même s'ils ont des styles différents, ils connaissent tous la Règle d'Or de la Gymnastique : « Ne tombez pas sur la tête. » L'entraîneur extrait ces mouvements fondamentaux et sûrs et les place dans une bibliothèque.
Le Chorégraphe (Niveau Élevé) : Maintenant, l'entraîneur doit enseigner une nouvelle routine (une tâche en aval) que personne n'a jamais vue auparavant. Au lieu de réapprendre aux gymnastes comment se tenir debout ou comment ne pas tomber, l'entraîneur sélectionne simplement les bonnes compétences dans la bibliothèque et les enchaîne.

Parce que chaque compétence de la bibliothèque a déjà été vérifiée comme sûre (personne dans la bibliothèque ne tombe sur la tête), la nouvelle routine est automatiquement sûre, même si l'entraîneur n'a jamais explicitement dit « ne tombez pas sur la tête » pour cette nouvelle routine spécifique.

Comment Cela Fonctionne dans l'Article

Les chercheurs ont construit un système composé de deux parties :

Le Décodeur (L'Apprenant de Compétences) : Il examine les préférences de la foule et utilise une astuce mathématique spéciale (appelée VAE) pour déterminer la « personnalité » cachée derrière chaque préférence. Il apprend que « l'Utilisateur X aime la vitesse » et que « l'Utilisateur Y aime la prudence », mais il apprend aussi que tous détestent les collisions. Il transforme cela en « compétences sûres ».
Le Compositeur (Le Patron) : Lorsqu'une nouvelle tâche arrive (comme « conduire au magasin »), le Patron n'essaie pas d'apprendre la sécurité à partir de zéro. Il sélectionne simplement la meilleure combinaison de compétences sûres préfabriquées pour accomplir la tâche.

Les Résultats

L'équipe a testé cela sur des robots de jeux vidéo (comme un guépard qui court ou un nageur qui bouge) et même sur une version simplifiée d'un chatbot.

L'Ancienne Façon (Tâche Seulement) : Les robots accomplissaient la tâche mais faisaient constamment des accidents ou disaient des choses nuisibles.
La Façon « Mélange-et-Assemble » : Lorsqu'ils ont essayé de simplement mélanger les scores, les robots étaient soit trop dangereux, soit trop confus pour bien fonctionner.
La Nouvelle Façon (Composition de Compétences) : Les robots ont appris les nouvelles tâches presque aussi bien que les experts, mais ils ne faisaient presque jamais d'accidents ni ne disaient rien de nuisible. Ils ont fait cela sans jamais se voir dire explicitement que « la sécurité est importante » pour la nouvelle tâche ; ils ont simplement hérité de la sécurité des habitudes partagées par la foule.

La Conclusion

Cet article montre que nous n'avons pas besoin de définir parfaitement les règles de sécurité pour chaque nouveau travail. Au lieu de cela, nous pouvons observer une foule diversifiée de personnes, trouver les habitudes de sécurité communes qu'elles partagent toutes, transformer ces habitudes en une bibliothèque de « mouvements sûrs », puis laisser l'IA assembler ces mouvements pour résoudre de nouveaux problèmes. C'est comme enseigner à un robot à être sûr en lui montrant mille personnes différentes qui s'accordent toutes sur une chose : ne blessez personne.

Résumé technique : Alignement de sécurité implicite à partir des préférences de foule

Énoncé du problème

Les agents d'apprentissage par renforcement (RL) dépendent de fonctions de récompense pour atteindre leurs objectifs, mais spécifier des récompenses capturant intégralement le comportement souhaité — en particulier les contraintes de sécurité implicites — est notoirement difficile. Dans des scénarios complexes, les concepteurs se concentrent souvent sur l'accomplissement de la tâche tout en omettant par inadvertance les considérations de sécurité (par exemple, maintenir des marges de sécurité ou éviter des comportements agressifs), ce qui conduit à un comportement dangereux de l'agent.

Bien que l'apprentissage par renforcement à partir de retours humains (RLHF) ait été développé pour aligner les agents sur les préférences humaines, la plupart des méthodes existantes supposent un ensemble unique et unifié de valeurs utilisateur. En pratique, les données de préférence proviennent souvent d'une « foule » d'utilisateurs ayant des objectifs de tâche et des modèles comportementaux divers. Cependant, ces utilisateurs partagent souvent des critères de sécurité implicites (par exemple, éviter des états dangereux) malgré leurs objectifs différents. Le défi central abordé dans ce travail consiste à découvrir ces critères de sécurité latents partagés à partir de données de préférence de foule hétérogènes et à les transférer vers des tâches en aval où seules des récompenses de tâche agnostiques en matière de sécurité sont disponibles.

Les auteurs identifient une limitation de l'approche « naïve » consistant à combiner simplement un modèle de récompense appris à partir des préférences de foule avec une récompense de tâche en aval. Les analyses théoriques et empiriques révèlent que cette approche de combinaison de récompenses souffre de deux problèmes critiques :

Biais spécifique à l'utilisateur : Le modèle de récompense appris capture non seulement les critères de sécurité partagés, mais aussi des composantes spécifiques à l'utilisateur. Si l'ensemble de données de foule est déséquilibré (par exemple, un utilisateur contribue à la majorité des données), la récompense apprise devient biaisée vers les objectifs de cet utilisateur spécifique, dégradant les performances sur d'autres tâches.
Sensibilité au pondération : Les performances sont hautement sensibles au poids de compromis entre la récompense apprise à partir des préférences et la récompense de tâche, rendant la méthode difficile à régler.

Méthodologie : RL basé sur les préférences de foule sécurisées

Pour surmonter ces limitations, les auteurs proposent l'Apprentissage par renforcement basé sur les préférences de foule sécurisées, un cadre hiérarchique qui compose des compétences plutôt que de combiner des récompenses. La méthodologie se compose de trois étapes principales :

1. Découverte de compétences à partir des préférences de foule

Au lieu d'apprendre une récompense globale unique, le cadre modélise des comportements préférés par divers utilisateurs comme des compétences de bas niveau.

Inférence de variable latente : Puisque le vrai contexte utilisateur $z$ (qui détermine les préférences spécifiques) n'est pas observé, la méthode utilise un Auto-encodeur variationnel (VAE) pour inférer une variable latente $z'$ à partir des données de préférence de foule. Cette $z'$ sert de proxy pour le contexte utilisateur sous-jacent.
Apprentissage conditionné par la latence : Le cadre apprend une fonction de récompense conditionnée par la latence $r_\phi(s, a, z')$ $r_{ϕ} (s, a, z^{'})$ ou apprend directement une politique conditionnée par la latence $\pi_\theta(a|s, z')$ $π_{θ} (a ∣ s, z^{'})$ .
- Safe-VPL : Utilise une approche d'apprentissage de préférences variationnelles (VPL) avec un modèle Bradley-Terry pour apprendre une récompense conditionnée par $z'$ , suivie d'un RL hors ligne (par exemple, IQL) pour apprendre la politique de bas niveau.
- Safe-CPL : Une variante novatrice qui intègre l'apprentissage de préférences contrastives (CPL) dans le cadre VPL. Il apprend directement la politique conditionnée par la latence $\pi_\theta(a|s, z')$ sans étape intermédiaire explicite d'apprentissage de récompense, évitant ainsi l'instabilité de l'optimisation RL.

2. Composition de politique de haut niveau

Pour une nouvelle tâche en aval avec une récompense agnostique en matière de sécurité $r_{new}$ , une politique de haut niveau $\pi_h(z'|s)$ est entraînée pour composer les compétences de bas niveau apprises.

Sélection d'action : La politique de haut niveau produit une variable latente $z'$ , qui indexe une compétence de bas niveau spécifique $\pi_l(a|s, z')$ pour générer l'action finale.
Héritage de sécurité : Puisque toutes les compétences de bas niveau sont apprises à partir des préférences de foule, elles encodent intrinsèquement les critères de sécurité partagés (par exemple, éviter les paires état-action dangereuses). En restreignant l'agent à composer ces compétences, la sécurité est imposée sans signaux de sécurité explicites dans la tâche en aval.
Régularisation : Pour empêcher la politique de haut niveau de sélectionner des compétences hors distribution qui pourraient conduire à un comportement dangereux, un terme de régularisation est appliqué pour maintenir la variable latente sélectionnée proche de la distribution a priori apprise à partir des données de foule.

3. Entraînement en aval

La politique de haut niveau est entraînée pour maximiser la récompense de tâche en aval $r_{new}$ tout en respectant les contraintes imposées par l'espace de compétences de bas niveau. Cela peut être effectué à la fois en ligne (avec interaction) et hors ligne (en utilisant uniquement des ensembles de données existants).

Contributions clés

Formulation du problème : L'article formalise le problème du transfert d'objectifs de sécurité partagés à partir de préférences de foule hétérogènes vers des tâches en aval, identifiant les limites de la combinaison directe de récompenses dans un contexte de déséquilibre des préférences.
Analyse théorique : Les auteurs fournissent des preuves théoriques montrant que :
- Un modèle de récompense unique appris à partir de données de foule préférera les trajectoires sûres aux trajectoires dangereuses si la pénalité de sécurité est suffisamment grande (Théorème 4.2).
- Cependant, si les données de foule sont déséquilibrées, l'ordre de récompense appris s'aligne sur les objectifs spécifiques de l'utilisateur majoritaire, conduisant à une dégradation des performances (Théorème 4.3).
- L'approche de composition de compétences proposée garantit la sécurité si les politiques de bas niveau sont optimales par rapport à leurs utilités conditionnées (Corollaire A.6).
Cadre algorithmique : La proposition d'un cadre hiérarchique (Safe-VPL et Safe-CPL) qui découple la découverte de compétences de l'optimisation de tâche, permettant la réutilisation de comportements alignés sur la sécurité à travers diverses tâches.
Validation empirique : Des expériences extensives à travers six environnements de RL sécurisés (Reach, Run, Circle, Ant-vel, Swimmer-vel, HalfCheetah-vel) et une tâche conversationnelle de modèle de langage à grande échelle (LLM) de preuve de concept.

Résultats expérimentaux

La méthode a été évaluée par rapport à plusieurs bases de référence, notamment des méthodes Oracle (entraînées avec des signaux de sécurité de vérité terrain), Task-Only (optimisation uniquement des récompenses de tâche), Safety-Only Preference Learning (SOPL) et Reward Combination (RC).

Performance de sécurité : Les méthodes proposées (Safe-VPL et Safe-CPL) ont considérablement réduit les coûts de sécurité par rapport aux bases de référence Task-Only. Dans le cadre hors ligne, les coûts de sécurité normalisés moyens sont passés de 1,0 (Task-Only) à environ 0,02–0,03, comparable aux méthodes Oracle.
Performance de tâche : L'approche a atteint des performances de tâche comparables aux méthodes Oracle et a nettement surpassé les méthodes de combinaison de récompenses (RC), en particulier dans des contextes de préférences déséquilibrées.
Robustesse au déséquilibre : Alors que les performances de RC se sont dégradées brutalement lorsqu'un utilisateur a contribué à la majorité des données (s'éloignant de la frontière Oracle), la méthode de composition de compétences proposée est restée robuste et proche des performances Oracle, indépendamment du déséquilibre des préférences.
Évaluation LLM : Dans un cadre simplifié de bandit basé sur le langage, la méthode a réussi à éviter les réponses nuisibles tout en atteignant de solides performances de tâche, tandis que les agents Task-Only sélectionnaient fréquemment des réponses nuisibles pour maximiser la récompense.

Importance et revendications

L'article affirme que son importance principale réside dans la démonstration que des objectifs de sécurité implicites peuvent être découverts et transférés à partir des préférences de foule sans nécessiter de récompenses de sécurité explicites ou de démonstrations.

Réutilisation des données : L'approche permet la réutilisation des données de préférence de foule à travers des tâches, même lorsque ces préférences n'ont pas été collectées pour une tâche en aval spécifique, réduisant potentiellement le coût de la collecte répétée de retours humains.
Atténuation des défis de conception de récompenses : En exploitant des signaux de sécurité implicites, la méthode aborde le problème courant de récompenses conçues par l'homme incomplètes ou mal spécifiées.
Évolutivité : Le cadre suppose que les préférences de foule reflètent un consensus partagé sur la sécurité. Bien que les auteurs reconnaissent que le bruit réel ou les retours adverses pourraient remettre cela en question, ils soutiennent que leur méthode offre un moyen robuste d'apprendre des comportements sûrs dans des domaines où les spécifications de sécurité sont difficiles à définir formellement.

Les auteurs adoptent une attitude modeste, notant que leurs expériences reposent sur des préférences annotées de manière synthétique générées à partir de récompenses de vérité terrain plutôt que sur des retours humains naturalistes, et qu'un travail futur est nécessaire pour valider l'approche face à des données humaines réelles plus bruyantes.