Résumé technique : Entraînement de modèles d'apprentissage automatique avec des défaillances prévisibles

Énoncé du problème

L'évaluation de sécurité pré-déploiement des systèmes d'apprentissage automatique repose sur l'estimation des taux de défaillance à l'échelle du déploiement. Cependant, les défaillances catastrophiques sont souvent si rares qu'aucun ensemble d'évaluation pratique ne contient un seul exemple, créant un fossé entre les performances observées et le risque futur. Bien que Jones et al. [21] aient proposé d'utiliser la théorie des valeurs extrêmes (EVT) pour extrapoler les taux de défaillance à partir des $k$ plus grands scores observés dans un ensemble d'évaluation vers l'échelle du déploiement, cette méthode repose sur deux hypothèses critiques : (A1) la queue de défaillance est asymptotiquement log-linéaire (domaine de Gumbel), et (A2) l'ensemble d'évaluation est représentatif de la distribution de déploiement.

L'article identifie un régime de défaillance spécifique où ces hypothèses sont violées : lorsque l'ensemble de déploiement contient un mode de défaillance rare à haute fréquence (par exemple, des invites adverses ou des dispositions dangereuses) qui est absent du plus petit ensemble d'évaluation. Dans ce scénario, le prévisionniste basé sur l'EVT sous-estime systématiquement le risque dans le pire des cas. De plus, l'article démontre que même lorsque les hypothèses sont vérifiées, l'estimateur standard possède un biais inhérent vers la sur-prédiction, qui, bien que favorable à la sécurité, peut être compensé par le mode de défaillance « d'occupation » décrit ci-dessus.

Méthodologie

Les auteurs proposent un réglage fin de la prévisibilité, une méthode pour ajuster un modèle pré-entraîné afin que sa queue de défaillance respecte les hypothèses structurelles requises pour une extrapolation EVT précise.

1. Décomposition théorique

La contribution théorique centrale est une décomposition de l'erreur de prévision à $k$ fini pour l'estimateur à queue de Gumbel. L'erreur $\Delta$ est décomposée en :

• Terme de rang ($T_\theta$) : Un biais inhérent à l'estimateur basé sur le nombre de top-$k$ et le ratio de déploiement. Ce terme est généralement positif (sur-prédiction) et indépendant des paramètres spécifiques du modèle, sauf pour un facteur d'échelle.
• Terme de courbure ($C_\theta$) : Proportionnel à la dérivée seconde de la courbe des quantiles de la queue. Ce terme dépend du modèle et peut être entraîné. Il reflète si la queue est « bien comportée » (log-linéaire) ou courbe.
• Terme d'occupation ($G_\theta$) : Un terme non nul qui apparaît lorsqu'un composant à haut risque rare est présent dans l'ensemble de déploiement mais absent de l'ensemble d'évaluation. Ce terme cause une sous-prédiction.
• Reste d'ordre supérieur : Termes liés aux violations de régularité (par exemple, support borné ou queues lourdes).

Les auteurs montrent que l'erreur de prévision est dérivable par rapport aux paramètres du modèle lorsque le score de risque est dérivable. Cela permet à l'erreur elle-même de servir de fonction de perte.

2. La perte de prévisibilité

L'objectif proposé, la perte de prévisibilité, minimise la différence au carré entre le score dans le pire des cas prédit par les moindres carrés ordinaires (OLS) et le score dans le pire des cas réalisé à travers les rangs extrapolés.
$$\mathcal{L}_{\text{forecast}} = \sum_{j \in \mathcal{J}} w_j \left( \hat{Q}_\theta(y_j) - Y^{(j)}_\theta \right)^2$$
où $\mathcal{J}$ représente les rangs plus profonds que l'ensemble d'ajustement, et les poids $w_j$ suivent une loi a priori log-uniforme sur les tailles de déploiement.

3. Raffinements de l'entraînement

Pour empêcher le modèle de simplement dégrader ses performances afin de rendre la queue « prévisible » (par exemple, en augmentant les scores de risque pour correspondre à une ligne sur-prédite), les auteurs introduisent un masque de gradient uniquement améliorant. Ce masque garantit que les mises à jour de gradient ne se produisent que si elles réduisent le score de risque sur la tâche spécifique, couplant ainsi efficacement l'objectif de prévision à l'objectif de sécurité principal.

De plus, pour éviter le surapprentissage à des partitions spécifiques des données, la méthode emploie un réglage fin méta-multi-tâche. À chaque étape d'entraînement, le pool de tâches est aléatoirement partitionné en un ensemble d'ajustement et un ensemble de déploiement. Un cache invariant de partition des tâches les mieux notées est maintenu pour rendre cette repartitionnement calculable sans re-scorer l'ensemble des données à chaque étape.

Contributions clés

1. Décomposition de l'erreur à $k$ fini : Une décomposition théorique de l'erreur de prévision à queue de Gumbel qui isole les composantes dépendantes du modèle (courbure, occupation) des composantes dépendantes de l'estimateur (biais de rang). Cela identifie exactement quelles parties de l'erreur sont entraînables.
2. Perte de prévisibilité : Un objectif dérivable qui minimise directement l'erreur de prévision en façonnant la queue de défaillance du modèle pour qu'elle soit bien comportée (log-linéaire) et représentative de la distribution de déploiement.
3. Validation empirique : Démonstration que le réglage fin pour la prévisibilité réduit substantiellement l'erreur de prévision retenue tout en préservant (ou améliorant) les performances de la tâche principale et en atteignant une sécurité comparable aux bases de référence supervisées.

Résultats expérimentaux

La méthode a été évaluée dans deux contextes :

1. Modèle de langage (Jeu du mot de passe) : Un modèle est instruit de garder un mot de passe secret mais est testé contre des invites adverses conçues pour l'extraire.
   • Résultat : Le réglage fin de la prévisibilité a réduit la probabilité de fuite dans le pire des cas d'environ 40 décades par rapport à la base pré-entraînée, correspondant à la sécurité du réglage fin supervisé (SFT). Crucialement, il a préservé la capacité du modèle (mesurée par la dérive KL de WildChat) significativement mieux que le SFT (une dérive deux ordres de grandeur plus faible). Il a également amélioré la précision de la prévision d'environ 60 fois par rapport à la base, tandis que le SFT et l'étalonnage post-hoc plafonnaient en dessous de 20 fois.
2. Apprentissage par renforcement (Gridworld) : Une politique navigue dans un gridworld avec des dispositions rares et densément dangereuses.
   • Résultat : L'entraînement par prévisibilité a amélioré la capacité (retour) de 1,27 fois et réduit le regret dans le pire des cas de 3,5 fois, surpassant le SFT. En termes de précision de prévision, la méthode a atteint une amélioration de 52 fois avec l'étalonnage post-hoc, surpassant significativement le SFT (26 fois) et l'étalonnage seul (6 fois).

Dans les deux cas, le masque « uniquement améliorant » a garanti que les réductions de l'erreur de prévision étaient corrélées à de véritables réductions du risque dans le pire des cas (probabilité de fuite ou regret).

Signification et revendications

L'article prétend adresser un « niveau manquant » dans l'évaluation de sécurité pré-déploiement : la capacité non seulement d'extrapoler les scores de risque de l'évaluation vers l'échelle du déploiement, mais d'entraîner des modèles de sorte que cette extrapolation soit fiable.

• Biais favorable à la sécurité : Les auteurs notent que l'estimateur standard possède un biais inhérent vers la sur-prédiction, ce qui est souhaitable pour la sécurité. Cependant, ce biais est annulé lorsque l'ensemble d'évaluation manque un mode de défaillance rare. L'entraînement par prévisibilité vise à éliminer ce mode de défaillance spécifique.
• Complément à l'étalonnage : Les résultats suggèrent que, bien que l'étalonnage affine post-hoc puisse corriger les biais systématiques, il ne peut pas réparer les incohérences structurelles dans la forme de la queue ou les lacunes d'occupation. L'entraînement par prévisibilité façonne la queue sous-jacente, rendant l'étalonnage ultérieur plus efficace.
• Évolutivité : Les auteurs reconnaissent que leurs expériences sont à petite échelle (modèles de 0,6B et 8B, mélanges synthétiques). Ils affirment que la méthode est une preuve de concept qui se généralise à d'autres distributions, mais notent que le passage aux modèles de pointe et aux modes rares naturels est la prochaine étape nécessaire.
• Différenciation par rapport aux méthodes existantes : L'article distingue son approche de l'entraînement robuste distributionnellement (qui minimise la perte dans le pire des cas) et de l'échantillonnage d'importance (qui nécessite d'échantillonner les défaillances). La perte de prévisibilité cible spécifiquement la forme de la distribution de risque pour la rendre apte à l'extrapolation EVT, plutôt que de simplement minimiser le risque lui-même.

Les auteurs concluent que l'évaluation de sécurité pré-déploiement dépend de plus en plus de l'extrapolation du comportement de la queue, et que leurs résultats montrent que le modèle lui-même n'a pas besoin d'être une entrée fixe de ce processus ; une petite quantité de réglage fin peut produire un modèle dont les queues sont décrites beaucoup plus précisément par les méthodes de prévision standard.