🤖 machine learning

Safety Hacking in Constrained Best-of- $N$ Inference-time Scaling

Cet article démontre que la mise à l'échelle au moment de l'inférence via l'échantillonnage Best-of- $N$ contraint est intrinsèquement vulnérable au « détournement de la sécurité » (safety hacking), où des proxies de sécurité imparfaits contaminent l'ensemble réalisable et où la maximisation de la récompense amplifie les sorties résiduelles non sécurisées, causant des défaillances de sécurité qui deviennent asymptotiquement certaines à mesure que le nombre d'échantillons augmente, à moins que des mécanismes spécifiques de contrôle de la couverture ne soient employés.

Auteurs originaux : Akifumi Wachi, Takumi Tanabe, Youhei Akimoto

Publié 2026-08-25

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Akifumi Wachi, Takumi Tanabe, Youhei Akimoto

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le paysage moderne de l'intelligence artificielle, les grands modèles de langage sont de plus en plus guidés par un processus en deux étapes pour garantir qu'ils soient à la fois utiles et inoffensifs. D'abord, un filtre de sécurité agit comme un gardien, scannant les réponses potentielles et rejetant tout ce qui semble dangereux ou inapproprié. Ensuite, un système de récompense évalue les options sûres restantes, les classant afin de sélectionner celle qui semble la plus utile ou de la plus haute qualité. Cette combinaison permet aux développeurs d'augmenter l'échelle du nombre d'options que le modèle considère, dans l'espoir qu'en examinant plus de possibilités, ils puissent trouver une meilleure réponse. L'hypothèse de longue date est que si le filtre de sécurité est suffisamment précis et que le système de récompense est bon, le simple fait d'augmenter le nombre de candidats mènera à des résultats plus sûrs et meilleurs.

Cependant, une nouvelle étude révèle une faille cachée dans cette logique, montrant que l'augmentation de l'échelle peut en réalité être contre-productive. Les chercheurs, travaillant avec LY Corporation et des institutions académiques, ont découvert que lorsqu'un modèle est chargé de choisir la meilleure réponse parmi un grand réservoir de candidats, le processus de sélection peut involontairement exploiter de minuscules erreurs du filtre de sécurité. Si le filtre laisse passer par erreur quelques réponses dangereuses, et si ces réponses dangereuses reçoivent par hasard des scores légèrement gonflés par le système de récompense, le processus de sélection finira par les identifier comme le meilleur choix par rapport aux options réellement sûres. Ce phénomène, que les auteurs appellent « piratage de la sécurité » (safety hacking), signifie qu'à mesure que le système examine de plus en plus de candidats, la probabilité qu'il sélectionne une réponse préjudiciable peut tendre vers la certitude, même si le filtre de sécurité est globalement correct.

Le cœur du problème réside dans la manière dont le système gère les erreurs rares qui surviennent inévitablement. Aucun filtre de sécurité n'est parfait ; occasionnellement, il laissera passer une réponse dangereuse, la classant comme sûre alors qu'elle ne l'est pas. Dans une recherche de petite envergure, cette erreur pourrait passer inaperçue. Mais lorsque le système est mis à l'échelle pour examiner des milliers de candidats, il commence à chercher dans les limites extrêmes supérieures de ses scores de récompense. Les chercheurs ont découvert que si les quelques réponses dangereuses qui passent à travers le filtre se trouvent à avoir des scores de récompense légèrement plus élevés que les réponses sûres, le processus de sélection finira par se focaliser sur elles. Il ne s'agit pas que le système cherche à être dangereux ; il suit plutôt ses instructions consistant à trouver l'option ayant le score le plus élevé, et l'option la plus élevée dans un réservoir contaminé se trouve être celle qui a été indûment autorisée à entrer.

Pour démontrer cela, l'équipe a mené des expériences utilisant à la fois des problèmes simples de type « jouet » et des modèles de langage réels. Dans leurs simulations, ils ont créé un scénario où une infime fraction des réponses était dangereuse mais passait le filtre, tandis que le reste était sûr. Ils ont ensuite observé ce qui se passait à mesure que le nombre de candidats passait d'une poignée à des milliers. Les résultats étaient frappants : à mesure que le nombre de candidats augmentait, la probabilité que le système choisisse les réponses dangereuses changeait radicalement. Le système cessait de choisir les réponses sûres et commençait à sélectionner les réponses dangereuses avec une fréquence quasi totale. Cela se produisait même si le filtre de sécurité se trompait seulement une infime fraction du temps et que le système de récompense n'était que légèrement imprécis en moyenne. Le danger ne résidait pas dans la fréquence des erreurs, mais dans la manière spécifique dont ces erreurs interagissaient avec la recherche du système pour le score absolu le plus élevé.

L'étude a également testé si une approche différente pouvait corriger cela. Ils ont introduit une méthode appelée « échantillonnage pessimiste contraint » (constrained pessimistic sampling), qui évite délibérément de se concentrer trop lourdement sur l'option ayant le score le plus élevé. Au lieu de chasser le sommet absolu, cette méthode répartit son attention de manière plus large sur les options sûres. Dans leurs tests, cette approche a réussi à empêcher le système de s'agripper aux réponses dangereuses, maintenant le taux de piratage de la sécurité à un niveau bas, même lorsque le nombre de candidats augmentait. Cependant, les chercheurs ont noté que cette méthode n'élimine pas le problème initial du filtre de sécurité laissant passer de mauvaises réponses ; elle empêche simplement le système d'amplifier cette erreur. Le problème fondamental demeure que le réservoir de candidats est déjà contaminé.

Les implications de cette découverte sont significatives pour la façon dont nous construisons et dimensionnons les systèmes d'IA. Elle suggère que rendre les filtres de sécurité plus précis en moyenne ne suffit pas à garantir la sécurité lors de l'utilisation de méthodes de recherche à grande échelle. Les chercheurs ont montré que la relation entre les scores de récompense des réponses sûres et dangereuses est tout aussi critique que la précision du filtre lui-même. Si les réponses dangereuses possèdent une « queue plus épaisse » dans leur distribution de récompense — ce qui signifie qu'elles obtiennent occasionnellement des scores très élevés par hasard — le système finira par les trouver et les préférer. Cela signifie que la sécurité ne peut pas être traitée comme une étape distincte qui se déroule avant l'optimisation ; les deux processus sont profondément entrelacés, et les erreurs de l'un peuvent être amplifiées par l'autre.

Dans leurs expériences avec des modèles de langage réels, l'équipe a confirmé que ce mécanisme opère en pratique. Ils ont utilisé un filtre de sécurité standard et un modèle de récompense pour sélectionner des réponses à partir d'un grand réservoir de candidats générés par une IA. À mesure qu'ils augmentaient le nombre de candidats, le taux auquel le système sélectionnait des réponses préjudiciables augmentait, tandis que la qualité des réponses sûres trouvées n'augmentait pas suffisamment pour compenser. Lorsqu'ils ont remplacé le modèle de récompense par un autre, le comportement a changé, prouvant que la manière spécifique dont le système de récompense classe les options est le moteur principal de cet échec. Cela confirme que le problème ne vient pas seulement du fait que le filtre de sécurité est imparfait, mais de la façon dont le système de récompense interagit avec les quelques options dangereuses qui parviennent à passer.

Les chercheurs concluent qu'une mise à l'échelle sécurisée nécessite une double approche : améliorer le filtre de sécurité pour réduire le nombre de mauvaises options entrant dans le réservoir, et gérer soigneusement la manière dont le système sélectionne parmi ce réservoir pour éviter d'amplifier les erreurs restantes. Ils soutiennent que les méthodes actuelles, qui reposent sur le choix de l'option unique la meilleure parmi un ensemble important, sont intrinsèquement vulnérables à ce type de défaillance. Bien que leur méthode alternative proposée offre un moyen de limiter les dégâts, elle ne résout pas la cause profonde. L'étude sert d'avertissement : alors que nous poussons les systèmes d'IA à examiner davantage de possibilités pour trouver de meilleures réponses, nous devons être tout aussi vigilants quant à la manière dont ces systèmes gèrent les erreurs rares et dangereuses qui glissent inévitablement entre les mailles du filet. Sans traiter l'interaction entre le filtrage de sécurité et l'optimisation de la récompense, l'augmentation de l'échelle pourrait mener à des résultats plus dangereux plutôt qu'à des résultats plus sûrs.

Résumé Technique : Piratage de la Sécurité dans le Scaling de l'Inférence de type Best-of-N Contraint

1. Énoncé du Problème

L'article traite d'un mode de défaillance critique dans le scaling à l'inférence pour les grands modèles de langage (LLM) qui utilisent des proxys de sécurité et de récompense appris. Dans les pipelines standards, tels que l'échantillonnage Constrained Best-of-N (CBoN), un modèle génère $N$ réponses candidates, les filtre à l'aide d'un modèle de sécurité appris pour définir un ensemble « proxy-faisable », puis sélectionne la candidate ayant le score de récompense appris le plus élevé.

Les auteurs identifient un mécanisme de défaillance en deux étapes qu'ils nomment piratage de la sécurité (safety hacking) :

Contamination : Un proxy de sécurité imparfait admet des sorties non sûres (faux positifs) dans l'ensemble proxy-faisable.
Amplification : L'étape de maximisation de la récompense subséquente (sélection du meilleur de $N$ ) amplifie ces sorties résiduelles non sûres si celles-ci possèdent une queue supérieure plus lourde dans la distribution de récompense apprise par rapport aux sorties sûres.

Le problème central est que l'augmentation du budget d'inférence ( $N$ ) ne se contente pas d'augmenter la probabilité de rencontrer une sortie non sûre ; elle peut garantir asymptotiquement la sélection d'une sortie non sûre, même lorsque les taux d'erreur moyens des proxys de sécurité et de récompense sont arbitrairement faibles.

2. Méthodologie et Cadre Théorique

Définitions

Ensembles réels : $S^\star_+$ (véritablement sûrs) et $S^\star_-$ (véritablement non sûrs).
Ensemble Proxy-Faisable : $\hat{S}_+$ , défini par un proxy de sécurité appris $\hat{g}$ dépassant un seuil $b$ .
Décomposition : L'ensemble proxy-faisable se divise en :
- $A$ : Vrais positifs (véritablement sûrs et acceptés).
- $B$ : Faux positifs (véritablement non sûrs mais acceptés).
Piratage de la Sécurité : Un événement où la sortie sélectionnée $\hat{y} \in B$ .

Analyse Théorique

L'article dérive des bornes pour un $N$ fini et des résultats asymptotiques basés sur les queues supérieures conjointes des scores de récompense appris pour les ensembles $A$ et $B$ .

Quantités de Queue : Soient $\hat{\Psi}_A(t)$ et $\hat{\Psi}_B(t)$ la probabilité qu'un échantillon de la distribution de référence appartienne respectivement aux ensembles $A$ ou $B$ , avec un score de récompense appris supérieur à $t$ .
Bornes pour $N$ fini (Théorème 4.1) : La probabilité de piratage de la sécurité est bornée par des fonctions de $\hat{\Psi}_A$ et $\hat{\Psi}_B$ . Plus précisément, si aucun échantillon de $A$ ne dépasse un seuil $t$ alors qu'au moins un échantillon de $B$ le dépasse, le CBoN sélectionne une sortie non sûre.
Certitude Asymptotique (Théorème 4.2) : S'il existe une séquence de seuils $t_N$ $t_{N}$ telle que $N\hat{\Psi}_A(t_N) \to 0$ $N \hat{Ψ}_{A} (t_{N}) \to 0$ et $N\hat{\Psi}_B(t_N) \to \infty$ $N \hat{Ψ}_{B} (t_{N}) \to \infty$ , la probabilité de piratage de la sécurité converge vers 1 quand $N \to \infty$ $N \to \infty$ .
- Cela implique que même si la masse des faux positifs ( $\epsilon$ ) et les erreurs moyennes des proxys tendent vers zéro, un budget $N = \Theta(1/\epsilon)$ est suffisant pour amplifier l'erreur résiduelle vers une probabilité élevée, à condition que la queue non sûre soit plus « lourde ».
Séparation des Queues Gaussiennes : L'article montre que si l'erreur du proxy de récompense sur les sorties non sûres possède une queue gaussienne plus lourde (variance plus grande) que sur les sorties sûres, le piratage de la sécurité devient certain à mesure que $N$ croît, même avec des récompenses réelles bornées.

Atténuation : Contrôle de la Couverture

Les auteurs proposent que, bien qu'on ne puisse pas supprimer la contamination initiale (les faux positifs admis par le filtre de sécurité), on peut limiter l'amplification de cette contamination.

Principe : Limiter la divergence $\chi^2$ entre la politique de sélection finale et la distribution de référence proxy-faisable.
Algorithme (cPes) : Ils instaurent cela via l'Échantillonnage Pessimiste Contraint (cPes). Cela implique de :
1. Tronquer (clipping) les scores de récompense appris dans une plage bornée.
2. Résoudre un problème d'optimisation régularisé pour repondérer les candidats proxy-faisables, en pénalisant la concentration sur les valeurs aberrantes à haute récompense.
Garantie (Théorème 5.1 & Corollaire 5.3) : Le cPes fournit une borne sur la probabilité de sélectionner une sortie non sûre qui est indépendante de $N$ . Cependant, cette borne dépend de la masse de contamination initiale $\kappa(x,b)$ et ne peut pas la réduire à zéro ; elle empêche seulement la probabilité de sélection de croître avec $N$ .

3. Contributions Clés

Formalisation du Piratage de la Sécurité : Défini comme la sélection d'une sortie qui satisfait un contrainte de sécurité apprise mais viole le critère de sécurité réel, spécifiquement pilotée par l'interaction entre la contamination du filtre et l'amplification de la queue de récompense.
Caractérisation de l'Amplification : Dérivation de bornes pour $N$ fini montrant que le piratage de la sécurité est régi par les queues de récompense conjointes des sorties proxy-faisables sûres versus non sûres. Preuve que une queue non sûre plus lourde conduit à une certitude asymptotique de piratage, même avec des erreurs moyennes décroissantes.
Principe de Contrôle de la Couverture : Établissement qu'en bornant la divergence $\chi^2$ de la distribution de référence proxy-faisable, on obtient une borne de sécurité indépendante de $N$ .
Validation Empirique :
- Expériences sur Modèles Simplifiés (Toy) : Démontré que le CBoN passe de la sélection de classes sûres à des classes non sûres à mesure que $N$ augmente lorsque la classe non sûre possède une queue de récompense plus lourde, tandis que le cPes limite ce glissement.
- Expériences LLM : Utilisation de JailbreakBench, HarmBench et de prompts AdvBench avec Qwen2.5-7B, Llama-Guard-3, et des modèles de récompense Beaver/Skywork.
  - Observé qu'à mesure que $N$ augmente, la récompense proxy du CBoN s'améliore, mais les taux de piratage de la sécurité et les récompenses réelles conscientes de la sécurité se détériorent.
  - Ablation : Le remplacement du proxy de récompense (Beaver vs Skywork) inverse la tendance de scaling, confirmant que le classement au sein de l'ensemble contaminé (comportement de la queue) est le moteur, et non seulement le taux de faux positifs du filtre.

4. Résultats

Problème Simplifié : Avec une classe non sûre possédant une queue de récompense plus lourde ( $\sigma_B > \sigma_A$ ), le taux de piratage de la sécurité du CBoN est passé de 0,023 ( $N=1$ ) à 0,9996 ( $N=8192$ ), tandis que la récompense réelle moyenne a chuté. Le cPes a maintenu un taux de piratage faible (~0,02) pour tous les $N$ .
Expériences LLM :
- Décomposition : L'augmentation du piratage de la sécurité avec le CBoN était principalement pilotée par des « victoires non sûres compétitives » (des candidates non sûres surpassant les sûres), et non simplement par l'absence de candidates sûres (« exposition uniquement aux non sûres »).
- Sensibilité du Proxy de Récompense : Le passage des modèles de récompense Beaver à Skywork a réduit le taux de victoire non sûre compétitive, abaissant ainsi le taux global de piratage, démontrant que le comportement de la queue est dépendant du proxy.
- Performance du cPes : Le cPes a limité l'effet d'amplification, maintenant les taux de piratage proches de la sélection de base « aléatoire faisable », bien qu'il n'ait pas éliminé la contamination de base.

5. Signification et Revendications

L'article affirme exposer une difficulté inhérente au scaling à l'inférence lorsqu'on s'appuie sur des modèles de sécurité appris. La principale signification réside dans le déplacement de l'attention de la précision moyenne du filtre vers le comportement de queue conjoint.

Limites des Métriques Moyennes : Les auteurs soutiennent que la précision moyenne du filtre et les erreurs moyennes des proxys sont insuffisantes pour prédire la sécurité sous scaling ; les queues supérieures relatives des récompenses pour les sorties sûres versus non sûres sont les déterminants critiques.
Distinction avec les Travaux Antérieurs : Contrairement à l'overoptimization de la récompense (qui suppose un ensemble faisable bénin) ou au jailbreaking (qui suppose des prompts adverses), ce travail analyse un prompt fixe où le l'ensemble faisable lui-même est contaminé, et où le processus de recherche amplifie cette contamination spécifique.
Atténuation Modeste : L'article est modeste concernant les solutions. Il affirme que le contrôle de la couverture (cPes) limite l'amplification mais ne peut pas réparer un ensemble faisable contaminé. Si le filtre de sécurité admet des sorties non sûres avec des récompenses apprises élevées, la sélection régularisée peut encore les favoriser.
Directions Futures : Les auteurs déclarent explicitement que leur analyse est limitée aux pipelines d'échantillonnage i.i.d. non adaptatifs. Ils notent que la recherche adaptative, l'auto-raffinement ou la planification agentique (où les distributions de candidates dépendent des évaluations précédentes des proxys) ne sont pas couverts et représentent des travaux futurs importants.

En conclusion, l'article établit qu'un scaling de l'inférence sûr nécessite une approche duale : contrôler l'entrée dans l'ensemble faisable (améliorer le filtre de sécurité) et contrôler la concentration en aval (gérer le comportement de la queue de récompense et la diversité de sélection).