Consensus Sampling for Safer Generative AI

Résumé Technique : Échantillonnage par Consensus pour une IA Générative Plus Sûre

Énoncé du Problème
L'article aborde le défi de l'agrégation de multiples modèles génératifs afin de mitiger les risques de sécurité qui sont prouvés comme indétectables par la seule inspection des sorties. Citant les travaux de Cohen [1987], de Witt et al. [2023], Zamir [2024], Motwani et al. [2024] et Perry et al. [2025], les auteurs notent que des risques tels que la stéganographie (cacher des secrets dans des images ou du texte) et les vulnérabilités de code intégrées ne peuvent être fiablement identifiés ou supprimés en examinant la sortie finale, même avec une surveillance surintelligente. Les méthodes de sécurité traditionnelles reposant sur l'inspection des activations ou des sorties du modèle sont insuffisantes face à ces risques de « désalignement ».

Le problème mathématique central est défini comme une tâche d'agrégation robuste : étant donné $k$ distributions de probabilité (induites par $k$ modèles), comment peut-on construire une nouvelle distribution qui soit résiliente à une minorité de constituants non sûrs ou adverses ? L'objectif est de produire un échantillon sûr sans avoir besoin de savoir quels modèles spécifiques sont sûrs, à condition qu'une fraction suffisante ($s$) des modèles soient sûrs et présentent un chevauchement suffisant dans leurs probabilités de sortie.

Méthodologie : Échantillonnage par Consensus
Les auteurs proposent l'Échantillonnage par Consensus, un algorithme boîte noire qui opère sous l'hypothèse d'un accès oracle : la capacité d'échantillonner à partir de chaque distribution $p_i$ et d'évaluer la probabilité $p_i(y)$ pour toute sortie candidate $y$.

1. Intuition de base : La méthode s'inspire de la robustesse de la médiane en statistiques. Tout comme la médiane est moins sensible aux valeurs aberrantes que la moyenne, l'algorithme recherche des sorties qui se voient attribuer des probabilités élevées par plusieurs modèles. Si un seul modèle est adverse, il est peu probable qu'il s'accorde avec $s$ modèles sûrs indépendants sur une sortie spécifique à haute probabilité, sauf si cette sortie est véritablement sûre.
2. L'Algorithme (Algorithme 1) :
   • Entrées : $k$ distributions, un nombre cible de distributions sûres $s$, et un paramètre de tolérance au risque $R$.
   • Processus : L'algorithme s'exécute sur $R$ tours. À chaque tour, il échantillonne une candidate $y$ à partir du mélange uniforme de toutes les $k$ distributions. Il calcule ensuite la probabilité d'acceptation basée sur le rapport entre la moyenne des $s$ plus petites probabilités ponctuelles attribuées à $y$ (notées $p^{(1)}(y) \dots p^{(s)}(y)$) et la moyenne de toutes les $k$ probabilités.
   • Sortie : Si acceptée, $y$ est renvoyée. Si aucun échantillon n'est accepté après $R$ tours, l'algorithme s'abstient (renvoie $\perp$).
3. Distribution sous-jacente : L'algorithme effectue efficacement un échantillonnage par rejet pour approximer une distribution $q^*$ proportionnelle à la somme des $s$ plus petites probabilités : $q^*(y) \propto \sum_{i=1}^s p^{(i)}(y)$.

Contributions Clés et Garanties Théoriques

• Robustesse-R : L'article formalise une garantie appelée robustesse-R. Une distribution est $R$-robuste si son risque (probabilité de générer une sortie non sûre dans un ensemble $U$) est au plus $R$ fois le risque moyen des $s$ distributions d'entrée les plus sûres.
  • Théorème 5.2 : La sortie de l'algorithme d'échantillonnage par consensus est $R$-robuste par rapport aux distributions d'entrée. Cela vaut pour n'importe quel prompt fixe et n'importe quel ensemble non sûr $U$, sans nécessiter de définition formelle de la « sécurité » autre que l'existence d'un ensemble de sorties à faible risque.
• Robustesse Adverse : Si un ensemble $S$ de taille $s$ contient des modèles sûrs avec un risque moyen $\epsilon$, le risque de sortie de l'algorithme est borné par $\epsilon R$. Cela implique qu'un adversaire contrôlant $k-s$ modèles ne peut pas forcer le système à émettre des données non sûres, sauf s'il peut compromettre la majorité des modèles ou les forcer à s'accorder sur des sorties non sûres.
• Bornes de Fuite d'Information : L'article démontre que la robustesse-R limite la fuite d'information, spécifiquement dans le contexte de la stéganographie.
  • Simulation de Fuite : La sortie de l'algorithme peut être simulée en utilisant uniquement les distributions sûres et un seul entier $t \in [R+1]$. Cela implique que l'algorithme fuit au plus $\log(R+1)$ bits d'information concernant le message secret encodé par un modèle adverse.
  • Stéganographie : Si les modèles sûrs ont une faible probabilité $\epsilon$ de décoder un message secret, la probabilité que l'échantillonneur par consensus le décoder soit bornée par $\epsilon R$.
• Optimalité de Pareto : Les auteurs montrent que le compromis entre le risque au pire cas et le taux d'abstention est optimal au sens de Pareto. L'algorithme ne peut pas améliorer la sécurité (réduire le risque) sans augmenter le taux d'abstention, et inversement.
• Bornes d'Abstention : La probabilité d'abstention dépend du chevauchement ($\Delta$) entre les distributions sûres. Si une majorité de distributions sont sûres ($s > k/2$) et qu'elles se chevauchent significativement, le taux d'abstention décroît exponentiellement avec $R$. Cependant, si les modèles sûrs ont un faible chevauchement (un problème courant dans les modèles de langage), le taux d'abstention peut être élevé.

Résultats Expérimentaux
L'article valide le mécanisme à travers deux expériences :

1. Hypercube Synthétique : En utilisant des distributions sur $\{0, 1\}^{64}$, les auteurs ont simulé un scénario avec une source adverse codant un secret. Les résultats ont confirmé le compromis théorique : à mesure que la longueur du message caché augmentait (rendant l'événement non sûr plus rare sous les distributions sûres), l'algorithme supprimait plus efficacement la sortie non sûre, tandis que l'augmentation de $R$ réduisait le taux d'abstention.
2. Stéganographie d'Images : En utilisant le modèle Janus-Pro-7B, les auteurs ont testé l'algorithme sur la génération d'images avec un schéma stéganographique (Zamir [2024]) codant des numéros de carte de crédit dans des images.
   • Un mélange uniforme standard de 3 sources (2 sûres, 1 stéganographique) produisait des images non sûres dans 33 % des cas.
   • L'échantillonnage par consensus avec $R=1$ à $R=3$ a réduit le taux d'insécurité à 0 % (dans les intervalles de confiance) tout en maintenant des taux d'abstention non nuls. À $R=4$, le taux d'abstention est tombé à 0 % tout en maintenant 0 % de sorties non sûres lors de l'essai.

Signification et Affirmations
L'article prétend fournir une approche agnostique du modèle pour la sécurité de l'IA générative qui ne repose pas sur l'interprétabilité, des architectures de modèles spécifiques, ou l'inspection humaine/IA des sorties.

• Changement de Paradigme : Il déplace la sécurité de la « détection et suppression des mauvaises sorties » (ce qui est prouvé impossible pour certains risques) vers « l'agrégation de distributions pour limiter l'influence adverse ».
• Robustesse par Chevauchement : Il identifie le chevauchement entre les distributions sûres comme la quantité critique gouvernant le compromis sécurité-abstention.
• Limites : Les auteurs sont modestes quant à la portée. La méthode ne garantit pas des sorties sûres si tous les modèles d'entrée sont non sûrs. Elle nécessite plusieurs modèles sûrs et un chevauchement suffisant entre eux. Elle ne fournit pas de méthode pour entraîner des modèles sûrs, mais plutôt un mécanisme pour agréger ceux qui existent déjà. Elle aborde des risques indétectables comme la stéganographie, mais ne couvre pas les dommages sociétaux plus larges ou les dommages découlant d'interactions multi-étapes.

En conclusion, ce travail offre un cadre théorique et un algorithme efficace pour borner le risque des sorties de l'IA générative en exploitant le consensus de multiples modèles, fournissant des garanties formelles contre la manipulation adverse inaccessibles par la seule inspection.