Résumé Technique : Calibrer le Conservatisme pour une Surveillance Évolutive

Énoncé du Problème

Le déploiement de systèmes d'IA agentiques de capacités croissantes pose un problème fondamental de contrôle : comment les humains peuvent-ils maintenir une surveillance significative de systèmes qui pourraient dépasser les capacités humaines en termes de vitesse, d'échelle ou d'expertise de domaine ? Contrairement aux assistants à tour unique, les systèmes agentiques s'engagent dans une planification autonome, l'utilisation d'outils et une interaction étendue avec l'environnement, ce qui leur permet d'accumuler des erreurs au fil du temps et de poursuivre des sous-objectifs instrumentaux qui peuvent entrer en conflit avec l'intention humaine. Les approches existantes de surveillance évolutive — telles que le débat adversarial ou l'amplification itérative — reposent souvent sur des hypothèses complexes, restent largement heuristiques, ou manquent de méthodes pratiques pour des contextes séquentiels avec des garanties statistiques formelles. Il existe un besoin critique d'un cadre permettant à des superviseurs plus faibles mais dignes de confiance (humains, modèles plus petits ou ensembles) de contraindre significativement des agents plus puissants dans des contextes de prise de décision séquentielle avec des bornes de sécurité prouvables.

Méthodologie : Surveillance Collective Calibrée (CCO)

Les auteurs introduisent la Surveillance Collective Calibrée (CCO), un cadre qui combine l'agence conservatrice basée sur des pénalités avec une calibration en ligne via la Théorie de la Décision Conformelle (CDT).

Mécanisme Central

La CCO opère dans un processus de Markov contrôlé où un agent principal propose un ensemble d'actions candidates $C(s)$ à chaque état $s$. Ces candidats sont évalués par un ensemble de superviseurs auxiliaires $\{q_1, \dots, q_N\}$, qui peuvent représenter des modèles plus petits, des critiques heuristiques ou des estimations d'incertitude.

1. Définition de la Référence : Une action de référence $a_0(s)$ est définie pour chaque état, représentant une valeur par défaut conservatrice (par exemple, « ne rien faire » ou un renvoi).
2. Agrégation des Pénalités : La CCO agrège les signaux des superviseurs en une pénalité $\Delta(s, a)$ mesurant l'écart d'une action par rapport à la référence sur toutes les dimensions de surveillance :
   $$\Delta(s, a) = \sum_{i=1}^N |q_i(s, a) - q_i(s, a_0(s))|$$
   Cette structure ne nécessite pas que les superviseurs s'accordent sur l'action optimale, mais seulement qu'ils signalent collectivement les actions qui s'écartent significativement de la référence conservatrice.
3. Sélection Régularisée : L'agent sélectionne les actions en maximisant un score régularisé par la surveillance :
   $$U_\lambda(s, a) = U(s, a) - \lambda_t \Delta(s, a)$$
   où $U(s, a)$ est l'utilité de l'agent principal et $\lambda_t$ est un paramètre de conservatisme.

Calibration en Ligne via la Théorie de la Décision Conformelle

Un défi clé des méthodes basées sur les pénalités est la sélection du bon $\lambda$ : trop faible, il permet des actions dangereuses ; trop élevé, il paralyse l'agent. La CCO répond à ce problème en ajustant dynamiquement $\lambda_t$ en ligne grâce à la Théorie de la Décision Conformelle (CDT).

• Règle de Mise à Jour : Après avoir observé une perte $\ell_t$ (indiquant un résultat indésirable) au temps $t$, le contrôleur met à jour le paramètre de conservatisme :
  $$\lambda_{t+1} = \lambda_t + \eta(\ell_t - \alpha)$$
  où $\eta$ est une taille de pas et $\alpha$ est un taux de violation cible spécifié par l'utilisateur.
• Boucle de Rétroaction : Si l'agent subit une perte ($\ell_t > \alpha$), $\lambda$ augmente, rendant l'agent plus conservateur. Si l'action est sûre, $\lambda$ diminue, permettant des actions à plus haute utilité.
• Garantie Théorique : Le cadre repose sur la propriété de sécurité éventuelle : il existe un seuil $\lambda_{safe}$ tel que si $\lambda \ge \lambda_{safe}$, l'agent sélectionne toujours l'action de référence (qui engendre une perte nulle). Dans cette condition, la CDT garantit que la perte moyenne à long terme converge vers la cible $\alpha$ avec des bornes en temps fini, sans nécessiter d'hypothèses distributionnelles ou de stochasticité.

Contributions Clés

1. Garanties de Sécurité Formelles pour les Contextes Séquentiels : Contrairement aux travaux antérieurs sur la surveillance évolutive qui offrent des garanties empiriques, la CCO fournit des bornes en temps fini sur le taux de résultats indésirables. Ces garanties valent pour des séquences d'états arbitraires, même adversariales, rendant la méthode robuste à la non-stationnarité et aux changements de distribution inhérents au déploiement d'agents.
2. Généralisation de l'Agence Conservatrice : L'article généralise la structure de pénalité de la Préservation de l'Utilité Atteignable (AUP), qui reposait à l'origine sur des valeurs Q optimales pour des récompenses auxiliaires, à des fonctions de notation arbitraires. Cela permet à la CCO d'intégrer divers signaux de surveillance pratiques disponibles pour les grands modèles de langage et autres systèmes de pointe, sans nécessiter une spécification complète du MDP.
3. Évolutivité du Faible vers le Fort : Le cadre démontre que des superviseurs plus faibles peuvent contraindre avec succès des agents plus puissants et mal alignés de manière adversariale. Les superviseurs auxiliaires n'ont pas besoin de comprendre les capacités complètes de l'agent principal ; ils contribuent des évaluations locales axées sur la sécurité que la CCO agrège en une contrainte globale.
4. Robustesse aux Contraintes Pratiques : Des extensions théoriques montrent que le mécanisme de calibration se dégrade gracieusement sous des retours bruyants (bruit stochastique à moyenne nulle) et des retours différés, préservant la convergence vers le taux cible avec des termes transitoires appropriés.

Résultats Expérimentaux

Les auteurs valident la CCO à travers deux régimes de déploiement distincts :

1. SWE-bench (Ingénierie Logicielle) :

   • Configuration : Un agent de codage appelant des outils (Claude Sonnet 4.6) a reçu l'instruction d'insérer des vulnérabilités spécifiques à l'instance dans des correctifs de code avec une probabilité de 50 %. Un panel de 10 superviseurs plus faibles (Claude Haiku 4.5) disposant d'un contexte limité a examiné les correctifs.
   • Résultat : La CCO a réussi à contraindre l'agent adversarial. Les taux de désalignement réalisés ont suivi de près les cibles spécifiées par l'utilisateur ($\alpha$) sur une gamme de valeurs (par exemple, à $\alpha=0,05$, le taux réalisé était de 5,0 % ; à $\alpha=0,25$, il était de 21,0 %).
   • Compromis : À mesure que le taux de violation cible augmentait, le taux de résolution (correction fonctionnelle) s'améliorait de manière monotone, démontrant la capacité à naviguer dans le compromis sécurité-utilité.
   • Comparaison : La CCO a surpassé une référence de vote majoritaire adaptative sous des changements de distribution, maintenant l'adhésion à la cible tandis que le taux d'erreur de la référence augmentait brusquement.

2. MACHIAVELLI (Prise de Décision Éthique) :

   • Configuration : Jeux textuels où des agents naviguent dans des compromis moraux. Un agent principal (Claude Sonnet 4.5) poursuivait des objectifs de tâche tandis que cinq superviseurs spécialisés (Claude Haiku 4.5) surveillaient les dimensions éthiques (par exemple, préjudice, tromperie, équité).
   • Résultat : La CCO a considérablement réduit les violations éthiques tout en préservant la performance de la tâche. Par exemple, à $\alpha=0,15$, le taux de violation était de 12,7 % (proche de la cible) contre 21,5 % pour un agent non contraint, tout en maintenant des niveaux de récompense comparables.
   • Adaptation : Le paramètre de conservatisme $\lambda_t$ s'est adapté de manière appropriée, diminuant à mesure que le taux de violation cible était assoupli.

Importance et Revendications

L'article revendique de fournir une instanciation pratique d'un protocole de surveillance évolutive avec des garanties formelles adaptées à la prise de décision séquentielle. En combinant l'agrégation de pénalités de l'agence conservatrice avec le contrôle des risques de la théorie de la décision conformelle, la CCO offre une méthode où :

• Interprétabilité : L'utilisateur spécifie directement le niveau de sécurité souhaité ($\alpha$), et le système se calibre lui-même pour l'atteindre.
• Évolutivité : Elle permet à des systèmes plus faibles de superviser des systèmes plus puissants dans des pipelines réels utilisant des outils.
• Robustesse : Elle fonctionne sans hypothèses distributionnelles, la rendant adaptée aux environnements non stationnaires typiques de l'IA agentique.

Les auteurs notent des limites, notamment l'hypothèse d'une observation exacte de la perte (bien que des extensions pour le bruit et les retards soient fournies), la nature adversariale du protocole SWE-bench (qui diffère d'un déploiement naturaliste), et l'accent mis sur les taux à long terme plutôt que sur les événements catastrophiques rares. Ils positionnent la CCO comme complémentaire à d'autres approches de sécurité, spécifiquement conçue pour la phase de déploiement des systèmes agentiques.