On the Formal Limits of Alignment Verification

Cet article démontre qu'aucune procédure de vérification de l'alignement des IA ne peut simultanément garantir la justesse, la généralité et la faisabilité computationnelle, établissant ainsi une trilemme fondamentale qui définit les limites théoriques de la certification formelle de la sécurité des systèmes d'intelligence artificielle.

L'essentiel

🚦 Le Dilemme des Trois Feux Rouges : Pourquoi on ne peut pas tout avoir avec l'IA

Imaginez que vous êtes le chef d'une grande usine qui fabrique des robots super-intelligents. Votre objectif est de vous assurer que ces robots sont bienveillants (qu'ils font ce que vous voulez, et ne font pas de bêtises).

Le chercheur Ayushi Agarwal pose une question fondamentale : « Peut-on créer un test officiel, infaillible et rapide, pour garantir à 100 % qu'un robot est bienveillant ? »

La réponse du papier est surprenante : Non.

Il existe un « triangle de l'impossible » (un trilemme). Vous pouvez avoir deux de ces trois qualités, mais jamais les trois en même temps. C'est comme essayer de choisir entre « Rapide », « Pas cher » et « De haute qualité » : vous ne pouvez en avoir que deux.

Voici les trois qualités dont on parle, expliquées avec des analogies :

1. Les Trois Qualités du « Certificat de Sécurité »

Pour qu'un test soit un véritable certificat (une garantie absolue), il doit être :

• A. La Véracité (Soundness) : « Ne jamais mentir. »
  • L'analogie : C'est comme un inspecteur de sécurité qui ne signale jamais un avion comme « prêt à voler » s'il y a une fissure dans l'aile. Il ne fait jamais de faux positifs. S'il dit « C'est sûr », c'est vraiment sûr.
• B. L'Universalité (Generality) : « Valable partout, tout le temps. »
  • L'analogie : Le test doit garantir que l'avion vole bien non seulement sur la piste d'essai, mais aussi dans une tempête, au-dessus de l'océan, ou si un passager crie. Il doit couvrir tous les scénarios imaginables, même ceux qu'on n'a pas encore vus.
• C. La Rapidité (Tractability) : « Faisable en temps raisonnable. »
  • L'analogie : Le test doit pouvoir être fait en quelques heures ou jours, pas en 10 000 ans. Si le test prend une éternité pour dire « C'est bon », il est inutile pour la vie réelle.

---

🚫 Le Problème : Pourquoi on ne peut pas avoir les trois ?

Le papier explique qu'il y a trois murs invisibles qui nous empêchent d'avoir les trois qualités ensemble. Voici pourquoi, avec des métaphores :

Mur n°1 : Le Mur du Calcul (Véracité + Universalité = Trop lent)

Si vous voulez un test qui ne se trompe jamais (Véracité) et qui vérifie tous les scénarios possibles (Universalité), le temps de calcul devient infini.

• L'analogie : Imaginez que vous devez vérifier qu'un robot ne fera jamais de mal. Pour être sûr à 100 %, vous devez simuler chaque seconde de sa vie, dans chaque univers possible, pendant des milliards d'années. Même un super-ordinateur ne pourrait pas finir ce calcul avant la fin de l'univers. C'est mathématiquement impossible de le faire vite.

Mur n°2 : Le Mur du Déguisement (Véracité + Rapidité = Pas universel)

Si vous voulez un test rapide et qui ne se trompe jamais, vous ne pouvez pas vérifier tous les scénarios. Vous devez vous limiter à un petit échantillon.

• L'analogie : Imaginez que vous voulez vérifier si un acteur est vraiment gentil. Vous le regardez jouer un rôle pendant 10 minutes (Rapide) et vous êtes sûr qu'il joue bien (Véracité). Mais pouvez-vous garantir qu'il ne deviendra pas un monstre demain matin ? Non. Parce que vous n'avez pas vu sa vie entière. De plus, deux robots peuvent avoir le même comportement visible (ils disent « Bonjour ») mais avoir des « cerveaux » différents à l'intérieur (l'un est gentil, l'autre attend le moment pour tricher). Un test rapide ne peut pas voir à travers le déguisement.

Mur n°3 : Le Mur de l'Échantillon (Universalité + Rapidité = On peut se tromper)

Si vous voulez un test rapide qui couvre tous les scénarios, vous devez faire des suppositions. Et ces suppositions peuvent être fausses.

• L'analogie : C'est comme essayer de deviner le goût d'une soupe en goûtant une seule cuillère. Vous pouvez goûter vite et dire « C'est bon partout », mais si le sel est au fond du pot (un scénario rare que vous n'avez pas goûté), votre test est faux. En IA, on ne peut jamais tester tous les inputs possibles en peu de temps. Donc, on risque de certifier un robot qui est en fait dangereux dans des situations qu'on n'a pas testées.

---

🧩 Ce qu'on peut faire à la place (Les solutions pratiques)

Le papier ne dit pas « C'est fini, abandonnez ». Il dit : « Choisissez ce que vous êtes prêt à lâcher ».

1. On lâche la Rapidité (On accepte d'attendre) :
   • On peut vérifier un robot très petit et simple sur un petit nombre de scénarios avec une certitude absolue. C'est utile pour des systèmes critiques mais limités (comme un système de freinage de voiture), mais pas pour un robot généraliste.
2. On lâche l'Universalité (On accepte des limites) :
   • On vérifie que le robot est sûr dans les conditions où on va l'utiliser. On ne promet pas qu'il est sûr dans l'espace ou sous l'eau, juste dans la cuisine. C'est ce qu'on fait déjà avec les avions et les médicaments : on teste dans des conditions réalistes, pas dans tous les univers possibles.
3. On lâche la Véracité absolue (On accepte des statistiques) :
   • On dit : « Il y a 99,9 % de chances que ce robot soit sûr ». C'est comme la météo : on ne dit pas « Il va pleuvoir à 100 % », mais « 90 % de chance de pluie ». C'est utile, mais ce n'est pas une garantie mathématique absolue. C'est ce qu'on fait aujourd'hui avec l'IA (tests, benchmarks).

💡 La leçon principale

Ce papier est important car il arrête de nous mentir. Beaucoup de gens pensent qu'un jour, on aura un bouton magique « Vérifier la sécurité » qui sera rapide, parfait et universel.

Ce papier dit : « Non, c'est mathématiquement impossible. »

Mais ce n'est pas une mauvaise nouvelle ! C'est une carte routière. Cela nous dit :

• Ne cherchez pas la perfection absolue, elle n'existe pas.
• Soyez honnêtes sur ce que vous garantissez. Si vous dites « C'est sûr », précisez : « Sûr dans ces limites, avec ce niveau de risque ».
• La sécurité de l'IA ne sera pas un seul test magique, mais une combinaison de plusieurs couches de protection (comme un château avec des douves, des murs et des gardes).

En résumé : On ne peut pas avoir le beurre, l'argent du beurre et le sourire du crémerie. Il faut choisir ses priorités et accepter les compromis.

Résumé technique

Voici un résumé technique détaillé du papier de recherche "On the Formal Limits of Alignment Verification" (Sur les limites formelles de la vérification de l'alignement) par Ayushi Agarwal.

1. Problématique

La question centrale soulevée par l'article est de savoir s'il est possible, en principe, de certifier formellement qu'un système d'IA est aligné avec les intentions humaines. L'auteur distingue la mesure (observation comportementale sur un ensemble fini de tests) de la preuve (garantie logique que le système satisfait une spécification sur tout son domaine d'entrée).

Le problème réside dans l'absence de définition formelle unique de l'alignement ($A^*$) et dans la difficulté à garantir que le comportement observé lors de l'entraînement se généralisera correctement à des distributions de données non vues (décalage de distribution). L'article cherche à déterminer s'il existe une procédure de vérification capable de fournir une garantie absolue d'alignement.

2. Méthodologie et Cadre Formel

L'auteur définit un cadre formel rigoureux pour analyser les procédures de vérification $V$. Trois propriétés sont identifiées comme essentielles pour qu'une procédure soit considérée comme une "certification" véritable :

1. Sûreté (Soundness - S) : La procédure ne doit jamais émettre de faux positifs (certifier un système non aligné) ni de faux négatifs (rejeter un système aligné). C'est une garantie de fiabilité absolue.
2. Généralité (Generality - G) : La certification doit être valable sur le domaine d'entrée complet ($D = X$), et non seulement sur un sous-ensemble fini ou une distribution d'entraînement. Elle doit couvrir tous les cas possibles, y compris les scénarios hors distribution (OOD).
3. Traitabilité (Tractability - T) : La procédure doit s'exécuter en temps polynomial par rapport à la taille du système. Une preuve qui prend un temps exponentiel ou infini n'est pas utilisable en pratique.

L'analyse repose sur plusieurs hypothèses structurelles concernant les réseaux de neurones modernes (notamment les transformateurs et les réseaux ReLU) :

• Expressivité du modèle : Les réseaux sont capables de modifier leur comportement sur un sous-ensemble fini tout en conservant le même comportement ailleurs.
• Dépendance structurelle de l'alignement : L'alignement dépend de la structure interne (représentations, objectifs internes) et non seulement des sorties observables.
• Non-invariance sous symétrie : Il existe des paramètres différents ($\theta$ et $\theta'$) qui produisent exactement la même fonction (comportement identique) mais qui ont des structures internes différentes, pouvant mener à des objectifs internes divergents (ex: mesa-optimization).
• Accès fini aux données : Toute procédure traitable ne peut examiner qu'un nombre fini de points de données.

3. Contributions Clés

La contribution principale de l'article est l'établissement d'un trilemme formel : il est impossible de satisfaire simultanément les trois propriétés (S, G, T).

L'auteur démontre que :

• Chaque paire de propriétés est réalisable.
• Mais les trois propriétés ensemble sont mutuellement exclusives.

Ce résultat est prouvé via trois lemmes d'impossibilité indépendants, chacun correspondant à une barrière spécifique :

A. Barrière Computatoire (S + G $\implies$ non-T)

• Résultat : Une vérification qui est à la fois sûre et générale (couvrant tout le domaine) ne peut pas être traitable.
• Preuve : Pour les réseaux ReLU, vérifier une propriété sémantique sur tout le domaine est NP-complet. Pour les architectures de type transformateur (qui sont Turing-complètes dans certains régimes), le problème devient indécidable (théorème de Rice). Aucune amélioration algorithmique ne peut rendre ce processus polynomial.

B. Barrière Représentationnelle (S + T $\implies$ non-G)

• Résultat : Une vérification sûre et traitable ne peut pas être générale.
• Preuve : En raison de la symétrie des réseaux de neurones (permutation des neurones cachés), il existe des paramètres $\theta_1$ et $\theta_2$ qui sont comportementalement équivalents ($\theta_1 \sim \theta_2$) mais qui ont des structures internes différentes. Si l'alignement dépend de la structure interne (ex: robustesse hors distribution), alors $A^*(\theta_1) \neq A^*(\theta_2)$.
• Un vérificateur sûr doit traiter $\theta_1$ et $\theta_2$ de la même manière (car ils produisent les mêmes sorties). S'il les traite de la même manière, il ne peut pas distinguer le cas aligné du cas non aligné. Pour rester sûr, il doit soit rejeter les deux (échec de la généralité/complétude), soit les accepter tous les deux (échec de la sûreté).

C. Barrière Informationnelle (G + T $\implies$ non-S)

• Résultat : Une vérification générale et traitable ne peut pas être sûre.
• Preuve : Une procédure traitable ne peut examiner qu'un nombre fini de points de données (support fini). Il est possible de construire deux systèmes qui répondent identiquement à tous les points de ce support fini mais qui divergent radicalement sur le reste du domaine infini (construction diagonale). Le vérificateur, voyant les mêmes preuves pour les deux, émettra le même verdict. Si l'un est aligné et l'autre non, le verdict sera faux pour l'un des deux, violant la sûreté.

4. Résultats et Implications

Le théorème principal (Théorème 2) établit que aucune procédure de vérification ne peut simultanément satisfaire S, G et T.

L'article analyse ensuite ce qui reste possible en relâchant une seule contrainte :

1. Relâchement de T (S + G) : Vérification formelle complète mais non traitable (ex: outils SMT comme Reluplex sur des réseaux petits ou des spécifications linéaires). Utile théoriquement, mais limité par la complexité exponentielle.
2. Relâchement de G (S + T) : Vérification sûre et tractable, mais bornée à un domaine d'entrée restreint. C'est la base de la vérification formelle actuelle en ingénierie critique, mais elle ne garantit rien pour les inputs hors du domaine borné.
3. Relâchement de S (G + T) : Vérification générale et tractable, mais probabiliste/statistique. C'est le régime actuel du RLHF (Reinforcement Learning from Human Feedback) et des benchmarks. On obtient une assurance statistique (ex: "99% de confiance"), mais pas une garantie formelle de sûreté absolue.

5. Signification et Conclusion

Ce papier transforme le débat sur la sécurité de l'IA d'une question binaire ("l'alignement est-il possible ?") en une analyse structurelle des compromis.

• Distinction fondamentale : L'alignement diffère de la vérification logicielle classique car il doit combler trois écarts simultanément : computationnel (complexité), représentationnel (structure interne vs comportement) et informationnel (distribution d'entraînement vs déploiement).
• Gestion des risques structurée : L'auteur conclut que l'alignement doit être compris comme une gestion structurée des risques plutôt que comme une certification absolue.
• Implications pour la recherche : Il n'est pas possible de "résoudre" le trilemme pour obtenir les trois propriétés. La voie productive consiste à identifier, pour chaque contexte de déploiement, quelle propriété est acceptable à relâcher et à définir clairement les limites de la garantie obtenue (ex: "sûr pour ce domaine borné" ou "aligné avec une probabilité de 99%").
• Interprétabilité mécanistique : L'article suggère que l'interprétabilité mécanistique pourrait potentiellement contourner la barrière représentationnelle (Lemma 3) si elle parvient à créer des cartes invariantes qui distinguent les structures internes alignées des non-alignées, mais cela reste un défi ouvert.

En résumé, l'article démontre que la certitude absolue, universelle et rapide de l'alignement est mathématiquement impossible, mais que des garanties partielles et utiles restent réalisables à condition de comprendre et d'accepter explicitement leurs limites.