Scaling, Lock-In, and Proxy Compliance: A Political Economy of Responsible AI

Résumé Technique : Mise à l'échelle, Verrouillage et Conformité par Procuration

Énoncé du Problème
L'article traite d'un casse-tête central de l'IA responsable : la coexistence persistante d'une conformité visible (ex. : fiches de modèles, évaluations standardisées, documentation) et d'une atténuation insuffisante des dommages substantiels. Bien que les cadres comme la loi sur l'IA de l'UE imposent des obligations de documentation étendues, la récurrence des préjudices et les lacunes en matière de responsabilité suggèrent que les organisations peuvent rationnellement choisir une « conformité par procuration » (proxy compliance) — produisant des signaux de responsabilité observables tout en sous-investissant dans la réduction réelle des risques. Les auteurs soutiennent qu'il ne s'agit pas simplement d'un échec des cadres éthiques, mais d'un résultat structurel des paramètres institutionnels : spécifiquement, l'interaction entre la génération de preuves contrôlée par le fournisseur, les coûts de changement du déployeur (verrouillage) et les mécanismes d'application qui reposent sur des preuves vérifiables.

Méthodologie
Les auteurs développent un jeu d'économie politique séquentiel impliquant trois agents : un fournisseur d'IA, un déployeur et un régulateur. Le modèle est statique et à fournisseur unique, traitant l'échelle et la concentration du marché comme des contextes institutionnels plutôt que comme des variables endogènes.

• Chronologie :

  1. Le fournisseur choisit l'auditabilité ($t$) et l'atténuation substantielle ($e$).
  2. Le déployeur observe ces choix, décide de l'adoption et, si l'adoption est choisie, décide d'un niveau de surveillance ($m$). L'adoption entraîne des coûts de changement ($s$), représentant le verrouillage.
  3. Le dommage ($h$) est réalisé. La preuve est générée avec une probabilité $p(t, m)$, qui dépend à la fois de l'auditabilité et de la surveillance.
  4. L'application des sanctions se produit si une preuve exploitable est trouvée.

• Mécanismes Clés :

  • Auditabilité ($t$) : Aide à satisfaire les seuils de passation de marchés mais augmente également la probabilité de détection.
  • Atténuation ($e$) : Réduit directement la probabilité de dommage.
  • Verrouillage ($s$) : Réduit le recours effectif du déployeur ($\delta_{eff}$), affaiblissant l'incitation à la surveillance.
  • Application des sanctions : Repose sur des preuves vérifiables. Le fournisseur fait face à des pénalités proportionnelles à la probabilité de détection ($p + \Delta$), où $\Delta$ représente la capacité d'audit indépendante.

• Concept d'Équilibre : Les auteurs résolvent pour l'équilibre de Nash parfait en sous-jeux où le fournisseur anticipe la réponse de surveillance du déployeur. Le déployeur ne surveille que si le bénéfice attendu du recours (réduction de l'exposition aux dommages) l'emporte sur le coût de la surveillance, un calcul fortement influencé par les coûts de changement.

Principales Contributions

1. Formalisation de la Conformité par Procuration : L'article définit la « conformité par procuration » comme un équilibre où le fournisseur respecte le seuil minimal observable de passation de marchés ($t^* = \bar{t}$) mais choisit une atténuation ($e^*$) strictement inférieure à l'optimum social premier ($e_{FB}$). Cela se produit lorsque des coûts de changement élevés freinent la surveillance du déployeur, ce qui, en retour, diminue l'incitation du fournisseur à l'atténuation substantielle en abaissant l'exposition attendue aux sanctions.
2. Surveillance Endogène : Contrairement aux modèles où la surveillance est exogène, ce cadre permet au fournisseur d'anticiper comment ses choix d'atténuation affectent l'intensité de la surveillance du déployeur. Une atténuation plus élevée réduit le dommage résiduel, ce qui peut paradoxalement réduire l'incitation du déployeur à surveiller, créant une boucle de rétroaction.
3. Analyse des Leviers Politiques : Les auteurs dérivent des comparatives statiques pour quatre leviers institutionnels distincts : les droits d'audit indépendants, la portabilité (réduction des coûts de changement), le signalement d'incidents et la responsabilité liée aux résultats.

Résultats
L'analyse produit un équilibre intérieur unique et caractérise les conditions pour une atténuation complète (la solution de coin où le dommage est éliminé).

• Proposition 4.4 (Existence de la Conformité par Procuration) : En l'absence d'une détection indépendante forte ($\Delta = 0$) et avec des coûts de changement suffisamment élevés ($s$), l'équilibre converge vers la conformité par procuration. À mesure que $s \to \infty$, la surveillance $m^* \to 0$, et l'atténuation $e^*$ chute à un niveau déterminé uniquement par le seuil d'auditabilité de base, souvent bien en dessous de l'optimum social.
• Proposition 4.5 (Responsabilité) : Augmenter la détection indépendante ($\Delta$) ou réduire les coûts de changement ($s$) augmente l'atténuation à l'équilibre. Cependant, l'effet de $\Delta$ est atténué par la réponse de surveillance (à mesure que l'atténuation augmente, la surveillance diminue), bien qu'il ne renverse jamais l'effet positif.
• Théorème 5.1 (Droits d'Audit) : Des droits d'audit indépendant suffisamment forts ($\Delta$) peuvent éliminer la conformité par procuration et atteindre une atténuation complète ($e^* = e_{FB}$), quel que soit le niveau de verrouillage ($s$). C'est le levier unique le plus puissant du modèle.
• Proposition 5.2 (Portabilité) : Réduire les coûts de changement augmente l'atténuation en restaurant le levier et l'incitation du déployeur à surveiller.
• Proposition 5.3 (Signalement d'Incidents) : Le signalement obligatoire crée un canal de preuve indépendant ($\mu\rho$) qui se substitue à l'accès contrôlé par le fournisseur, augmentant l'atténuation même si l'auditabilité reste faible.
• Proposition 5.4 (Responsabilité Liée aux Résultats) : La responsabilité directement liée au dommage réalisé ($\lambda_{OFO}$) augmente l'atténuation indépendamment de la probabilité de détection $p(t, m)$, fournissant une incitation robuste lorsque la vérification est faible.

Signification et Revendications
L'article prétend fournir une explication institutionnelle traçable de la raison pour laquelle « une conformité visible et une atténuation limitée peuvent coexister comme des choix rationnels ». Il soutient que l'écart entre les signaux de responsabilité observables et la réduction des dommages n'est pas nécessairement un échec de mise en œuvre, mais un résultat d'équilibre piloté par :

1. Le contrôle de la preuve par le fournisseur : Lorsque les fournisseurs contrôlent l'infrastructure de génération de preuves vérifiables (ex. : accès API, journaux), ils peuvent limiter l'auditabilité.
2. Le verrouillage : Des coûts de changement élevés affaiblissent la capacité du déployeur à agir comme un mécanisme de discipline.
3. Une application dépendante des preuves : Lorsque les pénalités dépendent des preuves détectées plutôt que des résultats, les fournisseurs ont intérêt à minimiser la transparence si le coût marginal de l'auditabilité dépasse l'augmentation attendue des pénalités.

Les auteurs soulignent que leur modèle est un point de référence, et non la prétention qu'un instrument de gouvernance unique soit suffisant. Ils avertissent que l'indépendance de l'audit, la couverture du signalement et des sanctions crédibles sont des prérequis pour que ces mécanismes fonctionnent. L'article conclut que la responsabilité exige à la fois la vérifiabilité (accès indépendant aux preuves) et le pouvoir d'agir (recours crédible pour les déployeurs), suggérant que la conformité procédurale (documentation) sans ces supports structurels entraînera probablement une conformité par procuration persistante.