Résumé Technique : Le Fossé d'Évaluabilité de l'IA

Énoncé du Problème

Les organisations déployant l'IA à grande échelle sont confrontées à un double défi : gérer le risque lié à l'IA (déterminer si un système est suffisamment sûr, équitable, fiable et conforme pour fonctionner) et soutenir la valeur de l'IA (déterminer si un système justifie la poursuite de l'allocation de ressources). Les pratiques de gouvernance actuelles échouent souvent car elles traitent ces enjeux comme des problèmes distincts avec des propriétaires et des vocabulaires différents, ou parce qu'elles se concentrent sur les propriétés du système plutôt que sur les preuves nécessaires pour prendre des décisions à leur sujet.

Le document identifie une condition sous-jacente fondamentale appelée le fossé d'évaluabilité de l'IA : l'état dans lequel les organisations manquent de preuves suffisantes pour soutenir des décisions de gouvernance de haute confiance concernant soit le risque, soit la valeur. Ce fossé conduit à deux modes de défaillance :

1. Le sur-déploiement : Accepter des risques non mesurés en raison d'un manque de preuves de sécurité.
2. Le sous-investissement : Renoncer à une valeur non mesurée en raison d'un manque de preuves de bénéfice.

Les auteurs soutiennent que les cadres actuels souffrent d'une « erreur de catégorie », traitant la gouvernance comme synonyme de gestion des risques et supposant que la suffisance des preuves est un acquis plutôt qu'un objet primaire de la gouvernance. De plus, les pratiques existantes échouent souvent à rendre compte de la non-stationnarité des systèmes d'IA, où les preuves se dégradent rapidement en raison de l'adaptation des utilisateurs, du réentraînement des modèles et de l'évolution des environnements.

Méthodologie et Cadre de Référence

Le document propose l'Évaluabilité comme un nouveau cadre théorique pour combler ce fossé. Plutôt que de prescrire des métriques spécifiques ou des méthodes statistiques, l'Évaluabilité définit les conditions probatoires sous lesquelles les décisions de gouvernance deviennent défendables.

Définition Centrale

L'Évaluabilité est définie comme la capacité d'un système à générer, maintenir et renouveler des preuves suffisantes pour soutenir des décisions de gouvernance de haute confiance concernant son fonctionnement et l'allocation de ses ressources au fil du temps.

Formellement, l'Évaluabilité est une fonction de six propriétés du flux de preuves d'un système d'IA :
$$\text{Évaluabilité} = f(O, A, I, V, C, T)$$
Où :

• Observabilité (O) : Les résultats pertinents pour la décision peuvent-ils être observés ? (ex. : journaux, télémétrie, résultats commerciaux).
• Attribuabilité (A) : La contribution de l'IA peut-elle être isolée des facteurs de confusion ? (Nécessite une conception causale ou quasi-expérimentale).
• Intervenabilité (I) : Le système peut-il être modifié pour tester des affirmations et répondre aux défaillances ? (ex. : rollback, tests A/B).
• Vérifiabilité (V) : Une partie indépendante peut-elle auditer et reproduire l'analyse ?
• Calibration (C) : Les niveaux de confiance déclarés correspondent-ils aux fréquences observées de correction ?
• Validité Temporelle (T) : Les preuves restent-elles pertinentes à mesure que l'environnement et le système évoluent ?

Formulation Centrée sur la Décision

Le cadre déplace l'attention de la mesure des propriétés du système vers l'évaluation de la confiance dans une décision ($D$) étant donné un ensemble de preuves ($E$).

• Confiance ($Conf(D|E)$) : Un état épistémique concernant la suffisance des preuves, et non une probabilité d'un état du monde.
• Règle de Décision : Une action $D$ est justifiée si et seulement si $Conf(D|E) > \tau(D)$, où $\tau$ est un seuil déterminé par la matérialité de la décision et l'asymétrie des erreurs.
• Le Fossé : Le fossé d'évaluabilité existe lorsque $Conf(D|E) < \tau(D)$.

Deux Classes de Certification

Le cadre distingue deux types de décisions de gouvernance, chacun nécessitant des structures probatoires différentes :

1. Certification Opérationnelle : Détermine si un système peut fonctionner. Elle repose sur des preuves structurelles (vérification, tests de stress, évaluation adverse) pour établir l'absence de modes de défaillance. Le standard probatoire est généralement élevé.
2. Certification d'Investissement : Détermine si un système mérite la poursuite des ressources. Elle repose sur des preuves causales (raisonnement contrefactuel, déploiements aléatoires) pour établir la génération de valeur. Le standard probatoire varie selon la matérialité des dépenses.

Le Cycle de l'Évaluabilité

Les six propriétés ne sont pas une liste de contrôle statique mais un cycle continu :

1. L'Observabilité capture ce qui s'est passé.
2. L'Attribuabilité lie les résultats à l'IA.
3. La Vérifiabilité permet une confiance indépendante.
4. La Calibration garantit que les déclarations de confiance sont dignes de confiance.
5. La Validité Temporelle évalue si les preuves sont toujours actuelles.
6. L'Intervenabilité permet l'action (tests, réentraînement) lorsque l'incertitude surgit, générant de nouvelles observations pour relancer le cycle.

Le cadre souligne que la preuve est périssable. En l'absence de renouvellement, la confiance décline avec le temps ($Conf(D|E(t)) \to Conf(D|\emptyset)$), nécessitant une recertification continue plutôt qu'une approbation ponctuelle.

Couche Institutionnelle

Pour éviter la capture épistémique, le cadre propose un modèle institutionnel distribué :

• Producteurs de Preuves : Équipes d'ingénierie et de données générant des journaux et des résultats.
• Vérificateurs de Preuves : Fonctions de risque, d'audit et de finance validant l'intégrité et la calibration.
• Adjudicateurs de Preuves : Conseils ou comités fixant les seuils et résolvant les conflits entre les certifications.

Principales Contributions

Le document apporte trois contributions majeures :

1. Unification des Objets de Gouvernance : Il identifie la suffisance des preuves comme l'objet unificateur à travers les domaines de gouvernance, en la formalisant via la fonction $Conf(D|E)$. Il soutient que la gouvernance ne consiste pas à mesurer des propriétés (sécurité, valeur) directement, mais à déterminer si des preuves suffisantes existent pour prendre des décisions à leur sujet.
2. Certification Opérationnelle vs d'Investissement : Il introduit une distinction structurelle entre les décisions opérationnelles et d'investissement. Cela clarifie la confusion concernant la notion de « valeur » dans les taxonomies de gouvernance, permettant aux organisations d'affirmer de manière cohérente qu'un système est opérationnellement sûr mais pas digne d'investissement (ou inversement), résolvant ainsi la paralysie de la gouvernance.
3. Élévation de la Validité Temporelle et de la Calibration : Il élève la validité temporelle et la calibration du statut de préoccupations périphériques à celui de propriétés de premier rang. Le document soutient que la gouvernance actuelle de l'IA est riche en surveillance mais pauvre en calibration, menant à des « décisions confiantes dont la confiance elle-même n'est pas justifiée ».

Résultats et Affirmations

Le document ne présente pas de résultats expérimentaux empiriques, car il s'agit d'un cadre théorique. Ses « résultats » sont des propositions logiques et des arguments structurels :

• Proposition 3.1 (Non-identifiabilité de la Gouvernance) : Deux systèmes d'IA ayant des résultats observés indiscernables peuvent nécessiter des décisions de gouvernance différentes car la confiance justifiée par leurs flux de preuves diffère. La gouvernance ne peut être inférée des résultats seuls ; elle dépend de la structure et de la provenance des preuves.
• La Nécessité des Six Propriétés : Un système peut être précis ou rentable mais échouer tout de même au test d'Évaluabilité si les preuves qui le soutiennent sont invérifiables, non calibrées ou obsolètes.
• La Dégradation des Preuves : Le document affirme qu'en IA, les preuves se dégradent rapidement en raison de la non-stationnarité, de l'émergence de capacités et de l'adaptation humaine. Par conséquent, la gouvernance doit être un processus continu de recertification lié à des taux de dégradation estimés empiriquement, et non à des conventions calendaires.

Signification et Portée

Les auteurs positionnent l'Évaluabilité comme un substrat pour les cadres de gouvernance existants (tels que le NIST RMF, l'ISO/IEC 42001 et les cas d'assurance) plutôt que comme un remplacement.

• Ce qu'elle est : Un cadre pour déterminer si des preuves suffisantes existent pour soutenir des décisions de haute confiance. Elle fournit les normes architecturales pour la génération et la validation des preuves.
• Ce qu'elle n'est pas : Elle ne détermine pas si un système est réellement sûr, équitable, fiable ou précieux. Elle ne remplace pas les modèles de risque spécifiques au domaine, les métriques d'équité ou les calculateurs de ROI. Elle ne prescrit pas de méthodes statistiques spécifiques pour l'inférence causale ou la représentation de la confiance (permettant des approches bayésiennes, fréquentistes ou de Dempster-Shafer).

Le document conclut qu'à mesure que les systèmes d'IA deviennent plus dynamiques et autonomes, la capacité à générer, maintenir et renouveler les preuves (l'Évaluabilité) pourrait devenir aussi critique que les modèles eux-mêmes. Le cadre vise à combler le fossé entre la complexité des systèmes d'IA modernes et la suffisance des preuves requises pour les gouverner de manière responsable.