Adaptive auditing of AI systems with anytime-valid guarantees

Résumé Technique : Audit Adaptatif des Systèmes d'IA avec Garanties Valides à Tout Moment

Énoncé du Problème

La caractérisation des modes de défaillance dans les systèmes d'IA générative est actuellement entravée par le coût élevé et le temps requis pour l'annotation et l'évaluation. Par conséquent, les praticiens ont adopté des paradigmes de test adaptatifs, où les cas de test et les tailles d'échantillon sont déterminés de manière opportuniste en fonction des résultats passés (par exemple, le red-teaming, l'apprentissage actif ou le raffinement avec boucle humaine). Bien que pratiques, ces flux de travail violent les hypothèses statistiques classiques : les tailles d'échantillon sont souvent faibles (10 à 50 cas), et les décisions d'échantillonnage ou d'arrêt sont prises dynamiquement plutôt que selon des règles préétablies.

L'inférence statistique standard repose sur des schémas d'échantillonnage fixes et des asymptotiques de grands échantillons. L'application de ces méthodes aux tests adaptatifs gonfle les taux d'erreur de type I (par exemple, le « p-hacking » via des regards continus) et rend difficile la définition exacte de l'hypothèse testée. Plus précisément, réussir une suite de tests ciblée et adaptative ne certifie pas intrinsèquement la robustesse globale, ni l'absence de schéma d'échantillonnage préétabli ne permet de tester la performance moyenne. Il existe un vide critique dans les cadres statistiques capables de soutenir une inférence rigoureuse sous un échantillonnage adaptatif arbitraire et un arrêt optionnel avec des garanties sur des échantillons finis.

Méthodologie

Les auteurs proposent un cadre qui formalise l'audit de robustesse de l'IA à travers deux tests d'hypothèses « en duel » et exploite l'Inférence Valide à Tout Moment Sécurisée (SAVI) pour fournir des garanties statistiques.

1. Cadre des Hypothèses en Duel
L'audit est formulé comme une compétition entre deux hypothèses nulles :

• L'Hypothèse Nulle du Modèle ($H_{mod}^0$) : Affirme que le système d'IA est globalement robuste. Formellement, pour tous les sous-groupes $S$ avec une prévalence $\mu(S) \ge \epsilon$, la performance moyenne $V(S)$ est supérieure à un seuil cible $q$. Le rejet implique l'existence d'un mode de défaillance.
• L'Hypothèse Nulle de l'Auditeur ($H_{aud}^0$) : Affirme que l'auditeur possède une stratégie adaptative spécifique $\pi$ qui découvrira éventuellement un mode de défaillance. Formellement, il existe un temps $\tau$ tel que pour tous les $t \ge \tau$, les sous-groupes sélectionnés $S_t^\pi$ ont une performance inférieure à $q$. Le rejet implique que l'audit a réussi (l'auditeur n'a pas trouvé de mode de défaillance).

L'article démontre que, sous une stratégie d'audit asymptotiquement cohérente (une stratégie qui converge vers la découverte de modes de défaillance s'ils existent), ces deux hypothèses nulles sont des compléments asymptotiques. Ainsi, rejeter l'hypothèse nulle de l'auditeur certifie efficacement la robustesse globale.

2. Tests par Pari et Processus-E
Pour gérer l'échantillonnage adaptatif arbitraire et l'arrêt optionnel, les auteurs utilisent le cadre du « Test par Pari ». L'auditeur est conceptualisé comme pariant contre les sous-groupes soupçonnés d'être des modes de défaillance. Sous l'hypothèse nulle, aucune stratégie de pari ne devrait générer de profit.

• Processus-E : La richesse des paris est suivie via des processus-E, qui sont les analogues séquentiels des valeurs p. Un processus-E $(E_t)$ garantit que pour tout temps d'arrêt $\tau$, $E_P[E_\tau] \le 1$ sous l'hypothèse nulle.
• Contrôle de l'Erreur de Type I : Grâce à l'inégalité de Ville, l'arrêt lorsqu'un processus-E dépasse $1/\alpha$ garantit un taux d'erreur de type I d'au plus $\alpha$, indépendamment de la stratégie d'échantillonnage adaptatif ou du moment où le test est arrêté.

3. Statistiques de Test Spécifiques
Les auteurs proposent plusieurs formulations de processus-E pour les deux hypothèses :

• Rapport de Vraisemblance (LR) : Basé sur le Test de Rapport de Vraisemblance Séquentiel (SPRT), comparant la vraisemblance du score observé sous l'hypothèse de défaillance ($q-\delta$) versus l'hypothèse nulle ($q$).
• Inférence Universelle (UI) : Une version adaptative où la probabilité alternative est estimée à partir des données (par exemple, $\hat{\gamma}_{t-1}$) plutôt que fixée, optimisant le « pari » en fonction des taux de défaillance appris.
• Extensions de Shiryaev-Roberts (SR) : Ces méthodes intègrent la détection de changements de régime pour gérer les scénarios où l'auditeur nécessite une « période d'apprentissage » avant d'identifier un mode de défaillance. Elles somment les rapports de vraisemblance en partant de tous les points de changement possibles, se couvrant contre des retards inconnus.

4. Procédure de Double Test
Le cadre exécute des processus-E simultanés pour $H_{mod}^0$ et $H_{aud}^0$. La procédure s'arrête dès que l'une des deux statistiques dépasse $1/\alpha$. Puisque les deux hypothèses nulles sont mutuellement exclusives (sous l'hypothèse d'une stratégie d'audit valide), une correction de Bonferroni est inutile ; le taux d'erreur familial (FWER) est contrôlé au niveau $\alpha$.

Contributions Clés

1. Formalisation des Hypothèses en Duel : L'article établit un cadre théorique où l'audit de l'IA est défini comme le test de l'hypothèse nulle du modèle contre l'hypothèse nulle de l'auditeur. Il démontre qu'avec un auditeur suffisamment puissant (asymptotiquement cohérent), ces tests sont des compléments asymptotiques, permettant des conclusions binaires sur la robustesse globale.
2. Procédures Duales Valides à Tout Moment Sécurisées : Les auteurs introduisent des processus-E duels qui fournissent des bornes d'arrêt pour la détection des modes de défaillance et la certification de l'audit. Ces procédures maintiennent un contrôle de l'erreur de type I sur des échantillons finis sous un échantillonnage adaptatif arbitraire et un arrêt optionnel.
3. Validation Empirique : L'étude démontre que le test adaptatif couplé aux processus-E atteint des conclusions rigoureuses significativement plus rapidement que les méthodes préétablies. Dans certains cas, des conclusions statistiquement valides sont atteintes avec seulement 20 observations.

Résultats Expérimentaux

Le cadre a été évalué dans deux contextes :

1. Données Semi-synthétiques (Jeu de données GPQA) : Les auteurs ont simulé des pipelines d'IA avec divers degrés de dégradation de performance à travers des sous-groupes.

   • Performance : La procédure SR-LR-UI (Shiryaev-Roberts avec Inférence Universelle) a atteint la puissance la plus élevée dans la détection des modes de défaillance.
   • Comparaison : Les stratégies adaptatives ont nettement surpassé les stratégies préétablies (Stratifiées et Pré-apprises). Les stratégies préétablies ont souvent échoué à détecter les modes de défaillance, conduisant à un taux élevé de rejet de l'hypothèse nulle de l'auditeur (passage de l'audit) même lorsque le système n'était pas robuste — un risque d'interprétation erronée.
   • Oracle : Un auditeur oracle (connaissant le vrai mode de défaillance) a pu rejeter l'hypothèse nulle en 15 à 25 observations, suggérant que des stratégies d'audit plus intelligentes pourraient réduire davantage les besoins en échantillons.
   • Contrôle de l'Erreur : Lorsqu'aucun mode de défaillance n'existait, toutes les méthodes ont correctement validé l'audit (rejet de $H_{aud}^0$) sans détecter faussement de défaillances, confirmant le contrôle de l'erreur de type I.

2. Pipeline LLM Réel (Notes Cliniques) : Le cadre a été appliqué à un LLM extrayant les Déterminants Sociaux de la Santé (SDoH) de notes cliniques.

   • Apprentissage Adaptatif : L'auditeur adaptatif a appris avec succès à suréchantillonner les catégories à faible précision (Spearman $\rho = -0.84$ entre la fréquence d'échantillonnage et la précision).
   • Efficacité : SR-LR-UI a requis le moins d'échantillons pour rejeter l'hypothèse nulle du modèle (détectant que le système n'était pas robuste) par rapport aux autres méthodes, à l'exception de l'Oracle.

Signification et Revendications

L'article revendique fournir le premier cadre statistique qui formalise ce qui peut être testé et comment le tester dans des régimes d'audit d'IA ciblés et hautement flexibles. En découplant la validité statistique de la stratégie d'échantillonnage, il permet aux praticiens d'utiliser des tests adaptatifs et économes en ressources (par exemple, red-teaming, apprentissage actif) sans sacrifier la rigueur statistique.

Les auteurs soulignent que bien que le cadre soutienne des stratégies arbitraires, la validité de la conclusion de « robustesse globale » dépend de la puissance de l'auditeur. Si l'auditeur est faible (par exemple, un red-teaming médiocre), l'audit peut réussir même si des modes de défaillance existent, écho aux préoccupations selon lesquelles des audits mal conçus peuvent être du « théâtre de sécurité ». Ce travail vise à permettre aux praticiens d'évaluer la robustesse de l'IA en toute confiance en fournissant une fondation statistique générale pour les pratiques d'audit modernes et courantes.