Résumé technique : À qui revient le mérite ou la responsabilité ? Attribuer la responsabilité dans les systèmes d'IA modernes

1. Formulation du problème

Les systèmes d'IA modernes sont généralement développés via un pipeline à plusieurs étapes impliquant le pré-entraînement, l'ajustement fin (fine-tuning) spécifique à un domaine, et l'adaptation ou l'alignement ultérieur. Bien que cette structure modulaire facilite la performance, elle occulte la responsabilité : lorsqu'un modèle déployé présente des comportements spécifiques (bénéfiques, nuisibles ou surprenants), il est difficile de déterminer quelle étape de développement en est responsable et dans quelle mesure.

Les approches existantes présentent des limites pour répondre à cela :

• Analyse de la responsabilité causale : Repose souvent sur des modèles causaux structurels conçus pour la prise de décision discrète et à petite échelle, peinant face aux processus d'entraînement haute dimension et séquentiels.
• Recherche sur la dynamique d'apprentissage : Se concentre sur la compréhension descriptive de l'évolution des paramètres (par exemple, les transitions de phase) plutôt que sur l'attribution du mérite ou de la responsabilité à des étapes spécifiques.
• Attribution de données : Trace le comportement jusqu'à des points de données individuels, mais suppose souvent un « modèle moyen » ou repose sur des hypothèses simplificatrices (convexité, invariance par permutation) qui ne parviennent pas à capturer les processus de développement de modèles spécifiques et les dynamiques d'optimisation complexes (ex: programmes de taux d'apprentissage, momentum, décroissance des poids).

Les auteurs formulent le Problème d'Attribution de la Responsabilité : tracer le comportement du modèle jusqu'à des étapes spécifiques du processus d'entraînement pour déterminer la responsabilité causale. Cela implique de répondre à des questions contrefactuelles : Comment le comportement du modèle aurait-il changé si les mises à jour d'une étape particulière n'avaient pas eu lieu ?

2. Méthodologie

2.1 Cadre : Formalisme des résultats potentiels

Les auteurs construisent un cadre basé sur le formalisme des résultats potentiels (Rubin, 1974 ; 2005).

• Traitement ($T^S$) : Une variable binaire indiquant si une étape de développement spécifique $S$ (un ensemble de pas de mise à jour) a eu lieu ($T^S=1$) ou a été sautée ($T^S=0$).
• Résultat ($Y$) : La performance du modèle sur une instance $x$, quantifiée par une fonction $\gamma(x, \theta)$.
• Effet Causal ($\tau_{K,S}$) : Défini comme la différence entre le résultat observé (avec l'étape $S$) et le résultat contrefactuel (sans l'étape $S$) au pas de temps final $K$ :
  $$\tau_{K,S} = \gamma(x, \theta_K) - \gamma(x, \theta_K(0^S))$$
  où $\theta_K(0^S)$ représente les paramètres si l'étape $S$ avait été sautée.

2.2 Estimateurs : AA-Score

Pour estimer $\tau_{K,S}$ sans réentraîner le modèle, les auteurs dérivent des estimateurs efficaces basés sur des approximations de Taylor et la propagation de la trajectoire d'état.

• Trajectoire d'état : L'état du modèle $\xi_k = (\theta_k, v_k)$ inclut les paramètres et la vélocité (pour le momentum). La règle de mise à jour suit une descente de gradient stochastique (SGD) avec momentum et décroissance des poids (weight decay).
• Effet d'un seul pas : Pour un pas unique $t$, l'effet causal sur l'état $\xi_k$ est estimé en propageant la différence initiale causée par le saut de l'étape $t$. Cela implique une matrice de propagateur $M_k$ dérivée de la Hessienne de la fonction de perte et des hyperparamètres de l'optimiseur (taux d'apprentissage $\eta$, momentum $\mu$, décroissance des poids $\lambda$).
• Effet de l'étape (AA-Score) : Pour une étape $S = \{t_1, \dots, t_s\}$, l'effet total est approximé par la somme des effets de pas individuels (linéarité du premier ordre) :
  $$\hat{\tau}_{K,S} = \sum_{t_i \in S} \hat{\tau}_{K, t_i}$$
  L'estimateur de l'effet d'un pas de mise à jour sur la performance est calculé comme un produit scalaire :
  $$\hat{\tau}_{K,t} = \nabla_\theta \gamma(x, \theta_K)^\top E_t$$
  où $E_t$ est un vecteur représentant l'effet estimé sur les paramètres au temps $K$, calculé une seule fois durant le processus de développement et réutilisable pour tout échantillon $x$ ou fonction de performance $\gamma$.

2.3 Précision et bornes d'erreur

La méthode repose sur des approximations de Taylor du premier ordre. Les auteurs dérivent une borne d'erreur (Théorème 4.1) montrant que la précision dépend de :

1. L'amplitude des différences d'état initiales ($D_S$).
2. La constante de Lipschitz de la Hessienne de la perte ($L$).
3. La stabilité des dynamiques d'optimisation (taux d'apprentissage $\eta$ et constante d'instabilité $\Lambda$).
   L'erreur croît exponentiellement avec l'horizon temporel ($K - \min(S)$) et le taux d'apprentissage, suggérant que la méthode est plus fiable pour l'ajustement fin tardif ou dans des régimes d'optimisation stables.

2.4 Considérations computationnelles

Le calcul direct implique une complexité de $O(K|B|p^2)$ en raison des manipulations de la Hessienne et de la matrice de propagateur. Les auteurs proposent des approximations structurées (par exemple, par couche ou par bloc) pour passer à l'échelle sur de grands modèles, en échangeant une partie de la fidélité d'attribution contre la faisabilité.

3. Contributions clés

1. Définition du problème : Formalisation de l'attribution de la responsabilité comme le traçage du comportement du modèle vers des étapes d'entraînement spécifiques via des requêtes contrefactuelles.
2. Cadre général : Un cadre basé sur les résultats potentiels permettant l'analyse contrefactuelle au niveau des étapes.
3. Estimateurs efficaces : Dérivation d'estimateurs AA-Score qui tiennent compte des dynamiques d'optimisation complexes (programmes de taux d'apprentissage, momentum, décroissance des poids) sans réentraînement.
4. Utilité pratique : Démonstration que la méthode identifie les étapes responsables des corrélations spécieuses, de la généralisation de domaine et de la dégradation des performances à travers diverses tâches.

4. Résultats expérimentaux

Les auteurs ont évalué l'AA-Score sur des tâches de vision (MNIST, CELEBA, radiographies thoraciques) et de langage (CIVILCOMMENTS, Gemma-3).

• MNIST (Paramètres contrôlés) :

  • Attribution positive : A réussi à identifier un point de donnée inséré comme étant l'étape ayant l'effet positif le plus élevé sur la classification de ce chiffre.
  • Attribution négative : A détecté que les étapes traitant des données mal étiquetées avaient des effets négatifs significatifs sur la performance.
  • Décalages de distribution : A correctement attribué les gains de performance sur des ensembles de test pivotés à l'étape spécifique où les données pivotées ont été introduites.
  • Dynamiques d'optimisation : A montré une sensibilité aux changements de taux d'apprentissage, de momentum et de décroissance des poids, capturant leurs impacts spécifiques sur les effets d'étape.
  • Validation : Haute corrélation (moyenne ~0,945) avec les contrefactuels de vérité terrain obtenus par réentraînement en sautant des étapes.

• Applications concrètes :

  • Corrélations spécieuses : Sur CELEBA (couleur des cheveux vs genre) et CIVILCOMMENTS (toxicité vs termes démographiques), la méthode a identifié les étapes où les corrélations spécieuses ont été apprises. Sauter ces étapes a réduit la dépendance du modèle aux caractaux de confusion, comme vérifié par des expériences de réentraînement.
  • Comparaison : L'AA-Score a surpassé la base DVEmb adaptée (une méthode d'attribution de données basée sur le processus) dans des contextes multi-étapes complexes, particulièrement sur CELEBA et CIVILCOMMENTS, grâce à sa modélisation explicite des dynamiques d'optimisation.

• Robustesse :

  • Testée contre des attaques par backdoor dispersées (BadNets). La méthode pouvait identifier les lots empoisonnés lorsqu'ils étaient quelque peu concentrés, mais perdait son pouvoir discriminatoire lorsque l'empoisonnement était totalement dispersé à travers tous les lots, soulignant une limite dans les scénarios hautement mixtes.

• Efficacité :

  • Le surcoût de journalisation (sauvegarde des gradients/états) variait de 1,1x à 6x le temps d'entraînement selon la dominance des entrées/sorties (I/O).
  • Le temps d'attribution était gérable (mise à l'échelle approximativement linéaire avec la taille du jeu de données et du modèle) et ne nécessitait qu'un seul passage après l'entraînement.

5. Signification et affirmations

Le papier positionne l'attribution de la responsabilité comme un outil pratique et fondé. Il affirme faire un pas significatif vers un développement d'IA plus responsable en :

• Fournissant un mécanisme pour attribuer le mérite ou le blâme à des étapes de développement spécifiques plutôt que de traiter le modèle comme une boîte noire monolithique.
• Permettant des interventions ciblées (ex: supprimer des étapes d'entraînement spécifiques) pour atténuer les comportements nuisibles tels que les corrélations spécieuses ou les biais.
• Offrant un outil de diagnostic qui complète les méthodes d'explicabilité existantes en se concentrant sur le processus de développement du modèle plutôt que sur les paramètres finaux ou les points de données.

Les auteurs maintiennent un ton modeste, reconnaissant les limites : la dépendance aux approximations du premier ordre peut échouer dans les régimes hautement chaotiques ; les coûts computationnels restent élevés pour les modèles de fondation sans approximations structurées ; et la méthode nécessite l'accès aux trajectoires d'entraînement et aux hyperparamètres. Ils soulignent que l'outil est destiné à l'audit et au diagnostic, et non à un remède automatique, et doit faire partie d'une pratique d'audit plus large.