Résumé technique : Lutte contre l'oubli fictif par la quantification de l'incertitude

Énoncé du problème

L'oubli machine vise à supprimer l'influence de points de données spécifiques d'un modèle entraîné, une capacité de plus en plus exigée par des réglementations comme le RGPD. Bien que la Précision d'Oubli (PO) soit la métrique standard pour évaluer les performances — mesurant le taux auquel un modèle mal classe les données à « oublier » —, les auteurs identifient une faille critique : l'oubli fictif.

L'article soutient que la PO est insuffisante car elle repose uniquement sur des prédictions ponctuelles. Un modèle peut mal classer un point de données à oublier (produisant un score PO élevé) tout en conservant une haute confiance dans l'étiquette de vérité terrain au sein de ses estimations d'incertitude. Plus précisément, l'étiquette de vérité terrain peut rester incluse dans l'ensemble de prédiction conforme du modèle, ce qui signifie que l'information n'a pas été véritablement effacée de la frontière de décision du modèle. Ce phénomène est visualisé via Grad-CAM, qui montre que même lorsqu'un modèle mal classe une image, ses mécanismes d'attention se concentrent souvent toujours sur les caractéristiques clés de l'objet si l'étiquette vraie reste dans l'ensemble de prédiction.

Méthodologie

1. La métrique du Ratio Conforme (RC)

Pour pallier les limites de la PO, les auteurs proposent une nouvelle métrique d'évaluation appelée Ratio Conforme (RC), inspirée de la Prédiction Conforme Partitionnée (PCP). Contrairement à la PO, qui ne vérifie que la classe prédite unique, la RC évalue l'ensemble de prédiction complet.

La métrique est définie comme suit :
$$RC = \frac{\text{Couverture}}{\text{Taille de l'ensemble}}$$

• Couverture : La proportion de points de données à oublier où l'étiquette de vérité terrain se trouve dans l'ensemble de prédiction conforme. Une couverture élevée sur les données à oublier indique un « oubli fictif ».
• Taille de l'ensemble : Le nombre moyen d'étiquettes dans l'ensemble de prédiction.
• Interprétation : Une valeur RC plus faible sur les données à oublier ($D_f$) indique un oubli plus fort (l'étiquette vraie est exclue avec succès de l'ensemble). À l'inverse, une RC plus élevée sur les données de test ($D_{test}$) indique que l'utilité du modèle est préservée.

Les auteurs valident que les métriques existantes échouent souvent à détecter les cas où l'étiquette vraie reste dans l'ensemble de prédiction, alors que la RC le capture en exigeant que la vérité terrain soit repoussée au-delà du seuil de score de non-conformité.

2. Le cadre d'Oubli par Prédiction Conforme (OPC)

S'appuyant sur les insights de la RC, les auteurs proposent OPC, un cadre général pour améliorer les méthodes d'oubli basées sur l'entraînement. L'idée centrale est de modifier la fonction de perte pour forcer explicitement l'étiquette de vérité terrain des données à oublier hors de l'ensemble de prédiction conforme.

Le cadre adapte la fonction de perte d'attaque adversaire de Carlini & Wagner (C&W). Au lieu de simplement maximiser la différence entre la classe vraie et la classe concurrente principale, la perte OPC repousse le score de non-conformité de l'étiquette vraie ($S(x, y_t)$) au-delà du seuil conforme ($\hat{q}$).

La fonction de perte proposée est :
$$L_{opc}(x, y_t) = \max\{\hat{q} - S(x, y_t), -\Delta\}$$

Où :

• $\hat{q}$ est le seuil dérivé d'un ensemble de calibration.
• $S(x, y_t) = 1 - p_t(x)$ est le score de non-conformité (probabilité inverse).
• $\Delta$ est un paramètre de marge (fixé à 0,01 dans les expériences).

Cette perte encourage le modèle à augmenter le score de non-conformité de l'étiquette vraie jusqu'à ce qu'il dépasse $\hat{q}$, excluant ainsi efficacement l'étiquette vraie de l'ensemble de prédiction. L'objectif final combine la perte originale avec ce nouveau terme :
$$L_{total} = L_{original} + \lambda \cdot L_{opc}$$

Contributions clés

1. Identification de l'oubli fictif : L'article démontre qu'une part significative des données identifiées comme « oubliées » par la PO (mal classées) peut encore être récupérée car l'étiquette de vérité terrain reste dans l'ensemble de prédiction conforme.
2. Nouvelle métrique (RC) : Introduction du Ratio Conforme, qui fournit une évaluation plus fiable de la qualité de l'oubli en évaluant l'ensemble de prédiction complet plutôt que seulement la prédiction principale.
3. Cadre OPC : Un cadre d'oubli général et agnostique au modèle qui intègre les concepts de prédiction conforme dans la fonction de perte d'entraînement (via une adaptation de la perte C&W) pour garantir que l'étiquette de vérité terrain est exclue de l'ensemble de prédiction.
4. Évaluation complète : Expériences extensives sur plusieurs jeux de données (CIFAR-10, Tiny ImageNet, Oxford-Pets) et architectures (ResNet-18, ViT, Swin-T) validant que OPC améliore la qualité de l'oubli sans dégrader significativement l'utilité du modèle sur les données conservées ou de test.

Résultats expérimentaux

• Supériorité de la métrique : Dans des expériences avec 12 bases de référence d'oubli différentes, le classement des méthodes a changé de manière significative lorsqu'évalué avec la RC par rapport à la PO. Des méthodes qui ont bien performé sous la PO (par exemple, l'Étiquetage Aléatoire) se sont révélées souffrir d'oubli fictif sous la RC, tandis que d'autres (par exemple, Salun) ont montré de meilleures capacités d'oubli réel.
• Performance du cadre : L'application du cadre OPC aux méthodes existantes (RT, FT, RL) a considérablement réduit la RC sur les données à oublier (indiquant un meilleur oubli) tout en maintenant une Précision de Conservation (PC) et une Précision de Test (PT) stables.
  • Par exemple, sur CIFAR-10 avec ResNet-18, l'application de OPC à la méthode Finetune (FT) a réduit l'écart de PO par rapport à la base de référence Re-entraîner (RT) de 4,8 % à 0,7 % tout en abaissant simultanément la RC sur les données à oublier.
• Preuve visuelle : Les visualisations Grad-CAM ont confirmé que lorsque l'étiquette vraie est exclue de l'ensemble de prédiction (comme réalisé par OPC), les régions d'activation du modèle se déplacent loin des caractéristiques clés de l'objet, contrairement à l'oubli standard où les caractéristiques restent mises en évidence malgré la mauvaise classification.
• Efficacité : L'ajout de la perte OPC a introduit une surcharge computationnelle négligeable, avec des temps d'entraînement augmentant de moins d'une minute sur divers jeux de données.

Importance et affirmations

L'article prétend fournir une base plus rigoureuse pour l'oubli machine en déplaçant le paradigme d'évaluation de la simple précision vers la quantification de l'incertitude. Les auteurs soulignent que se fier uniquement à la PO crée un faux sentiment de confidentialité et de sécurité. En garantissant que l'étiquette de vérité terrain n'est pas seulement mal classée mais activement exclue de l'ensemble de prédiction, la métrique RC et le cadre OPC proposés offrent une garantie plus fiable que les données ont été véritablement oubliées. Le travail met en lumière que les méthodes d'oubli existantes échouent souvent à traiter la confiance des prédictions, et l'approche proposée comble cette lacune en utilisant les principes de la prédiction conforme et des attaques adversaires.