Reinforcement Learning for Neural Model Editing

Résumé Technique : Apprentissage par Renforcement pour l'Édition de Modèles Neuronaux

Énoncé du Problème
Modifier des réseaux neuronaux préentraînés pour atteindre des objectifs spécifiques — tels que l'effacement de concepts, l'atténuation des biais ou l'incorporation de nouvelles connaissances — nécessite traditionnellement des algorithmes spécialisés, conçus manuellement. Ces méthodes sont souvent longues à concevoir et manquent de généralisabilité à travers différentes tâches. Cet article étudie si le processus d'édition de modèles neuronaux peut être automatisé en le formulant comme un problème d'Apprentissage par Renforcement (RL). La question de recherche centrale est de savoir si un agent de RL peut apprendre une politique pour modifier les poids d'un réseau de neurones en utilisant uniquement un signal de récompense, sans accès aux gradients ou à des jeux de données construits manuellement pour la tâche d'édition spécifique.

Méthodologie
Les auteurs proposent un cadre exploratoire où un agent interagit avec un réseau de neurones en mettant à jour ses poids de manière itérative sur la base d'un signal de récompense. Le cadre se compose de deux environnements distincts :

1. MaskWorld : L'agent modifie les poids par une mise à l'échelle multiplicative. L'action $a_t$ met à l'échelle les poids d'une couche $l$ spécifique telle que $W^{(l)}_t = W^{(l)} \odot a_t$, où $a_t$ est un vecteur de constantes comprises entre 0,0 et 1,0.
2. ShiftWorld : L'agent modifie les poids en appliquant des mises à jour additives. L'action $a_t$ décale les poids de sorte que $W^{(l)}_t = W^{(l)} + a_t$, où $a_t$ contient des constantes comprises entre -0,05 et 0,05.

Pour remédier à l'intraitabilité computationnelle de la prédiction de vecteurs d'actions de haute dimension (par exemple, $m \times n$ pour une matrice de poids), les auteurs emploient un mécanisme inspiré de l'Adaptation de Bas Rang (LoRA) pour la tâche de désapprentissage de machine (machine unlearning). Au lieu de prédire la matrice complète de mise à jour des poids, l'agent prédit deux matrices de rang inférieur $A$ et $B$, réduisant ainsi la dimensionnalité de l'espace d'action et stabilisant l'optimisation de la politique.

Fonction de Récompense
La fonction de récompense $R$ est une combinaison pondérée de deux composantes :
$$R = \alpha U(w) + \beta O(w)$$

• Terme d'Utilité ($U(w)$) : Encourage la préservation de la performance générale du modèle (par exemple, la précision sur un ensemble de "rétention" ou un jeu de données général).
• Terme d'Objectif d'Édition ($O(w)$) : Quantifie le succès de l'objectif d'édition spécifique (par exemple, minimiser la précision sur un ensemble d' "oubli" ou réduire les mesures de biais).
• Coefficients ($\alpha, \beta$) : Contrôlent le compromis entre le maintien de l'utilité et la réalisation de l'objectif d'édition. Notamment, $\beta$ est défini comme une valeur négative dans les tâches de désapprentissage pour pénaliser la performance sur l'ensemble d'oubli.

L'agent est entraîné à l'aide de l'Optimisation de Politique Proximale (PPO) avec un réseau de politique MLP. Crucialement, l'agent ne reçoit aucun gradient ; il apprend uniquement par essais et erreurs basés sur la performance du modèle modifié sur des lots échantillonnés.

Contributions Clés et Résultats Expérimentaux
Le cadre a été évalué sur deux tâches distinctes : le désapprentissage de machine dans la classification d'images et l'atténuation des biais dans la classification de texte.

• Désapprentissage de Machine (MNIST) : L'objectif était de faire "oublier" la classe de chiffres 7 tout en conservant la performance sur les classes 0–6 et 8–9.

  • Résultats : Les politiques apprises ont réduit la précision sur l'ensemble d'oubli (classe 7) à presque 0 % (0,0000 pour MaskWorld, 0,0006 pour ShiftWorld).
  • Préservation de l'Utilité : Contrairement aux attentes de dégradation des performances, les modèles modifiés ont légèrement amélioré la précision sur l'ensemble de rétention (passant de 92,84 % à environ 93,5 %) par rapport au modèle original.
  • Observation : Les agents ont obtenu ces résultats en n'accédant qu'à 15 % des données d'entraînement, démontrant une forte généralisation au jeu de test.

• Atténuation des Biais (Jigsaw Toxic Comments) : L'objectif était de réduire les corrélations spécieuses (par exemple, associer le mot "black" à la toxicité) tout en maintenant l'utilité de classification générale.

  • Résultats : Les modèles modifiés ont amélioré la précision sur un ensemble de test synthétique non biaisé d'environ 6 à 7 % (par exemple, ShiftWorld est passé de 55,36 % à 62,52 %).
  • Préservation de l'Utilité : La précision sur le jeu de données général est restée stable, diminuant de seulement environ 1 % pour MaskWorld, ce qui indique que l'agent a réussi à équilibrer la réduction du biais et la préservation de l'utilité.

Signification et Revendications
L'article ne prétend pas surpasser les algorithmes spécialisés de pointe sur ces tâches spécifiques. Sa principale signification réside plutôt dans la démonstration d'un changement de paradigme : l'édition de modèles neuronaux peut être considérée comme un problème d'apprentissage par renforcement apprenable plutôt que comme un processus conçu manuellement.

Les auteurs affirment que leurs conclusions suggèrent que le RL offre un cadre général et extensible pour apprendre des politiques d'édition à partir de retours de récompense. Cette approche permet de découvrir des modifications de poids qui atteignent des objectifs ciblés (comme le désapprentissage ou l'atténuation des biais) sans nécessiter la conception d'un algorithme spécifique à chaque nouvel objectif. Ce travail sert de preuve de concept pour motiver de futures recherches sur les approches apprises pour l'édition de modèles dans les domaines de l'équité, de la robustesse et de la confidentialité.

Limites
Les auteurs reconnaissent que le cadre actuel fait face aux défis de scalabilité inhérents au RL. Bien que le mécanisme inspiré de LoRA aide à gérer les couches de haute dimension, l'optimisation complète de toutes les couches d'un grand modèle reste irréalisable en raison de l'instabilité causée par l'énorme espace d'action. Des travaux futurs sont suggérés pour explorer les contextes multi-agents et les approches de théorie des jeux afin de répondre à ces limitations.