Résumé technique : Les désapprenants peuvent mentir : Évaluation et amélioration de l'honnêteté dans le désapprentissage des LLM

1. Énoncé du problème

Le désapprentissage des grands modèles de langage (LLM) vise à supprimer sélectivement des données d'entraînement spécifiques (par exemple, des informations sensibles ou nuisibles) tout en préservant l'utilité générale du modèle. Cependant, les méthodes de désapprentissage existantes échouent souvent à garantir l'honnêteté du modèle désappris. Bien qu'un modèle puisse réussir à « oublier » les connaissances ciblées en termes de précision, il peut présenter des comportements malhonnêtes tels que :

• Hallucination : Fabrication d'informations plausibles mais incorrectes concernant des sujets oubliés.
• Incohérence : Fourniture de réponses différentes à des requêtes sémantiquement équivalentes ou incapacité à maintenir une position de refus lors de dialogues multi-tours.
• Refus fallacieux : Production de réponses « Je ne sais pas » (IDK) tout en conservant les connaissances sous-jacentes (connaissances masquées) ou sélection d'options IDK basée sur un biais de position plutôt que sur une véritable incertitude.

L'article soutient que les métriques d'évaluation actuelles (par exemple, la précision sur les ensembles d'oubli) sont insuffisantes car elles ne capturent ni l'auto-connaissance (la capacité du modèle à reconnaître ses limites) ni l'auto-expression (la communication cohérente et véridique de ces limites).

2. Méthodologie

2.1 Définition formelle du désapprentissage honnête

Les auteurs définissent le désapprentissage honnête à travers deux piliers :

1. Ensemble de rétention : Le modèle doit préserver son utilité et sa capacité à exprimer fidèlement les connaissances conservées.
2. Ensemble d'oubli : Le modèle doit efficacement supprimer les connaissances ciblées et, surtout, reconnaître ses limites de manière véridique et stable lorsqu'il est interrogé sur du contenu oublié.

2.2 Cadre d'évaluation

Pour évaluer systématiquement l'honnêteté, l'article introduit une suite de métriques dans les contextes de questions-réponses (Q&A) et de questions à choix multiples (QCM) :

• Métriques d'utilité : MMLU, suivi des instructions (IF) et nombre de réponses correctes (NC) sur les données conservées.
• Honnêteté sur l'ensemble de rétention : Taux d'accord (AR) et Score de robustesse face aux informations trompeuses (MRS).
• Métriques de l'ensemble d'oubli :
  • Taux de rejet (RR) : Proportion de questions où le modèle refuse explicitement ou exprime une incertitude.
  • QAMRC (Cohérence de rejet multi-tours en Q&A) : Mesure si un refus au premier tour reste stable après une requête de suivi.
  • CIR (Taux de choix-IDK) et COR (Taux de choix-autre) : Dans les QCM, le CIR mesure la sélection d'une option « Je ne sais pas ». Le COR mesure la sélection d'une option sémantiquement non pertinente à la même position pour détecter un biais de position.
  • STD et MCQSC : Mesurent la stabilité des réponses face aux variations d'invite et aux interrogations répétées.

2.3 Méthode proposée : ReVa (Alignement du vecteur de refus)

Les auteurs proposent ReVa, une procédure d'alignement de représentations conçue pour améliorer l'honnêteté des modèles ayant déjà subi un désapprentissage par randomisation des caractéristiques (par exemple, RMU).

• Mécanisme : Au lieu d'un ajustement fin supervisé (SFT) pour produire des tokens spécifiques comme « Je ne sais pas », ReVa aligne les représentations du flux résiduel interne du modèle avec un vecteur de refus distillé.
• Processus :
  1. Extraire une direction de refus $r$ à partir des activations internes d'un modèle lorsqu'il exprime une incertitude épistémique (par exemple, sur des questions hors de ses connaissances).
  2. Ajuster finement le modèle désappris pour aligner les activations des entrées de l'ensemble d'oubli vers cette direction de refus distillée $r$ à des couches spécifiques du transformateur (optimisée à la couche 18 pour Zephyr-7b).
  3. La fonction de perte minimise la distance entre l'activation du modèle et le vecteur de refus mis à l'échelle : $L_{ReVa} = \mathbb{E}_{x \sim D_F} [\frac{1}{L(x)} \sum ||M^{(l)}_\theta - c \cdot r||^2_2]$.
• Avantages : ReVa évite la correspondance lexicale superficielle de IDK-SFT, est computationnellement efficace par rapport aux méthodes de montée de gradient, et préserve l'utilité sur les connaissances conservées.

3. Résultats clés

3.1 Évaluation des méthodes existantes

L'article évalue 9 méthodes réparties en trois familles (basées sur le rejet, randomisation des caractéristiques, montée de gradient) sur le benchmark WMDP-Bio :

• Basées sur le rejet (par exemple, IDK+AP) : Atteignent des taux de rejet élevés mais souffrent souvent de comportements « superficiels et trompeurs ». Elles peuvent conserver une précision élevée sur les questions d'oubli malgré la production de « IDK », indiquant des connaissances masquées.
• Montée de gradient (par exemple, NPO, GA) : Dégradent sévèrement l'utilité (baisse significative de NC et MMLU). Elles présentent un comportement IDK fallacieux : CIR élevé mais aussi COR élevé, et entropie du premier token extrêmement faible. Cela suggère qu'elles sélectionnent les options « IDK » en raison d'un biais de position ou d'une suppression de tokens plutôt que d'une véritable incertitude.
• Randomisation des caractéristiques (par exemple, RMU) : Meilleures pour préserver l'utilité et supprimer les connaissances (ACC faible), mais échouent sur l'honnêteté. Elles hallucinent souvent sur l'ensemble d'oubli ou fournissent des réponses incohérentes d'un tour à l'autre, manquant d'auto-expression stable.

3.2 Performance de ReVa

ReVa, appliqué comme étape de post-traitement aux modèles désappris par RMU, démontre des performances supérieures :

• Honnêteté : Atteint un taux de rejet (RR) d'environ 60,86 % et un QAMRC (stabilité après 2 tours) de 45,42 %, surpassant significativement les références.
• Utilité : Maintient une utilité élevée sur l'ensemble de rétention (MMLU ~57,56, NC ~1592), comparable au modèle RMU original et supérieure à RMU+IDK.
• Stabilité : Réduit la variance de sortie (STD) et améliore la cohérence dans les QCM.
• Efficacité : Nécessite seulement environ 5,91 minutes d'entraînement sur 2x GPU A6000, contre environ 210 minutes pour IDK+AP.

4. Contributions clés

1. Identification de la malhonnêteté : L'article identifie et catégorise les comportements malhonnêtes (hallucination, incohérence, refus fallacieux) dans les méthodes de désapprentissage actuelles, soutenant que le désapprentissage ne consiste pas seulement à oublier mais à une auto-expression honnête.
2. Benchmark d'honnêteté : Un cadre d'évaluation complet avec des métriques dédiées (RR, QAMRC, CIR/COR, MRS) pour évaluer à la fois l'efficacité de l'oubli et la stabilité de l'expression de l'incertitude.
3. Analyse théorique et empirique : L'analyse révèle que les méthodes de montée de gradient conduisent à une optimisation non bornée, provoquant un effondrement de l'utilité et des préférences de tokens fallacieuses, tandis que les méthodes basées sur le rejet apprennent souvent des motifs superficiels.
4. Méthode ReVa : Introduction d'une méthode légère d'alignement de représentations permettant aux modèles de reconnaître véritablement leurs limites sans sacrifier leurs capacités générales.

5. Signification et affirmations

L'article affirme que l'honnêteté est une dimension critique, mais négligée, du désapprentissage des LLM. Les méthodes actuelles qui échouent à reconnaître les limites peuvent créer des risques de sécurité (par exemple, halluciner des informations médicales ou biologiques dangereuses) et éroder la confiance des utilisateurs.

Les auteurs affirment que ReVa représente une avancée significative vers le « désapprentissage honnête » en permettant aux modèles de :

• Oublier efficacement les connaissances ciblées.
• Reconnaître de manière cohérente et véridique ce qu'ils ne savent plus.
• Maintenir une utilité élevée sur les connaissances conservées.

L'article conclut que, bien que ReVa améliore l'honnêteté et la stabilité, ce n'est pas une solution parfaite (par exemple, les performances en QCM laissent encore place à l'amélioration) et que l'étude est actuellement limitée au benchmark WMDP. Le travail souligne que la recherche future sur le désapprentissage doit aller au-delà des simples métriques de précision pour garantir que les modèles sont non seulement « désappris » mais aussi « honnêtes ».