Résumé technique : Façonner les capacités par le filtrage de données au niveau du jeton (token)

Énoncé du problème

Les approches actuelles visant à réduire les capacités indésirables des grands modèles de langage (LLM) sont largement a posteriori, reposant sur des interventions après le pré-entraînement (par exemple, le RLHF, le désapprentissage de machine ou les classificateurs d'entrée-sortie). L'article soutient que ces méthodes sont facilement contournées par des adversaires via le jailbreaking ou le finetuning adversarial car elles ne suppriment pas les capacités sous-jacentes des représentations du modèle de base. Bien que le façonnage des capacités pendant le pré-entraînement via la sélection de données soit une alternative prometteuse, la littérature existante s'est largement concentrée sur un filtrage grossier au niveau du document. Les auteurs postulent que cette granularité est sous-optimale : les modèles peuvent apprendre des capacités dangereuses à partir de courtes sous-séquences de jetons au sein de documents par ailleurs bénins, ce qui conduit soit à une suppression excessive de données utiles (faible précision), soit à la rétention de connaissances nuisibles (faible rappel).

Méthodologie

L'article propose le filtrage de données au niveau du jeton comme une intervention plus précise lors du pré-entraînement. La méthodologie comprend quatre étapes :

1. Étiquetage via des auto-encodeurs creux (SAE) : Pour générer des étiquettes de jetons de vérité terrain sans annotation manuelle coûteuse, les auteurs utilisent des auto-encodeurs creux entraînés sur un modèle de 9 milliards de paramètres (Gemma 2). Ils identifient les latents SAE correspondant au domaine à "oublier" (connaissances médicales) et utilisent un LLM plus puissant (Claude Sonnet 4) pour classifier ces descriptions de latents. Les jetons sont étiquetés comme "médicaux" s'ils présentent une forte activation sur ces latents médicaux spécifiques. Ce processus crée un ensemble de données de jetons étiquetés par apprentissage supervisé faible.
2. Entraînement du classificateur : Les auteurs entraînent des modèles de langage bidirectionnels (biLM) spécifiques à la tâche pour agir comme des classificateurs au niveau du jeton. Ils démontrent que de petits modèles spécialisés (par exemple, 224 millions de paramètres) entraînés sur des corpus pertinents surpassent de plus grands modèles généralistes (par exemple, ModernBERT-large) pour cette tâche de classification spécifique.
3. Stratégies de filtrage : Deux stratégies de filtrage au niveau du jeton sont implémentées pendant le pré-entraînement :
   • Masquage de la perte (Loss Masking) : Le modèle voit les jetons à "oublier" lors de la passe avant, mais les gradients sont masqués (mis à zéro) lors de la passe arrière pour ces jetons.
   • Suppression (Removal) : Les jetons à "oublier" sont remplacés par un jeton spécial <|hidden|> et leur perte est masquée.
4. Expériences de mise à l'échelle (Scaling) : Les auteurs entraînent des modèles Transformer allant de 61 millions à 1,8 milliard de paramètres sur le jeu de données FineWeb-Edu, en appliquant les stratégies de filtrage. Ils évaluent la performance sur les domaines à "oublier" (capacités médicales) et les domaines à "conserver" (biologie, STEM général) en utilisant la perplexité textuelle, des questions à choix multiples (MedMCQA, MedQA-USMLE) et la génération de réponses libres.

Contributions clés et résultats

1. Le filtrage par jeton domine le filtrage par document au sens de Pareto

L'article démontre que le filtrage au niveau du jeton atteint une amélioration de Pareto par rapport au filtrage au niveau du document. En filtrant au niveau du jeton, les auteurs parviennent au même niveau de réduction des capacités à "oublier" (connaissances médicales) avec une dégradation nettement moindre des capacités à "conserver" (biologie). Le filtrage au niveau du document rejette souvent de grandes quantités de données bénignes pour capturer de petites séquences de jetons nuisibles, tandis que le filtrage par jeton préserve le contexte des données bénignes tout en supprimant les jetons nuisibles spécifiques.

2. L'efficacité augmente avec la taille du modèle

Une conclusion centrale est que l'efficacité du filtrage de données augmente avec l'échelle du modèle.

• Ralentissement du calcul : Pour les plus grands modèles (1,8 milliard de paramètres), le filtrage par jeton entraîne un ralentissement de calcul de 7 000× sur le domaine à "oublier" par rapport à un modèle de référence entraîné sur des données non filtrées. Cela signifie qu'un adversaire aurait besoin de 7 000 fois plus de calcul pour réapprendre les capacités médicales filtrées via un finetuning adversarial par rapport à un modèle entraîné sur des données non filtrées.
• Lois d'échelle (Scaling Laws) : L'écart de performance entre les modèles filtrés et non filtrés s'élargit à mesure que le calcul de pré-entraînement augmente. Le filtrage par jeton entraîne des exposants de mise à l'échelle de plus faible magnitude sur le domaine à oublier, indiquant que les modèles plus grands sont plus efficacement "façonnés" par le filtrage.

3. Robustesse aux attaques adverses

Le filtrage par jeton est nettement plus robuste au finetuning adversarial que les méthodes d'apprentissage machine non supervisé (RMU) de pointe.

• Alors que la performance de RMU se dégrade rapidement avec l'échelle (nécessitant moins de jetons adverses pour réapprendre les capacités), le filtrage de données devient relativement plus robuste à mesure que les modèles augmentent en taille.
• Pour les modèles de 1,8 milliard de paramètres, RMU nécessite 13 fois moins de jetons que la suppression de jetons pour atteindre la parité avec le modèle de référence, soulignant la résistance supérieure à la manipulation du filtrage lors du pré-entraînement.

4. Alignement et généralisation du refus

Contrairement aux préoccupations selon lesquelles la suppression de connaissances pourrait entraver la capacité d'un modèle à refuser des requêtes dangereuses, les auteurs constatent que les modèles filtrés par jeton généralisent mieux l'entraînement au refus que les modèles de référence non filtrés.

• Les modèles entraînés avec la suppression de jetons génèrent des refus pour les requêtes médicales à un taux 2× plus élevé que le modèle de référence, tout en maintenant un comportement normal sur les requêtes non médicales.
• Les auteurs émettent l'hypothèse que cela est dû au fait que le modèle apprend à distinguer les jetons "entraînés" des jetons "non entraînés", une tâche plus simple que la classification de la toxicité, permettant un alignement efficace même sans la connaissance dangereuse sous-jacente.

5. Robustesse au bruit d'étiquetage

L'article étudie l'impact d'étiquettes imparfaites.

• Généralisation de faible à forte (Weak-to-Strong Generalization) : Les classificateurs au niveau du jeton peuvent généraliser à partir d'étiquettes faibles ou grossières (par exemple, au niveau de la phrase ou du document) pour produire des filtres efficaces au niveau du jeton. Les classificateurs au niveau du document, inversement, échouent à généraliser à partir d'étiquettes faibles.
• L'échelle atténue le bruit : Même avec des étiquettes bruitées, l'augmentation de la taille du modèle et l'ajustement du seuil de classification (en privilégiant le rappel sur la précision) permettent au filtrage de rester efficace.

Signification et affirmations

L'article affirme que le filtrage de données au niveau du jeton est une méthode rentable, robuste et évolutive pour façonner les capacités des modèles pendant le pré-entraînement. Sa principale importance réside dans :

• Sécurité préventive : Il s'attaque au jeu du "chat et de la souris" des protections a posteriori en supprimant les capacités à la source (pré-entraînement) plutôt qu'en essayant de les extraire plus tard.
• Efficacité : Il atteint une haute précision dans la suppression de capacités spécifiques sans la perte massive de données associée au filtrage au niveau du document.
• Évolutivité : La méthode devient plus efficace à mesure que les modèles grandissent, ce qui suggère qu'elle est une stratégie viable à long terme pour les modèles de pointe.
• Compatibilité avec l'alignement : Il démontre que la suppression de connaissances dangereuses n'entraîne pas nécessairement une compromission de la capacité du modèle à être aligné ou à refuser des requêtes nuisibles ; dans certains cas, cela peut même améliorer la généralisation de l'alignement.

Les auteurs concluent que, bien que le filtrage lors du pré-entraînement soit un "instrument grossier" comparé à l'idéal d'une suppression basée sur l'influence, il constitue actuellement l'intervention la plus efficace et la plus robuste disponible pour empêcher les modèles de pointe d'acquérir des capacités indésirables, particulièrement lorsqu'il est combiné à une approche de défense en profondeur incluant des protections post-entraînement.