💬 NLP

Toxic Subword Pruning for Dialogue Response Generation on Large Language Models

Ce papier présente ToxPrune, un algorithme novateur et efficace qui élimine les sous-mots associés au vocabulaire toxique des grands modèles de langage entraînés, empêchant ainsi efficacement la génération de contenu toxique tout en améliorant simultanément la diversité et les performances des dialogues, sans les coûts élevés ni les risques inhérents aux alignements de sécurité traditionnels basés sur les poids.

Auteurs originaux : Hongyuan Lu, Wai Lam

Publié 2026-05-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hongyuan Lu, Wai Lam

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un ami robot très intelligent et créatif qui adore discuter. Parfois, ce robot devient un peu trop sauvage et se met à proférer des mots grossiers, offensants ou « toxiques ». Habituellement, pour régler ce problème, les développeurs doivent démonter le robot, le réentraîner ou installer un garde de sécurité complexe qui vérifie chaque phrase avant qu'elle ne soit émise. C'est coûteux, lent, et parfois le robot trouve encore un moyen de transgresser les règles.

Ce papier présente un tour de force beaucoup plus simple appelé ToxPrune (élagage de sous-mots toxiques). Considérez-le non pas comme un réentraînement du robot, mais comme la modification de son dictionnaire avant même qu'il ne commence à parler.

Voici comment cela fonctionne, en utilisant quelques analogies du quotidien :

1. L'analogie des « Lego »

Les grands modèles de langage (LLM) ne voient pas des mots comme « putain » ou « con » comme des blocs uniques. Au lieu de cela, ils les voient comme de plus petits morceaux, comme des briques Lego (appelées « sous-mots »).

Le mot « putain » pourrait être construit à partir de deux briques : « p » et « utain ».
Le mot « lecture » pourrait être construit à partir de « lect » et « ure ».

Parfois, une brique « toxique » est partagée entre un mauvais mot et un bon mot. Par exemple, la brique « p » pourrait être utilisée dans « p*tain » (mauvais) mais aussi dans « plaisir » (bon).

2. La méthode des « ciseaux »

Les auteurs proposent un algorithme simple : Prenez une paire de ciseaux et coupez les briques Lego spécifiques qui composent les mauvais mots.

Le processus : Vous donnez à l'ordinateur une liste de mots que vous ne voulez pas (comme une « liste de vilains »). L'ordinateur décompose ces mots en leurs toutes petites briques Lego.
L'élagage : Il pénètre ensuite dans le cerveau du robot et dit : « Si tu essaies de construire une phrase en utilisant ces briques spécifiques, tu ne peux pas. » Il supprime efficacement ces briques de la boîte à outils disponible du robot.
Le résultat : Le robot essaie de répondre à votre question, mais comme les « mauvaises briques » manquent, il est forcé de construire une phrase différente en utilisant uniquement les « bonnes briques ».

3. Que se passe-t-il lorsque vous faites cela ?

Le papier a testé cela sur deux types de robots :

A. Le robot « Mauvais » (NSFW-3B)
Ce robot a été entraîné spécifiquement pour être grossier et dire des mots sales.

Avant : Si vous demandiez « Quelles sont tes passions ? », il répondait « Mes passions sont putain de ennuyeuses ».
Après ToxPrune : Comme les briques « putain » ont été supprimées, le robot ne pouvait pas dire cela. Au lieu de cela, il a été forcé de dire « Mes passions sont la lecture de mystères et la conduite d'un camion ».
La surprise : Non seulement il a cessé d'être grossier, mais il est devenu meilleur pour discuter. Il a commencé à utiliser des mots plus variés et ne s'est plus retrouvé bloqué à répéter les mêmes mauvaises phrases. C'était comme éliminer une mauvaise habitude qui retenait en réalité le robot de faire preuve de créativité.

B. Le robot « Bon » (Llama-3.1)
Ce robot était déjà poli et sûr.

Avant : Il était poli mais parfois un peu répétitif.
Après ToxPrune : Même s'il était déjà sûr, la suppression de quelques briques courantes (qui se trouvaient être partagées entre des mots toxiques et non toxiques) l'a rendu plus diversifié. Il a commencé à utiliser une plus grande variété de mots pour exprimer les mêmes idées, rendant la conversation plus naturelle et moins robotique.

4. Pourquoi est-ce différent ?

Habituellement, si vous voulez empêcher un robot de dire des choses mauvaises, vous pourriez essayer de :

Réécrire son cerveau : Coûteux et lent (comme suivre une nouvelle formation universitaire).
Mettre un filtre à la porte : Un garde de sécurité qui vérifie chaque phrase. Si le garde est trop strict, il pourrait bloquer des phrases utiles aussi.

ToxPrune est différent car c'est comme changer les ingrédients dans la cuisine. Vous n'avez pas besoin d'un garde de sécurité ; vous n'avez tout simplement pas les ingrédients toxiques sur l'étagère. Le robot ne peut physiquement pas cuisiner un repas toxique car les ingrédients ont disparu.

La conclusion

Le papier affirme qu'en supprimant simplement les petits blocs de construction des mots toxiques du dictionnaire d'un modèle de langage, vous pouvez :

Empêcher les robots toxiques de dire des choses mauvaises, même s'ils ont été entraînés pour être toxiques.
Améliorer la qualité de la conversation, la rendant plus diversifiée et intéressante.
Le faire instantanément sans avoir besoin de réentraîner le modèle ou de payer pour une puissance de calcul coûteuse.

C'est une solution « légère » qui transforme l'incapacité d'un robot à dire un mot grossier en une opportunité de dire quelque chose de mieux.

Résumé technique : Élagage de sous-mots toxiques pour la génération de réponses dialogiques sur les grands modèles de langage

Énoncé du problème

Les progrès rapides des grands modèles de langage (LLM) ont introduit des risques majeurs concernant la génération de contenus nuisibles ou toxiques. Alors que la recherche existante en matière de sécurité se concentre principalement sur la défense de modèles « sûrs » contre les attaques de contournement (jailbreak) ou les invites toxiques, une lacune critique subsiste pour les modèles qui sont déjà toxiques. Ce scénario survient lorsque des développeurs individuels créent involontairement des modèles toxiques ou lorsque des attaquants obtiennent un accès aux poids des modèles pour les affiner avec du contenu nuisible.

Les stratégies d'atténuation actuelles rencontrent plusieurs limitations :

Alignement de sécurité : L'affinement (fine-tuning) de modèles pré-entraînés pour la sécurité est coûteux en calcul et souvent inaccessible aux développeurs individuels.
Classificateurs externes : L'utilisation de classificateurs de toxicité externes pour détecter et bloquer les sorties toxiques est imparfaite. Les attaquants peuvent contourner ces systèmes via des invites d'injection malveillantes, et un blocage continu peut rendre le modèle inutile en empêchant toute sortie.
Détoxification complexe : Les méthodes existantes pour détoxifier les LLM toxiques sont souvent trop complexes pour un déploiement rapide.
Vulnérabilité à l'injection d'invite : Même les modèles bien alignés peuvent être déclenchés vers une génération toxique via l'injection d'invite.

L'article postule qu'une solution légère, exécutée au moment de l'inférence, est nécessaire pour élaguer directement les capacités toxiques du processus de décodage du modèle, sans nécessiter de réentraînement coûteux ni de mise à jour des poids.

Méthodologie : Élagage de sous-mots toxiques (ToxPrune)

Les auteurs proposent ToxPrune, un algorithme novateur qui élague les sous-mots (subtokens) associés aux mots toxiques du vocabulaire d'un LLM entraîné durant le processus de décodage.

Mécanisme central

Liste toxique personnalisée : La méthode accepte une liste d'utilisateurs définie de mots toxiques.
Tokenisation en sous-mots : Ces mots sont tokenisés en sous-mots à l'aide du tokeniseur du modèle (par exemple, BPE). Les auteurs notent que les mots toxiques et non toxiques peuvent partager des sous-mots ; ToxPrune gère cela en élaguant les sous-mots spécifiques dérivés de la liste toxique.
Modification de la distribution : Durant l'inférence, la distribution de probabilité du token suivant est modifiée. Au lieu d'échantillonner à partir du vocabulaire complet $V$ $V$ , le modèle échantillonne à partir d'un ensemble restreint $V \setminus V_{toxic}$ $V ∖ V_{t o x i c}$ , où $V_{toxic}$ $V_{t o x i c}$ représente les sous-mots toxiques élagués.
- Formellement, pour l'échantillonnage top- $k$ , la distribution passe de $P(\bar{x}_i | \dots) \in V^{(k)}$ à $P(\bar{x}_i | \dots) \in V^{(k)} \setminus V^{(k)}_{toxic}$ .
- Pour la recherche en faisceau (Beam Search), la probabilité des séquences contenant des mots élagués est fixée à 0, les éliminant effectivement de la liste des candidats.
Extension et troncation :
- Liste noire paraphrasée : Pour augmenter la couverture, la liste initiale de mots toxiques peut être étendue à l'aide d'un générateur de paraphrases afin d'inclure des variations de termes toxiques.
- Liste blanche tronquée : Une liste blanche prédéfinie peut être utilisée pour préserver des mots-clés spécifiques en retirant les sous-mots toxiques qui chevauchent des mots sûrs, garantissant que les termes non toxiques critiques restent utilisables.

Mise en œuvre

ToxPrune opère entièrement au stade de l'inférence. Il ne nécessite pas de mise à jour des poids du modèle, de réentraînement ni de classificateurs externes. Il s'intègre aux stratégies d'échantillonnage standard (Top- $k$ , Top- $p$ , recherche en faisceau) en filtrant simplement le vocabulaire candidat avant la sélection.

Contributions clés

Algorithme novateur : L'introduction de ToxPrune, une méthode qui supprime les sous-mots toxiques pour affecter directement le processus de décodage de la génération dialogique.
Validation duale : La méthode est validée à la fois sur un LLM toxique connu (NSFW-3B) et sur un LLM officiellement aligné et non toxique (Llama-3.1-6B Base).
Preuves empiriques : De nombreuses études de cas et évaluations automatiques démontrent que ToxPrune atténue efficacement la génération toxique tout en maintenant ou en améliorant la qualité du dialogue.

Résultats expérimentaux

Jeux de données et modèles

Jeux de données : Les expériences ont été menées sur PERSONACHAT-ORI et PERSONACHAT-REV (une version révisée manuellement, plus difficile), qui sont des jeux de données de dialogues multi-tours conditionnés par des personae.
Modèles :
- NSFW-3B : Un LLM toxique open-source entraîné à générer des mots grossiers.
- Llama-3.1-6B : La version de base officielle de Llama-3.1 avec alignement de sécurité.
Lignes de base : Les comparaisons incluaient une approche basée sur la paraphrase et un classificateur de toxicité (TC) utilisant GPT-4 pour la régénération.

Performance sur les LLM toxiques (NSFW-3B)

Réduction de la toxicité : ToxPrune a considérablement réduit les scores de toxicité (jugés par GPT-4), passant de 0,89 (ligne de base) à 0,13 (avec un élagage de 100 %).
Amélioration de la qualité : Contrairement à l'attente selon laquelle l'élagage dégraderait les performances, la plupart des métriques se sont améliorées :
- BLEU : Bien que BLEU-1 ait enregistré une légère baisse, BLEU-2 à BLEU-4, ainsi que le BLEU pondéré, ont augmenté.
- ROUGE : Toutes les métriques ROUGE (R-1, R-2, R-L) se sont améliorées.
- Diversité : Les scores Distinct-1 et Distinct-2 ont augmenté de manière significative (par exemple, Distinct-2 passant de 0,712 à 0,800).
Comparaison : Les lignes de base utilisant la paraphrase ou des classificateurs de toxicité ont échoué à atténuer efficacement la toxicité car le modèle sous-jacent NSFW-3B régénérait constamment du contenu toxique.

Performance sur les LLM non toxiques (Llama-3.1-6B)

Sécurité : La toxicité est restée à 0,00.
Diversité : ToxPrune a étonnamment amélioré les métriques de diversité (Distinct-1 et Distinct-2) sur le modèle propre, suggérant que le masquage des sous-mots fréquents partagés entre les contextes toxiques et non toxiques aplatit la distribution des mots, conduisant à des sorties plus variées.
Qualité : Les métriques BLEU et ROUGE ont montré de légères variations, avec certaines améliorations dans ROUGE, indiquant que l'élagage n'a pas nui aux capacités génératives fondamentales du modèle.

Évaluation humaine

LLM toxique : Les annotateurs humains ont nettement préféré ToxPrune à la ligne de base NSFW-3B pour l'Appropriation, l'Informativité, l'Attrait et le Ressemblance humaine. La toxicité de la ligne de base a été largement éliminée.
LLM non toxique : ToxPrune n'a pas dégradé les performances sur Llama-3.1-6B et a montré une amélioration statistiquement significative de l'Informativité (diversité).

Importance et affirmations

L'article affirme que ToxPrune offre une approche simple, efficace et novatrice pour la sécurité de l'IA avec des avantages uniques :

Remédiation des modèles toxiques : Il peut sauver des modèles qui ont été compromis ou intentionnellement entraînés pour être toxiques, restaurant leur capacité à générer un dialogue significatif et non toxique sans réentraînement.
Amélioration des modèles sûrs : Il peut améliorer la diversité du dialogue dans des modèles déjà sûrs, remettant en question la notion selon laquelle l'élagage du vocabulaire est intrinsèquement nuisible aux tâches de génération.
Robustesse face aux attaques : En supprimant entièrement les tokens toxiques de la liste d'échantillonnage, ToxPrune empêche la génération toxique même sous des attaques par injection d'invite, car le modèle ne peut physiquement pas émettre les tokens élagués.
Efficacité : Contrairement à l'alignement de sécurité ou à l'édition de modèles, ToxPrune ne nécessite aucune mise à jour du modèle, est peu coûteux en calcul et permet une personnalisation dynamique de la liste de mots toxiques.

Les auteurs concluent que, bien que des travaux antérieurs suggèrent que l'élagage des tokens BPE nuit à des tâches comme la traduction automatique, cette étude démontre son utilité surprenante dans le domaine de la sécurité de l'IA et de la génération dialogique.