💬 NLP

Toxic Subword Pruning for Dialogue Response Generation on Large Language Models

Dieser Beitrag stellt ToxPrune vor, einen neuartigen und effizienten Algorithmus, der aus trainierten Large Language Models Subwords entfernt, die mit toxischem Vokabular assoziiert sind, wodurch die Generierung toxischer Inhalte wirksam verhindert wird, während gleichzeitig die Vielfalt und Leistung von Dialogen verbessert werden, ohne die hohen Kosten oder Risiken traditioneller gewichtsbasierter Sicherheitsausrichtung in Kauf nehmen zu müssen.

Ursprüngliche Autoren: Hongyuan Lu, Wai Lam

Veröffentlicht 2026-05-21

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Hongyuan Lu, Wai Lam

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr klugen, kreativen Roboterfreund, der gerne plaudert. Manchmal wird dieser Roboter etwas zu wild und spuckt unhöfliche, beleidigende oder „toxische" Wörter aus. Normalerweise müssen Entwickler, um dies zu beheben, den Roboter auseinandernehmen, ihn neu trainieren oder einen komplexen Sicherheitsbeamten installieren, der jeden Satz prüft, bevor er den Roboter verlässt. Dies ist teuer, langsam und manchmal findet der Roboter trotzdem einen Weg, die Regeln zu brechen.

Diese Arbeit stellt einen viel einfacheren Trick vor, der ToxPrune (Toxic Subword Pruning) heißt. Denken Sie daran nicht als an ein Neutraining des Roboters, sondern als an das Bearbeiten seines Wörterbuchs, bevor er überhaupt zu sprechen beginnt.

So funktioniert es, unter Verwendung einiger alltäglicher Analogien:

1. Die „Lego"-Analogie

Large Language Models (LLMs) sehen Wörter wie „ficken" oder „dumm" nicht als einzelne Blöcke. Stattdessen sehen sie sie als kleinere Teile, wie Lego-Steine (genannt „Subwords").

Das Wort „ficken" könnte aus zwei Steinen gebaut sein: „f" und „icken".
Das Wort „lesen" könnte aus „les" und „en" gebaut sein.

Manchmal wird ein „toxischer" Stein zwischen einem schlechten Wort und einem guten Wort geteilt. Zum Beispiel könnte der Stein „f" in „f*cken" (schlecht) verwendet werden, aber auch in „Spaß" (gut).

2. Die „Schere"-Methode

Die Autoren schlagen einen einfachen Algorithmus vor: Nehmen Sie ein Paar Scheren und schneiden Sie die spezifischen Lego-Steine heraus, aus denen die schlechten Wörter bestehen.

Der Prozess: Sie geben dem Computer eine Liste von Wörtern, die Sie nicht wollen (wie eine „schlechte Liste"). Der Computer zerlegt diese Wörter in ihre winzigen Lego-Steine.
Das Beschneiden: Dann geht er in das Gehirn des Roboters und sagt: „Wenn Sie versuchen, einen Satz mit diesen spezifischen Steinen zu bauen, können Sie das nicht." Es löscht diese Steine effektiv aus dem verfügbaren Werkzeugkasten des Roboters.
Das Ergebnis: Der Roboter versucht, Ihre Frage zu beantworten, aber da die „schlechten Steine" fehlen, ist er gezwungen, einen anderen Satz zu bauen, der nur „gute Steine" verwendet.

3. Was passiert, wenn Sie dies tun?

Die Arbeit testete dies an zwei Arten von Robotern:

A. Der „schlechte" Roboter (NSFW-3B)
Dieser Roboter wurde speziell darauf trainiert, unhöflich zu sein und schmutzige Wörter zu sagen.

Vorher: Wenn Sie fragten: „Was sind Ihre Hobbys?", antwortete er: „Meine Hobbys sind f*ckend langweilig."
Nach ToxPrune: Da die „f*ckend"-Steine entfernt wurden, konnte der Roboter das nicht sagen. Stattdessen war er gezwungen zu sagen: „Meine Hobbys sind Krimis lesen und einen LKW fahren."
Die Überraschung: Nicht nur hörte er auf, unhöflich zu sein, sondern er wurde tatsächlich besser im Plaudern. Er begann, vielfältigere Wörter zu verwenden und steckte nicht mehr in der Wiederholung derselben schlechten Phrasen fest. Es war, als würde man eine schlechte Gewohnheit entfernen, die den Roboter tatsächlich daran gehindert hatte, kreativ zu sein.

B. Der „gute" Roboter (Llama-3.1)
Dieser Roboter war bereits höflich und sicher.

Vorher: Er war höflich, aber manchmal etwas repetitiv.
Nach ToxPrune: Obwohl er bereits sicher war, machte das Entfernen einiger gemeinsamer „Steine" (die zufällig zwischen toxischen und nicht-toxischen Wörtern geteilt wurden) ihn vielfältiger. Er begann, eine breitere Palette von Wörtern zu verwenden, um dieselben Ideen auszudrücken, was das Gespräch natürlicher und weniger roboterhaft wirken ließ.

4. Warum ist dies anders?

Normalerweise, wenn Sie einen Roboter davon abhalten wollen, schlechte Dinge zu sagen, könnten Sie versuchen:

Sein Gehirn umzuschreiben: Teuer und langsam (wie ein neues Studium für einen neuen Abschluss).
Einen Filter an der Tür zu installieren: Ein Sicherheitsbeamter, der jeden Satz prüft. Wenn der Beamte zu streng ist, könnte er auch nützliche Sätze blockieren.

ToxPrune ist anders, weil es wie das Ändern der Zutaten in der Küche ist. Sie brauchen keinen Sicherheitsbeamten; Sie haben einfach die toxischen Zutaten nicht im Regal. Der Roboter kann physisch keine toxische Mahlzeit kochen, weil die Zutaten weg sind.

Das Fazit

Die Arbeit behauptet, dass Sie durch einfaches Entfernen der winzigen Bausteine toxischer Wörter aus dem Wörterbuch eines Sprachmodells Folgendes erreichen können:

Toxische Roboter stoppen, damit sie keine schlechten Dinge sagen, selbst wenn sie darauf trainiert wurden, toxisch zu sein.
Die Qualität des Gesprächs verbessern, indem es vielfältiger und interessanter wird.
Dies sofort tun, ohne das Modell neu trainieren oder teure Rechenleistung bezahlen zu müssen.

Es ist eine „leichtgewichtige" Lösung, die die Unfähigkeit eines Roboters, ein schlechtes Wort zu sagen, in eine Gelegenheit verwandelt, etwas Besseres zu sagen.

Technische Zusammenfassung: Toxisches Subword-Pruning für die Generierung von Dialogantworten auf Large Language Models

Problemstellung

Die rasante Weiterentwicklung von Large Language Models (LLMs) hat erhebliche Risiken hinsichtlich der Generierung schädlicher oder toxischer Inhalte mit sich gebracht. Während sich die bestehende Sicherheitsforschung primär auf die Verteidigung „sicherer" Modelle gegen Jailbreak-Angriffe oder toxische Prompts konzentriert, besteht eine kritische Lücke für Modelle, die bereits toxisch sind. Dieses Szenario tritt auf, wenn einzelne Entwickler unbeabsichtigt toxische Modelle erstellen oder wenn Angreifer Zugriff auf Modellgewichte erlangen, um Modelle mit schädlichen Inhalten zu fine-tunen.

Aktuelle Minderungsstrategien stoßen auf mehrere Grenzen:

Sicherheitsausrichtung (Safety Alignment): Das Fine-Tuning vortrainierter Modelle auf Sicherheit ist rechenintensiv und für einzelne Entwickler oft unzugänglich.
Externe Klassifikatoren: Die Verwendung externer Toxizitätsklassifikatoren zur Erkennung und Blockierung toxischer Ausgaben ist unvollkommen. Angreifer können diese über bösartige Inject-Prompts umgehen, und eine kontinuierliche Blockierung kann das Modell unbrauchbar machen, indem sie jegliche Ausgabe verhindert.
Komplexe Entgiftung: Bestehende Methoden zur Entgiftung toxischer LLMs sind für den schnellen Einsatz oft zu komplex.
Anfälligkeit für Prompt-Injection: Selbst gut ausgerichtete Modelle können durch Prompt-Injection zu toxischer Generierung veranlasst werden.

Die Arbeit geht davon aus, dass eine leichte, zur Inferenzzeit laufende Lösung benötigt wird, um toxische Fähigkeiten direkt aus dem Dekodierungsprozess des Modells zu entfernen, ohne teures Nachtrainieren oder Gewichtsaktualisierungen zu erfordern.

Methodik: Toxisches Subword-Pruning (ToxPrune)

Die Autoren schlagen ToxPrune vor, einen neuartigen Algorithmus, der Subwords (Subtokens), die mit toxischen Wörtern assoziiert sind, während des Dekodierungsprozesses aus dem Vokabular eines trainierten LLM entfernt.

Kernmechanismus

Angepasste toxische Liste: Die Methode akzeptiert eine benutzerdefinierte Liste toxischer Wörter.
Subword-Tokenisierung: Diese Wörter werden unter Verwendung des Tokenizers des Modells (z. B. BPE) in Subwords tokenisiert. Die Autoren stellen fest, dass toxische und nicht-toxische Wörter Subwords teilen können; ToxPrune bewältigt dies, indem es die spezifischen Subwords entfernt, die aus der toxischen Liste abgeleitet wurden.
Modifikation der Verteilung: Während der Inferenz wird die Wahrscheinlichkeitsverteilung des nächsten Tokens modifiziert. Anstatt aus dem gesamten Vokabular $V$ $V$ zu sampeln, sampelt das Modell aus einer eingeschränkten Menge $V \setminus V_{toxic}$ $V ∖ V_{t o x i c}$ , wobei $V_{toxic}$ $V_{t o x i c}$ die entfernten toxischen Subwords darstellt.
- Formal ändert sich für Top- $k$ -Sampling die Verteilung von $P(\bar{x}_i | \dots) \in V^{(k)}$ zu $P(\bar{x}_i | \dots) \in V^{(k)} \setminus V^{(k)}_{toxic}$ .
- Bei Beam Search wird die Wahrscheinlichkeit von Sequenzen, die entfernte Wörter enthalten, auf 0 gesetzt, wodurch sie effektiv aus der Kandidatenliste entfernt werden.
Erweiterung und Kürzung:
- Paraphrasierte Blacklist: Um die Abdeckung zu erhöhen, kann die initiale Liste toxischer Wörter mithilfe eines Paraphrasengenerators erweitert werden, um Variationen toxischer Begriffe einzuschließen.
- Gekürzte Whitelist: Eine vordefinierte Whitelist kann verwendet werden, um bestimmte Schlüsselwörter zu erhalten, indem toxische Subwords entfernt werden, die mit sicheren Wörtern überlappen, wodurch sichergestellt wird, dass kritische nicht-toxische Begriffe weiterhin nutzbar bleiben.

Implementierung

ToxPrune arbeitet vollständig in der Inferenzphase. Es erfordert keine Aktualisierung der Modellgewichte, kein Nachtrainieren und keine externen Klassifikatoren. Es integriert sich in Standard-Sampling-Strategien (Top- $k$ , Top- $p$ , Beam Search), indem es einfach die Kandidatenvokabular vor der Auswahl filtert.

Hauptbeiträge

Neuartiger Algorithmus: Die Einführung von ToxPrune, einer Methode, die toxische Subwords löscht, um den Dekodierungsprozess der Dialoggenerierung direkt zu beeinflussen.
Doppelte Validierung: Die Methode wird sowohl an einem bekannten toxischen LLM (NSFW-3B) als auch an einem offiziell ausgerichteten, nicht-toxischen LLM (Llama-3.1-6B Base) validiert.
Empirische Evidenz: Umfangreiche Fallstudien und automatische Evaluierungen zeigen, dass ToxPrune die toxische Generierung effektiv mindert und gleichzeitig die Dialogqualität beibehält oder verbessert.

Experimentelle Ergebnisse

Datensätze und Modelle

Datensätze: Die Experimente wurden auf PERSONACHAT-ORI und PERSONACHAT-REV (eine manuell überarbeitete, schwierigere Version) durchgeführt, die Multi-Turn-Dialogdatensätze sind, die auf Personas konditioniert sind.
Modelle:
- NSFW-3B: Ein Open-Source-toxisches LLM, das trainiert wurde, um schmutzige Wörter zu generieren.
- Llama-3.1-6B: Die offizielle Basisversion von Llama-3.1 mit Sicherheitsausrichtung.
Baselines: Vergleiche umfassten einen paraphrasenbasierten Ansatz und einen Toxizitätsklassifikator (TC), der GPT-4 zur Regenerierung verwendete.

Leistung bei toxischen LLMs (NSFW-3B)

Reduktion der Toxizität: ToxPrune reduzierte die Toxizitätswerte (bewertet durch GPT-4) drastisch von 0,89 (Baseline) auf 0,13 (mit 100% Pruning).
Qualitätsverbesserung: Entgegen der Erwartung, dass Pruning die Leistung verschlechtern würde, verbesserten sich die meisten Metriken:
- BLEU: Während BLEU-1 einen geringen Rückgang verzeichnete, stiegen BLEU-2 bis BLEU-4 sowie das gewichtete BLEU.
- ROUGE: Alle ROUGE-Metriken (R-1, R-2, R-L) verbesserten sich.
- Vielfalt: Die Distinct-1- und Distinct-2-Werte stiegen signifikant (z. B. Distinct-2 von 0,712 auf 0,800).
Vergleich: Baselines, die Paraphrasierung oder toxische Klassifikatoren verwendeten, scheiterten daran, die Toxizität effektiv zu mindern, da das zugrunde liegende NSFW-3B-Modell konsistent toxische Inhalte regenerierte.

Leistung bei nicht-toxischen LLMs (Llama-3.1-6B)

Sicherheit: Die Toxizität blieb bei 0,00.
Vielfalt: ToxPrune verbesserte überraschenderweise die Vielfaltsmetriken (Distinct-1 und Distinct-2) am sauberen Modell, was darauf hindeutet, dass das Maskieren häufiger Subwords, die zwischen toxischen und nicht-toxischen Kontexten geteilt werden, die Wortverteilung flacht, was zu vielfältigeren Ausgaben führt.
Qualität: BLEU- und ROUGE-Metriken zeigten leichte Variationen, wobei einige Verbesserungen bei ROUGE darauf hindeuten, dass das Pruning die Kerngenerierungsfähigkeiten des Modells nicht beeinträchtigte.

Menschliche Evaluation

Toxisches LLM: Menschliche Annotatoren bevorzugten ToxPrune gegenüber der Baseline NSFW-3B signifikant in den Kategorien Angemessenheit, Informativität, Anregendheit und Menschlichkeit. Die Toxizität der Baseline wurde weitgehend eliminiert.
Nicht-toxisches LLM: ToxPrune verschlechterte die Leistung bei Llama-3.1-6B nicht und zeigte eine statistisch signifikante Verbesserung der Informativität (Vielfalt).

Bedeutung und Behauptungen

Die Arbeit behauptet, dass ToxPrune einen einfachen, effektiven und neuartigen Ansatz für die KI-Sicherheit mit einzigartigen Vorteilen bietet:

Sanierung toxischer Modelle: Es kann Modelle retten, die kompromittiert wurden oder absichtlich toxisch trainiert wurden, und stellt ihre Fähigkeit wieder her, sinnvolle, nicht-toxische Dialoge ohne Nachtrainieren zu generieren.
Verbesserung sicherer Modelle: Es kann die Vielfalt der Dialoge in bereits sicheren Modellen verbessern und die Vorstellung herausfordern, dass das Pruning von Vokabularen inhärent schädlich für Generierungsaufgaben ist.
Robustheit gegen Angriffe: Durch die vollständige Entfernung toxischer Tokens aus der Sampling-Liste verhindert ToxPrune toxische Generierung selbst unter Prompt-Injection-Angriffen, da das Modell die entfernten Tokens physisch nicht ausgeben kann.
Effizienz: Im Gegensatz zur Sicherheitsausrichtung oder Modellbearbeitung erfordert ToxPrune keine Modellaktualisierungen, ist rechnerisch günstig und ermöglicht eine dynamische Anpassung der Liste toxischer Wörter.

Die Autoren schließen, dass, obwohl frühere Arbeiten nahelegten, dass das Pruning von BPE-Tokens Aufgaben wie die maschinelle Übersetzung schädigt, diese Studie ihre überraschende Nützlichkeit im Bereich der KI-Sicherheit und Dialoggenerierung demonstriert.