SMARTER: A Data-efficient Framework to Improve Toxicity Detection with Explanation via Self-augmenting Large Language Models

1. Problemstellung

Die Bekämpfung toxischer Inhalte (Hassrede, Cybermobbing, sexistische oder rassistische Sprache) auf Social-Media-Plattformen ist eine dringende Herausforderung. Bestehende Ansätze stoßen an Grenzen:

• Ressourcenintensität: Hochleistungsmodelle benötigen große Mengen an annotierten Trainingsdaten, deren Erstellung teuer und zeitaufwendig ist.
• Mangelnde Erklärbarkeit: Viele Modelle liefern nur eine Klassifizierung (z. B. „Hassrede"), ohne dem Nutzer oder Moderator eine nachvollziehbare Begründung zu liefern. Dies untergräbt Transparenz und Vertrauen.
• Datenknappheit: In Szenarien mit wenig annotierten Daten (Few-Shot-Learning) leiden die Leistungsfähigkeit und die Qualität der Erklärungen oft erheblich.
• Kosten kommerzieller APIs: Der Einsatz von kommerziellen LLM-APIs ist oft kostspielig, intransparent und bietet wenig Kontrolle über den Bereitstellungsprozess.

2. Methodik: Das SMARTER-Framework

SMARTER (Self-augMentAtion Regimen Towards Efficient Content ModeRation) ist ein zweistufiges Framework, das Large Language Models (LLMs) nutzt, um mit minimalem Trainingsaufwand sowohl eine hohe Klassifizierungsgenauigkeit als auch hochwertige Erklärungen zu erreichen.

Das Framework besteht aus zwei Hauptphasen:

Phase 1: Individuelles Selbst-Augmentieren (Self-Augmentation)

In dieser Phase wird die Leistung eines einzelnen LLMs durch Präferenzoptimierung (Preference Optimization) mit synthetischen Daten verbessert, ohne dass neue menschliche Annotationen benötigt werden.

• Prozess:
  1. Ein LLM wird zunächst auf einer kleinen Menge an Few-Shot-Daten (z. B. 16 bis 256 Beispiele) mittels Supervised Fine-Tuning (SFT) vortrainiert.
  2. Das Modell generiert dann synthetische Erklärungen für korrekte Labels (Gold-Labels) und für falsche Labels (basierend auf demselben Post).
  3. Diese Paare werden als Trainingsdaten für die Präferenzoptimierung verwendet: Die Erklärung zum korrekten Label ist die „bevorzugte" Antwort, die Erklärung zum falschen Label die „abgelehnte" Antwort.
• Optimierungstechniken:
  • DPO (Direct Preference Optimization): Ein Offline-Verfahren, das die Policy direkt optimiert, indem es die Präferenzdaten nutzt, um ein implizites Belohnungsmodell zu umgehen.
  • KTO (Kahneman-Tversky Optimization): Eine Alternative, die auf der Prospect Theory basiert und Listen von Präferenzen (akzeptabel/nicht akzeptabel) nutzt.
• Ziel: Das Modell lernt aus seinen eigenen Fehlern, indem es versteht, warum eine Erklärung für ein falsches Label unangemessen ist.

Phase 2: Kreuz-Modell-Verfeinerung (Cross-Model Refinement)

Um die Qualität der Erklärungen weiter zu steigern, wird das Wissen zwischen verschiedenen LLM-Architekturen transferiert.

• Prozess:
  1. Zwei verschiedene Modelle (z. B. ein Encoder-Decoder-Modell wie T5 und ein Decoder-only-Modell wie Llama) werden unabhängig voneinander trainiert.
  2. Das schwächere Modell wird auf den Erklärungen des stärkeren Modells (oder umgekehrt) weiter trainiert (Cross-Training).
  3. Dies geschieht durch SFT und erneute DPO-Selbst-Augmentierung auf den Outputs des anderen Modells.
• Ziel: Schwächere Modelle können die reasoning-Muster und Erklärungsstile stärkerer Modelle übernehmen, was zu einer gegenseitigen Leistungssteigerung führt.

3. Wichtige Beiträge

1. SMARTER-Framework: Einführung eines zweistufigen Ansatzes, der Few-Shot-Learning mit Selbst-Augmentierung und Kreuz-Modell-Training kombiniert, um erklärbare Inhaltsmoderation zu ermöglichen.
2. Daten-Effizienz: Das Framework erreicht hohe Genauigkeiten mit nur 6–57 % der üblichen Trainingsdatenmenge im Vergleich zu Full-Training-Baselines.
3. Erklärbarkeit: Das System generiert nicht nur Labels, sondern auch menschenlesbare Begründungen, die mit den Label-Definitionen konsistent sind.
4. Open-Source-Alternative: Es demonstriert, dass Open-Source-LLMs (Llama-3.1-8B, COT-T5-XL) mit diesem Ansatz kommerzielle Modelle (GPT-4, Qwen) in Few-Shot-Szenarien übertreffen können, ohne hohe API-Kosten.

4. Ergebnisse

Die Evaluation erfolgte auf drei Datensätzen: HateXplain, Latent Hate und Implicit Hate.

• Leistungssteigerung: SMARTER erzielte im Vergleich zu Few-Shot-Baselines Verbesserungen von bis zu 13,5 % im Macro-F1-Score.
  • Beispiel: Auf HateXplain erreichte Llama mit DPO-Selbst-Augmentierung (bei K=256) einen Score von 0,64, was 89 % der Leistung eines vollständig trainierten Modells entspricht, aber nur 6 % der Daten benötigte.
• Vergleich mit kommerziellen Modellen: Die DPO-augmentierten Open-Source-Modelle übertrafen kommerzielle Modelle (wie GPT-4o-mini, GPT-4.1, GPT-5-chat) in Few-Shot-Settings (16-Shot ICL). Kommerzielle Modelle zeigten dabei oft hohe Varianz und Leistungsabfall bei komplexen Aufgaben.
• Kreuz-Modell-Effekte:
  • Das Training von T5 auf den Erklärungen von Llama verbesserte die T5-Leistung signifikant (z. B. +4 % F1 auf HateXplain).
  • Umgekehrt führte das Training von Llama auf T5-Daten jedoch zu leichten Einbußen, was die Asymmetrie der Transferierbarkeit zeigt.
• Konsistenz: Die generierten Erklärungen waren zu über 96 % logisch konsistent mit den vorhergesagten Labels und den Definitionsrichtlinien (gemessen mittels Natural Language Inference, NLI).

5. Bedeutung und Implikationen

• Skalierbarkeit: SMARTER bietet eine kosteneffiziente Strategie für Plattformen mit begrenzten annotierten Daten, um robuste Moderationssysteme zu entwickeln.
• Transparenz: Durch die Integration von Erklärungen wird der Moderationsprozess für Nutzer und Aufsichtsbehörden nachvollziehbarer, was das Vertrauen in KI-Systeme erhöht.
• Kontrolle: Im Gegensatz zu Black-Box-APIs ermöglicht das Framework die vollständige Kontrolle über das Modell und die Trainingsdaten, was für den Einsatz in sensiblen Bereichen entscheidend ist.
• Zukünftige Richtungen: Die Autoren empfehlen, das Framework auf andere Sprachen zu erweitern und strategischere Sampling-Methoden zu erforschen, um die Datenausnutzung weiter zu optimieren.

Zusammenfassend stellt SMARTER einen vielversprechenden Ansatz dar, um die Lücke zwischen hoher Leistung, geringer Datenverfügbarkeit und notwendiger Erklärbarkeit in der automatisierten Inhaltsmoderation zu schließen.