Choosing Where and How to Moderate: End-to-End Trade-offs in Filter Placement and Response Rewriting

Stellen Sie sich vor, Sie sind der Redakteur einer riesigen, chaotischen Zeitung, die jede Sekunde Millionen von Geschichten druckt. Einige Geschichten sind brillant, lustig und hilfreich. Andere sind gefährlich, gemein oder einfach nur Unsinn. Ihre Aufgabe ist es, sicherzustellen, dass die fertige Kopie, die dem Leser übergeben wird, sicher und nützlich ist. Aber hier ist der knifflige Teil: Sie haben ein Team von „Sicherheitswächtern“ (Computerprogrammen), die das Schlechte erkennen können. Die große Frage ist nicht nur, ob die Wächter das Schlechte finden können; es geht darum, wann und wie sie es tun sollten.

Sollten die Wächter die Anfrage des Lesers prüfen, noch bevor die Geschichte überhaupt geschrieben wird? Sollten sie warten, bis die Geschichte fertig ist, und dann prüfen? Oder sollten sie beides tun? Und wenn sie ein Problem finden, sollten sie die ganze Geschichte einfach in den Müll werfen oder versuchen, sie zu korrigieren und dem Leser eine sichere Version zu geben? Dieses Papier taucht genau in dieses Rätsel für KI-Chatbots ein. Es behandelt die KI wie einen Schreiber und die Sicherheitsfilter wie Editoren und testet verschiedene Möglichkeiten, diese Anordnungen zu gestalten, um zu sehen, welches Setup das beste Ergebnis liefert: die hilfreichsten Antworten mit den wenigsten gefährlichen Ausrutschern.

---

Der große KI-Sicherheits-Tanz: Wo man stehen und was man tun sollte

Die Autoren dieses Papiers, ein Team von Microsoft Responsible AI und Goodfire, beschlossen, Sicherheitsfilter nicht isoliert zu betrachten. Normalerweise messen Wissenschaftler nur, wie gut ein Filter darin ist, schlechte Wörter zu finden, ähnlich wie eine Rechtschreibprüfung Tippfehler zählt. Aber die reale Welt ist chaotischer. Wenn ein Filter zu streng ist, blockiert er vielleicht eine vollkommen gute Geschichte, nur weil sie ein Wort verwendet hat, das riskant klingt. Wenn er zu locker ist, könnte eine gefährliche Geschichte durchrutschen.

Also stellte das Team ein massives Experiment auf, um vier verschiedene „Tanzschritte“ für ihr Sicherheitssystem zu testen. Sie wollten den optimalen Punkt finden, an dem die KI am hilfreichsten ist (indem sie Ihnen eine großartige Antwort zeigt) und dennoch sicher bleibt (indem sie Ihnen nichts Schädliches zeigt).

Die vier Tanzschritte

Sie testeten vier spezifische Setups, die sie Konfigurationen nennen:

1. Nur Input: Der Wächter prüft die Frage des Lesers, bevor die KI etwas schreibt. Wenn die Frage riskant aussieht, stoppt der Wächter den gesamten Vorgang sofort. Es wird keine Geschichte geschrieben.
2. Nur Response: Der Wächter lässt die KI die Geschichte zuerst schreiben. Dann prüft der Wächter die fertige Geschichte. Wenn sie schlecht ist, wird die Geschichte weggeworfen.
3. Input + Response: Der Wächter prüft sowohl die Frage als auch die Antwort. Wenn eines von beiden riskant aussieht, wird die Geschichte blockiert.
4. Response + Rewrite: Dies ist der schicke neue Schritt. Der Wächter prüft die fertige Geschichte. Wenn sie riskant ist, wirft er sie nicht einfach weg, sondern ein „Fixer“ (eine zweite KI) versucht, die Geschichte umzuschreiben, um sie sicher zu machen. Dann prüft der Wächter die neue Version ein letztes Mal. Wenn sie besteht, erhalten Sie die korrigierte Geschichte!

Die große Entdeckung: Warte bis zum Ende!

Das Team führte diese Tests in zwei verschiedenen Phasen durch: einem privaten, von Menschen gelabelten Datensatz von 1.250 Konversationen (dem „Internal Benchmark“) und einem öffentlichen Datensatz von über 5.000 toxischen Chats („Public ToxicChat“).

Hier ist das überraschende Ergebnis: Das Warten bis zum Ende (Response Only) war die beste Strategie, um die Dinge hilfreich zu halten.

Als sie einfach schlechte Antworten blockierten, nachdem sie geschrieben worden waren, hielt das System 85,68 % der Konversationen hilfreich und themenbezogen. Aber als sie versuchten, schlechte Fragen zu blockieren, bevor die KI etwas schrieb (Input Only), warfen sie versehentlich die Hälfte der guten Konversationen weg! Es stellt sich heraus, dass moderne KI-Modelle bereits ziemlich gut darin sind, schlechten Fragen zu ignorieren und sichere Antworten zu schreiben. Daher war das vorzeitige Stoppen des Prozesses so, als würde ein Türsteher Leute aus einem Club werfen, bevor sie überhaupt die Chance hatten, ihren Ausweis zu zeigen, obwohl viele von ihnen völlig in Ordnung gewesen wären.

Es gab jedoch einen Haken. Während „Response Only“ am hilfreichsten war, ließ es etwas mehr schädliche Inhalte durch als die Prüfung sowohl des Inputs als auch des Outputs. Wenn Sie ein super strenges Sicherheitsbudget haben (das heißt, Sie können absolut nichts Schlechtes durchgehen lassen), war das Prüfen sowohl des Inputs als auch des Outputs (Input + Response) am sichersten, aber es machte das System viel weniger hilfreich.

Die Magie des „Fixers“

Das Team fragte sich dann: „Können wir das Beste aus beiden Welten haben? Können wir die ‚Response Only‘-Strategie für ihre Hilfreichkeit nutzen, aber die wenigen schlechten Antworten korrigieren, die durchrutschen?“

Sie testeten die Response + Rewrite-Strategie. Wenn der Wächter eine schlechte Antwort erwiste, anstatt sie zu blockieren, schickte er sie an einen „Fixer“-KI. Dieser Fixer würde die Antwort umschreiben, um die schlechten Teile zu entfernen, während die guten Teile erhalten bleiben.

Die Ergebnisse waren beeindruckend. Durch den Einsatz dieses Rewrite-Tricks konnten sie fast den gesamten Verkehr zurückgewinnen, der blockiert worden wäre.

• Im internen Test stieg die Hilfreichkeit von 85,68 % auf 95,04 %.
• Die Anzahl der blockierten Konversationen sank von 9,60 % auf nur noch 0,24 %.

Entscheidend war, dass die Anzahl der schädlichen Antworten, die tatsächlich den Nutzer erreichten, exakt dieselbe blieb wie bei der „Response Only“-Strategie. Das Rewrite ließ nicht mehr schlechte Sachen durch; es rettete nur das Gute, das fast weggeworfen worden wäre.

Geschwindigkeit und die Kosten des „Rewrites“

Natürlich ist nichts umsonst. Ein Umschreiben braucht Zeit. Das Team maß, wie lange es dauerte, eine Geschichte zu korrigieren.

• Wenn sie eine riesige, langsame KI verwendeten, um zu entscheiden, was umgeschrieben werden soll und wie, dauerte es etwa 13,8 Sekunden. Das ist eine Ewigkeit in der Chat-Zeit!
• Aber sie fanden eine clevere Abkürzung unter Verwendung kleinerer, spezialisierter „Probes“ (winzige, schnelle Detektoren), um zu entscheiden, was zu tun ist. Dies senkte die Zeit auf nur 0,47 Sekunden.

Das bedeutet, man kann ein System haben, das super hilfreich und sicher ist, ohne dass der Nutzer ewig warten muss.

Das Kleingedruckte: Was das Rewrite übersehen hat

Die Autoren haben nicht nur die Zahlen betrachtet; sie haben die umgeschriebenen Geschichten gelesen, um zu sehen, was tatsächlich geschah. Sie fanden heraus, dass der „Fixer“ gut im Generalisieren war. Wenn eine Geschichte beispielsweise eine bestimmte gefährliche App erwähnte, ersetzte der Fixer den Namen durch „eine sichere Plattform“ und gab dennoch gute Ratschläge dazu, wie man sicher bleibt.

Sie fanden jedoch auch eine Grenze. In einigen sensiblen Fällen, wie etwa Geschichten über Selbstverletzung, entfernte das Rewrite manchmal spezifische, hilfreiche Ressourcen (wie etwa Hotlines für Krisenhilfe), nur um besonders sicher zu sein. Das Papier stellt fest, dass das System zwar großartig darin ist, die Balance zwischen Sicherheit und Hilfreichkeit zu halten, aber nicht perfekt ist. Manchmal, in der Eile, sicher sein zu wollen, lässt es vielleicht versehentlich eine Information zur Unterstützung weg, die ein Mensch gerne behalten würde.

Das Fazit

Dieses Papier sagt uns nicht, dass es eine einzige „perfekte“ Regel für alle KI-Sicherheit gibt. Stattdessen liefert es uns eine Landkarte. Es zeigt uns:

1. Blockieren Sie nicht zu früh: Die KI zuerst schreiben zu lassen, führt meist zu hilfreicheren Antworten.
2. Schreiben Sie um, statt nur zu blockieren: Wenn Sie eine schlechte Antwort erfassen, versuchen Sie, sie zu korrigieren. Das rettet viele gute Konversationen, ohne die Gefahr zu erhöhen.
3. Geschwindigkeit zählt: Man kann Dinge schnell korrigieren, wenn man die richtigen Werkzeuge verwendet.

Die Autoren kommen zu dem Schluss, dass es keine universelle „Einheitslösung“ gibt. Stattdessen müssen Unternehmen ihre eigenen spezifischen Bedürfnisse prüfen. Wenn sie ein kleines Risiko tolerieren können, um hilfreichere Antworten zu erhalten, sollten sie die „Response Only“-Strategie mit einem „Rewrite“-Fixer verwenden. Wenn sie absolut null Risiko benötigen, müssen sie vielleicht auch den Input prüfen, selbst wenn das bedeutet, mehr gute Konversationen zu blockieren. Es geht darum, die richtige Balance für den eigenen Club zu finden.