Choosing Where and How to Moderate: End-to-End Trade-offs in Filter Placement and Response Rewriting

Stel je voor dat je de redacteur bent van een enorme, chaotische krant die elke seconde miljoenen verhalen publiceert. Sommige verhalen zijn briljant, grappig en nuttig. Andere zijn gevaarlijk, gemeen of gewoon onzin. Jouw taak is om ervoor te zorgen dat de uiteindelijke kopie die de lezer krijgt, veilig en bruikbaar is. Maar hier komt de lastige kwestie bij: je hebt een team van "Safety Guards" (computerprogramma's) die het slechte spul kunnen herkennen. De grote vraag is niet alleen of de bewakers het slechte spul kunnen vinden; het gaat erom wanneer en hoe ze dat moeten doen.

Moeten de bewakers de vraag van de lezer controleren voordat het verhaal zelfs maar geschreven wordt? Moeten ze wachten tot het verhaal klaar is en het dan controleren? Of moeten ze beide doen? Of als ze een probleem vinden, moeten ze dan het hele verhaal in de prullenbak gooien, of moeten ze proberen het te repareren en een veilige versie aan de lezer te geven? Dit artikel duikt in dat exacte puzzelstukje voor AI-chatbots. Het behandelt de AI als een schrijver en de veiligheidsfilters als redacteuren, waarbij verschillende manieren om hen te rangschikken worden getest om te zien welke opstelling het beste resultaat geeft: de meest behulpzame antwoorden met de minste gevaarlijke uitschieters.

---

De Grote AI-veiligheidsdans: Waar te staan en wat te doen

De auteurs van dit artikel, een team van Microsoft Responsible AI en Goodfire, besloten te stoppen met het bekijken van veiligheidsfilters in isolatie. Meestal meten wetenschappers alleen hoe goed een filter is in het herkennen van slechte woorden, zoals een spellingscontrole die typefouten telt. Maar de echte wereld is rommeliger. Als een filter te streng is, kan het een perfect goed verhaal blokkeren, simpelweg omdat het een woord gebruikte dat gevaarlijk klinkt. Als het te losjes is, kan een gevaarlijk verhaal erdoorheen glippen.

Dus stelde het team een enorm experiment op om vier verschillende "danspassen" voor hun veiligheidssysteem te testen. Ze wilden het ideale evenwicht vinden waar de AI het meest behulpzaam is (het tonen van een geweldig antwoord) maar nog steeds veilig (niets schadelijks aan je tonen).

De Vier Danspassen

Ze testten vier specifieke opstellingen, die ze configuraties noemen:

1. Alleen Input: De bewaker controleert de vraag van de lezer voordat de AI iets schrijft. Als de vraag risicovol lijkt, stopt de bewaker het hele proces onmiddellijk. Er wordt geen verhaal geschreven.
2. Alleen Respons: De bewaker laat de AI eerst het verhaal schrijven. Daarna controleert de bewaker het voltooide verhaal. Als het slecht is, wordt het verhaal weggegooid.
3. Input + Respons: De bewaker controleert zowel de vraag als het antwoord. Als een van beide risicovol lijkt, wordt het verhaal geblokkeerd.
4. Respons + Herschrijven: Dit is de chique nieuwe pas. De bewaker controleert het voltooide verhaal. Als het risicovol is, in plaats van het gewoon weg te gooien, probeert een "fixer" (een tweede AI) het verhaal te herschrijven om het veilig te maken. Daarna controleert de bewaker de nieuwe versie nog één keer. Als deze slaagt, krijg je het gerepareerde verhaal!

De Grote Ontdekking: Wacht tot het einde!

Het team heeft deze tests uitgevoerd op twee verschillende stadia: een private, door mensen gelabelde dataset van 1.250 gesprekken (de "Interne Benchmark") en een publieke dataset van meer dan 5.000 toxische chats ("Public ToxicChat").

Hier is het verrassende resultaat: Wachten tot het einde (Alleen Respons) was de beste strategie om zaken behulpzaam te houden.

Toen ze gewoon slechte antwoorden blokkeerden nadat ze waren geschreven, hield het systeem 85,68% van de gesprekken behulpzaam en on-topic. Maar wanneer ze probeerden slechte vragen te blokkeren voordat de AI iets schreef (Alleen Input), gooiden ze per ongeluk de helft van de goede gesprekken weg! Het blijkt dat moderne AI-modellen al vrij goed zijn in het negeren van slechte vragen en het schrijven van veilige antwoorden op hun eigen. Dus het proces vroegtijdig stoppen was als een uitsmijter die mensen een club uit trapt voordat ze zelfs maar de kans kregen om hun ID te laten zien, terwijl velen eigenlijk prima waren.

Er was echter een addertje onder het gras. Hoewel "Alleen Respons" het meest behulpzaam was, liet het iets meer schadelijke inhoud door in vergelijking met het controleren van zowel de input als de output. Als je een super strikt veiligheidsbudget hebt (wat betekent dat je absoluut niets slechts door wilt laten), was het controleren van zowel de input als de output (Input + Respons) het veiligst, maar maakte dit het systeem veel minder behulpzaam.

De Magie van de "Fixer"

Het team vroeg vervolgens: "Kunnen we het beste van beide werelden hebben? Kunnen we de 'Alleen Respons'-strategie gebruiken voor de behulpzaamheid, maar de enkele slechte antwoorden die erdoorheen glippen te repareren?"

Ze probeerden de Respons + Herschrijf-strategie. Wanneer de bewaker een slecht antwoord onderschepte, in plaats van het te blokkeren, stuurden ze het naar een "fixer"-AI. Deze fixer zou het antwoord herschrijven om de slechte delen te verwijderen terwijl de goede delen behouden blijven.

De resultaten waren indrukwekkend. Door deze herschrijf-truc te gebruiken, herstelden ze bijna al het verkeer dat geblokkeerd zou worden.

• Bij de interne test steeg de behulpzaamheid van 85,68% naar 95,04%.
• Het aantal geblokkeerde gesprekken daalde van 9,60% naar slechts 0,24%.

Cruciaal was dat het aantal schadelijke antwoorden dat de gebruiker daadwerkelijk bereikte, precies hetzelfde bleef als bij de "Alleen Respons"-strategie. De herschrijving liet niet méér slecht spul door; het redde alleen de goede zaken die bijna weggegooid zouden worden.

Snelheid en de Kosten van het "Herschrijven"

Natuurlijk is niets gratis. Herschrijven kost tijd. Het team heeft gemeten hoe lang het duurde om een verhaal te repareren.

• Als ze een enorme, trage AI gebruikten om te beslissen wat te herschrijven en hoe, duurde het ongeveer 13,8 seconden. Dat is een eeuwigheid in chat-tijd!
• Maar ze ontdekten een slimme afkorting door kleinere, gespecialiseerde "probes" (kleine, snelle detectoren) te gebruiken om te beslissen wat te doen. Dit bracht de tijd terug naar slechts 0,47 seconden.

Dit betekent dat je een systeem kunt hebben dat super behulpzaam en veilig is zonder dat de gebruiker eeuwig moet wachten.

De Kleine Lettertjes: Wat de Herschrijving Miste

De auteurs keken niet alleen naar de cijfers; ze lazen ook de herschreven verhalen om te zien wat er werkelijk gebeurde. Ze ontdekten dat de "fixer" goed kon generaliseren. Bijvoorbeeld, als een verhaal een specifiek gevaarlijk hulpmiddel noemde, verving de fixer de naam door "een veilig platform" en gaf nog steeds goed advies over hoe men veilig kan blijven.

Ze vonden echter ook een grens. In sommige gevoelige gevallen, zoals verhalen over zelfbeschadiging, verwijderde de herschrijving soms specifieke, behulpzame bronnen (zoals telefoonnummers van hulplijnen) om maar extra veilig te zijn. Het artikel merkt op dat hoewel het systeem geweldig is in het balanceren van veiligheid en behulpzaamheid, het niet perfect is. Soms, in de haast om veilig te zijn, kan het per ongeluk een stukje ondersteunende informatie weglaten dat een mens wel zou willen behouden.

De Conclusie

Dit artikel vertelt ons niet dat er één enkele "perfecte" regel is voor alle AI-veiligheid. In plaats daarvan geeft het ons een kaart. Het laat zien dat:

1. Blokkeer niet te vroeg: Eerst de AI laten schrijven resulteert meestal in meer behulpzame antwoorden.
2. Herschrijf, blokkeer niet alleen: Als je een slecht antwoord vangt, probeer het dan te repareren. Het redt veel goede gesprekken zonder het gevaar te vergroten.
3. Snelheid doet ertoe: Je kunt dingen snel oplossen als je de juiste tools gebruikt.

De auteurs concluderen dat er geen universele "one-size-fits-all" regel is. In plaats daarvan moeten bedrijven naar hun eigen specifieke behoeften kijken. Als ze een klein beetje risico kunnen tolereren om meer behulpzame antwoorden te krijgen, moeten ze de "Alleen Respons"-strategie met een "Herschrijf"-fixer gebruiken. Als ze absoluut nul-risico nodig hebben, moeten ze misschien ook de input controleren, zelfs als dat betekent dat ze meer goede gesprekken blokkeren. Het draait allemaal om het vinden van het juiste evenwicht voor jouw eigen club.