Neither the Judge nor the Rules: Instrument-Validity Failure in Safety-Response Classification

In der sich schnell entwickelnden Welt der künstlichen Intelligenz versuchen Forscher ständig, Computern beizubringen, hilfreich zu sein, ohne dabei schädlich zu sein. Um sicherzustellen, dass diese Systeme keine gefährlichen Ratschläge oder toxischen Inhalt generieren, müssen Wissenschaftler ihre Ergebnisse bewerten. Jahrelang dominierten zwei Hauptmethoden diese Sicherheitsprüfung. Die erste besteht darin, eine künstliche Intelligenz zu nutzen, um die Arbeit einer anderen zu bewerten, was als automatisierter Richter fungiert. Die zweite stützt sich auf handgeschriebene Computerregeln, die Texte nach bestimmten Schlüsselwörtern oder Mustern durchsuchen, die auf Schaden hindeuten, und somit wie ein digitaler Filter funktionieren. Die Annahme hinter der zweiten Methode war, dass diese Regeln, da sie fest und deterministisch sind – das heißt, sie liefern für denselben Input immer das gleiche Ergebnis –, perfekt zuverlässig sind und als die absolute Wahrheit behandelt werden können. Wenn ein Computerprogramm einem strengen Satz von Anweisungen folgt, so die Logik, muss sein Urteil über die Sicherheit korrekt sein.

Eine neue Studie stellt diese Annahme infrage, indem sie diese Sicherheitstools nicht als unfehlbare Schiedsrichter betrachtet, sondern als Instrumente, die Fehler machen können, genau wie jedes andere Messgerät. Der Forscher Yangyi Zhang von der Georgetown University beschloss, sowohl den automatisierten Richter als auch den regelbasierten Filter zu prüfen, um zu sehen, ob sie tatsächlich das tun, was sie behaupten. Die Untersuchung konzentrierte sich auf eine Sammlung von 550 Antworten, die von verschiedenen großen Sprachmodellen auf schwierige oder potenziell schädliche Fragen hin generiert wurden. Um die Wahrheit herauszufinden, erstellte der Forscher einen kleinen, unabhängigen Benchmark, indem er 32 dieser Antworten manuell las und beschriftete, wobei er Sicherheit danach definierte, ob das Modell handlungsrelevante schädliche Inhalte bereitstellte. Dieser durch Menschen verifizierte Datensatz diente als Grundwahrheit (Ground Truth), gegen die die beiden automatisierten Tools getestet wurden.

Die Ergebnisse zeigten ein erhebliches Versagen in der Zuverlässigkeit beider Instrumente. Der regelbasierte Klassifikator, der in früheren Forschungsarbeiten weithin als Standard für Sicherheit vertraut und eingesetzt worden war, schnitt schlecht ab. Im Vergleich zu den menschlichen Labels war dieses automatisierte Tool in nur etwa der Hälfte der Fälle korrekt. Entscheidender war, dass es die Hälfte der tatsächlich unsicheren Antworten nicht identifizierte und gefährliche Inhalte komplett übersah. Gleichzeitig markierte es sechs harmlose Antworten fälschlicherweise als unsicher, wobei es höfliche Ablehnungen als gefährliche Darbietungen missinterpretierte. Der automatisierte Richter, ein kleineres Sprachmodell, das mit der Aufgabe betraut war, die Antworten zu bewerten, schnitt in der Gesamtgenauigkeit etwas besser ab, litt jedoch unter einem anderen fatalen Fehler. Es erkannte keines der vier tatsächlich unsicheren Elemente im Testdatensatz und übersah sie alle vollständig. Stattdessen deklarierte es fälschlicherweise zwei sichere Ablehnungen als unsicher.

Die Studie deckte auch eine verborgene Instabilität im regelbasierten System auf, die zuvor niemand bemerkt hatte. Der Forscher ließ zwei verschiedene Versionen desselben Regelsatzes über die gesamte Sammlung von 550 Antworten laufen. Die erste Version identifizierte 40 Antworten als unsicher, während die zweite, leicht überarbeitete Version nur acht identifizierte. Dieser fünffache Unterschied trat auf, ohne dass sich der eigentliche Inhalt der Antworten änderte, was bewies, dass die Anzahl der unsicheren Elemente vollständig davon abhängt, welche Version der Regeln geladen wird. Da das System deterministisch ist, reproduziert es seine eigenen Fehler jedes Mal perfekt, was diese Fehler für jeden unsichtbar macht, der nur auf die endgültigen Zahlen blickt. Die beiden automatisierten Tools stimmten in etwa 62 Prozent der Fälle überein, eine Zahl, die auf den ersten Blick wie ein starker Konsens wirken mag. Diese Übereinstimmung war jedoch weitgehend eine Illusion, die dadurch verursacht wurde, dass die meisten Antworten sicher waren. Als der Forscher dieses Ungleichgewicht korrigierte, war die tatsächliche Übereinstimmung zwischen den Tools vernachlässigbar, was zeigte, dass sie sich nicht gegenseitig validierten, sondern vielmehr in eine Standardprognose der Sicherheit kollabierten.

Die Kernerkenntnis ist, dass weder der automatisierte Richter noch der regelbasierte Filter allein ein neutrales oder valides Maß für Sicherheit sind. Der regelbasierte Klassifikator ist kein perfekter Standard; er ist ein Messinstrument mit einer hohen und ungemessenen Fehlerrate. Die Studie kommt zu dem Schluss, dass der einzige Weg, diesen Sicherheitszahlen zu vertrauen, darin besteht, jedes Instrument vor der Veröffentlichung von Ergebnissen gegen einen separaten, durch Menschen verifizierten Benchmark zu validieren. Forscher müssen nicht nur berichten, wie oft ein Tool mit einem anderen übereinstimmt, sondern auch, wie gut es die spezifischen Fehler erfasst, die relevant sind, wie etwa das Übersehen gefährlicher Inhalte. Ohne diese unabhängige Prüfung läuft das Feld Gefahr, Sicherheitsbewertungen auf Fundamenten aufzubauen, die selbst fehlerhaft sind, indem es die Konsistenz eines defekten Werkzeugs mit der Wahrheit verwechselt.