Red Teaming LLMs as Socio-Technical Practice: From Exploration and Data Creation to Evaluation
Diese Studie untersucht auf Basis von 22 Interviews mit Praktizierenden die oft vernachlässigten sozio-technischen Praktiken bei der Definition, Erstellung und Evaluierung von Red-Teaming-Datensätzen für Large Language Models und identifiziert dabei kritische Lücken in der Risikokonzeptualisierung sowie Handlungsfelder für HCI-Forschende.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stell dir vor, du hast einen riesigen, super-intelligenten Roboter gebaut, der alles auf der Welt beantworten kann. Er ist wie ein allwissender Bibliothekar, der dir gerne hilft. Aber wie bei jedem mächtigen Werkzeug gibt es ein Problem: Was passiert, wenn jemand den Roboter dazu bringt, Dinge zu sagen, die er eigentlich nicht sagen sollte? Vielleicht gibt er dir eine Anleitung, wie man eine Bombe baut, oder er beleidigt jemanden, oder er lügt dich an.
Genau hier kommt das „Red Teaming" ins Spiel.
Was ist Red Teaming? (Der böse Zwilling)
Stell dir vor, du hast eine Burg gebaut. Um sicherzustellen, dass sie sicher ist, stellst du eine Gruppe von Leuten ein, die versuchen, die Mauern zu durchbrechen. Diese Gruppe nennt man das „Rote Team". Sie sind die Bösewichte im Spiel, aber ihre Aufgabe ist es, die Burg zu schützen, indem sie Schwachstellen finden, bevor die echten Diebe kommen.
Bei Künstlicher Intelligenz (KI) machen Forscher genau das Gleiche. Sie versuchen, die KI mit Tricks, dummen Fragen oder böswilligen Befehlen zu „jailbreaken" (aus dem Käfig zu befreien), um zu sehen, ob sie unsichere Dinge sagt.
Das Problem: Der Koch, der nur nach dem Rezept kocht
Die Forscher in diesem Papier haben 22 Leute interviewt, die genau so ein „Rotes Team" für KI-Modelle leiten. Und sie haben etwas Spannendes entdeckt:
Die meisten dieser Experten denken an Red Teaming wie an ein technisches Puzzle. Sie fragen sich: „Wie viele verschiedene Fragen kann ich stellen, um den Roboter zu verwirren?" Sie zählen, wie oft sie gewinnen (die „Erfolgsrate").
Aber das ist wie ein Koch, der nur nach einem starren Rezept kocht, ohne zu wissen, wer eigentlich essen wird.
- Der Kontext fehlt: Ein Satz kann auf Englisch harmlos sein, aber auf Koreanisch beleidigend. Oder eine Frage ist in einem Land legal, im nächsten aber verboten. Die KI-Experten vergessen oft, dass Menschen in einer echten Welt mit Regeln, Kultur und Gefühlen leben.
- Das Gespräch ist mehr als eine Frage: Die meisten Tests bestehen aus einer einzigen Frage und einer Antwort. Aber im echten Leben reden wir mit KIs oft lange. Man kann jemanden langsam „überreden", etwas Schlechtes zu tun, indem man in vielen kleinen Schritten fragt. Das sehen die Tests oft nicht.
- Wer ist betroffen? Die Tests prüfen oft, ob die KI für jeden Menschen sicher ist. Aber was ist mit Kindern? Was ist mit älteren Menschen? Was ist mit Minderheiten? Die spezifischen Risiken für diese Gruppen werden oft übersehen.
Die Metapher: Der Sicherheitscheck am Flughafen
Stell dir vor, die KI ist ein Flughafen-Sicherheitscheck.
- Der aktuelle Ansatz (wie in den meisten Tests): Der Sicherheitsbeamte schaut nur auf die Taschen. Er hat eine Liste von verbotenen Gegenständen (Messer, Bomben). Wenn deine Tasche leer ist oder nur eine Schere enthält, darfst du durch. Er fragt nicht: „Wer bist du?", „Warum reist du?" oder „Hast du vielleicht eine Bombe in deinem Kopf, die man nicht sieht?"
- Der neue Ansatz (was die Autoren vorschlagen): Ein guter Sicherheitscheck sollte wissen, dass ein Kind vielleicht nicht weiß, dass ein Spielzeugpistole verboten ist, oder dass ein Tourist eine Sprache spricht, die der Beamte nicht versteht. Er sollte auch schauen, wie sich jemand verhält, nicht nur was er in der Hand hält.
Was schlagen die Autoren vor? (Die Lösung)
Die Autoren sagen: „Hört auf, nur auf die Technik zu schauen! Seht die Menschen!"
Sie geben drei einfache Ratschläge für die Zukunft:
- Denk an die echte Welt (Kontext): Teste die KI nicht im luftleeren Raum. Teste sie so, wie echte Menschen sie nutzen. Wenn eine KI als Freund für Kinder dienen soll, teste sie mit Kindern, nicht nur mit Erwachsenen.
- Frag die Experten (Fachwissen): Statt nur eine Liste mit „verbotenen Wörtern" zu haben, hol dir Hilfe von Psychologen, Juristen oder Pädagogen. Sie wissen besser, was für eine bestimmte Gruppe schädlich ist.
- Schau auf das ganze Gespräch (Interaktion): Nicht nur auf eine einzelne Antwort. Achte darauf, wie sich ein Gespräch entwickelt. Kann man die KI durch viele kleine, harmlose Fragen langsam dazu bringen, etwas Gefährliches zu tun?
Fazit
Das Papier sagt uns im Grunde: Sicherheit ist nicht nur ein technisches Problem, sondern ein menschliches.
Wenn wir KI-Systeme nur wie Maschinen testen, die man mit Knöpfen bedient, übersehen wir die echten Gefahren. Wir müssen die KI so testen, wie wir sie im echten Leben erleben: mit all unseren kulturellen Unterschieden, unseren Gefühlen und unseren komplexen Gesprächen. Nur so können wir sicherstellen, dass unsere intelligenten Freunde uns wirklich helfen und uns nicht verletzen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.