Multi-Agent LLMs as Ethics Advocates for AI-Based Systems

Stellen Sie sich vor, Sie bauen einen Roboter, aber nicht irgendeinen Roboter – einen, der Ärzten hilft, Krankheiten zu diagnostizieren, entscheidet, wer einen Kredit bekommt, oder Gebärdensprache für Gehörlose übersetzt. Bevor Sie auf den „Start“-Knopf drücken, müssen Sie ein Regelwerk für ihn schreiben. Dieses Regelwerk nennt man „Requirements Engineering“ (Anforderungsmanagement). Es ist wie der Bauplan eines Hauses; wenn der Bauplan sagt: „Setze ein Fenster hierher“, setzt der Erbauer ein Fenster dort hin. Aber was, wenn der Bauplan vergisst zu sagen: „Stelle sicher, dass das Fenster nicht so groß ist, dass ein Hurrikan hineinbrechen kann“? In der Welt der Künstlichen Intelligenz (KI) werden diese fehlenden Regeln als „Ethik-Anforderungen“ bezeichnet. Das sind die Anweisungen, die der KI sagen, dass sie fair, transparent und freundlich sein soll, anstatt voreingenommen oder geheimnisvoll.

Das Problem ist, dass das Schreiben dieser ethischen Regeln schwierig ist. Es erfordert normalerweise eine große Besprechung mit vielen verschiedenen Menschen – Ingenieuren, Anwälten, Gemeindemitgliedern – die stundenlang diskutieren und brainstormen. Das ist langsam, teuer und manchmal, weil alle müde sind, werden die wichtigsten ethischen Regeln vergessen. Diese Arbeit stellt eine große Frage: Können wir ein Team aus superintelligenten Computergehirnen, sogenannten Large Language Models (LLMs), nutzen, um als „moralischer Wächter“ zu fungieren und dabei zu helfen, diese Regeln schneller zu schreiben? Denken Sie daran, wie man ein Team von KI-Detektiven engagiert, die den Bauplan Ihres Roboters prüfen und rufen: „Hey, Sie haben vergessen zu prüfen, ob das fair ist!“, noch bevor Sie überhaupt mit dem Bau beginnen.

Das Team der KI-Detektive

Die Forscher Asma Yamani, Malak Baslyman und Moataz Ahmed entwickelten ein System, das sie MALEA (Multi-Agent LLM Ethics-Advocate) nennen. Anstatt nur einen Computer denken zu lassen, erschufen sie ein virtuelles Team aus vier KI-Agenten, von denen jeder eine spezifische Aufgabe hat und wie eine Gruppe von Freunden zusammenarbeitet, die eine Geschichte lektoren.

Zuerst gibt es den Requirements Engineer (Anforderungsingenieur), der eine einfache Beschreibung eines Systems (wie „eine App, die gefächte Rezensionen findet“) nimmt und versucht, die ersten Regeln zu formulieren. Als Nächstes agiert ein Quality Assurance-Agent (Qualitätssicherung) wie ein strenger Editor, der prüft, ob die Regeln klar sind und Sinn ergeben. Dann kommt der Star der Show, der Ethics Advocate (Ethik-Fürsprecher). Dessen einzige Aufgabe ist es, die Regeln zu betrachten und zu sagen: „Warte, ist das fair? Was ist mit der Privatsphäre? Was, wenn jemand verletzt wird?“ Schließlich schreibt ein Documentation Assistant (Dokumentationsassistent) alles ordentlich auf.

Diese Agenten arbeiten nicht einfach nur in einer Reihe ab; sie kommunizieren in einer Schleife miteinander. Der Engineer schreibt eine Regel, der Quality-Agent korrigiert die Grammatik, der Ethics-Agent kritisiert die Moralität und der Engineer geht zurück, um es zu korrigieren. Sie passen den Ball immer wieder hin und her, bis alle zustimmen, dass die Regeln gut sind. Die Forscher testeten dieses Team in zwei realen Szenarien: einem System, das darauf ausgelegt ist, gefälschte Online-Rezensionen in arabischer Sprache zu erkennen, und einer App, die saudische Gebärdensprache in Text übersetzt.

Was das Team herausfand

Als die Forscher ihr KI-Team mit einem menschlichen Experten und einem einzelnen KI-Computer verglichen, waren die Ergebnisse eine Mischung aus „Wow!“ und „Ups!“.

Im Fall des Fake-Review-Detektors fand der menschliche Experte in einer 30-minütigen Sitzung 8 ethische Regeln. Der einzelne KI-Computer fand etwa 6 davon (75 % Recall), aber das MALEA-Team fand 7 davon (87,5 % Recall). Das KI-Team war besser darin, die Fehler des Menschen zu entdecken. Zum Beispiel übersah der Mensch eine Regel über das Verfolgen von „False Positives“ (wenn eine echte Rezension fälschlicherweise als gefälscht markiert wird), aber das KI-Team fügte eine Anforderung für Quartalsberichte hinzu, um diese Fehler zu verfolgen.

Im Szenario der Gebärdensprach-App fand der menschliche Experte 13 Regeln. Die einzelne KI fand etwa 8 (62 %), während das MALEA-Team etwa 7 fand (54 %). Hier machte der Mensch tatsächlich einen etwas besseren Job beim Erfassen der spezifischen technischen Details, wie etwa die Notwendigkeit einer Reaktionszeit von unter 5 Sekunden. Das KI-Team war jedoch ein Meister darin, neue Ideen einzubringen, an die der Mensch nicht gedacht hatte. Das KI-Team schlug Dinge wie „auditierte Anonymisierung“ (das Verbergen von Nutzeridentitäten in einer Weise, die überprüfbar ist) und spezifische Verschlüsselungsstandards (wie TLS 1.3) vor, die der Mensch völlig vergessen hatte.

Das Paper legt nahe, dass das KI-Team exzellent darin ist, ein breites Netz an ethischen Ideen zu werfen und vage Regeln sehr spezifisch zu machen. Anstatt zum Beispiel nur zu sagen „behalte Daten sicher“, schrieb das KI-Team „verwende AES-256-Verschlüsselung“. Das Paper warnt jedoch auch, dass die KI nicht perfekt ist. Manchmal übersieht sie kulturelle Nuancen oder vertauscht Zahlen. In einem Durchgang bemerkte die KI, dass Frauen in Saudi-Arabien unterschiedliche Arten von Kopfbedeckungen tragen, und schlug vor, dass die Trainingsdaten eine spezifische Anzahl von Videos für jede Art enthalten sollten. In einem anderen Durchlauf vergaß sie dieses Detail jedoch völlig. Dies zeigt, dass die KI ein wenig wie ein kreativer Schriftsteller ist, der sich mal an ein Detail erinnert und mal nicht.

Das Urteil: Ein hilfreicher Assistent, kein Ersatz

Die wichtigste Erkenntnis ist, dass dieses Multi-Agenten-System ein leistungsstarkes Werkzeug ist, um schnell einen „ersten Entwurf“ ethischer Regeln zu erstellen. Es kann mehr Ideen generieren und spezifischer sein als ein einzelner Computer, und es entdeckt oft Dinge, die Menschen in einer kurzen Besprechung übersehen könnten. Dennoch sind sich die Forscher sehr sicher: Dies ersetzt keine Menschen.

Die KI ist großartig darin, Vorschläge zu machen, aber sie braucht einen Menschen, der sagt: „Ja, das ist eine gute Idee“ oder „Nein, das passt nicht zu unserer Kultur“. Das System hinterlässt sogar kleine „Platzhalter“ (wie [ZAHL HIER EINFÜGEN]), um Ingenieure daran zu erinnern, dass sie die spezifischen Details selbst ausfüllen müssen. Das Paper argumentt, dass wir nicht versuchen sollten, Ethik vollständig zu automatisieren; stattdessen sollten wir diese KI-Teams nutzen, um den Prozess zu beschleunigen, damit Menschen mehr Zeit für die schwierigen, wichtigen Fragen aufwenden können, anstatt nur die grundlegenden Regeln zu schreiben.

Kurz gesagt legt das Paper nahe, dass ein Team von KI-Agenten als fantastischer „ethischer Brainstorming-Partner“ fungieren kann, der uns hilft, KI-Systeme zu bauen, die sicherer und fairer sind – aber nur, wenn wir einen Menschen in den Prozess einbinden, der die endgültige Entscheidung trifft.