Studying People to Study AI: Expert Perspectives on the Epistemic Fit and Barriers of Human Research in AI Safety & Ethics

Stellen Sie sich vor, Sie versuchen, einen Roboter zu bauen, der sprechen, denken und Menschen helfen kann. Sie möchten sicherstellen, dass dieser Roboter sicher ist und nicht versehentlich jemanden verletzt oder etwas Gemeines sagt. Um dies zu erreichen, führen Wissenschaftler Tests durch. Aber hier ist der knifflige Teil: Die meisten dieser Tests sind wie das Spielen eines Videospiels, bei dem der Roboter mit einem anderen Roboter spricht. Sie simulieren, wie ein Mensch reagieren könnte, oder sie nutzen Mathematik, um zu prüfen, ob der Roboter den Regeln folgt. Das ist schnell, günstig und einfach, eine Million dieser „Roboter-gegen-Roboter“-Spiele an einem Tag durchzuführen.

Es gibt jedoch ein großes Problem: Nur weil ein Roboter einen Test gegen einen anderen Roboter besteht, bedeutet das nicht, dass er sicher ist, wenn er einem echten, chaotischen, emotionalen Menschen begegnet. Echte Menschen sind kompliziert. Sie werden verwirrt, sie fühlen Emotionen und sie könnten den Roboter auf Arten austricksen, die eine Simulation niemals vorhersagen könnte. Dieses Paper stellt eine einfache, aber riesige Frage: Warum spielen so viele Wissenschaftler immer noch Videospiele mit Robotern, anstatt tatsächlich mit echten Menschen zu sprechen, um zu sehen, was passiert?

---

Der große Roboter-Test: Warum wir echte Menschen brauchen, nicht nur Simulationen

Dieses Paper ist wie eine Detektivgeschichte, die eine seltsame Lücke in der Welt der KI-Sicherheit untersucht. Die Forscher, ein Team von Experten von Universitäten wie der University of Toronto und der McGill University, wollten verstehen, warum das Feld der KI-Sicherheit und Ethik (nennen wir es kurz AISE) so zögerlich ist, echte Menschen in ihren Experimenten einzusetzen.

Stellen Sie sich AISE wie eine riesige Werkstatt vor, in der Menschen versuchen, die sichersten und ethischsten Roboter der Welt zu bauen. In dieser Werkstatt gibt es verschiedene Expertengruppen. Einige sind technische Zauberer, die Code und Mathematik lieben und gerne Simulationen laufen lassen. Andere sind soziotechnische Detektive, denen es darum geht, wie Menschen tatsächlich fühlen und mit Technologie interagieren. Es gibt auch Governance-Leute, die über Regeln und Gesetze nachdenken, und normative Denker, die sich Sorgen darüber machen, was „richtig“ oder „gut“ ist.

Die Hauptentdeckung des Papers ist, dass zwar alle in der Werkstatt zustimmen, dass das Sprechen mit echten Menschen super wichtig ist, die technische Gruppe dies jedoch weitgehend ignoriert. Sie bevorzugen ihre schnellen, sauberen Computersimulationen. Die Autoren fanden heraus, dass dies nicht nur daran liegt, dass die technische Gruppe Effizienz priorisiert; es liegt vielmehr daran, dass sie eine andere Art des Denkens darüber haben, was als „Beweis“ zählt.

Das „Videospiel“ vs. die „reale Welt“

Die Autoren beschreiben eine große Kluft. Die technischen Forscher behandeln Menschen oft wie Variablen in einer mathematischen Gleichung. Sie wollen Dinge mit einem Lineal und einer Stoppuhr messen. Wenn sie etwas nicht perfekt messen können, vertrauen sie ihm oft nicht. Sie sorgen sich, dass das Sprechen mit echten Menschen „chaotisch“ ist.

Stellen Sie sich vor, Sie wollen eine neue Brücke testen.

• Der Simulationsansatz: Sie bauen ein perfektes digitales Modell der Brücke auf einem Computer. Sie lassen eine Million Windstürme durch das Modell laufen. Der Computer sagt: „Sie ist zu 100 % sicher!“ Das ist schnell und günstig.
• Der menschliche Forschungsansatz: Sie bauen die Brücke tatsächlich und fragen echte Menschen, ob sie darüber gehen wollen. Vielleicht bekommt ein paar Leute Angst, vielleicht fühlt sich der Wind anders an, als der Computer es vorhergesagt hat, und vielleicht schwankt die Brücke auf eine Weise, die das Modell nicht vorhergesagt hat.

Das Paper legt nahe, dass die KISE derzeit besessen vom Computermodell ist. Sie lassen Milliarden von Simulationen laufen (wie die oben erwähnten „Videospiele“), um zu sehen, ob eine KI sicher ist. Aber die Autoren argumentieren, dass dies riskant ist. Wenn Sie Ihre Brücke nur am Computer testen, übersehen Sie vielleicht, dass echte Menschen Panik bekommen, wenn der Wind weht, oder dass die Brücke ein seltsames Geräusch macht, das sie erschreckt.

Die „Human-Washing“-Falle

Einer der interessantesten Punkte, vor denen das Paper warnt, ist etwas, das die Autoren als „Human-Washing“ bezeichnen. Das ist wie „Green-Washing“, bei dem ein Unternehmen ein Blatt auf eine Flasche klebt, um sie umweltfreundlich aussehen zu lassen, ohne tatsächlich grün zu sein.

„Human-Washing“ geschieht, wenn Forscher sagen: „Hey, wir haben mit ein paar Menschen gesprochen!“, nur um ein Häkchen zu setzen. Aber sie haben nicht wirklich auf sie gehört oder sie nicht die richtigen Fragen gestellt. Sie haben nur ein paar Menschen zu ihrer Studie hinzugefügt, um es so aussehen zu lassen, als würden sie echte Forschung betreiben, aber sie haben ihre Methoden nicht wirklich geändert. Die Autoren sagen, dass dies gefährlich ist, weil es ein falsches Sicherheitsgefühl vermittelt. Es ist, als würde man einen gefälschten Feuerlöscher an die Wand hängen; es sieht so aus, als sei man vorbereitet, aber wenn ein Feuer ausbricht, wird er nicht funktionieren.

Die Barrieren: Warum machen sie es nicht einfach?

Man könnte sich fragen: „Wenn alle zustimmen, dass die Forschung mit Menschen gut ist, warum machen sie dann nicht einfach mehr davon?“ Das Paper fand drei große Mauern, die sie aufhalten:

1. Die Geld- und Zeitmauer: Mit echten Menschen zu sprechen ist teuer und langsam. Die Autoren stellen fest, dass eine Computersimulation weniger als 1.000 $ kosten kann. Aber eine ernsthafte Studie mit echten Menschen? Das kann 300.000 $ oder mehr kosten. Zudem dauert es Monate, die richtigen Leute zu finden, die Genehmigung der Ethikkommissionen einzuholen und die Tests durchzuführen. Es ist der Unterschied zwischen dem Zeichnen eines Bildes von einem Kuchen und dem tatsächlichen Backen eines riesigen Kuchens für eine Party.
2. Die Mentor-Mauer: Viele junge Forscher wollen mit echten Menschen arbeiten, aber ihre Chefs (Mentoren) sagen ihnen, sie sollen es nicht tun. Das Paper erzählt Geschichten von Studenten, deren Berater sagten: „Mach das nicht, das ist keine ‚echte‘ Wissenschaft“ oder „Bleib einfach beim Code“. Dies führt dazu, dass junge Wissenschaftler Angst davor haben, menschliche Forschung zu betreiben, weil sie glauben, dass es ihrer Karriere schaden könnte.
3. Die „Chaotische Daten“-Mauer: Technische Forscher finden menschliche Daten oft frustrierend. Menschen antworten nicht immer auf die gleiche Weise auf Fragen. Sie lügen, sie werden müde oder sie sagen etwas Seltsames. Für einen Informatiker, der perfekte Zahlen liebt, fühlt sich das wie ein Fehler im System an. Aber die Autoren argumenten, dass genau dieses „Chaos“ der wichtigste Teil der Daten ist, weil es das echte Leben widerspiegelt.

Die Lücke zwischen „Wollen“ und „Tun“

Die Forscher befragten 93 Experten und interviewten 17 von ihnen ausführlich. Sie fanden eine riesige Lücke. Fast alle sagten, dass sie mehr Forschung mit Menschen betreiben wollten. Sie stimmten zu, dass es wertvoll sei. Aber wenn man sich ansah, was die Menschen tatsächlich taten, waren die Zahlen viel niedrower.

Es ist wie in einem Fitnessstudio, in dem alle sagen: „Ich möchte unbedingt fit werden und Gewichte heben“, aber wenn man sich die Geräte ansieht, hebt niemand etwas. Sie lesen nur Bücher über Gewichte. Die technische Gruppe war am wenigsten bereit, die Gewichte zu heben; sie bevorzugten die Bücher (Simulationen).

Was sollten wir tun?

Das Paper zeigt nicht nur das Problem auf, sondern bietet auch einige Ideen zur Lösung an:

• Stoppt das „Human-Washing“: Wir müssen sicherstellen, dass wir Menschen, wenn wir sie einbeziehen, auch richtig einbeziehen. Wir müssen ihre Zeit respektieren und auf das hören, was sie sagen, anstatt sie nur als Requisite zu benutzen.
• Ändert das Geld: Förderorganisationen (diejenigen, die Gelder verteilen) müssen erkennen, dass die Forschung mit Menschen teurer ist. Sie sollten mehr Geld für diese Projekte bereitstellen, damit sie nicht an den hohen Kosten scheitern.
• Mischt die Teams: Wir brauchen mehr Teams, in denen die Code-Zauberer und die Menschen-Experten von Anfang an zusammenarbeiten. Momentan arbeiten sie oft in getrennten Räumen. Die Autoren schlagen vor, dass ein technischer Forscher, der eine sichere KI bauen will, mit einem soziotechnischen Forscher sprechen muss, der versteht, wie Menschen sich tatsächlich verhalten.

Das Fazente

Dieses Paper legt nahe, dass das Feld der KI-Sicherheit derzeit zu sehr auf perfekte Computermodelle und zu wenig auf die chaotische, reale Welt der Menschen fokussiert ist. Während Simulationen nützlich sind, können sie die Wahrheit, die nur durch das Gespräch mit echten Menschen entsteht, nicht ersetzen. Wenn wir eine KI bauen wollen, die wirklich sicher ist, müssen wir aufhören, Menschen wie Variablen in einer mathematischen Gleichung zu behandeln, und anfangen, sie als Experten für ihr eigenes Leben zu behandeln.

Die Autoren sagen nicht, dass Simulationen schlecht sind; sie sagen, dass es riskant ist, sich nur auf Simulationen zu verlassen – das ist, als würde man versuchen, das Schwimmen zu lernen, indem man ein Buch über Wasser liest. Man muss nass werden. Und im Moment bleibt die KI-Sicherheitsgemeinschaft meistens trocken, liest die Bücher und hofft, dass das Wasser sicher ist.