Opening the Black Box or Responding to Demands? Rethinking and Reconstructing the European Standard of Algorithmic Explanation

In der modernen Welt treffen Computer unzählige Entscheidungen, die unser tägliches Leben prägen, von der Frage, ob wir einen Kredit erhalten, bis hin zur Entscheidung, welche Nachrichten wir zu sehen bekommen. Jahrzehntelang galt die Vorstellung, dass wir, wenn ein Computer eine Wahl trifft, ihn dazu bringen sollten, seinen Rechenweg aufzuzeigen, ganz so wie ein Schüler, der seine Hausaufgaben vorlegt, um zu beweisen, dass das Ergebnis korrekt ist. Dieses Konzept wird als algorithmische Erklärung bezeichnet und ist ein Eckpfeiler der Datenschutzgesetze in der Europäischen Union und anderen Regionen. Das Gesetz geht davon aus, dass eine Person, die von einer automatisierten Entscheidung betroffen ist, ein Recht darauf hat, die dahinterstehende Logik zu verstehen. Ein erhebliches Problem ist jedoch entstanden: Die Computer, die diese Entscheidungen treffen, haben sich verändert. Die alten Systeme folgten klaren, schrittweisen Regeln, die leicht nachvollziehbar waren. Die heutigen leistungsfähigsten Systeme, die oft als neuronale Netze bezeichnet werden, lernen aus riesigen Mengen an Daten auf eine Weise, die so komplex und miteinander vernetzt ist, dass selbst ihre Schöpfer nicht jeden internen Schritt vollständig abbilden können. Dies führt zu einer „Black Box“-Situation, in der die Eingabe hineingeht und eine Entscheidung herauskommt, der Pfad dazwischen jedoch verborgen bleibt. Wenn das Gesetz verlangt, das Innere einer Box zu sehen, die die Technologie nicht vollständig öffnen kann, bricht das System zusammen, was zu Verwirrung, rechtlicher Umgehung und einem Verlust an Vertrauen führt.

Ein Forscher namens Feng Zhi, der an der School of Artificial Intelligence and Law in Chongqing, China, arbeitet, hat einen neuen Weg vorgeschlagen, um diesen Stillstand zu lösen. Anstatt zu versuchen, eine Black Box gewaltsam zu öffnen, die nicht geöffnet werden kann, legt die Studie nahe, dass wir aufhören sollten, nach der internen Mechanik zu fragen, und statfangen sollten, Fragen zu stellen, die denjenigen entsprechen, die die Verantwortung tragen und die tatsächlich beantworten können. Der Kernbefund dieser Arbeit ist, dass wir die Forderung nach einer Erklärung in zwei verschiedene Zeitpunkte aufteilen müssen, basierend darauf, wer die Kontrolle über das Computersystem hat. Der erste Zeitpunkt ist, wenn das System gebaut und eingerichtet wird; der zweite Zeitpunkt ist, wenn das System tatsächlich eine Entscheidung für eine bestimmte Person trifft. Durch die Trennung dieser beiden Phasen argumentiert der Autor, dass wir die unmögliche Forderung, den Code einzusehen, durch praktische Anforderungen ersetzen können, die ebenso effektiv beim Schutz der Rechte der Menschen sind.

Das Paper argumentiert, dass der derzeitige Ansatz, der versucht, unterschiedliche Detaillierungsgrade je nach Fragesteller bereitzustellen, scheitert, weil er immer noch dieselbe unmögliche technische Leistung erfordert: in die Black Box hineinzublicken. Unabhängig davon, ob ein Nutzer eine einfache oder eine komplexe Frage stellt, muss der Computer seine interne Logik offenlegen, um sie zu beantworten, was er oft nicht tun kann, ohne an Genauigkeit zu verlieren oder Geschäftsgeheimnisse preiszugeben. Eine weitere gängige Idee ist es, dem System einfach zu vertrauen, wenn es sicher erscheint oder wenn die Menschen, die es gebaut haben, qualifiziert sind. Der Autor lehnt dies ebenfalls ab und weist darauf hin, dass ein System von guten Menschen gebaut werden kann und später dennoch schlechte Entscheidungen treffen kann, oder dass das Vertrauen in den Erbauer nicht erklärt, warum einer spezifischen Person ein Kredit verweigert wurde. Die Studie legt nahe, dass die bloße Überprüfung, ob das Endergebnis im Nachhinein angefochten werden kann, ebenfalls unzureichend ist, da zu diesem Zeitpunkt der Schaden bereits eingetreten und unumkehrbar sein könnte.

Um dies zu beheben, führt das Paper einen Rahmen ein, der auf „temporalen Knoten“ basiert, bei denen es sich schlicht um die spezifischen Zeitpunkte handelt, an denen verschiedene Personen die Zügel der Kontrolle halten. Die erste Stufe ist die „Verhaltensphase“. Diese findet statt, bevor das System jemals in der Öffentlichkeit eingesetzt wird. Während dieser Zeit haben die Entwickler und die Unternehmen, die das System einsetzen, die volle Kontrolle. Sie entscheiden, welche Daten verwendet werden, wie das Modell trainiert wird und welche Sicherheitsmaßnahmen getroffen werden. Da sie die Kontrolle haben, sollte die Forderung nach einer Erklärung in dieser Phase nicht die endgültige Entscheidung betreffen, sondern das Risiko. Die Studie schlägt vor, dass diese Akteure anstatt den Code zu zeigen, dazu verpflichtet werden sollten, detaillierte Erklärungen darüber einzureichen, wie sie die Risiken bewertet und welche Schritte sie unternommen haben, um Schäden zu verhindern. Sie müssen auch ein Protokoll der Aktivitäten des Systems führen. Dies verschiebt den Fokus von „Wie funktioniert die Mathematik?“ zu „Haben Sie Ihren Job gemacht, um sicherzustellen, dass dies sicher ist?“. Sollte später ein Problem auftreten, ermöglichen diese Aufzeichnungen den Regulierungsbehörden, zurückzuverfolgen und zu sehen, ob die Schöpfer die Regeln befolgt haben, wodurch die Verantwortung effektiv zugewiesen wird, ohne die unverständliche Mathematik verstehen zu müssen.

Die zweite Stufe ist die „Ergebnisfase“. Dies ist der Zeitpunkt, an dem das System läuft und Entscheidungen trifft, die echte Menschen betreffen. Zu diesem Zeitpunkt haben die Entwickler die Kontrolle verloren; das System reagiert in Echtzeit auf neue Daten. Hier ändert sich die Forderung nach einer Erklärung. Das Ziel ist nicht mehr die Überprüfung der Risikokontrollen, sondern der Aufbau von Vertrauen in das Ergebnis. Das Paper legt nahe, dass Menschen nicht die komplexe interne Logik verstehen müssen, um einer Entscheidung zu vertrauen; sie müssen wissen, ob die Entscheidung im Einklang mit der allgemeinen menschlichen Erfahrung steht. Wenn beispielsweise ein Kreditsystem einen Kredit verweigert, muss der Nutzer nicht die Gewichte eines neuronalen Netzes kennen; er muss wissen, ob die Entscheidung mit dem übereinstimmt, was die Gesellschaft allgemein als fair betrachtet, wie etwa Einkommensniveau oder Schuldenquoten. Die Studie schlägt vor, dass Unternehmen diese allgemeinen sozialen Regeln veröffentlichen sollten, damit Menschen die Entscheidung mit ihnen vergleichen können. Wenn eine Entscheidung von dem abweicht, was der gesunden Menschenverstand suggerieren würde, muss das System eine menschliche Überprüfung auslösen. Eine reale Person muss dann den Fall prüfen und eine klare, begründete Erklärung dafür liefern, warum die ungewöhnliche Entscheidung getroffen wurde.

Dieser Ansatz fordert nicht weniger Schutz; er fordert eine andere Art von Schutz, die tatsächlich lieferbar ist. Indem wir die Forderung, den internen Code zu sehen, durch eine Forderung nach Risikoprotokollen und eine Forderung nach Übereinstimmung mit dem gesunden Menschenverstand ersetzen, kann das System funktionieren, ohne zu brechen. Der Autor stellt fest, dass dies keine neue Erfindung ist, sondern eine Reorganisation bestehender rechtlicher Instrumente, wie etwa der Verpflichtung von Unternehmen, Aufzeichnungen über ihre Verarbeitungstätigkeiten zu führen. Die Studie betont, dass diese Methode die Realität moderner Technologie respektiert und gleichzeitig das rechtliche Versprechen der Rechenschaftspflicht erfüllt. Sie lenkt die Diskussion weg von der unmöglichen Aufgabe, die Black Box zu öffnen, hin zur praktischen Aufgabe, sicherzustellen, dass diejenigen, die diese Systeme bauen und nutzen, für ihr Handeln verantwortlich sind und dass die Ergebnisse, die sie produzieren, für die Menschen, die mit ihnen leben, Sinn ergeben. Die Forschung kommt zu dem Schluss, dass dieser Perspektivwechsel notwendig ist, um den praktischen Wert der algorithmischen Erklärung wiederherzustellen und sicherzustellen, dass das Recht in einem Zeitalter intelligenter Maschinen relevant bleibt.