Retrofitters, pragmatists and activists: Public interest litigation for accountable automated decision-making

Diese Studie untersucht, wie öffentliche Interessenklagen in Australien durch die pragmatische Anpassung bestehender Gesetze („Retrofitting") zur Rechenschaftspflicht bei automatisierten Entscheidungssystemen beitragen, und identifiziert dabei sowohl strategische Ansätze als auch notwendige institutionelle Rahmenbedingungen.

Das Wesentliche

🛠️ Die Bastler, die Pragmatiker und die Aktivisten: Wie man gegen unsichtbare Roboter-Gerichte vorgeht

Stellen Sie sich vor, Sie bekommen einen Brief vom Staat: „Sie schulden uns Geld." Aber Sie haben gar kein Geld bekommen, und der Brief wurde von einem Computer geschrieben, der einen Fehler gemacht hat. Das ist passiert mit dem berüchtigten „Robodebt"-Skandal in Australien. Tausende Menschen wurden zu Unrecht beschuldigt, weil ein Algorithmus (ein Computerprogramm) ihre Daten falsch berechnet hat.

Dieser Artikel fragt: Was können wir tun, wenn Gesetze veraltet sind und Computer entscheiden?

Die Autoren haben mit Anwälten, Aktivisten und Experten gesprochen. Ihre Antwort ist ein Mix aus drei Gruppen:

1. Die Retrofitter (Bastler): Sie nehmen alte Werkzeuge und passen sie an neue Probleme an.
2. Die Pragmatiker: Sie schauen nicht auf das, was sein sollte, sondern auf das, was jetzt funktioniert.
3. Die Aktivisten: Sie nutzen Gerichte als Bühne, um die Öffentlichkeit zu wecken.

Hier ist die Geschichte, einfach erklärt:

1. Das Problem: Der veraltete Werkzeugkasten 🧰

Stellen Sie sich das australische Rechtssystem wie einen Werkzeugkasten aus dem Jahr 1950 vor. Darin gibt es Hammer, Schraubenzieher und Zangen. Aber heute müssen wir ein hochmodernes, unsichtbares Roboter-Netzwerk reparieren, das über unsere Köpfe entscheidet (z. B. wer einen Job bekommt oder wer Sozialhilfe erhält).

Das Problem: Es gibt keine neuen Werkzeuge für Roboter. Die Gesetze wurden geschrieben, bevor es künstliche Intelligenz (KI) gab.

• Die Lösung der „Retrofitter": Anwälte müssen den alten Schraubenzieher nehmen und versuchen, damit das Roboter-Netzwerk zu lösen. Sie nennen das „Retrofitting". Sie sagen: „Okay, wir haben kein Gesetz gegen KI-Diskriminierung, aber wir haben ein Gesetz gegen Diebstahl von Eigentum. Der Computer hat uns unser Geld gestohlen – also nutzen wir das Diebstahl-Gesetz!"

2. Die Strategie: Wenn man verliert, um zu gewinnen 🏆

Oft denken Leute: „Ein Prozess muss gewonnen werden, um nützlich zu sein." Die Aktivisten im Artikel sagen: Falsch.

Manchmal ist es besser, einen Prozess zu verlieren, um ein größeres Ziel zu erreichen.

• Die Analogie: Stellen Sie sich vor, Sie wollen, dass eine Stadt eine neue Ampel baut. Sie klagen die Stadt an, weil sie keine Ampel hat. Der Richter sagt: „Die Stadt ist nicht verpflichtet, eine Ampel zu bauen." Sie verlieren den Prozess.
• Aber: Durch den Prozess wird die ganze Stadt aufmerksam. Die Medien berichten: „Oh, die Stadt baut keine Ampeln!" Die Politiker müssen handeln und bauen die Ampel per Gesetz.
• Der Punkt: Der Prozess war nur der Funke, der das Feuer der öffentlichen Meinung entfacht hat. Das Ziel war nicht das Urteil, sondern die Änderung der Regeln.

3. Die Hürden: Warum es so schwer ist 🚧

Es gibt drei große Mauern, die den Weg versperren:

• Die Geldmauer (Kosten): Gerichtsverfahren sind teuer. Wenn man verliert, muss man oft die Anwaltskosten des Gegners zahlen. Das ist wie ein Wettkampf, bei dem Sie eine Wette eingehen müssen, die Sie sich gar nicht leisten können. Viele arme Menschen, die von KI-Systemen betroffen sind, trauen sich gar nicht, zu klagen.
• Die Unsichtbarkeitsmauer (Transparenz): KI-Systeme sind wie Black Boxes (schwarze Kisten). Niemand weiß genau, wie sie entscheiden. Wenn ein Computer sagt: „Du bekommst keinen Kredit", kann man oft nicht herausfinden, warum. Ohne diesen „Blick in die Kiste" kann man vor Gericht nicht beweisen, dass etwas falsch läuft.
• Die System-Mauer: Das Rechtssystem ist darauf ausgelegt, einen einzelnen Menschen zu helfen (z. B. „Herr Müller hat 100 Dollar zu viel gezahlt"). Aber KI macht oft systemische Fehler (z. B. „Tausende Frauen bekommen weniger Geld"). Das Gericht sieht oft nur den einzelnen Fall, nicht das große Bild.

4. Der Weg nach vorne: Ein Ökosystem bauen 🌳

Der Artikel sagt: Wir können nicht nur auf neue Gesetze warten (die vielleicht nie kommen). Wir müssen ein Ökosystem aufbauen, das funktioniert wie ein gut organisiertes Dorf:

• Netzwerke: Anwälte, Wissenschaftler und Betroffene müssen sich austauschen. Wie bei einem „Hackathon" (einem Treffen, um gemeinsam Lösungen zu coden), müssen sie gemeinsam neue Rechtsstrategien entwickeln.
• Förderung: Wir brauchen Geldgeber, die bereit sind, Risiken einzugehen, ähnlich wie Investoren in Start-ups.
• Transparenz: Wir brauchen Regeln, die zwingen, dass die „Black Box" geöffnet wird. Nur wenn wir sehen, wie der Algorithmus tickt, können wir ihn angreifen.

Fazit: Der Kampf gegen die unsichtbaren Richter

Der Artikel ist eine Art Bauanleitung für Mut. Er sagt:
Ja, das Rechtssystem ist veraltet und die Computer sind mächtig. Aber wir müssen nicht aufgeben. Wir müssen kreativ sein wie Bastler, pragmatisch wie Handwerker und laut wie Aktivisten.

Wir müssen alte Gesetze so lange umbauen und anpassen, bis sie auch für die digitale Welt passen. Und wir müssen uns gegenseitig unterstützen, denn allein ist man gegen einen riesigen Algorithmus machtlos. Zusammen können wir die „Black Box" öffnen und sicherstellen, dass die Technologie dem Menschen dient – und nicht umgekehrt.

Kurz gesagt: Wenn die Gesetze nicht zu den Maschinen passen, passen wir die Gesetze (und unsere Taktiken) an die Maschinen an – aber nur, um den Menschen zu schützen.

Technische Zusammenfassung

1. Problemstellung (Problem)

Das Papier adressiert die wachsende Herausforderung der Rechenschaftspflicht (Accountability) für automatisierte Entscheidungsfindung (ADM) und Künstliche Intelligenz (KI) in Australien. Trotz bekannter Fälle von algorithmischem Schaden (z. B. das „Robodebt"-Skandal-System, SyRI in den Niederlanden, MiDAS) fehlt es an einer effektiven regulatorischen Antwort.

• Regulatorische Lücke: Die Entwicklung neuer, spezifischer Gesetze für ADM (wie die vorgeschlagenen „mandatory guardrails" in Australien) stößt auf politische und geopolitische Hindernisse (z. B. Deregulierungstendenzen in den USA und deren Einfluss auf andere Jurisdiktionen).
• Rechtliche Unsicherheit: Das bestehende australische Rechtssystem ist nicht für die spezifischen Merkmale von ADM (Opazität, Skalierbarkeit, systemische Verzerrungen) ausgelegt. Es fehlt an einer föderalen Charta der Menschenrechte, und bestehende Gesetze (z. B. Antidiskriminierungsgesetze) basieren oft auf veralteten Modellen menschlicher Voreingenommenheit, die sich schlecht auf algorithmische Systeme übertragen lassen.
• Zugangsbarrieren: Betroffene Gruppen sind oft marginalisiert und haben Schwierigkeiten, rechtliche Schritte einzuleiten, aufgrund hoher Kosten, des Risikos von Kostenordnungen (adverse costs orders) und mangelnder technischer Transparenz der Systeme.

2. Methodik (Methodology)

Die Studie nutzt einen angewandten sozialwissenschaftlichen Ansatz im Geiste der „Action Research" (Handlungsforschung), um praktische Lösungen für das Problem der ADM-Verantwortlichkeit zu entwickeln.

• Datenerhebung: Es wurden halbstrukturierte Interviews mit 20 Teilnehmenden durchgeführt.
• Probanden: Die Stichprobe umfasste eine breite Palette von Akteuren im australischen Rechts- und Technologieumfeld, einschließlich Anwälte für öffentliche Interessen (Public Interest Litigators), Technologie-Politik-Aktivisten, Technologie-Juristen, Wissenschaftler und Vertreter von Verbraucherschutzorganisationen (z. B. CHOICE, Digital Rights Watch).
• Rekrutierung: Die Teilnehmer wurden über die Netzwerke der Autoren (ARC Centre of Excellence for Automated Decision-Making and Society) sowie durch Schneeballverfahren rekrutiert.
• Analyse: Die Interviews wurden qualitativ mittels thematischer Analyse (Thematic Analysis) ausgewertet. Die Kodierung konzentrierte sich auf Themen wie Herausforderungen, Chancen, Barrieren und fördernde Faktoren (Enablers) für die öffentliche Interessenklage.

3. Hauptbeiträge (Key Contributions)

Das Papier leistet einen wesentlichen Beitrag, indem es die pragmatischen Strategien und Taktiken von Rechtsakteuren aggregiert und strukturiert, die ADM-Harmen durch bestehende Gesetze bekämpfen.

• Konzept des „Legal Retrofitting": Das Paper führt den Begriff des „Retrofitting" (Nachrüstung) ein. Da es keine perfekten neuen Gesetze gibt, passen Anwälte alte Rechtsgrundsätze (Common Law, veraltete Gesetze) an neue technologische Umstände an. Dies wird als notwendige, pragmatische Strategie beschrieben, um Lücken im Rechtssystem zu schließen.
• Ökosystem-Perspektive: Es positioniert die öffentliche Interessenklage nicht als isoliertes Instrument, sondern als integralen Teil eines größeren Ökosystems aus Transparenz, Advocacy, Forschung und politischem Aktivismus.
• Strategische Taktiken: Das Papier dokumentiert konkrete juristische Taktiken, wie z. B. das „Bolt-on"-Prinzip (Hinzufügen von öffentlichen Interessen-Argumenten zu privaten Klagen) und die strategische Auswahl von Klagegründen, die finanzielle Anreize für Prozessfinanzierer bieten (z. B. Schadensersatzforderungen), um die Finanzierung zu sichern.

4. Ergebnisse (Results)

Die Analyse der Interviews ergab folgende zentrale Erkenntnisse:

• Rolle der Klage: Die öffentliche Interessenklage dient verschiedenen Zwecken:
  • Rechtsdurchsetzung: Erinnerung an Akteure, dass sie nicht über dem Gesetz stehen.
  • Rechtsentwicklung: Testen der Grenzen bestehender Gesetze, um neue Präzedenzfälle zu schaffen (z. B. im Bereich Vertraulichkeit/Breach of Confidence).
  • Advocacy: Auch ein „Verlust" vor Gericht kann erfolgreich sein, wenn er die Notwendigkeit gesetzlicher Reformen öffentlich macht und politischen Druck erzeugt.
• Pragmatismus vs. Idealismus: Die meisten Befragten sind pragmatisch. Sie nutzen verfügbare Werkzeuge (wie das Delikt der Fahrlässigkeit oder Vertraulichkeitsverletzung), die eher finanzielle Entschädigungen ermöglichen, da dies für Prozessfinanzierer attraktiv ist.
• Grenzen der Klage:
  • Systemische Schäden: Das Rechtssystem ist besser geeignet für individuelle, konkrete Schäden als für kollektive, systemische Schäden (z. B. algorithmische Diskriminierung).
  • Beweislast: Die Intransparenz von Algorithmen („Black Box") und das Phänomen der „Technologie-Deferenz" (Gerichte vertrauen Computern blind) erschweren die Beweisführung.
  • Zugang: Hohe Kosten und das Risiko von Gegenkostenordnungen schrecken potenzielle Kläger ab, insbesondere marginalisierte Gruppen.
• Notwendige Enabler (Förderfaktoren): Für eine effektive Klage sind drei Bedingungen essenziell:
  1. Transparenz: Umfassende Transparenz über den Lebenszyklus von ADM-Systemen (von Design bis Entscheidung), um Beweise zu sammeln.
  2. Netzwerke: Aufbau von Netzwerken zur Informationsaggregation (z. B. durch Beschwerde-Plattformen, „Hackathons" zwischen Juristen und Technikern), um Muster von Missbrauch zu erkennen.
  3. Finanzierung: Reform des Kostenrechts (z. B. Schutz vor Gegenkostenordnungen für öffentliche Interessenklagen) und bessere Finanzierung der Zivilgesellschaft.

5. Bedeutung und Implikationen (Significance)

Das Paper ist von großer Bedeutung für mehrere Zielgruppen:

• Für die Rechtspraxis: Es bietet einen „Leitfaden" für Anwälte, wie sie bestehende, oft unzureichende Gesetze kreativ nutzen können, um gegen ADM vorzugehen, anstatt auf neue Gesetze zu warten.
• Für die Politik: Es unterstreicht die Dringlichkeit, regulatorische Reformen (wie die „mandatory guardrails") endlich umzusetzen, da die Selbstregulierung und nachträgliche Klagen allein nicht ausreichen.
• Für die Gesellschaft: Es zeigt auf, dass ohne Transparenz und finanzielle Unterstützung für die Zivilgesellschaft die Machtungleichheit zwischen Technologieunternehmen/Staat und Bürgern bestehen bleibt.
• Theoretischer Beitrag: Das Paper verschiebt den Fokus von rein technokratischen Lösungen hin zu einer soziotechnischen Perspektive, die die Rolle des Rechts als dynamischen, aber limitierten Mechanismus in einem komplexen politischen Umfeld anerkennt.

Fazit: Das Papier argumentiert, dass öffentliche Interessenklagen in Australien zwar notwendig, aber allein nicht ausreichend sind. Sie müssen als Teil einer breiteren Strategie verstanden werden, die Transparenz, Netzwerkbildung und politische Advocacy kombiniert, um algorithmische Ungerechtigkeiten zu bekämpfen, solange spezifische Regulierungen noch ausstehen.