🤖 machine learning

Unequal Uncertainty: Rethinking Algorithmic Interventions for Mitigating Discrimination from AI

Dieses Papier liefert die erste dogmatische Analyse von auf Unsicherheit basierenden KI-Interventionen unter britischem Recht und zeigt auf, dass sowohl selektive Enthaltung als auch selektive Reibung Diskriminierungsrisiken bergen, wobei selektive Reibung rechtlich vorzuziehen ist, da sie den Zugang zu Vorhersagen bewahrt und die Anforderungen an die Verhältnismäßigkeit besser erfüllt, wenngleich ihre Auswirkungen auf die Entscheidungsqualität kontextabhängig bleiben.

Ursprüngliche Autoren: Holli Sargeant, Mackenzie Jorgensen, Arina Shah, Sam Goring, Adrian Weller, Umang Bhatt

Veröffentlicht 2026-07-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Holli Sargeant, Mackenzie Jorgensen, Arina Shah, Sam Goring, Adrian Weller, Umang Bhatt

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen einen sehr intelligenten, aber manchmal unsicheren Roboter-Assistenten ein, der Ihnen helfen soll, wichtige Entscheidungen zu treffen, wie etwa die Genehmigung eines Bankkredits oder die Festlegung eines Strafmaßes für einen Kriminellen. Der Roboter ist gut in Mathematik, hat aber einen „Konfidenz-Meter“ (ein Maß für seine Zuversicht). Manchmal ist er sich einer Antwort zu 100 % sicher. Ein anderes Mal rät er nur, und sein Konfidenz-Meter wackelt.

Dieses Paper stellt eine große Frage: Was sollen wir tun, wenn der Roboter unsicher ist?

Die Autoren untersuchen zwei gängige Wege, wie Menschen versuchen, mit dieser „Roboter-Unsicherheit“ umzugehen, und erklären, warum einer davon viel sicherer und fairer ist, insbesondere unter britischem Recht.

Die zwei Ansätze: „Den Ball verstecken“ vs. „Eine gelbe Flagge schwenken“

Das Paper vergleicht zwei Strategien für den Umgang mit der unsicheren Konfidenz des Roboters:

1. Selektive Enthaltung (Die „Den Ball verstecken“-Strategie)

Wie es funktioniert: Wenn der Konfidenz-Meter des Roboters zu niedrig ist (er ist sich sehr unsicher), versteckt das System die Antwort des Roboters komplett. Es sagt dem Menschen: „Ich weiß es nicht, finden Sie es selbst heraus.“
Die Analogie: Stellen Sie sich einen Lehrer vor, der eine Prüfung bewertet. Wenn der Lehrer sieht, dass der Roboter bei einer Frage unsicher ist, wirft der Lehrer die Antwort des Roboters in den Müll und sagt: „Du, Mensch, bewerte diese Frage selbst, ohne Hilfe.“
Das Problem: Das Paper argumentiert, dass dies ein ungleiches „Zwei-Spuren-System“ schafft. Da es in den Daten, mit denen der Roboter trainiert wurde, historische Vorurteile gibt, erhalten bestimmte Gruppen von Menschen (wie Minderheiten oder Frauen) oft häufiger „wackelige“ Antworten.
- Das Ergebnis: Menschen aus diesen Gruppen werden auf die „Machen-Sie-es-selbst“-Spur geschickt, wo sie mit langsamerer Bearbeitung und menschlichen Richtern konfrontiert sind, die voreingenommen sein könnten. Menschen aus anderen Gruppen erhalten die schnelle, konsistente Roboter-Antwort. Es ist, als würde man einer Gruppe eine Karte geben und der anderen Gruppe sagen: „Finden Sie Ihren Weg selbst heraus.“

2. Selektive Reibung (Die „Gelbe Flagge“-Strategie)

Wie es funktioniert: Das System zeigt immer die Antwort des Roboters an, aber wenn der Roboter unsicher ist, setzt es eine große gelbe Warnflagge daneben. Es sagt: „Hier ist die Antwort, aber seien Sie vorsichtig, ich bin mir bei dieser einen nicht 100 % sicher.“
Die Analogie: Der Lehrer zeigt die Antwort des Roboters immer noch an, klebt aber einen leuchtend gelben Klebezettel darauf, auf dem steht: „Vorsicht: Der Roboter rät hier!“ Der Mensch muss zwar immer noch die endgültige Entscheidung treffen, hat aber alle Informationen und eine Warnung, um zweimal nachzudenken.
Der Vorteil: Alle erhalten denselben Prozess. Niemand wird aus der „Roboter-unterstützten“ Spur geworfen. Der Mensch wird daran erinnert, seinen eigenen Verstand zu benutzen, aber er verliert nicht die Hilfe des Roboters.

Warum ist das wichtig? (Die rechtliche Seite)

Die Autoren untersuchen das britische Recht (speziell den Equality Act 2010), um zu sehen, ob diese Methoden legal sind.

Die „Den Ball verstecken“-Methode ist riskant. Selbst wenn die Regel neutral klingt („Wir verstecken Antworten, wenn der Roboter unsicher ist“), schadet sie letztlich bestimmten Gruppen mehr, weil diese Gruppen häufiger „unsichere“ Antworten erhalten. Das Paper argumentiert, dass dies indirekte Diskriminierung ist. Es ist wie eine Regel, die besagt: „Niemand mit langen Haaren darf den Aufzug benutzen“, was neutral klingen mag, aber tatsächlich eine bestimmte Gruppe ins Visier nimmt.
Die „Gelbe Flagge“-Methode ist rechtlich sicherer. Sie behandelt alle Menschen gleich (jeder erhält die Antwort + eine Flagge). Zwar ist es immer noch möglich, dass ein Mensch eine voreingenommene Entscheidung trifft, nachdem er die Flagge gesehen hat, aber das System selbst schafft keine separate, unfaire Spur für bestimmte Menschen. Es ist wahrscheinlicher, dass es den rechtlichen Test der „Verhältnismäßigkeit“ (fair und notwendig) besteht.

Der menschliche Faktor: Werden die Leute wirklich zuhören?

Das Paper warnt auch davor, dass allein das Vorhandensein einer gelben Flagge keine perfekte Lösung garantiert.

Das „Stempel“-Problem: Menschen sind oft faul oder übermäßig selbstbewusst. Sie sehen die gelbe Flagge, ignorieren sie und kopieren einfach die Antwort des Roboters.
Das „Überkorrektur“-Problem: Manchmal sehen Menschen eine gelbe Flagge und werden deshalb vorsichtig, lehnen dann aber die Antwort des Roboters ab, selbst wenn diese eigentlich richtig war. Dies kann genau den Menschen schaden, die das System eigentlich schützen wollte.

Das Paper kommt jedoch zu dem Schluss, dass Selektive Reibung (die Gelbe Flagge) dennoch die bessere Wahl ist. Sie hält den Menschen mit allen Informationen im Prozess, während „Den Ball verstecken“ die Information überhaupt erst entfernt, was ein größerer Verlust ist.

Das Wesentliche

Das Paper sagt nicht, dass KI perfekt ist oder Menschen perfekt sind. Es sagt:

Verstecken Sie die Antworten des Roboters nicht, nur weil er unsicher ist. Das schafft ein ungleiches System, in dem manche Menschen zurückgelassen werden.
Zeigen Sie die Antwort mit einer Warnung an. Lassen Sie den Menschen die Vermutung des Roboters und die Warnflagge sehen, damit er eine klügere, fairere Entscheidung treffen kann.
Achten Sie auf Voreingenommenheit. Selbst mit einer Warnflagge könnten Menschen immer noch unfaire Entscheidungen treffen, daher müssen wir weiter untersuchen, wie Menschen tatsächlich auf diese Flaggen reagieren.

Kurz gesagt: Werfen Sie das Baby (die Hilfe des Roboters) nicht mit dem Badewasser (der Unsicherheit) weg. Stattdessen kleben Sie ein Warnschild auf das Baby und lassen Sie das menschliche Elternteil entscheiden.

Technisches Resümee: Ungleiche Unsicherheit: Überdenken algorithmischer Interventionen zur Milderung von Diskriminierung durch KI

1. Problemstellung

Die Arbeit befasst sich mit den rechtlichen und ethischen Risiken, die mit der prädiktiven Unsicherheit in Systemen der Künstlichen Intelligenz (KI) verbunden sind, wenn diese in hochsensiblen Entscheidungsprozessen (z. B. Konsumkreditwesen oder Strafjustiz) eingesetzt werden. Während Machine-Learning-Modelle (ML) oft eine ähnliche aggregierte Performance aufweisen, ist die prädiktive Unsicherheit häufig ungleichmäßig über demografische Gruppen verteilt und konzentriert sich oft auf unterrepräsentierte Bevölkerungsschichten aufgrund von Datensparsamkeit oder historischer Voreingenommenheit (Bias).

Der Kern des Problems liegt darin, wie diese Unsicherheit verwaltet werden kann, ohne Diskriminierung zu verschärfen. Die Autoren analysieren zwei gängige algorithmische Interventionen, die als „Leitplanken“ für die Mensch-KI-Interaktion dienen sollen:

Selektive Enthaltung (Selective Abstention): Das Zurückhalten von Modellvorhersagen gegenüber menschlichen Entscheidungsträgern, wenn die Unsicherheit einen Schwellenwert überschreitet, wodurch eine Entscheidung allein auf Basis ungestützter menschlicher Urteilskraft erzwungen wird.
Selektive Reibung (Selective Friction): Das Vorlegen der Modellvorhersage gegenüber dem menschlichen Entscheidungsträger, jedoch mit einer Warnung (z. B. einer „gelben Flagge“) versehen, wenn die Unsicherheit hoch ist, was zur Reflexion anregt, ohne die Vorhersage zu entfernen.

Das Papier argumentiert, dass diese Interventionen, obwohl sie darauf abzielen, Fehler zu mindern, unbeabsichtigt rechtswidrige Diskriminierung nach britischem (UK) Recht verursachen können, insbesondere indem sie prozedale Asymmetrien schaffen, bei denen unterrepräsentierte Gruppen überproportional einer ungestützten menschlichen Beurteilung oder voreingenommenen Übersteuerungen (Overrides) ausgesetzt sind.

2. Methodik

Die Autoren verwenden eine hybride Methodik, die formale technische Definitionen mit rechtlicher Dogmatik und Fallstudienanwendungen kombiniert.

2.1 Formale Definitionen und Annahmen

Aufgabe: Binäre Klassifizierung ( $\hat{y} \in \{0, 1\}$ ), bei der ein Modell $f$ Labels für Eingaben $x$ vorhersagt.
Unsicherheitsmetrik: Die Autoren verwenden die Shannon-Entropie ( $H(\hat{p})$ ), um die prädiktive Unsicherheit zu quantifizieren, wobei $\hat{p}$ die vorhergesagte Wahrscheinlichkeit des Modells ist. Die Entropie beträgt 0 für sichere Vorhersagen und 1 für maximale Unsicherheit ( $\hat{p}=0,5$ ).
Interventionsschwellenwert: Ein Schwellenwert $\tau$ wird so gesetzt, dass eine Intervention ausgelöst wird, wenn $H(\hat{y}) \geq \tau$ .
Kalibrierungsannahme: Es wird davon ausgegangen, dass das Modell auf Populationsebene gut kalibriert ist, aber potenziell schlecht innerhalb spezifischer demografischer Subgruppen kalibriert ist (innerhalb-der-Gruppe Kalibrierungsfehler). Dies führt zu systematischen Unterschieden in den Entropiewerten zwischen den Gruppen.
Menschlicher Entscheidungsträger: Wird als Funktion $r(x)$ (ungestützt) oder $r(x; f(x))$ (gestützt) modelliert. Das Papier geht davon aus, dass Entscheidungsträger kognitive Verzerrungen aufweisen können, wie etwa Automatisierungs-Bias (Übervertrauen) oder unangemessene Übersteuerungen (Overrides).

2.2 Fallstudien

Die Interventionen werden auf zwei spezifische Bereiche angewendet, um die Konsequenzen für betroffene Gruppen zu analysieren:

Konsumkreditwesen: Vorhersage des Ausfallrisikos bei Krediten. Die Studie untersucht, wie sich Enthaltung oder Reibung auf die Kreditgenehmungs-/Ablehnungsraten und die Bearbeitungszeiten für unterrepräsentierte Gruppen auswirkt.
Rückfallrisiko: Vorhersage der Wahrscheinlichkeit von Rückfälligkeit in der Strafjustiz. Die Studie analysiert die Strafmaßnahmen (streng vs. mild) und die Auswirkungen der Pflicht zur Förderung der Gleichstellung im öffentlichen Sektor (Public Sector Equality Duty, PSED).

2.3 Rechtlicher Rahmen

Die Analyse stützt sich auf das britische Recht, insbesondere auf:

Den Equality Act 2010: Analyse von direkter und indirekter Diskriminierung, mit Fokus darauf, ob Interventionen eine „Bereitstellung, ein Kriterium oder eine Praxis“ (Provision, Criterion, or Practice – PCP) darstellen, die geschützte Gruppen in einem besonderen Nachteil benachteiligt.
Die Public Sector Equality Duty (PSED): Verpflichtungen gemäß Sektion 149 für öffentliche Stellen.
Datenschutzrecht: Die UK GDPR und das neu vorgeschlagene Data (Use and Access) Act 2025 (DUAA), insbesondere im Hinblick auf „bedeutsame menschliche Beteiligung“ und ausschließlich automatisierte Entscheidungsfindung.

3. Zentrale Beiträge

Das Papier leistet zwei primäre Beiträge:

Rechtsdogmatische Analyse: Es liefert die erste dogmatische Analyse von unsicherheitsbasierten algorithmischen Interventionen unter britischem Recht. Es zeigt auf, dass formal neutrale Unsicherheitsschwellenwerte diskriminierende Effekte erzeugen können, insbesondere unter dem Rahmen der indirekten Diskriminierung.
Vergleichende Bewertung von Interventionen: Es argumenttiert, dass selektive Reibung (selective friction) rechtlich vorzuziehen ist gegenüber selektiver Enthaltung (selective abstention). Obwohl beide Risiken bergen, bewahrt die Reibung den Zugang zur Modellvorhersage und erfüllt eher den Verhältnismäßigkeitstest, der unter dem Equality Act 2010 erforderlich ist.

4. Ergebnisse und Analyse

4.1 Analyse der selektiven Enthaltung (Selective Abstention)

Mechanismus: Wenn die Unsicherheit hoch ist, wird die Modellvorhersage verborgen und der Mensch trifft eine Entscheidung ohne KI-Unterstützung.
Diskriminierungsrisiko: Da unterrepräsentierte Gruppen oft eine höhere prädiktive Unsicherheit aufweisen (aufgrund von Daten-Bias), werden sie überproportional in „ungestützte“ Entscheidungspfade gelenkt.
Rechtliche Erkenntnis: Dies schafft eine prozedurale Asymmetrie. Antragsteller aus geschützten Gruppen sehen sich längeren Bearbeitungszeiten und der Variabilität individueller menschlicher Urteilskraft gegenüber, während andere standardisierte, KI-gestützte Entscheidungen erhalten. Die Autoren argumenten, dass dies eine indirekte Diskriminierung unter dem Equality Act 2010 darstellt. Es ist schwer als „verhältnismäßig“ zu rechtfertigen, da weniger diskriminierende Alternativen (wie Rekalibrierung oder Reibung) existieren, die die Modellinformationen nicht verwerfen.
Ergebnis: Enthaltung beseitigt das Risiko der Diskriminierung nicht; sie verschiebt die Last der Unsicherheit auf spezifische Gruppen.

4.2 Analyse der selektiven Reibung (Selective Friction)

Mechanismus: Die Modellvorhersage wird immer angezeigt, aber bei hoher Unsicherheit wird die Vorhersage mit einer Warnflagge versehen.
Diskriminierungsrisiko: Das Risiko liegt darin, wie Menschen die Flagge interpretieren. Wenn Entscheidungsträger (z. B. Kreditreferenten oder Richter) unsichere Vorhersagen systematisch in einer Weise übersteuern, die mit geschützten Merkmalen korreliert (z. B. Ablehnung von Krediten für Flag-Antragsteller aus Minderheiten), tritt Diskriminierung ein.
Rechtliche Erkenntnis: Selektive Reibung ist weniger wahrscheinlich als rechtswidrig einzustufen als die Enthaltung. Sie bewahrt den „KI-gestützten“ Charakter der Entscheidung und vermeidet das Zwei-Spuren-System. Sie erfüllt eher die Verhältnismäßigkeitsanforderung, da sie ein weniger restriktives Mittel zur Erreichung des legitimen Ziels der Fehlerminderung ist. Ihre Rechtmäßigkeit hängt jedoch von empirischen Belegen ab, dass sie die Ergebnisse für geschützte Gruppen in der Praxis nicht systematisch verschlechtert.
Menschliche Beteiligung: Unter dem vorgeschlagenen DUAA 2025 kann Reibung die Anforderung einer „bedeutsamen menschlichen Beteiligung“ erfüllen, was Entscheidungen potenziell von strengeren Schutzmaßnahmen gegen automatisierte Entscheidungsfindung ausnimmt. Die Autoren warnen jedoch davor, dass dies zu einer „tokenistischen“ Compliance führen könnte, wenn Menschen die Vorhersage trotz der Flagge einfach nur abnicken („rubber-stamping“).

4.3 Fallstudien-Szenarien

Das Papier skizziert vier Szenarien für sowohl Kreditwesen als auch Strafmaß:

Zustimmung (Unsicher $\to$ Negativ): Der Mensch stimmt einer unsicheren negativen Vorhersage zu. Risiko der Übervertrauen auf ein voreingenommenes Modell.
Übersteuerung (Unsicher $\to$ Negativ): Der Mensch übersteuert eine unsichere positive Vorhersage zu einem negativen Ergebnis. Dies wird als das problematischste Szenario für Diskriminierung identifiziert, da menschliche Voreingenommenheit die (potenziell neutralere) Suggestion des Modells übersteuern kann.
Zustimmung (Unsicher $\to$ Positiv): Der Mensch stimmt einer unsicheren positiven Vorhersage zu.
Übersteuerung (Unsicher $\to$ Positiv): Der Mensch übersteuert eine unsichere negative Vorhersage zu einem positiven Ergebnis. Während dies theoretisch vorteilhaft ist, deutet die empirische Evidenz darauf hin, dass Übersteuerungen unterrepräsentierte Gruppen nicht systematisch begünstigen.

5. Bedeutung und Behauptungen

Das Papier behauptet, als erstes Werk die britische Rechtsdogmatik rigoros auf unsicherheitsbasierte Interventionen angewendet zu haben. Seine zentrale These lautet, dass technische Neutralität (unter Verwendung von Entropieschwellenwerten) keine rechtliche Neutralität garantiert.

Rechtliche Präferenz: Die Autoren kommen zu dem Schluss, dass selektive Reibung die überlegene Designwahl aus Sicht der rechtlichen Compliance ist, da sie die Integrität der Mensch-KI-Kollaboration wahrt und die in der Enthaltung inhärenten prozeduralen Nachteile vermeidet.
Empirische Unsicherheit: Das Papier stellt explizit fest, dass, ob selektive Reibung in der Praxis tatsächlich die Entscheidungsqualität verbessert, eine offene empirische Frage bleibt. Dies hängt von der Schulung der Entscheidungsträger, der Kalibrierung der Unsicherheitsschätzungen und der institutionellen Kultur ab.
Zukünftige Arbeit: Die Autoren identifizieren die Notwendigkeit empirischer Studien dazu, ob Unsicherheits-Flaggen unterschiedliche Übersteuerungsraten über demografische Gruppen hinweg auslösen, sowie technischer Forschung dazu, ob eine gruppenspezifische Kalibrierung die unverhältnismäßigen Auswirkungen dieser Interventionen abmildern kann.

Das Papier behauptet nicht, dass unsicherheitsbasierte Interventionen inhärent rechtswidrig sind, betont jedoch, dass ihre Implementierung sorgfältig geprüft werden muss, um sicherzustellen, dass sie geschützte Gruppen nicht überproportional belasten und somit gegen den Equality Act 2010 verstoßen.