Fairness-in-the-Workflow: How Machine Learning Practitioners at Big Tech Companies Approach Fairness in Recommender Systems

Basierend auf Interviews mit Praktikern in großen Tech-Unternehmen untersucht diese Studie, wie Fairness in Empfehlungssystemen in den Arbeitsablauf integriert wird, identifiziert dabei zentrale technische und organisatorische Herausforderungen und leitet konkrete Handlungsempfehlungen für die Community ab.

Das Wesentliche

Stellen Sie sich vor, Sie betreiben einen riesigen, digitalen Supermarkt oder eine unendliche Bibliothek. In diesem Geschäft gibt es zwei Hauptgruppen: die Verkäufer (die Inhalte, Videos oder Produkte erstellen) und die Kunden (die diese Dinge konsumieren).

Die Aufgabe des Empfehlungssystems (das ist die „intelligente Regalbeschriftung" oder der „persönliche Bibliothekar") ist es, jedem Kunden genau das zu zeigen, was er gerne sehen möchte. Aber hier liegt das Problem: Dieser Bibliothekar ist nicht neutral. Er hat Vorlieben, lernt aus Fehlern und kann manchmal bestimmte Gruppen von Verkäufern oder Kunden benachteiligen – sei es absichtlich oder unabsichtlich.

Dieser wissenschaftliche Artikel ist wie ein Hintergrundbericht, den Forscher von Cornell Tech und anderen Universitäten verfasst haben, nachdem sie mit 11 Experten aus großen Tech-Firmen (wie Google, Meta, Amazon etc.) gesprochen haben. Diese Experten sind die eigentlichen Architekten, die diesen digitalen Bibliothekar programmieren.

Hier ist die Geschichte dessen, was sie herausfunden, einfach erklärt:

1. Der Plan: Wie funktioniert der Job eigentlich?

Die Forscher haben den Arbeitsablauf dieser Architekten skizziert. Man kann es sich wie den Bau eines Hauses vorstellen:

• Offline-Phase (Der Bauplan): Zuerst sammeln die Architekten Daten (wie Ziegelsteine) und bauen Modelle im stillen Kämmerlein. Hier arbeiten sie eng mit der Rechtsabteilung (die sagt: „Du darfst diese Ziegel nicht benutzen, das ist verboten") und der Datenabteilung zusammen.
• Online-Phase (Das Haus steht): Sobald das Haus gebaut ist, ziehen die ersten Leute ein. Jetzt beobachten die Architekten, wie sich die Menschen im Haus verhalten. Hier kommt das Fairness-Team (die „Ethik-Wächter") ins Spiel, um zu prüfen, ob sich alle Bewohner wohl fühlen.

2. Das große Problem: Was ist „Fairness" eigentlich?

Das ist wie die Frage: „Was ist ein gerechtes Gericht?"

• Für den einen ist es gerecht, wenn jeder die gleiche Portion bekommt.
• Für den anderen ist es gerecht, wenn jeder genau das bekommt, was er bestellt hat.
• Für einen dritten ist es gerecht, wenn derjenige, der mehr arbeitet, mehr bekommt.

Die Architekten im Tech-Bereich kämpfen damit, eine einzige Definition zu finden.

• Das Dilemma: Wenn sie den Verkäufern helfen (z. B. kleinen Künstlern mehr Sichtbarkeit geben), könnten die Kunden unzufrieden sein, weil sie nicht mehr ihre Lieblingsstars sehen. Wenn sie den Kunden helfen, werden die kleinen Künstler vielleicht verhungern.
• Die Analogie: Stellen Sie sich vor, Sie sind ein DJ. Wenn Sie nur die Hits spielen, tanzen alle, aber die neuen Bands kommen nie auf die Bühne. Wenn Sie nur neue Bands spielen, sind die alten Fans enttäuscht. Der „faire" Weg ist extrem schwer zu finden.

3. Die Hindernisse auf der Baustelle

Die Forscher haben drei Hauptprobleme identifiziert, die diese Architekten behindern:

A. Die Sprache der Gerechtigkeit (Das „Fairness-Lingua Franca"-Problem)
Die Architekten (Techniker) und die Ethik-Wächter (Fairness-Team) sprechen oft unterschiedliche Sprachen.

• Techniker denken in Code und Metriken.
• Ethiker denken in Psychologie und Gesellschaftstheorie.
  Es ist, als würde ein Architekt mit einem Maler sprechen: Der Architekt sagt „Wir brauchen mehr Statik", und der Maler antwortet „Aber die Farben wirken traurig!". Sie verstehen sich nicht richtig, weil ihnen ein gemeinsames Wörterbuch fehlt.

B. Der Zeitmangel (Der „Feuerwehr-Modus")
Die Architekten sind ständig im „Feuerwehr-Modus". Sie müssen sicherstellen, dass das System nicht abstürzt, dass es schnell lädt und dass die Kunden zufrieden sind.

• Die Situation: Wenn das Haus brennt (ein technischer Fehler), wird das Feuer gelöscht. Aber wenn ein Bewohner sich beschwert, dass er unfair behandelt wird (ein Fairness-Problem), ist das oft nicht „laut genug", um sofortiges Handeln auszulösen.
• Die Architekten sagen: „Wir würden gerne mehr Zeit für Gerechtigkeit aufwenden, aber wir haben keine Zeit. Wir müssen das Haus am Laufen halten."

C. Der lebendige Garten (Dynamische Umgebungen)
Ein Empfehlungssystem ist kein statisches Gebäude, sondern ein lebendiger Garten.

• Wenn Sie eine Pflanze (eine Empfehlung) pflanzen, wächst sie. Die Leute schauen sie an, und das verändert den Boden. Das verändert wieder, welche Pflanzen dort wachsen können.
• Das System lernt aus dem Verhalten der Nutzer. Wenn Nutzer oft auf bestimmte Videos klicken, zeigt das System mehr davon. Das kann zu einer Schleife führen, in der Vorurteile sich selbst verstärken (wie ein Echo in einem leeren Raum, das immer lauter wird).
• Das Schwierige: Man kann diesen Garten nicht im Labor testen. Man muss ihn erst anpflanzen und dann schauen, was passiert. Aber wenn man dann merkt, dass Unkraut wächst, ist es oft schon zu spät, um es einfach zu entfernen, ohne den ganzen Garten zu zerstören.

4. Was schlagen die Forscher vor? (Die Lösungsvorschläge)

Die Autoren geben einige Tipps, wie man den Garten fairer gestalten kann:

1. Besser aufschreiben (Dokumentation): Die Architekten schreiben ihre Lösungen oft nicht gut auf. Wenn ein Kollege kommt, weiß er nicht, warum eine bestimmte Regel eingeführt wurde. Sie brauchen ein besseres „Kochbuch", damit das Wissen nicht verloren geht, wenn jemand das Unternehmen verlässt.
2. Früher anfangen: Die Ethik-Wächter kommen oft erst, wenn das Haus schon gebaut ist. Das ist zu spät! Sie sollten schon beim Entwurf (beim Zeichnen der Pläne) dabei sein.
3. Eine gemeinsame Sprache finden: Die Teams müssen lernen, miteinander zu reden. Die Techniker müssen verstehen, was die Ethiker meinen, und umgekehrt. Vielleicht braucht es „Übersetzer" oder gemeinsame Workshops.
4. Mehr Zeit einplanen: Die Firmen müssen den Architekten Zeit geben, sich mit Fairness zu beschäftigen. Es darf nicht nur ein „Nebenprojekt" sein, das man macht, wenn man Zeit hat.

Fazit

Dieser Artikel sagt im Grunde: Die Menschen, die unsere digitalen Welten bauen, wollen eigentlich fair sein. Sie wissen, dass ihre Systeme die Welt beeinflussen. Aber sie sind gefangen zwischen komplexen technischen Herausforderungen, knapper Zeit und der Schwierigkeit, sich auf eine einzige Definition von „Fairness" zu einigen.

Es ist wie der Versuch, eine perfekte Pizza für eine riesige Menge von Menschen mit völlig unterschiedlichen Geschmäckern zu backen, während die Küche brennt und man nicht weiß, ob man mit Tomaten oder Ananas arbeiten darf. Die Forscher wollen den Köchen helfen, die Werkzeuge und die Zeit zu bekommen, um eine Pizza zu backen, die für alle schmeckt – oder zumindest niemanden verletzt.

Technische Zusammenfassung

1. Problemstellung

Empfehlungssysteme (Recommender Systems, RS) sind in hochriskanten Bereichen wie E-Commerce und sozialen Medien allgegenwärtig. Sie sind anfällig für Verzerrungen (Bias), die zu erheblichen gesellschaftlichen, psychologischen und ideologischen Auswirkungen führen können (z. B. Monopolbildung oder politische Polarisierung).

Das zentrale Problem dieser Studie ist die Lücke zwischen akademischer Theorie und industrieller Praxis. Obwohl es zahlreiche Methoden zur Messung und Minderung von Bias gibt, ist deren Umsetzung in der realen Welt komplex. Dies liegt an:

• Der dynamischen Natur von Fairness (keine statische Definition).
• Der Notwendigkeit, widerstreitende Interessen verschiedener Stakeholder (Anbieter vs. Nutzer) auszugleichen.
• Komplexen Feedback-Schleifen, die durch Nutzerinteraktionen entstehen.
• Organisationsstrukturen, die oft keine Zeit oder klare Kommunikationswege für Fairness-Arbeit bieten.

Bisherige Forschung konzentrierte sich oft auf allgemeine ML-Modelle oder Klassifizierungsprobleme, vernachlässigte jedoch die spezifischen Workflow-Herausforderungen von RS-Praktikern in großen Tech-Unternehmen.

2. Methodik

Die Autoren führten eine qualitative, halbstrukturierte Interviewstudie durch:

• Teilnehmer: $N=11$ technische ML-Praktiker (Machine Learning Engineers, Researchers, Scientists) aus sieben großen Tech-Unternehmen („Big Tech"). Alle Teilnehmer arbeiteten an RS mit über einer Milliarde Nutzern pro Jahr.
• Durchführung: Interviews über einen Zeitraum von drei Wochen im Jahr 2022 (45–60 Minuten).
• Analyse:
  1. Workflow-Mapping: Identifikation gemeinsamer Muster im Entwicklungsprozess von RS (von der Datenerfassung bis zum Live-Betrieb).
  2. Induktive thematische Analyse: Kodierung der Transkripte, um technische und organisatorische Herausforderungen bei der Integration von Fairness zu identifizieren.
• Fokus: Wie technische Teams Fairness intern und in Zusammenarbeit mit Rechts-, Daten- und Fairness-Teams integrieren.

3. Key Contributions (Hauptbeiträge)

Das Paper liefert drei wesentliche Beiträge:

1. Eine detaillierte Karte des RS-Praktiker-Workflows: Eine Visualisierung, wie technische Teams Fairness (a) intern und (b) in Kollaboration mit anderen Abteilungen in ihren Prozess integrieren.
2. Eine Übersicht der Herausforderungen: Eine systematische Kategorisierung der technischen und organisatorischen Hindernisse bei der Umsetzung von Fairness.
3. Handlungsempfehlungen: Konkrete Vorschläge für die RS-Community (Praktiker und HCI-Forscher), um evidenzbasierte Änderungen zu implementieren und die Brücke zwischen Theorie und Praxis zu schlagen.

4. Ergebnisse und Befunde

A. Der RS-Workflow und die Integration von Fairness

Der Workflow wird in drei Phasen unterteilt, in denen Fairness unterschiedlich behandelt wird:

1. Prototyping-Phase (Offline):
   • Interaktion mit Rechts- und Datenteams zur Beschaffung von Daten.
   • Rechtliche Teams geben klare Richtlinien vor (z. B. welche Merkmale nicht verwendet werden dürfen).
   • Techniker entwickeln Hypothesen zu Fairness-Problemen und erstellen oft intuitive, maßgeschneiderte Metriken, da akademische Tools oft nicht direkt anwendbar sind.
2. Interne Phase (Offline-Validierung):
   • Iteratives Testen und manuelles Suchen nach versteckten Verzerrungen.
   • Hohe Unsicherheit, da RS auf dem Verhalten von Nutzern basieren, das schwer vorherzusagen ist. Historische Daten reichen oft nicht aus.
3. Kollaborative Phase (Online/Live):
   • Das System läuft live; Feedback von echten Nutzern fließt ein.
   • Das Fairness-Team (oft „Responsible AI") gibt Feedback basierend auf internen Richtlinien.
   • Problem: Die technische Umsetzung dieses Feedbacks ist oft schwierig, da die Teams oft erst spät einbezogen werden und die Modelle bereits im Einsatz sind.

B. Technische Herausforderungen (Innerhalb der RS-Teams)

1. Definition von Fairness: Es gibt keine universelle Definition. Besonders schwierig ist Fairness in Kontexten ohne gesetzliche Vorgaben (z. B. Dating-Apps vs. Job-Plattformen).
2. Anpassung von Metriken: Akademische Metriken passen oft nicht in bestehende Workflows. Es fehlt an dokumentiertem institutionellem Wissen („Documentation Debt"), was die Wiederverwendung alter Metriken erschwert.
3. Multi-Stakeholder-Konflikte: RS müssen Anbieter (z. B. Verkäufer) und Nutzer gleichzeitig bedienen. Interessen können kollidieren (z. B. faire Sichtbarkeit für Minderheiten vs. Nutzerpräferenzen).
4. Dynamische Umgebungen: Feedback-Schleifen können Verzerrungen verstärken. Es ist schwer, unerwartete Verzerrungen in Live-Systemen zu erkennen, ohne das System zu destabilisieren.

C. Organisatorische Herausforderungen (Zwischen Teams)

1. Zeitmangel: Fairness-Arbeit macht oft weniger als 10 % der Arbeitszeit aus. Sie wird selten als „akuter Notfall" behandelt, der Priorität vor der Systemstabilität (Uptime) hat.
2. Fehlende „Fairness-Lingua Franca":
   • Kommunikation mit Rechtsabteilungen: Wird als klar und direkt beschrieben (Ja/Nein-Entscheidungen).
   • Kommunikation mit Fairness-Teams: Oft problematisch. Fairness-Teams nutzen oft nicht-technische Terminologie (Psychologie, Kommunikation), und ihre Feedbacks sind manchmal zu abstrakt oder kommen zu spät im Prozess. Es fehlt ein gemeinsames Vokabular.

5. Signifikanz und Empfehlungen

Die Studie zeigt, dass Fairness in RS nicht nur ein technisches Problem ist, sondern ein sozio-technisches und organisatorisches.

Handlungsempfehlungen für die Community:

• Institutionelles Wissen aufbauen: Verbesserung der Dokumentationspraktiken (z. B. anpassbare Metriken, klare Protokolle), um „Documentation Debt" zu vermeiden.
• Investition in Multi-Stakeholder-Fairness: Unternehmen müssen Ressourcen für die Erforschung von Optimierungsansätzen bereitstellen, die viele Gruppen und Intersektionalitäten berücksichtigen.
• Frühzeitige Integration: Fairness-Teams sollten bereits in der Prototyping-Phase einbezogen werden, nicht erst nach dem Deployment.
• Entwicklung einer „Fairness-Lingua Franca": Notwendigkeit von Brückenrollen und besseren Kommunikationswerkzeugen, um die Kluft zwischen technischen und ethischen Teams zu schließen.
• Rolle der HCI-Forschung: Entwicklung von Tools, die ethisches Bewusstsein („Ethical Sensitivity") in den Workflow integrieren und Entscheidungshilfen für Trade-offs bieten (z. B. Value-Sensitive Design).

Fazit:
Die Praktiker sind sich der Wichtigkeit von Fairness bewusst und motiviert, aber sie scheitern oft an fehlenden Ressourcen, unklaren Definitionen und organisatorischen Silos. Eine erfolgreiche Umsetzung erfordert eine Kombination aus besseren technischen Tools, klareren institutionellen Richtlinien und einer stärkeren interdisziplinären Zusammenarbeit.