Fairness in Link Prediction Beyond Demographic Parity: A Reproducibility Study

Stellen Sie sich vor, Sie sind der Kapitän eines riesigen digitalen Schiffes, das eine Flotte von Empfehlungen durch den weiten Ozean des Internets steuert. Jedes Mal, wenn Sie einen neuen Freund, einen Jobkandidaten oder einen Dienst vorschlagen, setzen Sie im Wesentlichen eine Verbindung zwischen zwei Menschen. In der Welt des maschinellen Lernens wird dies als Link Prediction (Verknügungsvorhersage) bezeichnet. Aber hier ist der Haken: Nur weil man eine Verbindung vorhersagen kann, bedeutet das noch lange nicht, dass man alle Menschen gleich behandeln sollte. Wenn der Kompass Ihres Schiffes auch nur leicht falsch eingestellt ist, könnten Sie immer wieder dieselben Gruppen von Menschen zueinander führen, während andere im Dunkeln zurückgelassen werden. Dies ist das Problem der Fairness.

Lange Zeit verwendeten Wissenschaftler eine einfache Regel namens Demographic Parity (Demografische Parität), um zu prüfen, ob Ihr Schiff fair war. Denken Sie an es wie an das Zählen der Passagiere aus Gruppe A und Gruppe B auf dem Deck. Wenn die Zahlen in etwa gleich sind, nimmt der Kapitän an, dass alle Menschen fair behandelt wurden. Aber diese Arbeit argumentiert, dass diese Regel so ist, als würde man die Passagierzahl prüfen, ohne darauf zu achten, wo sie sitzen. Wenn Gruppe A sich alle in der VIP-Lounge im vorderen Teil des Schiffes befindet (und die ganze Aufmerksamkeit erhält) und Gruppe B in den Laderaum ganz hinten gequetscht wird (und ignoriert wird), kann die Gesamtzahl zwar immer noch ausgewogen aussehen, aber die Erfahrung ist zutiefst unfair. Dies ist der Unterschied zwischen einfach nur „da zu sein“ und die Chance auf Exposure (Sichtbarkeit/Exposition) zu haben – die Chance, gesehen und ausgewählt zu werden.

Die Forscher in dieser Studie, ein Team von Studenten der Universität Amsterdam, beschlossen, eine neue Theorie über diesen „Exposure Bias“ (Sichtbarkeits-Bias) zu testen. Sie wollten sehen, ob die alte Regel (Demographic Parity) das wahre Problem verbarg und ob ein neues, empfindlicheres Lineal dies beheben konnte. Sie nahmen die ursprüngliche Idee nicht einfach als gegeben hin; sie bauten das Experiment von Grund auf neu auf, reparierten einige defekte Werkzeuge, die sie fanden, und erschufen sogar ihre eigenen stürmischen See, um zu sehen, ob der neue Kompass standhielt. Was sie fanden, deutet darauf an, dass wir, um wirklich fair zu sein, nicht nur darauf schauen müssen, wer eine Verbindung erhält, sondern auch, wo diese Verbindung in der Liste der Vorschläge erscheint.

Die Geschichte der Arbeit

Die Arbeit mit dem Titel „Fairness in Link Prediction Beyond Demographic Parity: A Reproducibility Study“ ist im Wesentlichen eine Detektivgeschichte über Fairness in Computeralgorithmen. Die Autoren, Valentijn Oldenburg, Floris de Kam, Stef de Wildt und Jarno Balk, setzten sich zum Ziel, eine Behauptung eines anderen Forscherteams (Mattos et al., 2025) zu verifizieren. Das ursprüngliche Team argumentierte, dass die Standardmethode zur Messung von Fairness fehlerhaft sei, da sie die Rangfolge (Ranking) von Links ignoriere.

Um das Problem zu verstehen, stellen Sie sich eine Musik-Playlist vor. Wenn eine Playlist fair sein soll, sollte sie nicht nur eine gleiche Anzahl an Liedern von Künstler A und Künstler B abspielen. Es kommt darauf an, wann sie gespielt werden. Wenn die Lieder von Künstler A immer ganz oben stehen (wo die Leute tatsächlich zuhören), und die Lieder von Künstler B ganz unten vergraben sind (wo niemand scrollt), ist die Playlist voreingenommen, selbst wenn die Gesamtzahl der Lieder dieselbe ist. In der Welt der Link Prediction ist dieses „Oben auf der Liste“ der Ort, an dem die Exposure stattfindet. Die alte Regel, Demographic Parity, war wie das Zählen der gesamten Lieder und das Sagen: „Hey, wir haben 50 von A und 50 von B, also sind wir fair!“ Die neue Regel, genannt NDKL, betrachtet die Reihenfolge der Playlist und fragt: „Warte, warum sind alle Lieder von A in den ersten zehn Tracks?“

Die Autoren dieser Arbeit haben drei wesentliche Dinge getan:

1. Sie haben das Experiment rekonstruiert: Sie nahmen den Code und die Methoden der ursprünglichen Studie von 2025 und versuchten, die Ergebnisse zu reproduzieren. Dabei stellten sie fest, dass der ursprüngliche Code einige Fehler und Inkonsistenzen aufwies. Nachdem sie diese behoben hatten, bestätigten sie die Kernergebnisse des ursprünglichen Teams: Die alte Regel (Demographic Parity) verbirgt tatsächlich Unfairness, und die neue Regel (NDKL) deckt sie tatsächlich auf.
2. Sie haben die „Behebung“ getestet: Die ursprüngliche Studie schlug eine Methode namens MORAL vor, um das Problem zu lösen. MORAL ist wie ein intelligenter DJ, der die Playlist nach der Auswahl der Songs neu arrangiert. Er nimmt die anfänglichen Vorschläge und mischt sie so um, dass verschiedene Gruppen eine faire Chance auf die oberen Plätze erhalten, ohne die Qualität der Musik zu ruinieren. Die Autoren fanden heraus, dass MORAL den unfairen Exposure-Bias erfolgreich reduzierte und gleichzeitig die Nützlichkeit der Empfehlungen beibehielt.
3. Sie haben das System gestresst: Um sicherzustellen, dass dies kein Zufall war, erstellten sie eigene „Stresstests“. Sie bauten künstliche soziale Netzwerke mit unterschiedlichen Ebenen von Homophilie (der Tendenz, sich mit Menschen zu verbinden, die einem ähnlich sind). Sie fanden heraus, dass MORAL selbst dann die Dinge fair hielt, wenn die Netzwerke schwierig waren oder die Gruppen sehr klein waren. Sie testeten auch, was passiert, wenn es mehr als nur zwei Gruppen gibt (z. B. durch Hinzufügen einer dritten oder vierten Kategorie), und das System hielt gut stand, obwohl es schwieriger wurde, die Balance zu halten, wenn die Gruppen kleiner wurden.

Was sie fanden

Die Studie bestätigt, dass Demographic Parity ein schlechter Stellvertreter für Fairness ist, wenn es um gerankte Listen geht. Sie legt nahe, dass sich auf diese Regel zu verlassen so ist, als würde man ein Rennen danach beurteilen, wie viele Menschen ins Ziel gekommen sind, während man ignoriert, wer tatsächlich die Goldmedaille gewonnen hat. Die neue Metrik, NDKL, ist viel besser darin, zu erkennen, wenn eine Gruppe systematisch an das Ende der Liste gedrängt wird.

Die MORAL-Methode, die als Post-Processing-„Re-Ranker“ fungiert, erwies sich als äußerst effektiv. In ihren Experimenten über sechs verschiedene reale Datensätze hinweg (einschließlich sozialer Netzwerke und Kreditdaten) reduzierte MORAL konsistent den Exposure-Bias. Beispielsweise brachte die neue Methode beim „Facebook“-Datensatz den Fairness-Score auf nahezu Null (was bedeutet, dass es kaum noch Bias gibt), während sie gleichzeitig die Genauigkeit der Vorhersagen hoch hielt.

Die Autoren entdeckten auch, dass das System robust ist. Selbst wenn sie Netzwerke simulierten, in denen eine Gruppe sehr klein war oder in denen Menschen nur dazu neigten, sich mit Gleichgesinnten zu verbinden (hohe Homophilie), gelang es MORAL dennoch, die Exposure fair zu verteilen. Sie merkten jedoch an, dass es einen Trade-off gibt: Wenn die Anzahl der verschiedenen Gruppen zunahm, wurde es etwas schwieriger, alle perfekt auszubalancieren, und das System benötigte mehr Rechenleistung. Aber selbst dann blieben die Top-Empfehlungen präzise.

Das Fazit

Diese Arbeit behauptet nicht, jedes Problem der KI-Fairness gelöst zu haben, aber sie legt nahe, dass wir die Art und Weise, wie wir sie messen, ändern müssen. Wenn es uns wichtig ist, wer gesehen wird und wer ignoriert wird, können wir nicht nur Köpfe zählen; wir müssen uns den Sitzplan ansehen. Die Studie zeigt, dass wir durch die Verwendung einer Metrik, die die Reihenfolge der Liste respektiert (wie NDKL), und einer Methode, die die Liste aktiv fair umordnet (wie MORAL), Systeme bauen können, die nicht nur genau, sondern auch wirklich fair gegenüber allen Gruppen sind, egal wie klein oder verborgen sie sein mögen. Die Autoren haben zudem ihren korrigierten Code veröffentlicht, damit andere ihre Arbeit überprüfen und darauf aufbauen können, um sicherzustellen, dass der Weg zu einer fairen KI für alle offensteht.