🤖 machine learning

Normative Alignment of Recommender Systems via Internal Label Shift

NAILS ist eine skalierbare, retraining-freie Methode, die die Ausgaben von Empfehlungssystemen mit normativen Zielen wie Fairness und Diversität in Einklang bringt, indem sie durch internen Label Shift eine Zielverteilung über Artikelattribute induziert und dadurch globale Werte mit Nutzerengagement ausbalanciert.

Ursprüngliche Autoren: Johannes Kruse, Kasper Lindskow, Michael Riis Andersen, Ryotaro Shimizu, Julian McAuley, Pierre-Alexandre Mattei, Jes Frellsen

Veröffentlicht 2026-07-14

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Johannes Kruse, Kasper Lindskow, Michael Riis Andersen, Ryotaro Shimizu, Julian McAuley, Pierre-Alexandre Mattei, Jes Frellsen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie betreiben einen riesigen, schnelllebigen Zeitungsstand, der einen superintelligenten Roboter verwendet, um zu erraten, was jeder Kunde kaufen möchte. Normalerweise ist dieser Roboter besessen von einer Sache: Klicks zu generieren. Er lernt, dass er Ihnen nur Katzenvideos zeigen sollte, wenn Sie Katzenvideos lieben. Aber hier liegt das Problem: Wenn der Roboter Ihnen nur Katzen zeigt, könnten Sie die coole neue Wissenschaftsgeschichte oder das lustige lokale Sport-Update verpassen. Die Besitzer des Zeitungsstands (die „Stakeholder“) wollen eine Mischung aus allem, um den gesamten Laden interessant und fair zu halten, selbst wenn dies bedeutet, dass der Roboter gelegentlich etwas vorschlagen muss, wonach Sie nicht explizit gefragt haben.

Dies ist das Problem, das Johannes Krue und sein Team mit einem neuen Werkzeug namens NAILS (Normative Alignment of Recommender Systems via Internal Label Shift) angegangen sind.

Das Problem: Der Tunnelblick des Roboters

Die meisten Empfehlungssysteme sind wie ein hungriger Teenager, der nur Pizza isst. Wenn man sie fragt, was sie wollen, sagen sie immer wieder: „Pizza!“ In der realen Welt erzeugt dies „Filterblasen“, in denen Menschen nur die gleiche Art von Inhalten sehen (wie zum Beispiel nur Krimis oder nur Unterhaltung) und das große Ganze verpassen. Das Paper argumentt, dass diese Systeme zwar großartig darin sind, Klicks zu generieren, aber oft daran scheitern, größere Ziele wie Fairness, Diversität oder die eigenen redaktionellen Werte einer Zeitung zu erfüllen.

Die Lösung: Ein sanfter Anstoß, kein harter Reset

Das Team wollte nicht das Gehirn des Roboters wegwerfen oder ihn von Grund auf neu trainieren (was langsam und teuer wäre). Stattdessen kamen sie auf einen cleveren Trick namens Internal Label Shift.

Stellen Sie sich das Gehirn des Roboters wie eine riesige Bibliothek von Büchern vor. Normalerweise wählt der Roboter Bücher basierend darauf aus, was Ihnen früher gefallen hat. NAILS wirkt wie ein Bibliothekar, der dem Roboter direkt bevor er ein Buch auswählt, eine geheime Regel zuflüstert. Die Regel lautet: „Hey, wir müssen sicherstellen, dass wir eine gute Mischung an Genres in den Top 10 Büchern haben, die wir allen zeigen.“

Der Roboter vergisst nicht, was Sie mögen; er passt seine Auswahl nur leicht an, um der neuen „Mischungs“-Regel zu entsprechen. Es ist so, als würden Sie Ihre Top-10-Songs für eine Party auswählen. Sie wählen immer noch die Songs, die Sie lieben, aber Sie stellen sicher, dass Sie nicht 10 Heavy-Metal-Tracks auswählen, nur weil Sie Metal lieben; Sie tauschen ein paar davon gegen Pop oder Jazz aus, um die Party ausgewogen zu halten.

Was sie herausgefunden haben (Der Beweis)

Das Team testete dies an einem echten Datensatz namens EB-NeRD, der über 37 Millionen Datensätze von angeklickten Zeitungsartikeln von mehr als 1 Million einzigartigen Nutzern enthält. Sie untersuchten 13.336.710 dieser Klicks, um zu sehen, wie gut das System Artikel rankte, und verwendeten 200.000 zusätzliche Stichproben, um zu prüfen, ob die „Mischung“ der Kategorien korrekt war.

Hier sind die Ergebnisse der Experimente:

Es funktioniert: Wenn sie den „Anstoß“ (eine Einstellung, die sie $\lambda$ nennen und die von 0 bis 1 reicht) erhöhten, verbesserte sich das System erheblich darin, die gewünschte Mischung der Nachrichtenkategorien zu treffen. Wenn sie beispielsweise eine „gleichmäßige“ (Uniform) Verteilung anstrebten (bei der jede Kategorie die gleiche Chance erhält), sank der Unterschied zwischen dem, was das System zeigte, und dem, was sie wollten, signifikant.
Es ist nicht perfekt (aber gut): Sie verglichen NAILS mit einer bestehenden Methode namens CaliRec. CaliRec ist wie ein strenger Koch, der den gesamten Teller neu arrangiert, um die perfekte Balance zu erreichen, aber er ist langsam und gierig. NAILS ist eher wie eine schnelle Anpassung. In ihren Tests erreichte CaliRec manchmal einen etwas besseren „Score“ für die perfekte Balance (gemessen an etwas namens KL-Divergenz, wobei ein niedrigerer Wert besser ist), aber NAILS war viel schneller und musste nicht jedes Mal ein komplexes mathematisches Rätsel lösen, wenn es eine Empfehlung abgab.
Der Trade-off: Das Paper fand heraus, dass man nicht immer den Kuchen essen und ihn gleichzeitig behalten kann. Wenn sie das System zwangen, perfekt ausbalanciert zu sein (wie z. B. durch das gleichmäßige Zeigen jeder Nachrichtenkategorie), sank die Fähigkeit des Systems, vorherzusagen, was ein spezifischer Nutzer anklicken würde (gemessen am AUC), manchmal. Wenn sie jedoch auf die „redaktionelle Verteilung“ (eine Mischung, die den Werten der Zeitung entsprach) abzielten, wurde das System sogar bter darin, Klicks vorherzusagen, während es gleichzeitig ausgewogen blieb.

Wogegen sie explizit „Nein“ sagen

Das Paper ist sehr deutlich darüber, was NAILS nicht ist.

Es ist keine Methode, die das gesamte KI-Modell von Grund auf neu trainiert. Das würde zu lange dauern und zu viel kosten.
Es ist keine „nutzerzentrierte“ Korrektur, die sich nur auf die Historie einer einzelnen Person konzentriert. Stattdessen nimmt es eine „stakeholder-zentrierte“ Sichtweise ein, was bedeutet, dass es die Ziele der gesamten Plattform oder der Nachrichtenorganisation berücksichtigt.
Es garantiert keine perfekte Übereinstimmung in jedem einzelnen Fall. Die Autoren merken an, dass sie, da sie die ursprünglichen Präferenzen des Nutzers unverändert lassen, während sie die Kategorien anpassen, eine „Näherungslösung“ erhalten, die die Richtung richtig vorgibt, auch wenn sie mathematisch nicht identisch mit dem Ziel ist.

Wie sicher sind sie?

Die Autoren sind zuversichtlich in Bezug auf die von ihnen gemessenen Zahlen. Sie haben nicht nur geraten; sie haben das System auf einem massiven Datensatz getestet und beobachtet. Sie fanden heraus, dass NAILS die Ausrichtung an den Zielverteilungen konsistent verbesserte. Dennoch sind sie vorsichtig damit, dies als ein „gelöstes Problem“ zu bezeichnen. Sie weisen darauf hin, dass die Ergebnisse zwar vielversprechend sind, wir aber noch nicht wissen, wie sich dies langfristig in einer Live-Umgebung auswirken wird. Sie erklären explizit, dass weitere Arbeiten erforderlich sind, um zu sehen, wie diese Änderungen das Nutzerengagement und die Systemdynamik im Laufe der Zeit beeinflussen.

Das Fazendurchlauf (Bottom Line)

NAILS ist ein einfacher, effizienter Weg, um einem Empfehlungsroboter zu sagen: „Mach weiter mit dem, worin du gut bist, aber bitte stelle sicher, dass die endgültige Liste die vielfältige, faire Mischung widerspiegelt, die wir wollen.“ Es ist ein leichtgewichtiges Werkzeug, das Zeitungsverlagen und Plattformen hilft, ihren Werten treu zu bleiben, ohne ihre Empfehlungsmaschinen zu brechen. Wie das Paper nahelegt, ist es ein praktischer Schritt hin zu Empfehlungssystemen, die nicht nur süchtig machen, sondern auch verantwortungsbewusst sind.

Technische Zusammenfassung: Normative Ausrichtung von Empfehlungssystemen mittels Interner Label-Verschiebung (NAILS)

Problemstellung
Empfehlungssysteme werden vorwiegend auf Nutzerinteraktionsmetriken (z. B. Click-Through-Rates) optimiert, oft zu Lasten breiterer normativer Ziele wie Fairness, Diversität oder redaktioneller Werte. In Bereichen wie der Nachrichtenvermittlung kann eine rein verhaltensgesteuerte Personalisierung Filterblasen verstärken und wichtige, aber weniger populäre Inhalte unterrepräsentieren. Während die bestehende Forschung zur „Kalibrierung“ in Empfehlungssystemen die Ausrichtung der Empfehlungen auf die historische Präferenz eines Nutzers adressiert (nutzerzentriert), mangelt es an skalierbaren Methoden, um Empfehlungen über die gesamte Nutzerpopulation hinweg mit globalen normativen Zielen auszurichten, die von Stakeholdern (z. B. einem Redaktionsrat einer Nachrichtenorganisation) definiert wurden.

Methodik: NAILS
Die Autoren schlagen NAILS (Normative Alignment of recommender systems via Internal Label Shift) vor, ein leichtgewichtiges, modellagnostisches Post-Processing-Framework. Im Gegensatz zu Methoden, die ein Retraining oder komplexe optimierte Randbedingungen (z. B. gemischte Ganzzahlprogrammierung) erfordern, nutzt NAILS das Konzept der Label-Verschiebung (Label Shift) innerhalb eines hierarchischen Klassifizierungsrahmens.

Theoretische Formulierung:
- Das System modelliert die gemeinsame Wahrscheinlichkeit eines Nutzers $u$ , eines Artikels $i$ und eines Artikelattributs $c$ (z. B. Kategorie) als $p(c, i, u) = p(c|i)p_\theta(i|u)p(u)$ .
- Das Ziel ist es, die natürliche marginale Attributverteilung $p(c)$ durch eine Ziel-Verteilung $\tilde{p}(c)$ (z. B. einen spezifischen redaktionellen Mix oder eine Gleichverteilung) zu ersetzen.
- NAILS setzt voraus, dass die bedingte Verteilung von Artikeln und Nutzern gegeben ein Attribut invariant bleibt ( $p(i, u|c) = \tilde{p}(i, u|c)$ ).
- Unter dieser Annahme wird die ausgerichtte Wahrscheinlichkeit einer Interaktion eines Nutzers mit einem Artikel wie folgt abgeleitet:
  $\tilde{p}(i|u) \propto p_\theta(i|u) \sum_{c \in C} \frac{\tilde{p}(c)}{p(c)} p(c|i)$
- Dies bewirkt effektiv eine Umgewichtung der ursprünglichen Modell-Scores ( $p_\theta(i|u)$ ) durch einen Faktor, der vom Verhältnis der Ziel- zur aktuellen Attributverteilung abhängt.
Implementierung:
- Der Umgewichtungsterm kann implementiert werden, indem $\log(\sum_{c} \frac{\tilde{p}(c)}{p(c)} p(c|i))$ zum Log-Wahrscheinlichkeitswert des Modells vor der Softmax-Schicht hinzugefügt wird.
- Ein abstimmbarer Hyperparameter $\lambda \in [0, 1]$ ermöglicht die Interpolation zwischen dem ursprünglichen Recommender und der vollständig ausgerichteten Version: $\tilde{p}_\lambda(i|u) = \lambda \tilde{p}(i|u) + (1-\lambda)p_\theta(i|u)$ .
- Die Methode unterstützt sowohl die deterministische Auswahl (höchste Wahrscheinlichkeit) als auch das stochastische Sampling.

Wesentliche Beiträge

Stakeholder-zentrierte Perspektive: Die Arbeit verschiebt den Fokus von der Kalibrierung auf die individuelle Nutzerhistorie hin zur Ausrichtung der systemweiten Outputs an globalen normativen Zielen.
Effizienter Algorithmus: NAILS bietet eine einfache, skalierbare Lösung, die den Rechenaufwand von Greedy-Optimierungen oder Retraining vermeidet, was es für den Einsatz in großem Maßstab geeignet macht.
Empirische Validierung: Die Methode wird auf dem EB-NeRD Datensatz (Ekstra Bladet News Recommendation Dataset) evaluiert, einem groß angelegten Benchmark mit über 37 Millionen Impressions-Logs und 125.000 Artikeln aus acht redaktionellen Kategorien.

Experimentelle Ergebnisse
Die Autoren evaluierten NAILS gegen CaliRec (eine Greedy-Post-Processing-Baseline) unter Verwendung des NRMS-Modells als Basis-Recommender.

Effektivität der Ausrichtung:
- NAILS konnte die Kullback–Leibler-Divergenz (KL-Divergenz) zwischen der empfohlenen Verteilung und den Zielverteilungen (Redaktionell oder Uniform) erfolgreich reduzieren.
- Während CaliRec in einigen Einstellungen aufgrund der expliziten Optimierung für die KL-Divergenz die niedrigste Divergenz erreichte, bot NAILS eine starke Approximation ohne den damit verbundenen Rechenaufwand.
- NAILS zeigte eine überlegene Coverage (der Anteil der ausgewählten einzigartigen Artikel) im Vergleich zu CaliRec, insbesondere in deterministischen Settings, was darauf hindeutet, dass es die Verteilungs-Ausrichtung besser mit der Inhaltsdiversität in Einklang bringt.
Ranking-Leistung (AUC):
- Der Einfluss auf die Ranking-Qualität (gemessen an der AUC) variierte je nach Zielverteilung.
- Die Ausrichtung auf die redaktionelle Verteilung (die kuratierte Kandidatenlisten widerspiegelt) verbesserte die AUC tatsächlich für sowohl NAILS als auch CaliRec.
- Die Ausrichtung auf eine Gleichverteilung reduzierte die AUC im Allgemeinen, was den inhärenten Trade-off zwischen strikter Fairness/Diversität und Nutzerrelevanz verdeutlicht.
Trade-offs: Die Ergebnisse bestätigen, dass die Wahl der Zielverteilung entscheidend ist. NAILS ermöglicht es Stakeholdern, $\lambda$ abzustimmen, um das Gleichgewicht zwischen der Stärke der Ausrichtung und der Bewahrung von Engagement-Metriken zu steuern.

Bedeutung und Ansprüche
Die Arbeit behauptet, dass NAILS einen praktischen, prinzipienbasierten Mechanismus für „wertebasierte Empfehlungen“ bietet. Die primäre Bedeutung liegt in:

Skalierbarkeit: Es ermöglicht Plattformen (insbesondere missionsorientierten Nachrichtenverlagen), redaktionelle Werte oder Diversitätsziele durchzusetzen, ohne komplexe Deep-Learning-Modelle neu trainieren zu müssen.
Flexibilität: Es bietet einen regelbaren Regler ( $\lambda$ ), um den Trade-off zwischen normativer Ausrichtung und Ranking-Leistung zu verwalten.
Zukünftige Ausrichtung: Die Autoren behaupten bescheiden, dass NAILS zwar effektiv ist, das Konzept der „Optimalität“ jedoch kontextabhängig ist. Sie positionieren diese Arbeit als einen Schritt zur Erweiterung der Kalibrierung über nutzerzentrierte Sichtweisen hinaus auf globale normative Ziele und argumentieren, dass dies eine notwendige Richtung für verantwortungsbewusste KI in redaktionellen und politisch gesteuerten Systemen ist. Sie weisen explizit darauf hin, dass weitere Arbeiten erforderlich sind, um die langfristigen Auswirkungen solcher Interventionen in Live-Umgebungen zu verstehen.