🤖 machine learning

Contextual Scalarisation Thompson Sampling for multi-objective decisions in public media

Dieses Paper stellt Contextual Scalarisation Thompson Sampling (CSTS) vor, einen Multi-Objective Contextual Bandit Algorithmus, der dynamisch lernt, konkurrierende redaktionelle Ziele basierend auf dem Kontext zu gewichten, und zeigt dabei eine verbesserte Relevanz sowie eine bessere Übereinstimmung mit der Expertenkuratierung auf realen Daten des Schweizer Rundfunks auf.

Ursprüngliche Autoren: Théo Maëtz, Luc Guillet, Andrea Cavallaro

Veröffentlicht 2026-06-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Théo Maëtz, Luc Guillet, Andrea Cavallaro

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind der Küchenchef eines sehr berühmten, öffentlich finanzierten Restaurants. Ihre Aufgabe ist nicht nur, das beliebteste Gericht des Tages zu servieren; Sie haben eine komplexe Mission. Sie müssen sicherstellen:

Das Restaurant ist voll: Sie brauchen genügend Kunden (Publikum).
Die Speisekarte ist vielfältig: Sie können nicht jede Nacht Pizza servieren; Sie brauchen Abwechslung für verschiedene Geschmäcker (Diversität).
Sie probieren Neues aus: Sie müssen gelegentlich frische Zutaten einführen (Neuheit).
Sie werden nicht verklagt: Sie müssen strenge Verträge einhalten, welche Zutaten Sie verwenden dürfen und wann diese ablaufen (Rechte).
Sie schlagen die Konkurrenz: Wenn das Restaurant nebenan ein riesiges Steak serviert, sollten Sie vielleicht etwas anderes servieren, um aufzufallen (Wettbewerb).

In der Vergangenheit mussten die Köche (Kuratoren) dieses öffentlich-rechtlichen Senders, Radio Télévision Suisse (RTS), diese Entscheidungen manuell treffen. Sie sahen sich tausende Filme an und versuchten, all diese konkurrierenden Ziele in ihrem Kopf auszubalancieren. Das war schwer, langsam und hing völlig von ihrer persönlichen Erfahrung ab.

Das Paper stellt einen neuen „intelligenten Assistenten“ namens CSTS (Contextual Scalarisation Thompson Sampler) vor, der ihnen dabei helfen soll. So funktioniert er, einfach erklärt:

1. Das Problem mit „Einheitslösungen“

Die meisten Empfehlungssysteme (wie Netflix oder Spotify) wählen meist ein einziges Ziel: „Was wird die meisten Klicks generieren?“ oder „Was ist am populärsten?“

Einige Systeme versuchen zwar, Ziele abzuwägen, nutzen aber feste Regeln. Stellen Sie sich einen Koch vor, der entscheidet: „Ich werde immer die Neuheit gegenüber der Publikumsgröße priorisieren.“ Das mag für eine Party am Freitagabend funktionieren, aber es wäre ein Desaster für ein ruhiges Dienstagsmorgen-Nachrichtenprogramm. Das Paper argumentiert, dass das „Rezept“ für eine gute Entscheidung je nach Situation (dem Kontext) variieren sollte.

2. Die Lösung: Der Chamäleon-Koch

Das CSTS-System ist wie ein Chamäleon-Koch. Es hat kein festes Regelwerk. Stattdessen lernt es, seine Prioritäten basierend auf dem „Wetter“ des Augenblicks zu ändern.

Die Zutaten (Wertsignale): Das System bewertet jeden Filmkandidaten nach fünf verschiedenen „Geschmacksrichtungen“: Publikum, Diversität, Neuheit, Rechte und Wettbewerb.
Der Kontext (Das Wetter): Es betrachtet das spezifische Zeitfenster. Ist es ein Freitagabend? Ist es ein Feiertag? Zeigt ein Konkurrenzkanal gerade einen großen Film?
Die Magie (Kontextuelle Skalarisierung): Das System lernt, diese fünf Geschmacksrichtungen zu einem einzigen „Geschmackserlebnis“ zu mischen.
- Beispiel: An einem Freitagabend entscheidet es vielleicht: „Okay, mischen wir 40 % Publikum, 30 % Neuheit und 30 % Diversität.“
- Beispiel: An einem Dienstagmorgen wechselt es zu: „Lass uns 10 % Publikum, 50 % Rechte (wir müssen ablaufende Verträge nutzen) und 40 % Diversität mischen.“

3. Wie es lernt (Die „Glücksspieler“-Analogie)

Das System nutzt eine Technik namens Thompson Sampling. Denken Sie an dies als einen klugen Glücksspieler, der ein Notizbuch führt, um zu sehen, was funktioniert.

Jedes Mal, wenn der menschliche Koch eine Entscheidung trifft, prüft das System sein Notizbuch.

Wenn das System die richtige „Mischung der Geschmacksrichtungen“ für diese Situation erraten hat, erhält es ein Daumen hoch.
Wenn es falsch geraten hat, lernt es daraus.
Entscheidend ist, dass das System bei neuen Situationen unsicher ist. Wenn es unsicher ist, probiert es verschiedene „Mischungen“ aus, um zu sehen, was passiert (Exploration). Je mehr Daten es sammelt, desto sicherer wird es und hält sich an das, was funktioniert (Exploitation).

Dies ermöglicht es dem System, die perfekte Balance für jeden spezifischen Zeitslot zu finden, anstatt nur einen generischen Durchschnitt zu verwenden.

4. Was passierte, als sie es testeten?

Die Forscher testeten diesen Assistenten unter Verwendung von zwei Jahren echter Daten eines Schweizer Senders. Sie verglichen das CSTS-System mit:

Festen Regeln: Einem System, das seine Prioritäten niemals ändert.
Standard-KI: Systemen, die nur nach den populärsten Filmen suchen.
Menschlichen Experten: Den tatsächlichen Entscheidungen der Kuratoren.

Die Ergebnisse:

Besser darin, „die Stimmung zu treffen“: Das CSTS-System war viel besser darin, Filme zu finden, die zum spezifischen Kontext des Zeitfensters passten (z. B. einen Familienfilm für den Samstagmorgen) als die anderen Systeme. Es erreichte eine Relevanzrate von 98,7 % beim Finden geeigneter Optionen und schlug damit das System mit festen Regeln (92,0 %) und die Standard-KI (80,0 %).
Nicht nur die Geschichte kopieren: Interessanterweise war das „System mit festen Regeln“ etwas besser darin, genau den Film zu erraten, den der Mensch in der Vergangenheit gewählt hatte. Die Autoren argumentieren jedoch, dass Menschen manchmal inkonsistente oder suboptimale Entscheidungen treffen. CSTS ist besser darin, den bestmöglichen Film für diese spezifische Situation zu finden, auch wenn es nicht exakt der Film ist, den der Mensch letztes Mal gewählt hat.
Der Balanceakt: Das System lernte erfolgreich, „Rechte“ (Nutzung ablaufender Verträge) und „Diversität“ häufiger zu priorisieren als die festen Regeln, während die festen Regeln besessen von „Neuheit“ waren.

Das Faz-it

Das Paper behauptet, dass CSTS ein Entscheidungshilfswerkzeug ist, das menschlichen Kuratoren hilft, eine riesige Filmbibliothek zu verwalten. Anstatt jede Entscheidung einem einzigen, starren Satz von Regeln zu unterwerfen, agiert es wie ein flexibler Experte, der weiß: „Gerade jetzt, für diesen spezifischen Zeitslot, müssen wir uns auf X konzentrieren, aber nächste Woche sollten wir uns auf Y konzentrieren.“

Es ersetzt nicht den menschlichen Koch; es liefert ihm eine Shortlist der fünf besten Optionen, die perfekt zum aktuellen „Wetter“ passen, wodurch die Aufgabe des Menschen, die endgültige Entscheidung zu treffen, viel einfacher und effektiver wird.

Technisches Resümee: Contextual Scalarisation Thompson Sampling für Multi-Objective-Entscheidungen im öffentlich-rechtlichen Rundfunk

Problemstellung
Organisationen des öffentlich-rechtlichen Rundfunks stehen vor einem komplexen Multi-Objective-Optimierungsproblem bei der Programmplanung. Im Gegensatz zu kommerziellen Systemen, die oft kurzfristiges Engagement priorisieren, müssen öffentlich-rechtliche Sender konkurrierende Kriterien wie Reichweite, kulturelle Werte, Diversität, lokale Relevanz, Repräsentation von Minderheiten und operative Einschränkungen (z. B. Rechteverwaltung und Budget) in Einklang bringen. Traditionelle Ansätze verlassen sich auf feste Kombinationen von Zielen oder Pareto-basierte Optimierung, was nicht in der Lage ist, sich an wechselnde Prioritäten in unterschiedlichen Rundfunkkontexten (z. B. Zeitslots, Saisons oder konkurrierende Ereignisse) anzupassen. Darüber hinaus fehlt es bestehenden Planungswerkzeugen oft an der Fähigkeit, redaktionelle Abwägungen dynamisch zu modellieren, wodurch Kuratoren gezwungen sind, Faktoren für jede Entscheidung manuell abzuwägen – ein Prozess, der mit großen Katalogen nicht skalierbar ist.

Methodik
Die Autoren schlagen Contextual Scalarisation Thompson Sampling (CSTS) vor, einen Multi-Objective-Contextual-Bandit-Algorithmus, der kontextabhängige Gewichte für mehrere Wertsignale lernt.

Framework: CSTS formuliert das Planungsproblem als einen kontextuellen Multi-Armed Bandit. Zu jedem Zeitschritt $t$ berechnet das System unter Berücksichtigung eines Kontextes $x_{c,t}$ (der den Slot, den Kanal, die Saison und die Konkurrenz beschreibt) und einer Menge von Kandidaten-Aktionen $A_t$ (verfügbare Filme) einen Vektor aus $N$ beschränkten Wertsignalen $\phi(a_t, x_{c,t})$ . In dieser Studie ist $N=5$ , repräsentiert durch:
1. Publikumspotenzial
2. Diversität
3. Neuheit
4. Konkurrenz (gleichzeitig ausgestrahlte Programme)
5. Rechte-/Vertragsmanagement
Adaptive Skalarisierung: Anstatt feste globale Gewichte zu verwenden, lernt CSTS eine Gewichtungsfunktion $w(x_{c,t})$ , die den Kontext auf einen Wahrscheinlichkeitsvektor über die Ziele abbildet. Dies wird als lineares Gating-Modell parametrisiert, das durch eine Softmax-Funktion geleitet wird:
$w_\theta(x_{c,t}) = \text{softmax}(U x_{c,t} + b)$
Der skalare Nutzen für eine Aktion wird dann als Skalarprodukt dieser kontextabhängigen Gewichte und des Wertsignal-Vektors berechnet: $u(a_t, x_{c,t}) = w_\theta(x_{c,t})^\top \phi(a_t, x_{c,t})$ .
Explorationsstrategie: Um Exploration und Exploitation auszubalancieren, verwendet der Algorithmus Thompson Sampling auf den Modellparametern $\theta = (U, b)$ . In jedem Schritt werden Parameter $\tilde{\theta}_t$ aus einer Verteilung gezogen, die um die aktuelle Schätzung zentriert ist (wobei die Unsicherheit über einen RMS-ähnlichen Akkumulator modelliert wird). Dies ermöglicht es dem System, verschiedene plausible Abwägungen zwischen den Zielen zu explorieren, anstatt willkürliches Rauschen in die Item-Scores einzufügen.
Lernen und Feedback: Das System aktualisiert die Parameter basierend auf binärem Feedback (Kurator-Auswahl) unter Verwendung einer logistischen Verlustfunktion. Zusätzlich wird ein Hilfsverlust integriert, um die gelernten Gewichte mit explizitem Kurator-Feedback bezüglich spezifischer Signalprioritäten abzugleichen, was das Modell effektiv in Richtung der redaktionellen Intention steuert.

Kernbeiträge

Kontextabhängige Gewichtung: Im Gegensatz zu vorangegangener Arbeit, die auf festen Gewichten oder statischen Pareto-Fronten basiert, passt CSTS die relative Bedeutung der Ziele dynamisch an den beobachteten Kontext an.
Interpretierbarkeit und Effizienz: Durch die Zerlegung der Empfehlungsqualität in beschränkte Wertsignale und das Erlernen eines kontextabhängigen Gewichtungsvektors bewahrt die Methode die Dateneffizienz und Interpretierbarkeit von Scalar-Reward-Bandits, während sie gleichzeitig mehrere Ziele handhabt.
Entscheidungsunterstützungssystem: Der Ansatz ist speziell darauf ausgelegt, menschliche Kuratoren zu unterstützen, indem er eine nach Relevanz sortierte Kurzliste plausibler Kandidaten liefert, die mit der Experten-Kuration übereinstimmen, anstatt die Planung vollständig zu automatisieren.

Ergebnisse
Die Autoren evaluierten CSTS anhand von zwei Jahren historischer Programmdaten von Radio Télévision Suisse (RTS) und verglichen es mit statischen globalen Gewichten, Publikummaximierung (Single-Objective), Vanilla Thompson Sampling und LinUCB.

Kontextuelle Relevanz: CSTS erreichte die höchste relaxierte kontextuelle Relevanz (Hit@10 = 98,7 %, NDCG@10 = 0,376) und übertraf damit signifikant das Vanilla Thompson Sampling (80,0 %) und statische Gewichte (92,0 %). Dies demonstriert den Vorteil der Anpassung der Gewichte an den spezifischen Kontext.
Striktes Matching: Unter striktem Matching (wo Relevanz allein als der historisch gewählte Film definiert ist) schnitten statische globale Gewichte leicht besser ab (Hit@10 = 20,0 % gegenüber 18,7 % für CSTS). Die Autoren führen dies darauf zurück, dass einige historische Entscheidungen punktuelle Reaktionen auf kurzfristige Einschränkungen waren, die in den Kontextmerkmalen nicht vollständig erfasst wurden, und dass Experten-definierte globale Gewichte eine starke Baseline bilden.
Abwägungsanalyse: CSTS zeigte ein deutlich anderes Präferenzprofil als statische Methoden. Während statische Empfehlungen konsistent Neuheit bevorzugten, lernte CSTS, in 3 von 4 getesteten Kontexten Diversität und Dringlichkeit der Rechte zu priorisieren, was enger mit der Katalogeffizienz und dem Rechtemanagement korreliert.
Ablationsstudien: Das Entfernen eines einzelnen Wertsignals verschlechterte die Leistung, was die Notwendigkeit des Multi-Objective-Ansatzes bestätigt. Das Entfernen der Signale „Konkurrenz“ oder „Publikum“ verurselte die größten Einbußen bei der Relevanz. Die Feinabstimmung der Exploration (über den Parameter $\kappa$ ) zeigte, dass eine moderate Exploration die beste Genauigkeit liefert, was Overfitting verhindert und gleichzeitig die Coverage aufrechterhält.

Bedeutung und Ansprüche
Das Paper behauptet, dass CSTS eine signifikante Verbesserung der kontextuellen Relevanz und der Übereinstimmung mit Experten-Kurationspraktiken gegenüber festen Gewichtungen oder Standard-Contextual-Bandit-Ansätzen bietet. Es demonstriert erfolgreich, dass ein Multi-Objective-Bandit in der Lage ist, die inhärenten Abwägungen in der Programmplanung des öffentlich-rechtlichen Rundfunks zu navigieren, ohne eine statische „One-Size-Fits-All“-Policy zu benötigen.

Die Autoren merken bescheiden an, dass CSTS zwar die Abrufbarkeit relevanter Slates verbessert, aber noch nicht in der Lage ist, die exakten historischen Entscheidungen der Kuratoren vollständig zu replizieren, was darauf hindeutet, dass menschliche Entscheidungsfindung Faktoren beinhaltet, die über die erfassten Kontextmerkmale hinausgehen. Sie betonen, dass das System als Entscheidungsunterstützungstool konzipiert ist, um Kuratoren bei der Navigation durch große Kataloge zu helfen, und nicht als Ersatz für das menschliche redaktionelle Urteil. Zukünftige Arbeit sieht vor, von handgefertigten Signalen zu einem systematischen Designprozess überzugehen und digitale Publikumsmessungen zu integrieren.

1. Das Problem mit „Einheitslösungen“

2. Die Lösung: Der Chamäleon-Koch

3. Wie es lernt (Die „Glücksspieler“-Analogie)

4. Was passierte, als sie es testeten?

Das Faz-it

Mehr davon