💻 computer science

Action-Aware Generative Sequence Modeling for Short Video Recommendation

Dieser Artikel stellt das Action-Aware Generative Sequence Network (A2Gen) vor, ein neuartiges Modell, das die zeitlichen Muster von Benutzeraktionen nutzt, um die Einschränkungen traditioneller binärer Klassifikation bei der Empfehlung von Kurzvideos zu überwinden, und das durch umfangreiche Offline- und groß angelegte Online-A/B-Tests auf Kuaishou signifikante Verbesserungen bei der Wiedergadedauer, den Interaktionsraten und der Nutzerbindung erzielt.

Ursprüngliche Autoren: Wenhao Li, Zihan Lin, Zhengxiao Guo, Jie Zhou, Shukai Liu, Yongqi Liu, Chuan Luo, Chaoyi Ma, Ruiming Tang, Han Li

Veröffentlicht 2026-04-29

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Wenhao Li, Zihan Lin, Zhengxiao Guo, Jie Zhou, Shukai Liu, Yongqi Liu, Chuan Luo, Chaoyi Ma, Ruiming Tang, Han Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie schauen ein kurzes Video auf Ihrem Handy. Es ist eine Mischung aus verschiedenen Dingen: vielleicht ein lustiger Witz, ein ernsthafter Nachrichtenclip, ein eingängiges Lied und dann eine plötzliche Werbung.

Der alte Weg (Der „Einheitsgröße"-Ansatz)
Traditionelle Empfehlungssysteme behandeln das gesamte Video wie einen einzigen, festen Block Käse. Wenn Sie das Video „mögen", geht das System davon aus, dass Ihnen alles darin gefallen hat.

Das Problem: Nehmen wir an, das Video ist ein Interview, bei dem der Gast „Messi" über „Ronaldo" stellt. Sie „mögen" das Video genau in diesem Moment, weil Sie Messi lieben. Der Rest des Videos besteht jedoch nur aus Highlights von Ronaldo. Das alte System denkt: „Oh, sie haben das Video gemocht, also müssen sie auch Ronaldo lieben!" und zeigt Ihnen fortan Ronaldo-Videos. Sie werden genervt, weil Ihnen nur der Messi-Teil gefallen hat.

Die neue Erkenntnis (Der Zeitpunkt ist alles)
Die Autoren dieses Papiers erkannten, dass wann Sie auf einen Button klicken, genauso wichtig ist wie dass Sie geklickt haben.

Die Analogie: Denken Sie an ein Video wie an einen Filmtrailer. Wenn Sie in die Hände klatschen (ein „Like"), genau wenn der Held den Tag rettet, reagieren Sie auf diesen spezifischen Moment. Wenn Sie am ganz Ende klatschen, tun Sie es vielleicht nur aus Höflichkeit. Der Zeitpunkt sagt dem System genau, welcher Teil des Videos Sie glücklich gemacht hat.
Die Entdeckung: Durch die Analyse von Millionen Videos stellten sie fest, dass „Likes" und „Folgen" oft in bestimmten „Spitzen" (Highlights) auftreten. Wenn Sie einen Creator bevor Sie das Video zu Ende gesehen haben „folgen", bedeutet das, dass Sie die Person lieben, nicht unbedingt den spezifischen Inhalt, den Sie gerade gesehen haben.

Die Lösung: A2Gen (Das „Geschichtenerzähler"-Modell)
Das Papier stellt ein neues Modell namens A2Gen (Action-Aware Generative Sequence Network) vor. Anstatt zu raten, ob Sie ein Video mögen werden, versucht A2Gen, die gesamte Geschichte darüber vorherzusagen, wie Sie es ansehen werden.

So funktioniert es, aufgeteilt in einfache Teile:

Der kontextbewusste Aufmerksamkeitsmodul (CAM) – „Der intelligente Leser"
Stellen Sie sich einen Leser vor, der nicht nur Wörter liest, sondern die Stimmung im Raum versteht. CAM betrachtet Ihre vergangenen Aktionen und den spezifischen Videoinhalt gemeinsam. Es weiß, dass ein „Like" auf ein Comedy-Video etwas anderes bedeutet als ein „Like" auf ein Nachrichtenvideo. Es achtet auf den Kontext des Moments.
Der hierarchische Sequenz-Encoder (HSE) – „Die Gedächtnisbank"
Dieser Teil erinnert sich an Ihre langfristigen Gewohnheiten. Er betrachtet Ihre Historie wie ein Bibliothekar, der Bücher ordnet. Er sieht nicht nur „Nutzer X hat 100 Videos angesehen". Er erkennt Muster: „Nutzer X überspringt normalerweise Werbung, liebt aber Musikvideos, und neigt dazu, Creators nach 15 Sekunden zu 'folgen'." Er erstellt ein tiefes Profil Ihres einzigartigen Stils.
Der action-seq autoregressive Generator (AAG) – „Die Kristallkugel"
Dies ist der magische Teil. Anstatt nur „Ja/Nein" zu sagen, agiert AAG wie eine Kristallkugel, die die gesamte Sequenz Ihrer zukünftigen Aktionen vorhersagt.
- Es fragt: „Wenn wir dieses Video zeigen, wird der Nutzer mit dem Anschauen beginnen? Wird er es bei der 5-Sekunden-Marke 'mögen'? Wird er den Creator bei der 10-Sekunden-Marke 'folgen'? Wann wird er aufhören?"
- Es sagt die Reihenfolge und den genauen Zeitpunkt jedes Klicks vorher, ähnlich wie man die Handlung eines Films vorhersagt, bevor sie passiert.

Warum das wichtig ist (Die Ergebnisse)
Das Team testete dies auf Kuaishou, einer riesigen Kurzvideo-Plattform mit Hunderten von Millionen Nutzern. Sie ersetzten ihr altes System durch A2Gen und führten ein riesiges Experiment durch (A/B-Testing).

Das Ergebnis: Da das System nun versteht, welche Teile eines Videos Sie tatsächlich genießen, empfiehlt es bessere Inhalte.
Die Zahlen:
- Die Menschen verbrachten 0,34 % mehr Zeit mit Videos (was klein klingt, aber bei Millionen von Nutzern eine Menge Zeit ist).
- Die Menschen interagierten (liken, folgen, kommentieren) 8,1 % mehr.
- Noch wichtiger: Mehr Menschen kamen am nächsten Tag zurück (die Bindungsrate stieg um 0,162 %), was etwa einer Million zusätzlichen täglichen Nutzern entspricht, die auf der Plattform bleiben.

Zusammenfassung
Das Papier argumentiert, dass wir ein Video nicht als einzelnes „Ja/Nein"-Element behandeln sollten. Stattdessen sollten wir es als eine Zeitleiste von Momenten betrachten. Indem wir ein Modell verwenden, das vorhersagt, wann und in welcher Reihenfolge Sie reagieren werden, kann die App endlich Ihren wahren Geschmack verstehen und Ihnen Videos zeigen, die Sie tatsächlich sehen möchten, anstatt nur basierend auf einem einzigen Klick zu raten.

1. Problemstellung

Traditionelle Multi-Task-Empfehlungssysteme für Kurzvideos behandeln ein Video typischerweise als einheitliche, ganzheitliche Entität und stützen sich auf binäre Klassifizierung (z. B. Klick/Kein-Klick, Gefällt mir/Kein-Gefällt-mir), um Nutzerpräferenzen vorherzusagen. Dieser Ansatz steht vor zwei kritischen Einschränkungen:

Verlust der Granularität: Kurzvideos enthalten oft diverse Segmente (z. B. ein Medley aus Songs oder ein Interview mit mehreren Themen). Nutzer können bestimmte Segmente mögen, während sie andere ablehnen. Die Behandlung des Videos als Ganzes verwässert diese feingranularen Interessen, was zu ungenauen Embeddings und schlechten Empfehlungen führt (z. B. die Empfehlung eines Ronaldo-Videos an einen Nutzer, der nur das Messi-Segment mochte).
Ignorieren zeitlicher Dynamiken: Der Konsum durch Nutzer ist ein zeitlicher Prozess. Der Zeitpunkt einer Aktion (z. B. Gefällt mir bei 2 Sekunden vs. 16 Sekunden) und die Reihenfolge der Aktionen (z. B. Folgen dann Gefällt mir vs. Gefällt mir dann Folgen) tragen unterschiedliche semantische Bedeutungen hinsichtlich der Nutzerabsicht. Bestehende Modelle erfassen diese zeitlichen Abhängigkeiten und Aktionssequenzen innerhalb eines einzelnen Elements nicht.

Die Kernherausforderung besteht darin, das Nutzerverhalten nicht nur als eine Menge isolierter Ereignisse, sondern als zeitlich geordnete Sequenz von Aktionen zu modellieren, die zu bestimmten Zeitstempeln innerhalb eines Videos auftreten, um damit echte, segmentbezogene Interessen zu erfassen.

2. Methodik: Action-Aware Generative Sequence Network (A2Gen)

Die Autoren schlagen A2Gen vor, ein neuartiges Framework, das Nutzeraktionen in eine einheitliche Sequenz für eine generative Vorhersage verknüpft. Anstatt binäre Ergebnisse vorherzusagen, generiert das Modell eine vollständige Sequenz von Aktionen $\{(A_1, T_1), \dots, (A_m, T_m)\}$ , wobei $A$ der Aktionstyp und $T$ der Zeitstempel ist.

Die Architektur besteht aus drei Hauptkomponenten:

A. Kontextbewusster Aufmerksamkeitsmodul (CAM)

Im Gegensatz zur Standard-Selbstaufmerksamkeit in der NLP integriert CAM elementspezifische Kontextmerkmale in den Aufmerksamkeitsmechanismus.

Mechanismus: Es integriert kontextuelle Informationen (Elementmerkmale) in den Query-Vektor. Dies stellt sicher, dass die Ähnlichkeitsberechnung zwischen zwei Aktionen von dem spezifischen Inhalt der zugehörigen Elemente abhängt und nicht nur von den Aktionstypen.
Gating: Ein Gating-Netzwerk lernt die relative Wichtigkeit verschiedener Aufmerksamkeitsköpfe für spezifische Aufgaben und ermöglicht so eine aufgaben-spezifische Optimierung.
Funktion: Es modelliert die Eingabesequenz (historische Aktionen) effektiv, indem es das Zusammenspiel zwischen Aktionstypen und Elementkontexten erfasst.

B. Hierarchischer Sequenz-Encoder (HSE)

Die Nutzerhistorie umfasst zwei Dimensionen: die Sequenz von Aktionen innerhalb eines einzelnen Elements und die Sequenz von Elementen, die über die Zeit konsumiert wurden. HSE adressiert dies durch eine zweistufige Kodierung:

Aktionsdimension: Verarbeitet die Sequenz von Aktionen für jedes historische Element unter Verwendung von CAM, um elementspezifische Interessenrepräsentationen ( $Seq_j$ ) zu extrahieren.
Elementdimension: Behandelt die Sequenz historischer Elemente (jedes repräsentiert durch seine $Seq_j$ und Elementmerkmale) als neue Sequenz. CAM wird erneut angewendet, wobei die Merkmale des Ziel-Elements als Kontext verwendet werden, um personalisierte Ähnlichkeitsgewichte zwischen historischen Elementen und dem aktuellen Kandidaten zu berechnen.

Ausgabe: Eine umfassende Nutzerrepräsentation ( $Vec_{hist}$ ), die sowohl feingranulare segmentbezogene Interessen als auch langfristige Elementpräferenzen erfasst.

C. Action-seq Autoregressiver Generator (AAG)

Dieses Modul verwendet ein autoregressives generatives Paradigma, um die zukünftige Aktionssequenz für ein Ziel-Element vorherzusagen.

Eingabe: Nutzermerkmale, Ziel-Elementmerkmale und die historische Repräsentation ( $Vec_{hist}$ ).
Prozess: Es sagt Aktionen schrittweise voraus. In jedem Schritt $i$ wird der Aktionstyp ( $A_i$ ) und der Zeitpunkt ( $T_i$ ) basierend auf den zuvor generierten Aktionen ( $A_{1:i-1}, T_{1:i-1}$ ) vorhergesagt.
Training: Verwendet Teacher Forcing (Ground Truth der vorherigen Schritte), um ein paralleles Training zu ermöglichen.
Verlustfunktionen:
- Klassifizierungsverlust: Kreuzentropie für die Vorhersage des Aktionstyps.
- Regressionsverlust: Mittlerer quadratischer Fehler (MSE) für die Zeitpunktvorhersage (normalisiert durch die Videodauer).
- Reihenfolge-Einschränkungsverlust ( $L_{order}$ ): Stellt sicher, dass generierte Zeitstempel chronologisch geordnet sind ( $T_p < T_q$ für $p < q$ ) und verhindert logische Inkonsistenzen.

3. Hauptbeiträge

Paradigmenwechsel: Das Papier geht über die binäre Klassifizierung hinaus zu einem Ansatz des generativen Sequenzmodells, der den Zeitpunkt und die Reihenfolge von Nutzeraktionen innerhalb eines Videos explizit modelliert.
Neuartige Architektur (A2Gen): Einführung eines einheitlichen Frameworks bestehend aus CAM, HSE und AAG, um die komplexe, mehrdimensionale Natur von Nutzer-Element-Interaktionen zu bewältigen (elementspezifischer Kontext + zeitliche Aktionssequenzen).
Einblick in den Aktionszeitpunkt: Durch statistische Analysen wird gezeigt, dass der Aktionszeitpunkt (z. B. Spitzen in der Gefällt mir-Verteilung) stark mit echtem Nutzerinteresse korreliert und dass Aktionssequenzen (z. B. Folgen-Gefällt mir vs. Gefällt mir-Folgen) unterschiedliche Nutzerabsichten offenbaren.
Industrielle Skaleneinsatz: Erfolgreicher Einsatz auf Kuaishou mit über 400 Millionen täglichen Nutzern, was die Skalierbarkeit und reale Wirksamkeit des Modells validiert.

4. Experimentelle Ergebnisse

Offline-Leistung

Datensätze: Evaluierung auf dem öffentlichen Tmall-Datensatz (E-Commerce) und einem massiven Kuaishou-Industriedatensatz (Kurzvideo).
Metriken: AUC für die Aktionsklassifizierung und MAE für die Zeitpunktregression.
Ergebnisse: A2Gen übertraf State-of-the-Art-Baselines (MMoE, PLE, AdaTask, HoME, etc.) signifikant.
- Aktionsvorhersage: Erzielte eine Verbesserung von 58 bp (Basispunkten) im AUC für die Gefällt mir-Vorhersage gegenüber dem SOTA-Modell HoME.
- Zeitpunktvorhersage: Reduzierte den MAE um 2,60 % für die Gefällt mir-Zeitpunktvorhersage im Vergleich zu HoME.
- Ablationsstudien: Bestätigten, dass das Entfernen von HSE, CAM oder dem Reihenfolge-Einschränkungsverlust ( $L_{order}$ ) zu einer konsistenten Leistungsverschlechterung führte, was die Notwendigkeit jeder Komponente beweist.

Online A/B-Tests (Kuaishou)

Das Modell wurde in einer groß angelegten Online-Umgebung mit vier Optimierungsstrategien eingesetzt:

Modellersatz: Direkter Ersatz des Baseline-Modells.
Aktionszeitpunkt-Bewusstsein: Erhöhung der Ranking-Scores für Aktionen, die später im Video auftreten (deutet auf ein tieferes Engagement hin).
Aktionssequenz-Bewusstsein: Priorisierung von Sequenzen wie Folgen-Gefällt mir (stärkere Absicht) gegenüber Gefällt mir-Folgen.
Aktionszeitpunkt-Verteilungsbewusstsein: Erhöhung der Scores für Aktionen, die in der Nähe statistischer „Spitzen" des Engagements auftreten.

Verbesserung der wichtigsten Geschäftskennzahlen:

Nutzer-View-Time: +0,34 %
Interaktionsrate: +8,1 %
Nutzerbindung (LifeTime-7): +0,162 % (entspricht ca. 1 Million zusätzlichen täglichen aktiven Nutzern).

5. Bedeutung

Diese Arbeit schließt die Lücke zwischen generativer KI und Empfehlungssystemen, indem sie Nutzerverhalten als generative Sequenz und nicht als statisches Klassifizierungsproblem behandelt. Durch die Nutzung der zeitlichen Dimension von Nutzeraktionen löst A2Gen das inhärente Problem der „segmentbezogenen Interessen" beim Konsum von Kurzvideos. Der erfolgreiche Einsatz auf einer Plattform mit Hunderten von Millionen Nutzern zeigt, dass die Modellierung feingranularer zeitlicher Dynamiken nicht nur theoretisch fundiert ist, sondern auch ein kritischer Treiber für Unternehmenswachstum auf modernen Content-Empfehlungsplattformen darstellt.