🤖 AI

GFlowGR: Fine-tuning Generative Recommendation Frameworks with Generative Flow Networks

Dieses Paper stellt GFlowGR vor, ein neuartiges Fine-Tuning-Framework für generative Empfehlungssysteme, das Generative Flow Networks nutzt, um den Exposure Bias zu mildern, indem es kollaboratives Wissen in einen adaptiven Trajektorien-Sampler und ein Belohnungsmodell integriert und dadurch die Leistung gegenüber bestehenden überwachten und präferenzbasierten Methoden verbessert.

Ursprüngliche Autoren: Yejing Wang, Shengyu Zhou, Jinyu Lu, Qidong Liu, Xinhang Li, Wenlin Zhang, Feng Li, Pengjie Wang, Chuan Yu, Jian Xu, Bo Zheng, Xiangyu Zhao

Veröffentlicht 2026-06-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yejing Wang, Shengyu Zhou, Jinyu Lu, Qidong Liu, Xinhang Li, Wenlin Zhang, Feng Li, Pengjie Wang, Chuan Yu, Jian Xu, Bo Zheng, Xiangyu Zhao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Meisterkoch, der ein Restaurant leitet. Ihr Ziel ist es, einem Kunden basierend auf dem, was er früher gegessen hat, das perfekte Gericht zu empfehlen.

Der alte Weg (Das Problem):
Traditionell haben Sie Ihrem Küchenpersonal (dem KI-Modell) nur ein spezifisches Foto eines Gerichts gezeigt, das der Kunde beim letzten Mal tatsächlich bestellt hat. Sie sagten: „Merke dir genau dieses Foto.“

Der Fehler 1: In der realen Welt servieren Sie nicht nur ein einzelnes Gericht, sondern präsentieren eine ganze Speisekarte mit großartigen Optionen. Aber Ihr Personal hat nur gelernt, ein spezifisches Foto zu kopieren, weshalb es Schwierigkeiten hat, eine vielfältige, hochwertige Speisekarte zu erstellen.
Der Fehler 2: Sie haben jede Interaktion gleich behandelt. Wenn ein Kunde nur auf einen Menüpunkt geschaut hat, haben Sie ihm die gleiche Anerkennung gegeben, als hätte er ihn tatsächlich gekauft. Aber offensichtlich ist ein Kauf ein viel stärkeres Signal für das, was er möchte, als nur ein flüchtiger Blick. Das alte Training ignorierte diesen Unterschied im Wert.

Die neue Lösung: GFlowGR
Die Forscher schlagen eine neue Trainingsmethode namens GFlowGR vor. Stellen Sie sich vor, Sie bringen dem Koch nicht nur bei, ein einzelnes Foto zu kopieren, sondern den Fluss der Aromen zu verstehen und zu lernen, wie man eine ganze Speisekarte erstellt, in der die besten Gerichte am häufigsten erscheinen.

Sie verwenden ein Konzept namens Generative Flow Networks (GFlowNets). So funktioniert es anhand einfacher Analogien:

1. Die „Fluss“-Analogie

Stellen Sie sich vor, Wasser fließt durch ein Netzwerk von Rohren.

Das Ziel: Sie möchten, dass das Wasser am stärksten in die Rohre fließt, die zu „hochwertigen“ Zielen führen (wie einem köstlichen, beliebten Gericht).
Der alte Weg: Sie haben einfach auf ein Ziel gezeigt und gesagt: „Geh dorthin!“
Der GFlowGR-Weg: Sie richten die Rohre so ein, dass die Menge des Wassers (Wahrscheinlichkeit), die zu einem Ziel fließt, direkt proportional dazu ist, wie „wertvoll“ dieses Ziel ist. Wenn ein Gericht ein „Superhit“ (hohe Belohnung) ist, fließt ein riesiger Strom Wasser dorthin. Wenn es nur ein „Vielleicht“ ist, fließt nur ein Rinnsal dorthin. Dies stellt sicher, dass der Koch die besten Optionen natürlich priorisiert.

2. Drei wichtige Zutaten

Um dies umzusetzen, führt das Paper drei spezifische Werkzeuge ein:

Der „Speisekarten-Ersteller“ (Trajectory Sampler):
Anstatt nur das eine Gericht anzusehen, das der Kunde gekauft hat, betrachtet dieses Werkzeug die gesamte Historie: was sie gekauft haben, worauf sie geklickt haben, was sie gesehen, aber nicht angeklickt haben, und sogar, was sie nicht gesehen haben. Es erstellt eine „Trainings-Speisekarte“ mit vielen Möglichkeiten, damit der Koch lernt, zwischen einem „Vielleicht“ und einem „Definitiven Ja“ zu unterscheiden.
Der „Wert-Richter“ (Reward Model):
Dies ist ein intelligenter Punktezähler. Er sagt nicht einfach nur „Gut“ oder „Schlecht“. Er vergibt eine nuancierte Punktzahl basierend auf verschiedenen Signalen:
- Haben sie es gekauft? (Hohe Punkte)
- Haben sie darauf geklickt? (Mittlere Punkte)
- Haben sie nur hingeschaut? (Niedrige Punkte)
- Passt es zu ihrem bisherigen Stil? (Bonuspunkte)
  Diese Punktzahl sagt dem „Flow Network“ genau, wie viel Wasser zu diesem Gericht fließen sollte.
Der „Schritt-für-Schritt-Coach“ (Token-Level Supervision):
In diesen KI-Systemen ist ein Gericht nicht nur ein Wort, sondern eine Sequenz von Token (wie <Marke> <Geschmack> <Größe>). Die alten Methoden haben nur das Endergebnis überprüft. GFlowGR fungt wie ein Coach, der jeden einzelnen Schritt beobachtet, den der Koch macht. Wenn der Koch frühzeitig das falsche „Marken“-Token wählt, korrigiert der Coach ihn sofort, um sicherzustellen, dass der gesamte Pfad zu einem hochwertigen Gericht führt.

3. Ergebnisse aus der realen Welt

Die Forscher haben dies nicht nur im Labor getestet; sie haben es in der realen Welt bei Taobao ausprobiert (einer riesigen chinesischen E-Commerce-Plattform).

Die Skalierung: Sie nutzten es für Suchanzeigen, die hunderte Millionen tägliche Nutzer bedienen.
Das Ergebnis: Seit dem Start Mitte 2025 generierte das System eine Steigerung des Jahresumsatzes um 0,4 %. Obwohl das klein klingen mag, entspricht dies auf einer Plattform dieser Größe Milliarden von Dollar an zusätzlichem Wert.
Warum es funktionierte: Das System wurde besser darin, eine vielfältige Auswahl an hochwertigen Artikeln zu zeigen, die tatsächlich dem entsprachen, was die Nutzer kaufen wollten, anstatt nur die gleichen populären Artikel zu wiederholen.

Zusammenfassend:
GFlowGR verändert die Art und Weise, wie KI lernt, Dinge zu empfehlen. Anstatt nur eine einzige „richtige Antwort“ auswendig zu lernen, lernt sie, eine komplexe Landschaft von Möglichkeiten zu navigieren. Dies stellt sicher, dass die wertvollsten Artikel die meiste Aufmerksamkeit erhalten, während gleichzeitig eine vielfältige und spannende Speisekarte für den Nutzer bereitgestellt wird. Es verwandelt eine starre „Kopieren-und-Einfügen“-Trainingsmethode in einen flüssigen, werteorientierten Lernprozess.

Technisches Resümee: GFlowGR

Problemstellung

Frameworks für Generative Empfehlungen (Generative Recommendation, GR), die Large Language Models (LLMs) nutzen, um Item-Identifikatoren autoregressiv zu generieren, haben sich in industriellen Anwendungen als vielversprechend erwiesen. Bestehende Trainingsparadigmen, primär Supervised Fine-Tuning (SFT), leiden jedoch unter zwei grundlegenden Inkongruenzen mit den Anforderungen des realen Einsatzes:

Punktuelle vs. Mengenbasierte Diskrepanz (Point-wise vs. Set-wise Mismatch): SFT optimiert auf die Vorhersage eines einzelnen Ground-Truth-Items pro Trainingsinstanz. Im Gegensatz dazu erfordern Produktionssysteme die Generierung eines diversen, hochwertigen Sets an Kandidaten. SFT ignoriert das vollständige Set relevanter Items während des Trainings, was eine Lücke zwischen der Offline-Vorhersage einzelner Items und der Online-Inferenz von Mengen erzeugt.
Uniformer Interaktionswert: SFT behandelt alle Nutzerinteraktionen (z. B. Impressionen, Klicks, Käufe) als gleichermaßen informativ. Es versäumt es, die inhärenten Unterschiede im Nutzen zu berücksichtigen, wobei ein Kaufsignal eine stärkere Intention und einen höheren Plattformwert anzeigt als eine bloße Impression.

Obwohl jüngere belohnungsbasierte Fine-Tuning-Ansätze (z. B. Reinforcement Learning, Direct Preference Optimization) versuchen, die Wertbewusstsein zu adressieren, mangelt es ihnen oft an Token-Ebene-Supervision. Da Items in GR als Multi-Token-Sequenzen dargestellt werden, begrenzt die Zuweisung von Belohnungen nur auf Item-Ebene die Präzision der Optimierung und die Generierungsqualität.

Methodik: GFlowGR

Um diese Herausforderungen zu bewältigen, schlagen die Autoren GFlowGR vor, ein Fine-Tuning-Framework basierend auf Generative Flow Networks (GFlowNets). Das Framework formuliert GR als ein sequentielles Set-Generierungsproblem um, bei dem die Wahrscheinlichkeit der Generierung einer Item-Sequenz explizit mit deren Nutzen (Utility) abgeglichen wird.

Kernkomponenten

GFlowGR besteht aus drei eng integrierten Komponenten:

Trajektorien-Sampler:
- Konstruiert Trainings-Trajektorien aus Kandidaten-Sets statt aus einzelnen Items, um mengenbasiertes Lernen zu ermöglichen.
- Unterstützt mehrere Sampling-Strategien:
  - Interaktionsprotokolle: Verwendung historischer Sitzungsdaten.
  - Zufalls-Sampling (Random Sampling): Augmentierung spärlicher Daten durch zufällige Negative.
  - Kollaboratives Modell (CM) Sampling: Ein adaptiver, Curriculum-artiger Ansatz, bei dem ein vortrainiertes CM die Auswahl negativer Samples steuert. Das frühe Training nutzt „einfache“ Negative (niedrige CM-Scores), während spätere Phasen „schwierigere“ Negative (höhere CM-Scores) einbezieht, um die Trainingsschwierigkeit aufrechtzuerhalten.
  - LLM-basiertes Sampling: Verwendung der Beam-Search des aktuellen LLMs zur Generierung von On-Policy-Negativen.
Verhaltensbewusstes Belohnungsmodell (Behavior-Aware Reward Model):
- Quantifiziert den Item-Nutzen durch die Integration heterogener Nutzersignale in eine zusammengesetzte Belohnung $R(s_L)$ .
- Die Belohnung kombiniert drei Signale:
  - Interaktionssignal ( $r_a$ ): Basierend auf beobachteten Feedback-Stufen (z. B. Kauf > Klick > Impression).
  - Geschätzter Score ( $r_c$ ): Scores aus einem kollaborativen Modell oder LLM-Forward-Wahrscheinlichkeiten.
  - Geschäftsziel ( $r_{sim}$ ): Partielle Korrektheit, gemessen an der Anzahl der geteilten Token mit dem positiven Sample.
- Dieses Modell weist Belohnungen sowohl beobachteten positiven Items als auch augmentierten Samples (einschließlich nicht präsentierter Items) zu, wodurch der Exposure Bias vermieden wird, der durch die Zuweisung von Null-Belohnungen an unobservierte Items entsteht.
GFlowNet-Zielsetzung (GFlowNet Objective):
- Bietet Token-Ebene-Supervision durch die Durchsetzung eines Flow-Matching-Prinzips. Das Framework stellt sicher, dass die Wahrscheinlichkeit der Generierung einer vollständigen Item-Sequenz proportional zu ihrer terminalen Belzohnung ist ( $P(\tau) \propto R(s_L)$ ).
- Es nutzt entweder Detailed Balance (DB) oder Trajectory Balance (TB) Loss-Funktionen, um die Forward-Generierungswahrscheinlichkeiten mit dem Backward-Flow abzugleichen, indem die Item-basierten Belohnungen in Token-basierte Lernsignale zerlegt werden.
- Der Gesamtverlust kombiniert den Standard-Next-Token-Prediction-Loss (SFT) für positive Samples und den GFlowNet-Loss ( $L_{GFN}$ ) über gesampelte Trajektorien, balanciert durch einen Hyperparameter $\lambda$ .

Wichtigste Beiträge

Formalisierung: Die Arbeit formalisiert GR als eine mehrstufige, wertbewusste Set-Generierungsaufgabe und schlägt GFlowGR als das erste GFlowNet-basierte Fine-Tuning-Framework für GR vor, das eine Token-Ebene-Supervision ermöglicht.
Modulares Design: Es präsentiert eine flexible Architektur bestehend aus einem Trajektorien-Sampler, einem Multi-Signal-Belohnungsmodell und einem GFlowNet-Loss, demonstriert durch verschiedene praktische Instanziierungen.
Empirische Validierung: Umfangreiche Experimente auf drei realen Datensätzen (Yelp, Beauty, Instruments) unter Verwendung von zwei repräsentativen LLM-basierten GR-Backbones (TIGER und LETTER) zeigen konsistente und signifikante Verbesserungen gegenüber starken Baselines, einschließlich SFT, GRPO und DPO-Varianten.
Industrielle Implementierung: Das Framework wurde erfolgreich in das Suchanzeigen-Geschäft von Taobao integriert und bedient hunderte Millionen täglicher aktiver Nutzer.

Ergebnisse

Offline-Evaluierung

Performance: GFlowGR-Varianten (DB und TB) übertrafen die Baselines über alle Metriken hinweg (Hit Rate und NDCG bei Top-5 und Top-10) konsistent. GFlowGR-TB zeigte besonders eine starke Performance, was wahrscheinlich auf seine Fähigkeit zurückzuführen ist, über vollständige Trajektorien zu optimieren.
Ablationsstudien:
- Das Entfernen einer Komponente des Belohnungsmodells verschlechterte die Performance, was die Notwendigkeit der Kombination von Interaktionssignalen, kollaborativen Scores und Token-Ähnlichkeit bestätigt.
- Adaptives Sampling (CM-basiert) übertraf Random Sampling.
- Das Lernen aus Item-Sets (augmentierte Trajektorien) war entscheidend; Modelle, die auf einzelnen positiven Items ( $N=1$ ) trainiert wurden, zeigten eine schlechtere Generalisierung.
Belohnungsintegration: Eine lernbare gewichtete Summe der Belohnungssignale übertraf die einfache Summation leicht, was darauf hindeutet, dass die Kalibrierung heterogener Signale die Ergebnisse verbessert.

Online-Einsatz (Taobao)

Umsatzeffekt: Seit Mitte 2025 hat GFlowGR eine relative Verbesserung des Jahresumsatzes um 0,4 % in der Suchanzeige von Taobao erzielt, was einem Milliarden-Niveau an monetären Gewinnen entspricht.
A/B-Tests: Ein 15-tägiger Test auf 10 % des Traffics zeigte eine statistisch signifikante Steigerung des Gesamtumsatzes um +0,43 %.
Effizienz: Während GFlowGR etwa die 2,1-fache Trainingszeit eines Standard-SFT benötigt (aufgrund augmentierter Samples), erreicht es dies mit einer signifikant höheren Effizienz in der Nutzung der Nutzerinteraktion im Vergleich zu anderen RL-Methoden wie GRPO.
Long-Tail-Performance: Das Modell zeigte bemerkenswerte Verbesserungen bei unterversorgten Fällen, einschließlich einer Umsatzsteigerung von +4,0 % für neu gelistete Artikel und +1,8 % für Long-Tail-Anfragen, zusammen mit einer erhöhten Diversität der Item-Abdeckung.

Bedeutung und Ansprüche

Das Paper behauptet, dass GFlowGR ein prinzipielles Fundament für die nächste Generation generativer Empfehlungssysteme bietet, indem es die Lücke zwischen punktueller Trainingsweise und mengenbasierter Bereitstellung schließt. Durch die Modellierung der Item-Generierung als stochastische Trajektorie und den Abgleich der Generierungswahrscheinlichkeiten mit verhaltensbasierten Belohnungen ermöglicht das Framework wertproportionale, diverse und hochwertige Empfehlungen.

Die Autoren betonen, dass GFlowGR einen kritischen Flaschenhals der Trainingsparadigmen in GR adressiert, indem es über die Optimierung einzelner Items hinaus zu einem mengenbasierten, wertbewussten Ansatz geht, der sowohl theoretisch fundiert in GFlowNets als auch praktisch in einem groß angelegten industriellen Umfeld validiert ist. Die Arbeit zeigt, dass die Einbeziehung von Token-Ebene-Supervision und diversen Kandidaten-Sets essenziell ist, um LLM-basierte Empfehlungssysteme mit realen Geschäftszielen in Einklang zu bringen.