🤖 machine learning

Beyond the Proxy: Trajectory-Distilled Guidance for Offline GFlowNet Training

Dieser Beitrag stellt Trajectory-Distilled GFlowNet (TD-GFN) vor, ein proxy-freies Framework, das inverses Bestärkungslernen nutzt, um aus Offline-Daten dichte Kanteneinbelohnungen für eine geführte Exploration zu extrahieren, und dabei ausschließlich auf wahre Endbelohnungen zurückgreift, um ein robustes Training zu gewährleisten und bestehende Baseline-Methoden sowohl in der Konvergenzgeschwindigkeit als auch in der Probenqualität zu übertreffen.

Ursprüngliche Autoren: Ruishuo Chen, Xun Wang, Rui Hu, Zhuoran Li, Longbo Huang

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ruishuo Chen, Xun Wang, Rui Hu, Zhuoran Li, Longbo Huang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, den perfekten Kuchen zu backen. In einer idealen Welt würde der Roboter einen Kuchen backen, Sie würden ihn probieren, ihm eine Bewertung (eine „Belohnung") geben, und er würde es erneut versuchen und aus jedem Fehler lernen. So lernt die meisten KI heute.

Doch in vielen realen Situationen – etwa beim Design neuer Medikamente oder beim Erstellen biologischer Sequenzen – kann man nicht einfach jede Möglichkeit „probieren". Die Experimente sind zu teuer, dauern zu lange oder erfordern menschliche Experten, die knapp sind. Man ist also auf ein „statisches Kochbuch" angewiesen: einen Stapel alter Rezepte (Daten), die jemand anderes niedergeschrieben hat, zusammen mit den endgültigen Bewertungen für diese spezifischen Kuchen. Man kann keine neuen Bewertungen anfordern; man kann nur das betrachten, was bereits vorhanden ist.

Dies ist das Problem, das TD-GFN (Trajectory-Distilled GFlowNet) löst.

Das Problem mit dem alten Weg: Der „falsche Richter"

Zuvor, als Wissenschaftler versuchten, KI nur mit diesen alten Kochbüchern zu trainieren, mussten sie einen „Proxy" oder einen „falschen Richter" bauen. Dieser falsche Richter würde sich ein neues, ungetestetes Rezept ansehen und raten, welche Bewertung es erhalten würde.

Der Fehler: Wenn der falsche Richter falsch liegt (was oft passiert, weil er nicht genügend Daten gesehen hat), gibt er schlechte Ratschläge. Der Roboter folgt diesem schlechten Rat, macht einen Fehler, und der Fehler breitet sich aus, wodurch das gesamte System verschlechtert wird. Es ist, als würde man einen Lebensmittelkritiker einstellen, der das Essen noch nie wirklich probiert hat, um Ihnen zu sagen, wie man kocht.

Die TD-GFN-Lösung: Die „Karte der Küche"

Anstatt einen falschen Richter zu bauen, der Bewertungen errät, betrachtet TD-GFN die Pfade, die der Roboter genommen hat, um in den alten Kochbüchern zu den finalen Kuchen zu gelangen. Es fragt: „Welche Schritte in diesen Rezepten waren tatsächlich hilfreich, und welche waren Sackgassen?"

So funktioniert es, Schritt für Schritt, unter Verwendung einer einfachen Analogie:

1. Die „Rückwärtsentwicklung" (IRL)

Stellen Sie sich eine Stadtkarte (den „DAG" oder gerichteten azyklischen Graphen) vor, auf der jede Straße zu einem Ziel führt. Einige Ziele sind Goldminen (hohe Belohnung), andere sind Sümpfe (niedrige Belohnung).
TD-GFN verwendet eine Technik namens Inverse Reinforcement Learning. Anstatt zu fragen: „Wie hoch ist die Bewertung dieser Straße?", betrachtet es die Verkehrsströme in den alten Daten und fragt: „Wenn ich ein Experte wäre, der versucht, die Goldminen zu erreichen, welche Straßen hätte ich genommen?"
Es erstellt eine Wärmekarte für jede einzelne Straße (Kante) in der Stadt. Einige Straßen erhalten eine „hohe Hitze"-Bewertung, weil sie entscheidend für das Erreichen des Goldes sind; andere erhalten eine „kalte" Bewertung, weil sie nirgendwohin führen.

2. Die „Straßensperrung" (Pruning)

Stellen Sie sich nun vor, Sie sind der Roboter. Sie schauen auf die Wärmekarte.

Der alte Weg: Sie versuchen jede Straße, in der Hoffnung, dass der falsche Richter Ihnen sagt, welche gut sind.
Der TD-GFN-Weg: Sie sehen, dass die „kalten" Straßen wahrscheinlich Sackgassen sind. Also sperrt man sie ab (prunt den Graphen). Man verschwendet nicht einmal Zeit damit, über sie nachzudenken. Man behält nur die „heißen" Straßen, die zu den Goldminen führen.
Dies macht Ihre Aufgabe viel einfacher. Sie raten nicht; Sie navigieren eine gestraffte Karte, die nur die vielversprechenden Pfade zeigt.

3. Das „intelligente Zurückverfolgen" (Prioritized Sampling)

Schließlich, wenn der Roboter lernen muss, wandert er nicht einfach zufällig umher. Er verwendet einen speziellen Trick: Backward Sampling.
Stellen Sie sich vor, Sie wollen lernen, wie man zur Goldmine gelangt. Anstatt am Vordereingang zu beginnen und sich vorwärts zu raten, beginnen Sie an der Goldmine und gehen rückwärts zum Vordereingang, aber Sie tun dies intelligent. Sie nehmen mit höherer Wahrscheinlichkeit die „heißen" Straßen (diejenigen, die die Wärmekarte als wichtig markiert hat) und mit geringerer Wahrscheinlichkeit die kalten.
Dies stellt sicher, dass der Roboter seine Zeit damit verbringt, die wertvollsten Pfade zu studieren und viel schneller zu lernen.

Warum dies eine große Sache ist

Die Arbeit behauptet, dass TD-GFN durch die Verwendung dieses „Karte der Küche"-Ansatzes:

Schneller ist: Es findet die besten Lösungen (hochbewertete Moleküle oder Sequenzen) viel schneller als andere Methoden.
Intelligenter ist: Es kopiert nicht nur die alten Rezepte; es erkennt die Struktur dessen, was ein gutes Rezept ausmacht, und kann neue, noch bessere erfinden, die nicht im ursprünglichen Kochbuch standen.
Sicherer ist: Da es sich nicht auf einen „falschen Richter" verlässt, um Bewertungen für neue Ideen zu erraten, vermeidet es die Falle, schlechten Ratschlägen zu folgen. Es vertraut nur den tatsächlichen, bekannten Bewertungen der Endergebnisse.

Das Fazit

Denken Sie an TD-GFN als an einen Meisterkoch, der nicht jeden Gang probieren muss, um zu wissen, wie man kocht. Stattdessen betrachtet er die Geschichte erfolgreicher Gerichte, ermittelt, welche spezifischen Zutaten und Schritte die „Geheimsauce" waren (die Kantengewinne), entfernt die unnützen Schritte und lehrt dann den Lehrling, sich nur auf die Schritte zu konzentrieren, die zählen. Das Ergebnis ist ein Koch, der schneller lernt, weniger Fehler macht und bessere Gerichte kreiert als jeder andere, der nur das alte Rezeptbuch verwendet.

Technische Zusammenfassung: Jenseits des Proxys: Trajektorien-distiilierte Führung für das Offline-Training von GFlowNets

Problemstellung

Generative Flow Networks (GFlowNets) sind leistungsfähige Modelle zum Sampling von zusammengesetzten Objekten proportional zu ihren Belohnungen. In vielen praktischen Anwendungen – wie der Molekülforschung, dem Design biologischer Sequenzen und Empfehlungssystemen – ist jedoch eine aktive Interaktion mit der Umgebung zur Abfrage von Belohnungen aufgrund hoher experimenteller Kosten oder des Bedarfs an menschlicher Bewertung nicht durchführbar. Folglich müssen GFlowNets unter Verwendung statischer Offline-Datensätze trainiert werden.

Aktuelle Offline-Trainingsparadigma verlassen sich typischerweise auf das Training eines Proxy-Belohnungsmodells, um Belohnungssignale aus dem Datensatz zu approximieren, nach denen das GFlowNet für die Policy-Optimierung fragt. Dieser Ansatz steht vor erheblichen Herausforderungen:

Datenknappheit und Kosten: Der Aufbau eines zuverlässigen Proxy-Modells erfordert oft große, diverse Datensätze und erhebliches Domänenwissen.
Fehlerfortpflanzung: Belohnungsabfragen für Out-of-Distribution (OOD)-Stichproben oder Zustände, die vom Proxy ungenau geschätzt werden, können Fehler durch Gradienten fortpflanzen und die erlernte Policy beeinträchtigen.
Begrenzungen proxy-freier Methoden: Bestehende proxy-freie Ansätze (z. B. RO-GFlowNets, COFlowNet) setzen oft grobe Constraints ein, um die Policy mit dem Datensatz abzugleichen. Diese Constraints können die Generalisierung einschränken, eine effektive Exploration behindern und die Sensitivität gegenüber der Datenqualität erhöhen.

Die zentrale Frage lautet: Wie können wir Offline-Trajektorien effektiv nutzen, um GFlowNets zu trainieren, wenn Endbelohnungen nicht ausreichen, um ein zuverlässiges Proxy-Modell zu konstruieren?

Methodik: Trajektorien-distiilliertes GFlowNet (TD-GFN)

Die Autoren schlagen TD-GFN vor, ein neuartiges proxy-freies Framework, das reichhaltige strukturelle Informationen aus dem gerichteten azyklischen Graphen (DAG) der Umgebung extrahiert, um das Policy-Training zu steuern, ohne auf ein Proxy-Belohnungsmodell zurückzugreifen. Die Methodik besteht aus drei Hauptphasen:

1. Extraktion von Kantensbelohnungen durch Inverse Reinforcement Learning (IRL)

Anstatt Endbelohnungen vorherzusagen, nutzt TD-GFN IRL, um Kantenbelohnungen auf Transitionsebene ( $R_E$ ) aus Offline-Trajektorien zu distillieren.

Rebalancing: Um das Problem zu adressieren, dass Offline-Daten Expertenverhalten möglicherweise nicht repräsentieren, führen die Autoren eine Rebalancing-Strategie ein. Trajektorien werden mit einer Wahrscheinlichkeit proportional zu ihren Endbelohnungen gesampelt ( $P(\tau) \propto R(s_T)$ ), wodurch ein pseudo-Experten-Datensatz entsteht.
Adversarielles Training: Unter Verwendung eines modifizierten GAIL-Frameworks (Generative Adversarial Imitation Learning) unterscheidet ein Diskriminator $D_\phi$ zwischen Transitionen im rebalancierten Datensatz und solchen, die von einer Policy $\pi_\psi$ generiert wurden.
Ableitung der Belohnung: Eine unverzerrte Belohnungsfunktion auf Kantenbasis wird aus dem Diskriminator extrahiert:
$R_E(s, s') = \log D_\phi(s, s') - \log(1 - D_\phi(s, s'))$
Theoretisch approximiert diese Belohnung den Logarithmus des bedingten eingehenden Fluss-Scores ( $\log P_B(s|s')$ ) und quantifiziert die Bedeutung spezifischer Transitionen für das Erlernen einer effektiven Policy. Entscheidend ist, dass diese Belohnungen eine dichte, intermediäre Führung bieten anstatt von Endvorhersagen.

2. Belohnungsgesteuertes DAG-Beschneiden

Um Robustheit zu gewährleisten und die Fortpflanzung von Fehlern durch potenziell ungenaue IRL-Schätzungen zu verhindern, verwendet TD-GFN Kantensbelohnungen nicht direkt zur Formung von Policy-Gradienten. Stattdessen nutzt es diese, um den Umgebungs-DAG zu beschneiden.

Schwellenwertbildung: Kanten mit Belohnungen, die unter einen statistischen Schwellenwert fallen (Mittelwert minus $K$ -faches der Standardabweichung der Belohnungsverteilung), werden entfernt.
Theoretische Garantie: Die Autoren beweisen, dass diese Beschneidungsstrategie alle „hoch-bottleneck"-Modi erhält (Endzustände, die über Pfade mit hohen Kantenscores erreichbar sind), während sie Kanten mit geringem Nutzen entfernt. Dies schafft einen kompakten, ausdrucksstarken Aktionsraum, der hochwertige Trajektorien priorisiert und gleichzeitig die Policy vor IRL-Approximationsfehlern abschirmt.

3. Priorisiertes Rückwärts-Sampling

Das Training wird auf dem beschnittenen Teilgraphen unter Verwendung eines priorisierten Rückwärts-Sampling-Mechanismus durchgeführt.

Sampling-Strategie: Endzustände werden aus dem Schnittbereich des Datensatzes und des beschnittenen Graphen mit einer Wahrscheinlichkeit proportional zu ihren Ground-Truth-Belohnungen gesampelt.
Konstruktion rückwärtiger Trajektorien: Von jedem gesampelten Endzustand werden Trajektorien unter Verwendung einer erlernten Rückwärts-Policy $P_B$ , definiert durch die erlernten Kantensbelohnungen, rückwärts zum Wurzelknoten konstruiert:
$P_B(s_t | s_{t+1}) = \frac{\exp\{R_E(s_t, s_{t+1})\}}{\sum \exp\{R_E(s, s_{t+1})\}}$
Gradienten-Updates: Die GFlowNet-Policy wird unter Verwendung dieser gesampelten Trajektorien und ihrer Ground-Truth-Endbelohnungen optimiert. Indem sich die Methode ausschließlich auf aufgezeichnete Endbelohnungen für Gradienten-Updates verlässt, vermeidet sie die bei Proxy-basierten Methoden inhärenten Probleme der Fehlerfortpflanzung.

Hauptbeiträge

Ein neuartiges proxy-freies Paradigma: TD-GFN eliminiert die Abhängigkeit von Proxy-Modellen und OOD-Belohnungsabfragen. Es setzt IRL ein, um Kantensbelohnungen auf Transitionsebene aus rebalancierten Datensätzen zu distillieren und bietet so strukturierte Führung für Policy-Training und Generalisierung.
Robuster Führungsmechanismus: Das Framework führt zwei indirekte Führungsmechanismen ein: DAG-Beschneiden und priorisiertes Rückwärts-Sampling. Dieses Design stellt sicher, dass Gradienten-Updates ausschließlich von Ground-Truth-Belohnungen abhängen, wodurch die Fehlerfortpflanzung verhindert wird, während gleichzeitig dichte strukturelle Führung für eine effiziente Exploration genutzt wird.
State-of-the-Art-Leistung: Umfangreiche Experimente zeigen, dass TD-GFN im Vergleich zu einer breiten Palette von Baselines, einschließlich Proxy-basierter Methoden (Proxy-GFN), Offline-RL-Algorithmen (CQL, IQL) und anderer proxy-freier GFlowNet-Varianten (COFlowNet, Dataset-GFN), überlegene Konvergenzgeschwindigkeit und Probenqualität erreicht.

Experimentelle Ergebnisse

Die Autoren evaluierten TD-GFN an drei Benchmarks:

Hypergrid (Synthetisch): Auf einem 84-dimensionalen Gitter mit spärlichen, multi-modalen Belohnungen identifizierte TD-GFN alle 16 Belohnungsmodi mit weniger als 5.000 Zustandsbesuchen (eine sechsfache Verbesserung gegenüber den Baselines) und konvergierte doppelt so schnell wie der beste Konkurrent (COFlowNet) zum niedrigsten empirischen L1-Fehler. Es zeigte eine starke Robustheit unter verrauschten Daten (Mixed-Datensatz) und Datenknappheit (10 % der Daten).
Design biologischer Sequenzen (Antimikrobielle Peptide): TD-GFN generierte Sequenzen mit den höchsten Belohnungen und der größten Vielfalt unter den Top-100-Sequenzen und übertraf sowohl Proxy-basierte als auch andere Offline-Methoden.
Moleküldesign: TD-GFN entdeckte mehr hochbelohnte Moleküle und diverse Modi als die Baselines, während es deutlich weniger Trajektorien zur Konvergenz benötigte (2,75 × 10^4 vs. 43,7 × 10^4 für Proxy-GFN). Es erreichte die Leistung eines Oracle-GFN (welches Ground-Truth-Belohnungen direkt verwendet) bei der Identifizierung hochbelohnter Moleküle.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass TD-GFN ein robusteres, stabileres und effizienteres Paradigma für das Offline-Training von GFlowNets etabliert. Indem es die in Offline-Trajektorien inhärente strukturelle Information durch IRL nutzt, schließt die Methode die Lücke zwischen begrenzten Offline-Datensätzen und den komplexen Explorationsanforderungen der generativen Modellierung.

Die Autoren betonen, dass TD-GFN:

Potenzial erschließt: Es ermöglicht den Einsatz von GFlowNets in komplexen Domänen, in denen aktive Belohnungsabfragen prohibitiv sind.
Fehlerfortpflanzung verhindert: Durch die Entkopplung des Führungsmechanismus (Kantensbelohnungen) vom Gradienten-Update-Mechanismus (Endbelohnungen) vermeidet es die Fallstricke von Proxy-Modellen.
Exploration verbessert: Die dichte strukturelle Führung ermöglicht es dem Modell, hochbelohnte Regionen effektiv zu erkunden, selbst wenn diese im Trainingsdaten nur spärlich vertreten oder nicht beobachtet wurden.

Die Arbeit legt nahe, dass informations auf Trajektorienebene, die in Proxy-basierten Methoden oft übersehen werden, ein Eckpfeiler für effektives Offline-Training von GFlowNets ist und eine skalierbare Lösung für reale Anwendungen in der Wirkstoffforschung, dem biologischen Design und der kombinatorischen Optimierung bietet.