🤖 machine learning

Never Skip a Batch: Dense Learning of Temporal GNNs via Adaptive Pseudo-Supervision

Dieses Paper führt Moving-Averaged Labels (MAL) ein, eine adaptive Pseudo-Supervisionsmethode, die historische Label-Verteilungen nutzt, um die Gradientenvarianz zu reduzieren und die Konvergenz signifikant zu beschleunigen, während sie gleichzeitig die Vorhersageleistung in Temporal Graph Networks steigert.

Ursprüngliche Autoren: Alexander Panyshev, Dmitry Vinichenko, Oleg Travkin, Roman Alferov, Alexey Zaytsev

Veröffentlicht 2026-06-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Alexander Panyshev, Dmitry Vinichenko, Oleg Travkin, Roman Alferov, Alexey Zaytsev

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Das „stille Klassenzimmer“

Stellen Sie sich vor, Sie sind ein Lehrer (das KI-Modell), der versucht zu lernen, wie Schüler (die Graph-Knoten) mit verschiedenen Themen (den Labels, wie z. B. Musikgenres oder Aktien) interagieren.

In einem normalen Klassenzimmer bekommt der Lehrer jeden Tag einen Test, um zu sehen, wie gut die Schüler zurechtkommen. Basierend auf den Testergebnissen passt der Lehrer seinen Lehrstil an. Dies ist überwachtes Lernen (Supervised Learning).

In der Welt der temporalen Graphen (dynamische Netzwerke, die sich über die Zeit verändern) sind die „Tests“ jedoch extrem selten. Stellen Sie sich eine Schule vor, in der der Lehrer von 100 Tagen an nur 2 Tagen einen Test erhält. An den anderen 98 Tagen beobachtet er lediglich, wie die Schüler interagieren, erhält aber kein Feedback.

Das aktuelle Problem:
Da der Lehrer nur 2 % der Zeit Feedback erhält, passt er seine Lehrmethode auch nur in 2 % der Fälle an. An den anderen 98 Tagen „beobachtet“ er nur und tut nichts. Dies macht das Lernen unglaublich langsam und ineffizient. Der Lehrer überspringt im Grunde 98 % der Unterrichtszeit.

Die Lösung: „Moving-Averaged Labels“ (MAL)

Die Autoren schlagen einen cleveren Trick namens Moving-Averaged Labels (MAL) vor. Anstatt darauf zu warten, dass ein echter Test die Lehrmethode aktualisiert, erstellt der Lehrer einen „Übungstest“ basierend auf dem, was er in der Vergangenheit gelernt hat.

Denken Sie an eine Wettervorhersage:

Der alte Weg: Sie prüfen die Temperatur nur dann, wenn Sie gerade ein Thermometer zur Hand haben. Wenn nicht, raten Sie gar nichts.
Der MAL-Weg: Sie schauen sich die Temperatur der letzten Tage an. Wenn es gestern 22 °C war und vorgestern 23 °C, nehmen Sie an, dass es heute wahrscheinlich etwa 22,5 °C ist. Sie nutzen diese „geschätzte“ Temperatur, um Ihren Tag zu planen, selbst wenn Sie gerade kein Thermometer haben.

In der Methode der Arbeit:

Historisches Gedächtnis: Die KI schaut sich die Labels (Antworten) an, die sie in der Vergangenheit für einen bestimmten Nutzer gesehen hat.
Der „gleitende Durchschnitt“ (Moving Average): Sie berechnet eine „weiche“ Vorhersage. Anstatt zu sagen: „Der Nutzer mag Jazz“, sagt sie: „Der Nutzer hat eine Wahrscheinlichkeit von 60 %, Jazz zu mögen, und 40 % Rock, basierend auf seiner Historie.“
Never Skip a Batch (Niemals einen Batch überspringen): Jetzt nutzt die KI selbst an den Tagen ohne echte Tests diese „Übungstests“, um weiter zu lernen. Sie aktualisiert ihr „Gehirn“ jeden einzelnen Tag, nicht nur an den 2 Tagen, an denen sie echtes Feedback erhält.

Warum das funktioniert (Die Theorie)

Die Arbeit argumentt, dass dies deshalb funktioniert, weil sich menschliche Vorlieben (wie Musikgeschmack oder Handelsgewohnheiten) nicht schlagartig ändern. Sie driften langsam.

Die Analogie des Rauschens: Stellen Sie sich vor, Sie versuchen, ein Lied in einem lauten Raum zu hören. Wenn Sie nur für einen winzigen Bruchteil einer Sekunde hinhören (einen einzelnen Datenpunkt), könnte das Rauschen Sie glauben lassen, das Lied sei anders. Wenn Sie jedoch länger zuhören und den Klang mitteln (den gleitenden Durchschnitt), filtert das Rauschen heraus und Sie hören die wahre Melodie viel klarer.
Das Ergebnis: Durch die Verwendung dieser historischen Durchschnitte reduziert die KI das „Rauschen“ in ihrem Lernprozess. Theoretisch führt dies dazu, dass der Lernprozess viel schneller konvergiert (das Lernen abschließt) – die Arbeit behauptet konkret, dass es 6 Mal schneller geht, um das gleiche Leistungsniveau zu erreichen.

Was getestet wurde

Die Forscher testeten dies an vier realen Datensätzen (wie internationalem Handel, Musikgenres, Reddit-Aktivitäten und Krypto-Transaktionen). Sie verglichen ihre Methode mit:

Vanilla Training: Der Standardweg (das Überspringen von Tagen ohne Labels).
Anderes Pseudo-Labeling: Das Raten der Antwort basierend auf dem letzten Mal, als ein Label gesehen wurde (Persistent Forecast).
Smoothing: Eine Technik, die die Antworten leicht „verschmiert“, um sie weniger scharf zu machen.

Die Ergebnisse:

Geschwindigkeit: Ihre Methode erreichte die Spitzenleistung 6 Mal schneller als die Standardmethode.
Qualität: Obwohl sie an den meisten Tagen „falsche“ (Pseudo-)Labels verwendeten, war das fertige Modell tatsächlich besser darin, die Zukunft vorherzusagen, als das Standardmodell.
Vielseitigkeit: Es funktionierte gut bei verschiedenen Arten von Graphen, von kleinen Handelsnetzwerken bis hin zu massiven Kryptowährungs-Netzwerken.

Das „Geheimrezept“

Die Arbeit hebt einige Merkmale hervor, die diese Methode besonders machen:

Keine zusätzlichen „Gehirne“: Es erfordert nicht, dass die KI eine neue, komplexe Art lernt, Labels zu erraten. Es ist eine einfache mathematische Formel (Mittelwertbildung), die auf bestehende Daten angewendet wird.
Robustheit: Selbst wenn die Daten unordentlich sind oder die Labels vertauscht wurden, hält die Methode besser stand als andere Methoden.
Die „Fenstergröße“ (Window Size): Die Methode funktioniert am besten, wenn man die „richtige Menge“ an Historie betrachtet. Zu wenig Historie zu betrachten ist verrauscht; zu viel Historie zu betrachten, macht die KI zu langsam, um auf Änderungen zu reagieren. Die Autoren fanden ein „Sweet Spot“ (eine Fenstergröße von etwa 7), das in den meisten Situationen gut funktioniert.

Zusammenfassung

Die Arbeit löst das Problem von „langweiligen“ Trainingsdaten, bei denen Labels fehlen. Anstatt den Lernprozess zu stoppen, wenn Labels fehlen, nutzt sie einen „zeitreisenden Durchschnitt“ vergangener Labels, um die KI jede Sekunde weiterlernen zu lassen. Dies lässt die KI 6 Mal schneller lernen und intelligenter werden, ohne dass zusätzliche Rechenleistung oder komplexe neue Architekturen benötigt werden.

Technisches Resümee: Never Skip a Batch: Dense Learning of Temporal GNNs via Adaptive Pseudo-Supervision

1. Problemstellung

Temporale Graph-Netzwerke (TGNs) sind State-of-the-Art-Modelle für dynamische Graph-Aufgaben, doch ihre Trainingseffizienz wird durch die Supervisions-Sparsität in realen Datensätzen massiv behindert. In vielen angewandten Problemen (z. B. Empfehlungssysteme, Betrugserkennung) machen gelabelte Interaktionen weniger als 2 % der Gesamtereignisse aus. Infolgedessen verarbeiten Standard-TGN-Implementierungen Batches in zwei unterschiedlichen Modi:

Supervisierte Batches: Vollständige Trainingsschritte mit Gradienten-Updates und Memory-Updates.
Unsupervisierte Batches: Es erfolgen lediglich Updates für das Memory und den Neighbor-Sampler; es findet kein gradientenbasiertes Training statt, da die Ground-Truth-Labels fehlen.

Dieses „Skip-a-Batch“-Verhalten erzeugt einen signifikanten Flaschenhals. Das Modell überspringt für den Großteil der Daten Parameter-Updates, was zu hochvarianten Gradienten-Updates führt, sobald Labels schließlich verfügbar sind, und die zeitliche Konvergenz verlangsamt. Die Arbeit postuliert, dass sich Knotenpräferenzen langsam entwickeln, was darauf hindeutet, dass historische Supervisionssignale genutzt werden können, um informative Pseudo-Targets für diese ansonsten inaktiven Batches zu generieren.

2. Methodik: Moving-Averaged Labels (MAL)

Die Autoren schlagen Moving-Averaged Labels (MAL) vor, ein Pseudo-Labeling-Schema, das auf Basis historischer Supervisionssignale weiche Targets für unsupervisierte Batches generiert. Dieser Ansatz ist orthogonal zur zugrunde liegenden Modellarchitektur (z. B. TGNv2, DyRep) und führt keine zusätzlichen lernbaren Parameter ein.

Kernmechanismus

Für einen Knoten $v$ in einem Batch $B_t$ , dem es an Ground-Truth-Labels mangelt, konstruiert MAL ein Pseudo-Target $\tilde{y}^{(v)}_t$ unter Verwendung vergangener beobachteter Targets. Das Pseudo-Target ist definiert als:
$\tilde{y}^{(v)}_t = \bar{y}^{(v)}_t + \gamma \cdot \epsilon$
Wobei:

$\bar{y}^{(v)}_t$ eine Aggregation historischer Targets ist.
$\epsilon$ ein mittelwertfreies Rauschen ist, das aus einer Gleichverteilung gezogen und normalisiert wurde, um sicherzustellen, dass $\tilde{y}^{(v)}_t$ eine gültige Wahrscheinlichkeitsverteilung bleibt (Summe ist 1).
$\gamma$ ein Rausch-Skalierungsfaktor ist, der als Regularisierer fungiert.

Aggregationsstrategien

Die Arbeit evaluiert drei Strategien zur Berechnung des historischen Aggregats $\bar{y}^{(v)}_t$ :

Persistent Forecast (PF): Verwendet das zuletzt beobachtete Label des Knotens erneut.
Moving Average (MA): Aktualisiert das Pseudo-Label inkrementell unter Verwendung einer Fenstergröße $w$ . Wenn ein neues Target $y^{(v)}_t$ eintrifft, wird das Aggregat aktualisiert als:
$\bar{y}^{(v)}_t = \frac{w-1}{w}\bar{y}^{(v)}_{t-1} + \frac{1}{w}y^{(v)}_t$
Historical Average (HA): Aggregiert alle vergangenen Targets mit gleichem Gewicht (theoretische Baseline).

Trainings-Pipeline

Die Methode modifiziert den Standard-TGN-Trainingszyklus. Wenn ein Batch ohne Ground-Truth-Labels eintrifft, berechnet das Modell die Pseudo-Targets $\tilde{y}$ unter Verwendung der gewählten Aggregationsstrategie. Das Modell führt daraufhin einen vollständigen Forward-Pass durch, berechnet den Cross-Entropy-Loss gegenüber diesen Pseudo-Labels und führt die Backpropagation durch, um sowohl die GNN-Parameter als auch die Memory-Module zu aktualisieren. Dies transformiert „inaktive“ Berechnungen in produktive Trainingsschritte.

3. Theoretische Analyse

Die Arbeit liefert eine theoretische Rechtfertigung dafür, warum MAL die Konvergenzgeschwindigkeit verbessert, indem es die Varianz stochastischer Gradienten reduziert.

Varianzreduktion: Unter der Annahme konstanter (oder langsam driftender) Nutzerpräferenzen modellieren die Autoren die Label-Generierung als einen Prozess, bei dem die wahren Labels One-Hot-Vektoren sind. Sie beweisen, dass die Aggregation von $h$ historischen Labels (History Average) die Varianz des Label-Schätzers im Vergleich zu einer Einzelbeobachtung reduziert.
Konvergenz-Bound: Für Stochastic Gradient Descent (SGD) mit einem $\mu$ -stark konvexen Loss ist die Regret-Bound $R_T$ proportional zur Gradientenvarianz $\sigma^2$ . Die Autoren leiten ab, dass für die History Average Labels (HA) die Varianz mit $\frac{1}{\min(h, k)}$ skaliert, wobei $h$ die Historienlänge und $k$ die Anzahl der möglichen Interaktionsklassen ist.
Ergebnis: Dies impliziert eine theoretische Beschleunigung der Konvergenz um den Faktor $\min(h, k)$ im Vergleich zum Vanilla-Training, sofern die Annahme der temporalen Konsistenz hält.

4. Experimentelle Ergebnisse

Die Autoren evaluierten MAL auf dem Temporal Graph Benchmark (TGB) unter Verwendung von vier großskaligen Datensätzen: tgbn-trade, tgbn-genre, tgbn-reddit und tgbn-token. Sie implementierten MAL auf TGNv2 und einem modifizierten DyRepv2 (unter Einbeziehung der TGNv2 Source-Target-Identifikation).

Kernergebnisse

Prädiktive Leistung: MAL übertraf durchweg das Vanilla-Training und alternative Baselines. Beim TGNv2-Modell erreichte Moving Average (MA) Verbesserungen beim NDCG@10 im Bereich von 3 % bis 17 % über alle Datensätze hinweg im Vergleich zum Vanilla-Training.
Konvergenzgeschwindigkeit: Der signifikanteste Gewinn lag in der Trainingseffizienz. MAL reduzierte die Zeit bis zur Genauigkeit (Time-to-Accuracy, Zeit bis zum Erreichen des Top-Scores) im Durchschnitt um den Faktor 6× über alle Datensätze hinweg. In einigen Fällen (z. B. tgbn-token) erreichte die Methode die Leistung eines vollständig konvergierten Vanilla-Modells in einem Bruchteil der Zeit.
Vergleich mit Baselines:
- Vanilla-Modelle: Viele existierende Architekturen (JODIE, TGAT, CAW-N, etc.) kollabierten auf triviale Lösungen (sie performten ähnlich wie eine Mean-Target-Baseline) auf TGB-Datensätzen ohne die spezifischen architektonischen Verbesserungen von TGNv2.
- Alternatives Pseudo-Labeling: MAL übertraf Persistent Forecast (PF), Label Smoothing und Self-Supervised (SSL) Next-Edge-Prediction-Strategien.
- Fenstergröße: Eine Ablationsstudie zeigte, dass optimale Fenstergrößen je nach Datensatz variieren (z. B. $w=3$ für Trade, $w=9$ für Reddit), aber ein Standardwert von $w=7$ generell eine robuste Leistung lieferte.
Robustheit:
- Rauschen: Die Methode blieb über variierende Rauschfaktoren ( $\gamma$ ) stabil.
- Temporales Shuffling: Wenn die Trainingslabels gemischt wurden (wodurch die temporale Konsistenz zerstört wurde), sank die Performance für alle Methoden signifikant, was bestätigt, dass die Gewinne aus der temporalen Konsistenz und nicht bloß aus Regularisierung resultieren.
- Sparsität: Unter kontrollierter Entfernung von Labels nahm der relative Vorteil von MAL gegenüber dem Vanilla-Training zu, je spärlicher die Supervision wurde.

5. Bedeutung und Ansprüche

Das Paper behauptet, eine fundamentale Ineffizienz im dynamischen Graph-Lernen zu adressieren: die Verschwendung von Rechenressourcen auf unsupervisierte Batches.

Paradigmenwechsel: Die Arbeit verschiebt das Paradigma von „nur trainieren, wenn supervisiert“ hin zu „immer trainieren, intelligent extrapolieren“.
Effizienz ohne Komplexität: Die Methode erzielt State-of-the-Art (SOTA) Ergebnisse und signifikante Beschleunigungen, ohne die Modellarchitektur zu modifizieren, zusätzliche lernbare Parameter einzuführen oder eine separate Pre-Training-Phase zu benötigen.
Theoretische Fundierung: Sie liefert einen theoretischen Beweis dafür, dass die Aggregation historischer Supervision die Gradientenvarianz reduziert, was zu einer schnelleren Konvergenz unter milden Annahmen der temporalen Stabilität führt.
Praktische Auswirkung: Durch die Ermöglichung von Dense Learning auf spärlichen Daten macht MAL das Training großer temporaler Graph-Modelle signifikant schneller und effektiver, insbesondere in Domänen, in denen gelabelte Ereignisse selten sind.

Die Autoren kommen zu dem Schluss, dass temporale Konsistenz ein ungenutztes Supervisionssignal ist, das, wenn es über einfache gleitende Durchschnitte genutzt wird, eine fundierte und leichtgewichtige Lösung für die Gradienten-Sparsität im temporalen Graph-Lernen bietet.