🤖 machine learning

Martingale-Consistent Self-Supervised Learning

Dieses Papier stellt ein martingalkonsistentes selbstüberwachtes Lernframework vor, das unter partieller Beobachtung Kohärenz zwischen groben und verfeinerten Vorhersagen erzwingt und dadurch die Modellrobustheit sowie Kalibrierung im Vergleich zu herkömmlichen auf Invarianz basierenden Zielen verbessert.

Ursprüngliche Autoren: Moritz Gögl, Hanwen Xing, Christopher Yau

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Moritz Gögl, Hanwen Xing, Christopher Yau

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „wackelige Kristallkugel"-Effekt

Stellen Sie sich vor, Sie versuchen, das Wetter vorherzusagen.

Szenario A: Sie schauen aus dem Fenster und sehen dunkle Wolken. Sie raten: „Es könnte regnen."
Szenario B: Fünf Minuten später prüfen Sie eine Radar-App und sehen eine massive Sturmfront, die heranzieht. Sie aktualisieren Ihre Schätzung auf: „Es wird definitiv regnen."

Das ist normal. Wenn Sie mehr Informationen erhalten, sollte sich Ihre Vorhersage ändern.

Das Paper weist jedoch auf einen seltsamen Fehler hin, wie aktuelle KI-Modelle (insbesondere Modelle des „Self-Supervised Learning") trainiert werden. Diese Modelle werden oft aufgefordert, Vorhersagen auf Basis unterschiedlicher Informationsmengen zu treffen: Manchmal sehen sie das ganze Bild, manchmal nur die Hälfte und manchmal nur einen winzigen Ausschnitt.

Das Problem ist, dass diese Modelle oft wie eine wackelige Kristallkugel agieren.

Wenn sie nur die dunklen Wolken sehen (wenig Info), sagen sie vielleicht: „50 % Wahrscheinlichkeit für Regen."
Wenn sie das Radar sehen (viele Infos), sagen sie vielleicht: „90 % Wahrscheinlichkeit für Regen."
Der Fehler: Wenn Sie das Modell bevor es das Radar sah fragten: „Was glauben Sie, wie Ihre Vorhersage aussehen wird, sobald Sie das Radar sehen?", sollte ein intelligentes Modell antworten: „Ich erwarte, dass sie bei etwa 50 % bleibt." Es sollte nicht heimlich erwarten, auf 90 % zu springen oder auf 10 % zu fallen. Tut es das, bedeutet dies, dass das Modell „driftet" oder inkonsistent ist. Es ist wie ein Schüler, der bei einem Quiz eine zufällige Antwort rät und diese später in die richtige Antwort ändert, aber behauptet, er hätte die richtige Antwort die ganze Zeit gewusst.

Die Lösung: Die „Martingale"-Regel

Die Autoren führen ein Konzept namens Martingale-Konsistenz ein. Auf Deutsch ausgedrückt ist dies eine Regel, die besagt: „Ihre aktuelle Schätzung sollte der Durchschnitt aller Ihrer zukünftigen Schätzungen sein."

Stellen Sie es sich wie eine Schnitzeljagd vor:

Der grobe Blick (wenig Info): Sie stehen an der Startlinie. Sie haben eine Karte, die das allgemeine Gebiet zeigt. Sie raten, dass der Schatz im „Nordfeld" liegt.
Der verfeinerte Blick (mehr Info): Sie laufen näher heran. Jetzt sehen Sie einen bestimmten Baum. Sie aktualisieren Ihre Schätzung: „Der Schatz liegt unter dieser spezifischen Eiche."
Die Martingale-Regel: Bevor Sie zum Baum liefen, sollte Ihre „Nordfeld"-Schätzung der Durchschnitt aller spezifischen Stellen gewesen sein, an denen Sie sich schließlich befinden könnten. Wenn Ihre Startschätzung „Nordfeld" war, Sie aber heimlich erwarteten, dass Sie sich, sobald Sie näher herankommen, am „Südberg" befinden würden, war Ihre Startschätzung falsch.

Das Paper argumentiert, dass das Standard-Training von KI diese Regel ignoriert. Es lehrt die KI lediglich, richtig zu sein, wenn sie alle Informationen hat, und richtig zu sein, wenn sie einige Informationen hat, ohne zu prüfen, ob diese beiden Antworten zusammen Sinn ergeben.

Wie sie es behoben haben

Die Forscher entwickelten eine neue Trainingsmethode, die die KI zwingt, dieser „Martingale"-Regel zu folgen. Hier ist, wie sie es taten, unter Verwendung einer Koch-Analogie:

Das Setup: Stellen Sie sich einen Koch (die KI) vor, der versucht, die Zutaten in einer Suppe zu erraten.
Der teilweise Blick: Der Koch ist blindfoldet und darf nur den Duft der Suppe riechen (grobe Sicht). Er rät: „Es ist wahrscheinlich Tomatensuppe."
Die Verfeinerung: Der Koch nimmt die Augenbinde ab und sieht den ganzen Topf (verfeinerte Sicht). Er rät: „Es ist definitiv Tomatensuppe mit Basilikum."
Der Trick (Der Imputer): Um den Koch zu trainieren, verwenden die Forscher einen „magischen Helfer" (einen Imputer). Dieser Helfer nimmt die Schätzung des blinden Kochs und stellt sich zwei verschiedene Versionen vor, wie die volle Suppe aussehen könnte.
- Vorstellung A: Eine Suppe mit viel Basilikum.
- Vorstellung B: Eine Suppe mit wenig Basilikum.
Der Test: Die Forscher fragen den Koch: „Wenn Sie die volle Suppe basierend nur auf dem Geruch erraten müssten, würde Ihre Schätzung dann dem Durchschnitt von Vorstellung A und Vorstellung B entsprechen?"
- Wenn die „Geruchsschätzung" des Kochs völlig anders war als der Durchschnitt der beiden „vollen Suppen"-Schätzungen, erhält die KI eine Strafe.
- Dies zwingt die KI zu lernen, dass ihre frühen Schätzungen ein stabiler „Mittelpunkt" für alle ihre zukünftigen, detaillierteren Schätzungen sein müssen.

Was sie herausfanden

Das Team testete dies an vielen Arten von Daten:

Zeitreihen: Wie Aktienkurse oder Herzfrequenzmonitore (wobei Sie möglicherweise einige Sekunden der Daten verpassen).
Tabellendaten: Wie medizinische Akten oder Bankformulare (wobei einige Spalten fehlen könnten).
Bilder: Wie das Ansehen eines Bildes, bei dem die Hälfte von einer schwarzen Box verdeckt ist.

Die Ergebnisse:

Bessere Stabilität: Als die KI gezwungen wurde, der Martingale-Regel zu folgen, wurde sie viel stabiler. Wenn Informationen fehlten, geriet sie nicht in Panik oder machte wilde Schwankungen in ihren Vorhersagen.
Bessere Kalibrierung: Die KI wurde ehrlicher bezüglich ihres Vertrauens. Wenn sie sagte „50 % Wahrscheinlichkeit", lag sie tatsächlich in 50 % der Fälle richtig, selbst wenn sie nicht alle Daten hatte.
Überall funktionsfähig: Dies funktionierte, egal ob die KI mit Labels lernte (supervised) oder ohne Labels (self-supervised), und egal ob sie Zahlen oder Bilder betrachtete.

Das Fazit

Das Paper behauptet, dass wir durch das Hinzufügen dieses „Konsistenz-Checks" (dass sichergestellt wird, dass die frühen Schätzungen der KI der logische Durchschnitt ihrer späteren Schätzungen sind) KI-Modelle bauen können, die robuster und zuverlässiger sind, wenn sie gezwungen sind, mit unvollständigen Informationen zu arbeiten. Es ist wie ein Schüler zu unterrichten, nicht nur die endgültige Antwort auswendig zu lernen, sondern zu verstehen, wie sein Denken sich entwickelt, während er mehr Fakten lernt.

Technische Zusammenfassung: Martingal-konsistentes selbstüberwachtes Lernen

Problemstellung

Selbstüberwachtes Lernen (SSL) wird häufig in Szenarien eingesetzt, in denen die Informationsverfügbarkeit dynamisch ist, wie beispielsweise beim Umgang mit kürzeren Historien, fehlenden Merkmalen oder teilweise beobachteten Bildern. In diesen Settings wird ein Modell oft unter mehreren „Informationsmengen“ abgefragt (z. B. grobe vs. verfeinerte Ansichten). Eine grundlegende Anforderung an solche Modelle ist Kohärenz: Die Vorhersage, die unter einer groben Informationsmenge getroffen wird, sollte mit der erwarteten Vorhersage nach einer Verfeinerung übereinstimmen.

Mathematisch gilt: Wenn $F_1 \subseteq F_2$ verschachtelte Informationsmengen darstellen (wobei $F_2$ mehr Informationen enthält als $F_1$ ) und $g_\phi(x_F)$ ein Prädiktor ist, diktiert die Martingal-Eigenschaft:
$E[g_\phi(x_{F_2}) \mid x_{F_1}] = g_\phi(x_{F_1})$
Dies impliziert, dass das Modell vor der Beobachtung zusätzlicher Informationen nicht systematisch erwarten sollte, dass seine zukünftigen Vorhersagen nach oben oder unten abweichen. Standard-SSL-Ziele (z. B. kontrastives Lernen, maskierte Rekonstruktion) trainieren Prädiktoren typischerweise unabhängig für einzelne Ansichten oder erzwingen Invarianz (sie sorgen dafür, dass Ansichten ähnlich aussehen). Sie erzwingen jedoch keine diese Richtungskonsistenz, was potenziell zu Modellen führt, die bei spezifischen Ansichten gut abschneiden, aber keine globale Kohärenz über verschachtelte Informationsmengen hinweg aufweisen.

Methodik

Die Autoren schlagen ein Martingal-konsistentes SSL-Framework vor, das die Martingal-Eigenschaft als Trainingsziel durchsetzt.

1. Zielfunktion

Die gesamte Verlustfunktion kombiniert einen standardmäßigen prädiktiven Verlust mit einer Martingal-Konsistenz-Strafe:
$\mathcal{L}_{total} = \mathcal{L}_{pred} + \lambda_{imp}\mathcal{L}_{imp} + \lambda_{mart}\mathcal{L}_{mart}$

Prädiktiver Term ( $\mathcal{L}_{pred}$ ): Ein standardmäßiger SSL-Verlust (z. B. Klassifikations-Kreuzentropie oder Rekonstruktions-MSE), angewendet auf die verfeinerte (vollständige) Ansicht.
Martingal-Term ( $\mathcal{L}_{mart}$ ): Dieser Term bestraft Abweichungen von der Martingal-Identität. Er erfordert das Sampling verschachtelter Informationsmengen $F_1 \subseteq F_2$ . Der Verlust ist definiert als:
$\mathcal{L}_{mart} = \mathbb{E}_{F_1 \subseteq F_2} \left[ \| g_\phi(x_{F_1}) - \mathbb{E}[g_\phi(x_{F_2}) \mid x_{F_1}] \|^2 \right]$
Imputationsverlust ( $\mathcal{L}_{imp}$ ): Ein Hilfsverlust, der verwendet wird, um ein Imputationsnetzwerk $q_\psi$ zu trainieren, das die bedingte Verteilung des vollständigen Eingabewerts gegeben die teilweise Ansicht approximiert.

2. Unverzerrter Zwei-Stichproben-Monte-Carlo-Schätzer

Die direkte Berechnung der bedingten Erwartung $\mathbb{E}[g_\phi(x_{F_2}) \mid x_{F_1}]$ ist unlösbar. Ein naiver Monte-Carlo-Durchschnitt führt aufgrund der Varianz zu einer Verzerrung. Die Autoren schlagen einen unverzerrten Zwei-Stichproben-Schätzer vor:

Gegeben eine grobe Ansicht $x_{F_1}$ , werden zwei bedingt unabhängige Verfeinerungen $x^{(a)}_{F_2}$ und $x^{(b)}_{F_2}$ unter Verwendung des gelernten Imputators $q_\psi$ gesampelt.
Berechnung der groben Vorhersage $u = g_\phi(x_{F_1})$ und der verfeinerten Vorhersagen $v_a = g_\phi(x^{(a)}_{F_2})$ , $v_b = g_\phi(x^{(b)}_{F_2})$ .
Der Schätzer lautet:
$\hat{\mathcal{L}}^{2MC}_{mart} = (u - v_a)^\top (u - v_b)$
Eine theoretische Analyse (Anhang B.1) beweist, dass dieser Schätzer für den quadratischen Fehler der Martingal-Identität unverzerrt ist.

3. Implementierungsvarianten

Das Framework wird in zwei primären Räumen instanziiert:

Vorhersageraum: Die Martingal-Strafe wird direkt auf die Ausgangsvorhersagen des Modells angewendet.
Latenter Raum: Die Strafe wird auf die latenten Repräsentationen des Encoders angewendet ( $z_{F_1}$ vs. $z_{F_2}$ ). Dies ist besonders nützlich für hochdimensionale Daten (Bilder, lange Sequenzen), bei denen die Durchsetzung von Konsistenz im Beobachtungsraum unpraktisch ist.
EMA-Ziele: Zur Stabilisierung des Trainings können die verfeinerten Ziele ( $v_a, v_b$ oder $z_a, z_b$ ) unter Verwendung einer Exponential Moving Average (EMA)-Kopie des Netzwerks berechnet werden, um Instabilitäten durch sich bewegende Ziele zu verhindern.

Hauptbeiträge

Identifizierung einer strukturellen Lücke: Der Artikel identifiziert, dass Standard-SSL Prädiktoren als eine Familie bedingter Erwartungen behandelt, die durch Informationsmengen indiziert sind, aber die notwendigen Konsistenzbeziehungen (Martingal-Eigenschaft) zwischen ihnen nicht durchsetzt.
Praktisches Trainingsrezept: Die Autoren stellen eine Methode vor, um Martingal-Konsistenz ohne modalspezifisches Redesign durchzusetzen. Dies umfasst Strafen im Vorhersage- und latenten Raum sowie den unverzerrten Zwei-Stichproben-Monte-Carlo-Schätzer auf Basis stochastischer Verfeinerung.
Empirische Validierung: Das Framework wurde über zeitliche, tabellarische und Bild-Benchmarks hinweg sowohl in halb-selbstüberwachten (mit Labels) als auch in vollständig selbstüberwachten (label-freien) Settings evaluiert.

Experimentelle Ergebnisse

Das Framework wurde auf synthetischen und realen Datensätzen getestet, einschließlich Zeitreihen (UCI HAR, Traffic, Stock), tabellarischen Daten (Adult, Bank Marketing) und Bildern (CIFAR-10, STL-10).

Robustheit unter teilweiser Beobachtung: Die Durchsetzung der Martingal-Konsistenz verbesserte konsistent die Genauigkeit nachgelagerter Proben, wenn die Menge der beobachteten Informationen reduziert wurde (niedrige Vollständigkeitsgrade $c \in \{0.05, 0.2, \dots, 0.8\}$ $c \in {0.05, 0.2, \dots, 0.8}$ ).
- Zeitreihen: Im halb-selbstüberwachten Setting erzielten Martingal-Varianten die beste mittlere Genauigkeit auf allen 7 Datensätzen, mit signifikanten relativen Gewinnen (z. B. +155,6 % bei Character Trajectories, +30,9 % bei T-SIM-RC).
- Tabellarisch: Martingal-Varianten übertrafen die Baselines auf allen 5 statischen tabellarischen Datensätzen, mit Gewinnen von bis zu +34,1 % auf synthetischen Daten.
- Bilder: Auf CIFAR-10 verbesserte die latente-Martingal-Variante die mittlere Genauigkeit von 0,311 auf 0,383 (+23,2 %) gegenüber dem Basismodell.
Kalibrierung: Modelle, die mit Martingal-Konsistenz trainiert wurden, zeigten unter teilweiser Beobachtung eine signifikant bessere Kalibrierung (niedrigerer Expected Calibration Error und Anytime Regret) im Vergleich zu Standard-SSL.
Reduktion von Verletzungen: Das Trainingsziel reduzierte Martingal-Verletzungen erfolgreich (die Diskrepanz zwischen groben Vorhersagen und erwarteten verfeinerten Vorhersagen), insbesondere in Regimen mit niedriger Vollständigkeit.
Vergleich mit Invarianz: Im Gegensatz zu Standard-Konsistenzzielen, die Ansichten dazu zwingen, identisch zu sein (Invarianz), erlaubt Martingal-Konsistenz, dass Vorhersagen aktualisiert werden, wenn Informationen offengelegt werden, während eine systematische Drift verhindert wird.

Bedeutung und Behauptungen

Der Artikel behauptet, dass Martingal-Konsistenz eine probabilistische Perspektive auf SSL-Modelle bietet, die unter variierenden Maskierungsmustern oder Kontextlängen eingesetzt werden. Durch die Durchsetzung der Übereinstimmung im Erwartungswert unter Informationsverfeinerung ermöglicht die Methode, dass Vorhersagen sich natürlich aktualisieren, wenn neue Daten eintreffen, während eine systematische Drift verhindert wird.

Die Autoren positionieren dies als strukturelle induktive Verzerrung, die Informationen erfasst, die von Standardzielen wie SimCLR oder BYOL nicht eingeschränkt werden. Sie schlagen vor, dass dies besonders für Foundation Models relevant ist, die routinemäßig unter variierenden Kontextlängen und unvollständigen Beobachtungen abgefragt werden, wobei bestehende Ziele die für ein solches dynamisches Deployment erforderliche Kohärenz nicht explizit durchsetzen. Die Arbeit zeigt, dass das Schließen dieser Lücke die Robustheit, Kalibrierung und Repräsentationsstabilität verbessert und einen prinzipiellen Weg bietet, um Regime mit partiellen Informationen im selbstüberwachten Lernen zu behandeln.