🤖 machine learning

Martingale-Consistent Self-Supervised Learning

Dit artikel introduceert een martingaal-consistent zelftoezichtend leerframework dat coherentie afdwingt tussen ruwe en verfijnde voorspellingen onder gedeeltelijke observatie, waardoor de modelrobuustheid en kalibratie worden verbeterd in vergelijking met standaard invarantie-gebaseerde doelstellingen.

Oorspronkelijke auteurs: Moritz Gögl, Hanwen Xing, Christopher Yau

Gepubliceerd 2026-05-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Moritz Gögl, Hanwen Xing, Christopher Yau

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Wankelende Kristallen Bal"

Stel je voor dat je het weer probeert te voorspellen.

Scenario A: Je kijkt uit het raam en ziet donkere wolken. Je raadt: "Het kan gaan regenen."
Scenario B: Vijf minuten later check je een radar-app en zie je een enorme stormfront naderen. Je update je raadsel naar: "Het zal zeker gaan regenen."

Dit is normaal. Naarmate je meer informatie krijgt, zou je voorspelling moeten veranderen.

Het artikel wijst echter op een vreemde tekortkoming in hoe huidige AI-modellen (specifiek "Self-Supervised Learning"-modellen) worden getraind. Deze modellen worden vaak gevraagd om voorspellingen te doen op basis van verschillende hoeveelheden informatie: soms zien ze het hele plaatje, soms slechts de helft, en soms slechts een klein stukje.

Het probleem is dat deze modellen zich vaak gedragen als een wankelende kristallen bal.

Wanneer ze alleen de donkere wolken zien (weinig info), zeggen ze misschien: "50% kans op regen."
Wanneer ze de radar zien (veel info), zeggen ze misschien: "90% kans op regen."
De Tekortkoming: Als je het model voordat het de radar zag vroeg: "Wat denk je dat je voorspelling zal zijn zodra je de radar ziet?", zou een slim model moeten zeggen: "Ik verwacht dat het rond de 50% blijft." Het zou niet in het geheim moeten verwachten dat het naar 90% springt of daalt naar 10%. Als dat wel gebeurt, betekent het dat het model "drijft" of inconsistent is. Het is als een student die op een quiz een willekeurig antwoord raadt, die het later verandert in het juiste antwoord, maar beweert dat hij het juiste antwoord altijd al wist.

De Oplossing: De "Martingale"-Regel

De auteurs introduceren een concept genaamd Martingale-consistentie. In platte taal is dit een regel die zegt: "Je huidige gok moet het gemiddelde zijn van al je toekomstige goks."

Denk eraan als een schattenjacht:

Het Grove Zicht (Weinig Info): Je staat bij de startlijn. Je hebt een kaart die het algemene gebied toont. Je raadt dat de schat in het "Noordelijk Veld" ligt.
Het Verfijnde Zicht (Meer Info): Je loopt dichter bij. Nu zie je een specifieke boom. Je update je gok: "De schat ligt onder die specifieke eik."
De Martingale-regel: Voordat je naar de boom liep, zou je "Noordelijk Veld"-gok het gemiddelde moeten zijn van alle specifieke plekken waar je uiteindelijk zou kunnen uitkijken. Als je startgok "Noordelijk Veld" was, maar je verwachtte in het geheim dat je, zodra je dichter bij kwam, naar de "Zuidelijke Berg" zou kijken, dan was je startgok verkeerd.

Het artikel stelt dat standaard AI-training geen omkijken heeft naar deze regel. Het leert de AI gewoon om gelijk te hebben wanneer het alle informatie heeft, en gelijk te hebben wanneer het sommige informatie heeft, zonder te controleren of die twee antwoorden samen logisch zijn.

Hoe Ze Het Oplosten

De onderzoekers bouwden een nieuwe trainingsmethode die de AI dwingt deze "Martingale"-regel te volgen. Hier is hoe ze dat deden, met behulp van een Chef-analogie:

De Opstelling: Stel je een chef (de AI) voor die probeert de ingrediënten in een soep te raden.
Het Deelzicht: De chef is blinddoekt en mag alleen de soep ruiken (grof zicht). Hij raadt: "Het is waarschijnlijk tomatensoep."
De Verfijning: De chef doet de blinddoek af en ziet de hele pot (verfijnd zicht). Hij raadt: "Het is zeker tomatensoep met basilicum."
De Truc (De Imputer): Om de chef te trainen, gebruiken de onderzoekers een "magische helper" (een imputer). Deze helper neemt de gok van de blinddoekte chef en verbeeldt twee verschillende versies van hoe de volledige soep eruit zou kunnen zien.
- Verbeelding A: Een soep met veel basilicum.
- Verbeelding B: Een soep met een beetje basilicum.
De Test: De onderzoekers vragen de chef: "Als je de volledige soep moest raden op basis van alleen de geur, zou je gok dan overeenkomen met het gemiddelde van Verbeelding A en Verbeelding B?"
- Als de "geurgok" van de chef wild verschilde van het gemiddelde van de twee "volledige soep"-goks, krijgt de AI een straf.
- Dit dwingt de AI om te leren dat zijn vroege goks een stabiel "middelpunt" moeten zijn voor al zijn latere, gedetailleerdere goks.

Wat Ze Vonden

Het team testte dit op vele soorten data:

Tijdreeksen: Zoals aandelenprijzen of hartslagmonitoren (waar je misschien enkele seconden data mist).
Tabulaire Data: Zoals medische dossiers of bankformulieren (waar sommige kolommen misschien ontbreken).
Afbeeldingen: Zoals het kijken naar een foto waarvan de helft bedekt is door een zwarte doos.

De Resultaten:

Betere Stabiliteit: Toen de AI gedwongen werd de Martingale-regel te volgen, werd het veel stabieler. Wanneer informatie ontbrak, raakte het niet in paniek of maakte het wilde schommelingen in zijn voorspellingen.
Betere Kalibratie: De AI werd eerlijker over zijn vertrouwen. Als het zei "50% kans", had het daadwerkelijk ongeveer 50% van de tijd gelijk, zelfs toen het niet alle data had.
Werkt Overal: Dit werkte of de AI nu met labels leerde (supervised) of zonder labels (self-supervised), en of het naar cijfers of afbeeldingen keek.

De Kernboodschap

Het artikel stelt dat we door deze "consistentiecheck" toe te voegen (zorgen dat de vroege goks van de AI het logische gemiddelde zijn van zijn latere goks), we AI-modellen kunnen bouwen die robuuster en betrouwbaarder zijn wanneer ze gedwongen worden te werken met onvolledige informatie. Het is als een student niet alleen leren het eindantwoord te memoriseren, maar ook te begrijpen hoe zijn denken evolueert naarmate hij meer feiten leert.

Technische Samenvatting: Martingale-consistente Zelftoezichthoudende Lering

Probleemstelling

Zelftoezichthoudende lering (SSL) wordt veelvuldig ingezet in scenario's waar informatiebeschikbaarheid dynamisch is, zoals bij het omgaan met kortere geschiedenissen, ontbrekende kenmerken of gedeeltelijk waargenomen afbeeldingen. In deze settingen wordt een model vaak bevraagd onder meerdere "informatiestelsels" (bijvoorbeeld ruwe versus verfijnde weergaven). Een fundamentele vereiste voor dergelijke modellen is coherentie: de voorspelling gedaan onder een ruw informatiestelsel moet overeenkomen met de verwachte voorspelling na verfijning.

Wiskundig, als $F_1 \subseteq F_2$ geneste informatiestelsels voorstellen (waarbij $F_2$ meer informatie bevat dan $F_1$ ), en $g_\phi(x_F)$ een predictor is, dicteert de martingaal-eigenschap:
$E[g_\phi(x_{F_2}) \mid x_{F_1}] = g_\phi(x_{F_1})$
Dit impliceert dat voordat er extra informatie wordt waargenomen, het model niet systematisch mag verwachten dat zijn toekomstige voorspellingen omhoog of omlaag zullen afwijken. Standaard SSL-doelstellingen (bijvoorbeeld contrastief leren, gemaskeerde reconstructie) trainen doorgaans predictors voor individuele weergaven onafhankelijk van elkaar of dwingen invariantie af (waardoor weergaven op elkaar gaan lijken). Ze dwingen deze directionele consistentie niet af, wat kan leiden tot modellen die goed presteren op specifieke weergaven maar gebrek hebben aan globale coherentie over geneste informatiestelsels heen.

Methodologie

De auteurs stellen een Martingale-consistent SSL-kader voor dat de martingaal-eigenschap afdwingt als trainingsdoelstelling.

1. Doelfunctie

De totale verliesfunctie combineert een standaard voorspellend verlies met een martingale-consistentiestraf:
$\mathcal{L}_{total} = \mathcal{L}_{pred} + \lambda_{imp}\mathcal{L}_{imp} + \lambda_{mart}\mathcal{L}_{mart}$

Voorspellende Term ( $\mathcal{L}_{pred}$ ): Een standaard SSL-verlies (bijvoorbeeld classificatie cross-entropy of reconstructie MSE) toegepast op de verfijnde (volledige) weergave.
Martingaal Term ( $\mathcal{L}_{mart}$ ): Deze term straft afwijkingen van de martingaal-identiteit. Het vereist het bemonsteren van geneste informatiestelsels $F_1 \subseteq F_2$ . Het verlies wordt gedefinieerd als:
$\mathcal{L}_{mart} = \mathbb{E}_{F_1 \subseteq F_2} \left[ \| g_\phi(x_{F_1}) - \mathbb{E}[g_\phi(x_{F_2}) \mid x_{F_1}] \|^2 \right]$
Imputatieverlies ( $\mathcal{L}_{imp}$ ): Een hulpverlies dat wordt gebruikt om een imputatienetwerk $q_\psi$ te trainen dat de conditionele verdeling van de volledige invoer benadert gegeven de gedeeltelijke weergave.

2. Ongeschatte Twee-Stalen Monte Carlo-schatting

Het direct berekenen van de conditionele verwachting $\mathbb{E}[g_\phi(x_{F_2}) \mid x_{F_1}]$ is onuitvoerbaar. Een naïeve Monte Carlo-gemiddelde introduceert bias door variantie. De auteurs stellen een ongeschatte twee-stalen schatter voor:

Gegeven een ruwe weergave $x_{F_1}$ , bemonster twee conditioneel onafhankelijke verfijningen $x^{(a)}_{F_2}$ en $x^{(b)}_{F_2}$ met behulp van het geleerde imputatienetwerk $q_\psi$ .
Bereken de ruwe voorspelling $u = g_\phi(x_{F_1})$ en verfijnde voorspellingen $v_a = g_\phi(x^{(a)}_{F_2})$ , $v_b = g_\phi(x^{(b)}_{F_2})$ .
De schatter is:
$\hat{\mathcal{L}}^{2MC}_{mart} = (u - v_a)^\top (u - v_b)$
Theoretische analyse (Bijlage B.1) bewijst dat deze schatter ongeschat is voor het kwadratische fout van de martingaal-identiteit.

3. Implementatievarianten

Het kader wordt geïnstancierd in twee primaire ruimten:

Voorspellingsruimte: De martingaalstraf wordt direct toegepast op de voorspellingen van het model.
Latente Ruimte: De straf wordt toegepast op de latente representaties van de encoder ( $z_{F_1}$ versus $z_{F_2}$ ). Dit is bijzonder nuttig voor hoog-dimensionale data (afbeeldingen, lange sequenties) waar het afdwingen van consistentie in de waarnemingsruimte onpraktisch is.
EMA-doelen: Om training te stabiliseren, kunnen de verfijnde doelen ( $v_a, v_b$ of $z_a, z_b$ ) worden berekend met behulp van een Exponentiële Moving Average (EMA)-kopie van het netwerk, waardoor instabiliteit door bewegende doelen wordt voorkomen.

Belangrijkste Bijdragen

Identificatie van een Structurele Kloof: Het artikel identificeert dat standaard SSL predictors behandelt als een familie van conditionele verwachtingen geïndexeerd door informatiestelsels, maar faalt in het afdwingen van de noodzakelijke consistentierelaties (martingaal-eigenschap) tussen hen.
Praktische Trainingsrecept: De auteurs introduceren een methode om martingale-consistentie af te dwingen zonder modality-specifiek herontwerp. Dit omvat straffen in voorspellings- en latente ruimte en de ongeschatte twee-stalen Monte Carlo-schatting gebaseerd op stochastische verfijning.
Empirische Validatie: Het kader wordt geëvalueerd over temporele, tabulaire en beeld-benchmarks in zowel semi-zelftoezichthoudende (met labels) als volledig zelftoezichthoudende (labelvrije) settingen.

Experimentele Resultaten

Het kader werd getest op synthetische en real-world datasets, waaronder tijdreeksen (UCI HAR, Traffic, Stock), tabulaire data (Adult, Bank Marketing) en afbeeldingen (CIFAR-10, STL-10).

Robuustheid onder Gedeeltelijke Waarneming: Het afdwingen van martingale-consistentie verbeterde consistent de downstream-probe-nauwkeurigheid wanneer de hoeveelheid waargenomen informatie werd gereduceerd (lage volledigheidniveaus $c \in \{0.05, 0.2, \dots, 0.8\}$ $c \in {0.05, 0.2, \dots, 0.8}$ ).
- Tijdreeksen: In de semi-zelftoezichthoudende setting bereikten martingale-varianten de beste gemiddelde nauwkeurigheid op alle 7 datasets, met significante relatieve winsten (bijvoorbeeld +155,6% op Character Trajectories, +30,9% op T-SIM-RC).
- Tabulair: Martingale-varianten presteerden beter dan baselines op alle 5 statische tabulaire datasets, met winsten tot +34,1% op synthetische data.
- Afbeeldingen: Op CIFAR-10 verbeterde de latente-martingale variant de gemiddelde nauwkeurigheid van 0,311 naar 0,383 (+23,2%) ten opzichte van het basismodel.
Kalibratie: Modellen getraind met martingale-consistentie vertoonden significant betere kalibratie (lagere Verwachte Kalibratiefout en Anytime Regret) onder gedeeltelijke waarneming in vergelijking met standaard SSL.
Vermindering van Schendingen: De trainingsdoelstelling verminderde met succes martingale-schendingen (het verschil tussen ruwe voorspellingen en verwachte verfijnde voorspellingen), met name in regimes met lage volledigheid.
Vergelijking met Invariantie: In tegenstelling tot standaard consistentiedoelstellingen die weergaven dwingen identiek te zijn (invariantie), staat martingale-consistentie toe dat voorspellingen worden bijgewerkt naarmate informatie wordt onthuld, terwijl systematische drift wordt voorkomen.

Betekenis en Claims

Het artikel beweert dat martingale-consistentie een probabilistisch perspectief biedt op SSL-modellen die worden ingezet onder variërende maskeringpatronen of contextlengtes. Door overeenstemming in verwachting af te dwingen onder informatieverfijning, staat de methode toe dat voorspellingen op natuurlijke wijze worden bijgewerkt naarmate nieuwe data arriveert, terwijl systematische drift wordt voorkomen.

De auteurs positioneren dit als een structurele inductieve bias die informatie vastlegt die onbeperkt blijft door standaard doelstellingen zoals SimCLR of BYOL. Zij suggereren dat dit bijzonder relevant is voor foundation modellen, die routinematig worden bevraagd onder variërende contextlengtes en onvolledige waarnemingen, doch waar bestaande doelstellingen de coherentie niet expliciet afdwingen die vereist is voor dergelijke dynamische inzet. Het werk toont aan dat het dichten van deze kloof de robuustheid, kalibratie en stabiliteit van representaties verbetert, en een principiële manier biedt om om te gaan met regimes met gedeeltelijke informatie in zelftoezichthoudende lering.