🤖 machine learning

LeNEPA: No-Augmentation Next-Latent Prediction for Time-Series Representation Learning

Dit artikel introduceert LeNEPA, een no-augmentation next-latent voorspellende architectuur die robuust zelfgesuperviseerd leren van tijdreeksen bereikt over diverse domeinen zonder dat domeinspecifieke afstemming vereist is, waarbij het vaste recept-gebaseerde baselines overtreft in zowel vroege convergentie als cross-dataset generalisatie.

Oorspronkelijke auteurs: Alexander Chemeris, Ming Jin, Randall Balestriero

Gepubliceerd 2026-07-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Alexander Chemeris, Ming Jin, Randall Balestriero

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Recept"-valstrik

Stel je voor dat je een chef bent die een robot probeert te leren hoe hij moet koken.

De Oude Manier (JEPA): Je geeft de robot een specifiek recept voor het maken van soep. Om hem te helpen leren, zeg je: "Als de soep te zout is, voeg water toe. Als hij te koud is, verwarm hem op." Dit zijn "augmentaties" (veranderingen aan de data). De robot leert de soep heel goed herkennen.
Het Probleem: Nu wil je dat de robot taart bakt. Je probeert precies hetzelfde "soeprecept" te gebruiken zonder één enkele instructie te veranderen. De robot raakt in de war. Hij probeert water toe te voegen aan het taartbeslag of het te vroeg te verwarmen. Het recept mislukt omdat het te specifiek was voor soep.

In de wereld van AI en tijdreeksdata (zoals hartslagen, aandelenkoersen of servertemperaturen), vertrouwen de meeste huidige methoden op deze specifieke "recepten" (augmentaties). Ze werken geweldig op de data waarvoor ze zijn ontworpen, maar als je probeert ze te hergebruiken op een ander type data zonder het recept aan te passen, gaan ze vaak kapot.

De Oplossing: LeNEPA (De "Universele Leerling")

De auteurs stellen een nieuwe methode voor genaamd LeNEPA. In plaats van de robot te leren door de ingrediënten te veranderen (augmentaties), leren ze hem een ander spel: Voorspellen.

Denk aan het als een "volgende-woord-spel", maar dan voor tijd.

Het Spel: De robot kijkt naar een reeks gebeurtenissen (zoals een hartslag: boem-boem... boem-boem...) en krijgt de vraag wat er hierna komt.
De Twist: Dit doet hij zonder enige "augmentaties". Hij probeert de data niet te vervormen om het moeilijker te maken. Hij kijkt gewoon naar het ruwe patroon en voorspelt de volgende stap in de toekomst.
Het Geheime Ingrediënt: Om te voorkomen dat de robot lui of in de war raakt (een probleem dat "collapse" wordt genoemd), gebruiken de auteurs een speciale "balanscontrole" genaamd SIGReg. Stel je een koorddanser voor die constant zijn evenwicht controleert om te zorgen dat hij niet naar één kant valt. Dit houdt het begrip van de robot over de data stabiel en nuttig.

Het Experiment: De "Stress-test"

De auteurs beweerden niet alleen dat hun methode goed was; ze onderwierpen het aan een "stress-test" om te zien of het recept reisbaar was.

De Opstelling: Ze namen twee methoden:
- Methode A (JEPA): Een sterke methode, afgestemd op specifieke ECG (hart) data.
- Methode B (LeNEPA): Hun nieuwe "no-augmentation" methode.
De Test: Ze trainden beide methoden op hartdata (PTB-XL). Daarna namen ze de exacte zelfde instellingen (hetzelfde recept) en probeerden ze beide methoden te trainen op Synthetische Diagnostische data (een totaal ander type signaal, zoals een verzonnen medische test).
Het Resultaat:
- Methode A (JEPA): Het was een meesterkok voor hartdata, maar toen het werd gedwongen om de synthetische data te "koken" met hetzelfde hart-recept, had het moeite. De prestaties daalden.
- Methode B (LeNEPA): Het presteerde goed op de hartdata, en toen het overging naar de synthetische data met hetzelfde recept, bleef het goed presteren. Het had geen her-afstemming nodig.

De Analogie: Methode A was een specialist die alleen wist hoe hij auto's moest repareren. Methode B was een monteur die de principes van motoren begreep. Toen je hen een motorfiets gaf, was de specialist (A) in de war, maar de monteur (B) begreep het direct omdat zijn kernlogica flexibeler was.

De "Snelheid"-bonus

De paper merkte ook iets interessants op over hoe snel de robot leert.

Methode A deed er lang over om de basis onder de knie te krijgen.
Methode B (LeNEPA) leerde de nuttige patronen veel sneller. Het bereikte 80% van zijn uiteindelijke vaardigheidsniveau in slechts een paar duizend stappen, terwijl de andere methode er twee keer zo lang over deed.
Analogie: Als leren een race is, dan is LeNEPA de sprinter die direct op volle snelheid komt, terwijl de andere methode de marathonloper is die een tijdje nodig heeft om zijn ritme te vinden.

De "Real-World" Check

Ten slotte testten de auteurs hun methode op een enorme collectie van 128 verschillende tijdreeksdatasets (de UCR-archieven). Ze bevroren het "brein" van hun getrainde robot en vroegen hem deze nieuwe problemen op te lossen.

Het Resultaat: Ondanks dat ze geen speciale "trucs" of handgemaakte augmentaties gebruikten, presteerde hun robot bijna net zo goed als de huidige koplopers (zoals MOMENT en Mantis).
De Kanttekening: Dit was een enkele testronde, dus het is geen garantie dat het altijd zal winnen, maar het bewijst dat een "no-augmentation" aanpak een zeer sterke kandidaat is.

Samenvatting

Huidige AI: Heeft een op maat gemaakt recept nodig voor elke nieuwe soort data. Als je de data verandert, moet je het recept herschrijven.
LeNEPA: Gebruikt een "voorspel de volgende stap"-strategie die geen aangepaste recepten nodig heeft. Het leert de onderliggende structuur van de data direct.
Waarom dit ertoe doet: Het maakt AI voor tijdreeksdata verplaatsbaar. Je kunt het één keer trainen, de instellingen hetzelfde houden, en het toepassen op verschillende soorten signalen (zoals de overstap van hartmonitoren naar serverlogs) zonder dat er een team van engineers nodig is om alles opnieuw af te stemmen.

Kortom: LeNEPA is een "universele vertaler" voor tijdreeksdata die leert door de toekomst te voorspellen, waarbij het de rommelige zaken van het vervormen van het verleden overslaat.

Technische Samenvatting: LeNEPA – No-Augmentation Next-Latent Prediction voor Time-Series Representation Learning

1. Probleemstelling

Self-supervised learning (SSL) voor tijdreeksen heeft zich snel ontwikkeld, maar praktische inzet wordt nog steeds belemmerd door een zware afhankelijkheid van domeinspecifieke view- en augmentatiestrategieën. Hoewel methoden zoals Joint Embedding Predictive Architectures (JEPA) succes hebben laten zien (bijv. ECG_JEPA voor PTB-XL), is hun prestatie vaak fragiel wanneer het "recept" (specifiek de augmentatie- en maskingstrategie) ongewijzigd wordt overgedragen naar een structureel andere signaalfamilie zonder hernieuwde afstemming.

Het artikel formuleert een specifieke, nauwere praktische vraag: Hoe gedraagt een SSL-recept zich wanneer de methode-specifieke configuratie ongewijzigd wordt hergebruikt nadat de geprepreteerde signaalfamilie is veranderd? In plaats van te vergelijken met optimaal afgestemde benchmarks, beschouwen de auteurs dit als een "fixed-recipe stress test" om de kosten te meten van het vertrouwen op domeinspecifieke invarianties (zoals ECG-morfologie) bij toepassing op nieuwe datatypen.

2. Methodologie: LeNEPA

De auteurs introduceren LeNEPA (Latent Euclidean Next-Embedding Prediction Architecture), een slanke, no-augmentation SSL-architectuur die is ontworpen om bruikbare bevroren sequentie-embeddings te produceren zonder dat per-dataset view engineering vereist is.

Kernarchitectuur

Backbone: Een causale Transformer verwerkt een reeks patch-embeddings gegenereerd door gestapelde convoluties (ViT-stijl).
Doelstelling: Autoregressieve next-latent-token voorspelling. Op elk tijdstap $t$ voorspelt het model de latente token op $t+1$ door de Mean Squared Error (MSE) in een geprojecteerde ruimte te minimaliseren.
Geen Augmentatie: In tegengensstelling tot JEPA-varianten die vertrouwen op masking of cropping, werkt LeNEPA direct op de ruwe sequentie zonder data-augmentatie.

Stabilisatiemechanismen

Standaard Next-Embedding Prediction (NEPA) vertrouwt doorgaans op een teacher-netwerk dat wordt bijgewerkt via Exponential Moving Average (EMA) en stop-gradients om instorting (collapse) te voorkomen. LeNEPA vervangt deze door:

SIGReg (Sketched Isotropic Gaussian Regularization): In plaats van stop-gradients gebruikt LeNEPA SIGReg om de token-embeddingdistributie te regulariseren richting een isotrope Gaussische verdeling. Cruciaal is dat de auteurs ontdekten dat temporale SIGReg (het regulariseren van de set tokens binnen elke sample over de temporele as) de meest effectieve stabilisator is, omdat dit instorting langs de temporele dimensie voorkomt, wat globale regularisatie mist.
Guillotine Regularization: De voorspellingsverlies wordt berekend in een lichtgewicht geprojecteerde ruimte (met behulp van een projector $h_\psi$ ). Deze projector wordt bij evaluatie weggegooid, wat ervoor zorgt dat de geleerde representaties in de backbone verblijven en niet in de projectiekop.

Verliesfunctie

De totale verliesfunctie combineert de voorspellingsverlies en de regularisatieterm:
$\mathcal{L} = \lambda_{pred}\mathcal{L}_{pred} + \lambda_T \mathcal{L}_{SIG}^{time}$
Waarbij $\mathcal{L}_{pred}$ de MSE is tussen de geprojecteerde voorspelling en de geprojecteerde target (verschoven met één stap), en $\mathcal{L}_{SIG}^{time}$ isotrope regularisatie toepast op de temporele token set.

3. Evaluatieprotocol

De studie hanteert twee verschillende evaluatieprotocollen om recept-draagbaarheid te scheiden van checkpoint-transfer:

Fixed-Recipe Pretraining Reuse (PTB-XL vs. Diag):
- Datasets: PTB-XL (echte 12-lead ECG) en Diag (een synthetisch diagnostisch corpus gegenereerd via Aionoscope met diverse signaaltypen).
- Setup: Zowel LeNEPA als een JEPA-baseline worden onafhankelijk getraind op beide datasets.
- Restrictie: De "recepten" zijn vastgesteld op basis van PTB-XL tuning. Het JEPA-recept gebruikt een voor ECG getunede masking-schedule; LeNEPA gebruikt zijn vaste no-augmentation configuratie. Geen van beide wordt opnieuw afgestemd voor Diag.
- Probe: Bevroren lineaire probes worden getraind op intermediaire backbone-lagen (0–8) om de kwaliteit van de representatie te meten.
Frozen-Encoder Check (CauKer naar UCR-128):
- Een LeNEPA-variant, vooraf getraind op de CauKer-dataset, wordt bevroren en geëvalueerd op het volledige UCR-128 archief met behulp van een Random Forest classifier, volgens het MantisV2-protocol. Dit test of een enkele no-augmentation encoder kan generaliseren naar 128 diverse univariate taken.

4. Belangrijkste Resultaten

Fixed-Recipe Reuse (PTB-XL vs. Diag)

JEPA Fragiliteit: Het voor ECG getunede JEPA-recept presteert sterk op PTB-XL (in-domain), maar degradeert aanzienlijk wanneer het ongewijzigd wordt hergebruikt op de structureel verschillende Diag-dataset. Dit benadrukt de afhankelijkheid van JEPA van domeinspecifieke augmentatie-aannames.
LeNEPA Robuustheid: LeNEPA behoudt bruikbare winsten in frozen-probes op beide datasets zonder modificatie. Het presteert beter dan het vaste JEPA-recept op Diag, zowel qua uiteindelijke prestaties als qua trainingsdynamiek.
Leeringsdynamiek: LeNEPA vertoont een snellere vroege acquisitie van representaties. Het bereikt 80% van de uiteindelijke AUROC/AUPRC-winst na 2–5k updates, vergeleken met 5–10k updates voor de JEPA-readout.

Frozen-Encoder Check (UCR-128)

Een enkele-seed, best-checkpoint run van LeNEPA-CauKer behaalt 77,65% gemiddelde accuratesse op UCR-128 met een Random Forest.
Dit resultaat ligt binnen 1,16 punten van Mantis (78,81%) en binnen 0,24 punten van MOMENT (77,89%), ondanks het feit dat LeNEPA een causale backbone gebruikt, geen handmatige augmentaties en geen first-difference branches (structurele nadelen ten opzichte van Mantis voor dit specifieke benchmark).

Ablaties en Diagnostiek

Laaggevoeligheid: In tegen tegenstelling tot JEPA, dat vaak piekt in de bovenste lagen, bereiken LeNEPA en NEPA optimale probe-scores in intermediaire lagen (meestal $L_4$ of $L_5$ ). De laatste laag presteert vaak minder goed, wat suggereert dat diepere blokken specialiseren in de voorspellings taak terwijl intermediaire lagen meer algemene kenmerken behouden.
SIGReg As: Temporale SIGReg was de enige regularisatieplaatsing die aanhoudende winsten bood over beide datasets.
Projector: Het gebruik van een wegwerpprojector (Guillotine-stijl) verbetert de prestaties ten opzichte van directe backbone verliesberekening, wat de scheiding van de loss-ruimte van de representatie-ruimte valideert.

5. Betekenis en Claims

Het artikel concludeert dat no-augmentation latent prediction een veelbelovende kandidaat-recept is voor time-series SSL wanneer de operationele beperking is om een SSL-recept met minimale per-dataset view engineering te hergebruiken.

Bescheiden Claims: De auteurs stellen expliciet dat ze niet beweren een nieuw "foundation model" te hebben dat alle getunede baselines overtreft. In plaats daarvan demonstreren ze dat het verwijderen van augmentatie-afhankelijkheden de fragiliteit van SSL-recepten vermindert wanneer signaalfamilies veranderen.
Praktische Impact: De resultaten suggereren dat voor toepassingen die draagbare pretraining vereisen (bijv. industriële telemetrie, financiën, fysiologie), een no-augmentation objectief zoals LeNEPA een robuuster alternatief biedt voor JEPA-varianten die zorgvuldige, domeinspecifieke view engineering vereisen.
Beperkingen: De studie erkent dat de convolutionele tokenizer nog steeds dataset-specifiek ontwerp vereist (kernelgrootte, stride) en dat de synthetische Diag-corpus dient als gecontroleerd bewijs in plaats van een directe proxy voor alle echte diagnostische transfer. Het UCR-128 resultaat is gebaseerd op een enkele seed en best checkpoint, wat dient als een bewijs van bestaan in plaats van een definitieve leaderboard-claim.

Broncode: Beschikbaar op https://github.com/langotime/lenepa-milets-2026.