🤖 machine learning

Faithful Embeddings of Irregular and Asynchronous Data for Online Log-NCDEs

Dit artikel stelt een continue en injectieve inbeddingsmethode voor Log-NCDE's voor die log-handtekeningen rechtstreeks construeert uit data-incrementen zonder interpolatie, waardoor nauwkeurige, efficiënte en robuuste online modellering van onregelmatige en asynchrone tijdreeksdata mogelijk wordt.

Oorspronkelijke auteurs: Benjamin Walker, Alexandre Bloch, Lingyi Yang, Sam Morley, Terry Lyons

Gepubliceerd 2026-05-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Benjamin Walker, Alexandre Bloch, Lingyi Yang, Sam Morley, Terry Lyons

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Proberen de Gaten Op te Vullen

Stel je voor dat je probeert een verhaal te begrijpen, maar de pagina's die je hebt zijn verscheurd, ontbrekend en arriveerden op willekeurige tijdstippen. Soms krijg je een hele pagina; andere keren krijg je slechts één zin.

De meeste computermodellen (zoals die die AI-chatbots aandrijven of beurskoersen voorspellen) zijn gebouwd om verhalen te lezen waarbij de pagina's perfect in volgorde arriveren, één voor één, zonder gaten. Om rommelige, onregelmatige data aan te passen aan deze modellen, proberen wetenschappers meestal de "gaten op te vullen". Ze raden in wat er tussen de pagina's die ze hebben, is gebeurd.

Interpolatie: Een gladde lijn trekken tussen twee punten.
Imputatie: Een ontbrekend getal raden op basis van de getallen eromheen.

De Kritiek van het Artikel: De auteurs betogen dat dit "raden" gevaarlijk is. Als je een gladde lijn trekt tussen twee datapunten, kun je een verhaal verzinnen dat nooit heeft plaatsgevonden. Je voert de computer dan nepinformatie toe, wat kan leiden tot slechte beslissingen.

De Oplossing: De "Getrouwe" Bode

In plaats van te raden wat er in de gaten is gebeurd, stellen de auteurs een nieuwe manier voor om de data naar de computer te sturen. Ze noemen dit een "Getrouwe Embedding".

Stel je voor dat het een koeriersdienst is die alleen precies rapporteert wat het heeft gezien, niets meer.

Oude Manier (Interpolatie): De bode zegt: "Ik zag je om 13:00 uur, en ik zag je om 14:00 uur, dus ik ga ervan uit dat je in een rechte lijn tussen die twee tijdstippen hebt gelopen." (Dit kan verkeerd zijn; misschien rende je, stopte je, of ging je naar een winkel).
Nieuwe Manier (Getrouw): De bode zegt: "Ik zag je om 13:00 uur. Toen, om 14:00 uur, zag ik je weer. Hier is het verschil in je locatie tussen die twee tijdstippen."

De computer hoeft niet te weten hoe je er tussenin bent bewogen; het hoeft alleen de start, het einde en de verandering te kennen. Dit houdt de data "getrouw" aan de werkelijkheid.

Hoe Het Werkt: Het "Log-Signatuur" Recept

Het artikel introduceert een specifiek wiskundig hulpmiddel genaamd een Log-NCDE (Neural Controlled Differential Equation). Om dit te laten werken met rommelige data, hebben ze een speciaal recept gemaakt om waarnemingen om te zetten in wiskunde.

Stel je voor dat je de reis van een wandelaar door een bos volgt, maar je krijgt alleen tekstberichten van hen op willekeurige tijdstippen.

De Increment: In plaats van te vragen "Waar ben je?", vraagt het systeem: "Hoe ver heb je je verplaatst sinds je laatste bericht?" en "In welke richting?"
De Aantal: Het noteert ook: "Hé, er is zojuist een bericht aangekomen!" Dit is cruciaal, want als de wandelaar stil blijft staan maar een bericht stuurt met "Ik ben nog steeds hier", is dat anders dan als ze helemaal geen bericht sturen. Het systeem telt deze gebeurtenissen om ervoor te zorgen dat het niet de draad kwijtraakt.
De "Log-Signatuur": Dit is de magische saus. Het is een manier om een heel stuk van de reis (een interval) samen te vatten tot één compacte "vingerafdruk".
- In plaats van elke enkele stap die de wandelaar heeft genomen te bekijken, kijkt het systeem naar de totale verandering over een specifiek tijdsblok.
- Het vangt niet alleen de afstand, maar ook de bochten en wendingen (zoals als de wandelaar in een cirkel liep). Dit wordt het vastleggen van "hogere-orde informatie" genoemd.

Waarom Dit Een Game-Changer Is

De auteurs bewijzen twee belangrijke dingen:

Geen Gokken Nodig: Je hoeft geen glad pad tussen datapunten te verzinnen. Als je gewoon de veranderingen en de tijdsgaten nauwkeurig registreert, kan een slim computermodel net zo goed (of beter) leren dan wanneer je het pad had geraden.
Snelheid en Efficiëntie: Omdat het systeem stukken tijd samenvat tot deze "vingerafdrukken" (log-signaturen), kan het data veel sneller verwerken.
- Analogie: Stel je voor dat je een boek van 1.000 pagina's leest.
  - Oude Manier: Je leest elk woord, één voor één, zelfs de woorden die je al kent.
  - Nieuwe Manier: Je vat elk hoofdstuk samen tot één zin, en leest dan die zinnen. Je krijgt het hele verhaal veel sneller, en je kunt dit doen terwijl het boek nog wordt geschreven (online berekening).

De Resultaten: Taaie Data, Betere Antwoorden

Het team testte dit op twee soorten uitdagingen:

Synthetische Data (De "Fake" Wereld): Ze creëerden computersimulaties waarbij data onregelmatig, asynchroon (verschillende kanalen op verschillende tijdstippen) en spaarzaam (veel ontbrekende informatie) arriveerde.
- Resultaat: Hun methode was robuust. Zelfs wanneer 95% van de data ontbrak, werkte hun model nog steeds goed. Andere modellen die leunden op "gaten opvullen" faalden jammerlijk omdat hun gissingen verkeerd waren.
Real World Data (De "Real" Wereld): Ze testten op standaard datasets die worden gebruikt voor het classificeren van dingen zoals hartslagen of wormbewegingen.
- Resultaat: Hun modellen waren sneller (in sommige gevallen tot 3.000 keer sneller) en nauwkeuriger, vooral wanneer de data rommelig of spaarzaam was.

De Conclusie

Dit artikel betoogt dat bij het omgaan met rommelige, real-world data, eerlijkheid het beste beleid is. Probeer niet te raden wat er in de gaten is gebeurd. In plaats daarvan, leg precies vast wat je zag, hoeveel het veranderde en wanneer het gebeurde. Door een speciale wiskundige samenvatting (de log-signatuur) te gebruiken om deze eerlijke data te verpakken, kun je AI-modellen bouwen die sneller, nauwkeuriger en veel beter zijn in het hanteren van de chaos van de realiteit.

Technische Samenvatting: Getrouwe Embeddings van Irreguliere en Asynchrone Data voor Online Log-NCDE's

Probleemstelling

Continue-tijdmachinelearningmodellen, zoals Neuraal Gecontroleerde Differentiaalvergelijkingen (NCDE's) en Log-NCDE's, bieden een natuurlijk raamwerk voor het verwerken van irreguliere, asynchrone en spaarzame tijdreeksdata. Er blijft echter een kritieke ontwerpflesnek: hoe discrete observaties te embedden in een continue-tijdpad zonder artefacten in te voeren.

Standaardmethoden vertrouwen op interpolatie of imputatie om een continue observatiepad te reconstrueren voordat deze aan het model wordt gevoerd. Zoals in het artikel wordt geïllustreerd, lijden deze methoden aan aanzienlijke nadelen:

Imputatie vult ontbrekende waarden in met data die in de praktijk nooit is waargenomen.
Interpolatie kan waarden genereren buiten het waargenomen bereik van de data of kunstmatige dynamiek opleggen tussen metingen.
Deze reconstructiestappen introduceren "niet-waargenomen gedrag" in de representatie, waardoor het model wordt gedwongen om potentieel onrealistische invoer te verwerken.

Het artikel betoogt dat een getrouwe continue-tijdsrepresentatie alleen de informatie moet behouden die daadwerkelijk is waargenomen, en de reconstructie van niet-waargenomen gedrag overlaat aan het modelleringproces zelf in plaats van aan het embeddingproces.

Methodologie

1. Theoretische Grondslag: Getrouwe Embeddings

De auteurs formaliseren het concept van een getrouwe embedding. Zij bewijzen een universaliteits-transfervolgorde (Lemma 1) waarin wordt gesteld dat als de data-ruimte $X$ en de modelinvoerruimte $P$ Hausdorff-topologische ruimten zijn, en de embedding $\phi: X \to P$ continu en injectief is, dan de universaliteit van een downstream-model op compacte deelverzamelingen van $P$ overgaat naar de oorspronkelijke data-ruimte $X$ .

Dit impliceert dat voor universele modellen zoals NCDE's en Log-NCDE's de embedding het pad niet hoeft te reconstrueren; het hoeft slechts een continue, injectieve afbeelding te zijn die de onderscheidbaarheid van verschillende datastromen behoudt.

2. Voorgestelde Embedding: Log-NCDE Controlepad

Op basis van het rechte controlepad dat voor NCDE's is geïntroduceerd door Morrill et al. [2022], construeren de auteurs een getrouwe embedding specifiek voor Log-NCDE's. In tegenstelling tot standaard NCDE's die puntsgewijze waarden van een controlepad gebruiken, werken Log-NCDE's met intervallog-signaturen.

De voorgestelde embedding werkt als volgt:

Invoervoorstelling: De invoer bestaat uit een stroom van discrete observaties $x = ((t_0, s_0, x_0), \dots, (t_n, s_n, x_n))$ en continu waargenomen variabelen $C$ (bijvoorbeeld tijd).
Incrementele Encodering: In plaats van waarden te interpoleren, wordt elke observatie omgezet in een Lie-algebra-increment $\Delta_i$ $Δ_{i}$ . Dit increment vangt op:
- De verandering in waarde voor elke waargenomen kanaal sinds de laatste observatie.
- Een increment in een dedicated "telpunt" om een herhaalde waarde te onderscheiden van het ontbreken van een nieuwe observatie.
- Optioneel, hogere-orde lokale informatie (bijvoorbeeld vooraf berekende tekensgebieden) indien beschikbaar.
Intervalcompositie: Voor elk query-interval $[\alpha, \beta)$ $[α, β)$ construeert de embedding een signatuurfactor $G_{\alpha, \beta}$ $G_{α, β}$ door te componeren:
- Signatuurfactoren van de continu waargenomen variabelen (bijvoorbeeld tijd) over de gaten tussen gebeurtenissen.
- Exponentiële factoren $E_i = \exp(\Delta_i)$ voor elke discrete gebeurtenis die binnen het interval optreedt.
Log-Signatuur Extractie: De intervallog-signatuur $\Phi_{\alpha, \beta}$ wordt verkregen door de logaritme toe te passen op de samengestelde signatuur $G_{\alpha, \beta}$ .

Deze constructie maakt online berekening en parallelle verwerking in de tijd mogelijk via associatieve scans, aangezien de log-signatuur voor een interval alleen afhankelijk is van observaties tot het einde van dat interval.

3. Modelarchitectuur: Log-SLiCE

De auteurs implementeren deze embedding binnen Gestructureerde Lineaire CDE's (SLiCE's), specifiek de Log-SLiCE-variant.

De evolutie van de verborgen toestand op een interval wordt beheerst door een Log-ODE-update gedreven door de intervallog-signatuur.
Voor lineaire modellen heeft de intervalstroom een gesloten-vormoplossing die matrixexponentiële functies van de log-signatuur omvat.
Deze structuur maakt het mogelijk om de verborgen toestanden over intervallen parallel te berekenen met behulp van een associatieve scan, wat de rekencomplexiteit aanzienlijk verlaagt in vergelijking met sequentiële ODE-oplossers.

Belangrijkste Bijdragen

Formalisatie van Getrouwe Embeddings: Het artikel bewijst dat continue, injectieve embeddings universaliteit overdragen van de modelinvoerruimte terug naar de data-ruimte, wat het verwijderen van interpolatiestappen rechtvaardigt.
Nieuwe Embeddingconstructie: Een continue en injectieve embedding voor irreguliere stromen die observaties opneemt als tensor-algebra-factoren (incrementen) en deze componeert tot intervallog-signaturen zonder interpolatie.
Efficiënte Log-SLiCE-implementatie: Een parallelle-in-de-tijd-algoritme voor Log-NCDE's dat gebruikmaakt van de intervallog-signatuurformulering, waardoor efficiënt trainen en infereren op lange sequenties mogelijk wordt.
Empirische Validatie: Uitgebreide experimenten die nauwkeurigheid, efficiëntie en robuustheid tegen irreguliere en spaarzame data aantonen.

Experimentele Resultaten

1. Efficiëntie en Nauwkeurigheid (EigenWorms)

Op de EigenWorms-dataset (17.984 observaties per reeks) behaalde de Log-ODE-methode gecombineerd met Log-SLiCE (BD-SLiCE):

Nauwkeurigheid: 86,1% testnauwkeurigheid (vs. 75,0% voor standaard NCDE), een verbetering van 11,1 procentpunten.
Snelheid: De tijd voor een trainingsstap werd met een factor van bijna 3.000 verkort (van 26,02s naar 0,009s).
Geheugen: Hield vergelijkbaar GPU-geheugengebruik aan als standaard NCDE's.

2. Generalisatie naar Irreguliere Sampling (Synthetische Gekoppelde Data)

Met behulp van een synthetisch sinusoidaal systeem testten de auteurs cross-regime generalisatie.

Modellen getraind op asynchrone spaarzame data (het moeilijkste regime) bleven robuust over alle andere samplingregimes (synchroon regelmatig, synchroon irregulier, asynchroon irregulier).
Modellen getraind op regelmatige data faalden bij generalisatie naar asynchrone spaarzame instellingen, wat suggereert dat ze shortcuts leerden gebaseerd op vaste samplingroosters.
De getrouwe embedding stelde modellen in staat om de onderliggende dynamiek te leren, ongeacht het observatierooster.

3. Benutting van Hogere-orde Informatie (Brownse Beweging)

In een lineair systeem gedreven door Brownse beweging waarbij de oplossing afhangt van termen van het Lie-haakje van de tweede orde (Lévy-gebied):

Modellen die Level 2 log-signaturen gebruikten (inclusief gebiedsinformatie) behaalden een aanzienlijk lagere Mean Squared Error (MSE) dan die welke alleen Level 1 gebruikten (incrementen).
De methode slaagde erin om vooraf berekende hogere-orde informatie op te nemen, wat flexibiliteit toont die verder gaat dan eerste-orde incrementen.

4. Robuustheid tegen Invoerverlies (UEA-benchmarks)

Op zes UEA-multivariate tijdreeksclassificatiedatasets simuleerden de auteurs ernstig invoerverlies (tot 95% van de observaties verwijderd).

BD-SLiCE met de voorgestelde embedding behield hoge prestaties, met slechts een daling van 64,0% (geen verlies) naar 62,5% (95% verlies).
Het behaalde de beste gemiddelde rang over alle verliesniveaus, en presteerde beter dan recurrente baselines (S5, LRU, S6, Mamba) en standaard NCDE's, met name onder ernstige versparsing.

Betekenis en Claims

Het artikel claimt dat continue-tijdsrepresentaties prioriteit moeten geven aan het behoud van waargenomen data boven het reconstrueren van niet-waargenomen gedrag. Door "getrouwe embeddings" te formaliseren en aan te tonen dat ze de universaliteit van downstream-modellen behouden, bieden de auteurs een theoretische rechtvaardiging voor het omzeilen van interpolatie.

De voorgestelde methode biedt een getrouwe, online en efficiënte alternatief voor op interpolatie gebaseerde embeddings. Het ontkoppelt invoersamplingtijden van uitvoerqueryroosters, ondersteunt parallelle berekening en toont superieure robuustheid tegen irreguliereheid, asynchronie en datasparsiteit. De resultaten suggereren dat voor universele continue-tijdsmodellen de kwaliteit van de embedding ligt in het vermogen om waargenomen incrementen en intervallen getrouw te coderen, in plaats van in het vermogen om het pad tussen observaties te raden.