The Volterra signature

Dit paper introduceert de Volterra-signatuur als een interpreteerbare en universele feature-representatie voor niet-Markovse tijdreeksen, die wiskundig onderbouwde garanties biedt, efficiënte berekening via kernmethoden mogelijk maakt en superieure prestaties levert ten opzichte van bestaande methoden.

De kern

De Volterra-Signatuur: Een Slimme Manier om Verleden en Heden te Koppelen

Stel je voor dat je probeert het gedrag van een persoon, de koers van een aandeel of het weer te voorspellen. Traditionele methoden (zoals simpele statistiek of zelfs complexe neurale netwerken) kijken vaak alleen naar de huidige situatie. Ze denken: "Het is nu 20 graden, dus morgen is het waarschijnlijk ook 20 graden."

Maar in het echte leven is dat niet hoe het werkt. Alles heeft een geheugen.

• Als je gisteren een zware maaltijd hebt gegeten, voel je je vandaag anders, ook al is het nu een lichte dag.
• Als de aandelenmarkt gisteren een schokkende crash heeft gehad, zijn beleggers vandaag nog steeds nerveus, zelfs als de cijfers nu goed zijn.
• In de biologie: als een zenuwcel een prikkel krijgt, reageert hij niet alleen op dat moment, maar onthoudt hij de prikkel voor een korte tijd.

Dit noemen we niet-Markovse systemen: de toekomst hangt niet alleen af van het nu, maar van de geschiedenis.

Het Probleem: Het "Zwarte Doos"-Geheugen

Huidige AI-modellen (zoals RNN's of Transformers) proberen dit geheugen na te bootsen door informatie op te slaan in een "verborgen laag". Het werkt vaak goed, maar het is als een zwarte doos. We weten niet precies hoe het model onthoudt. Is het een korte herinnering? Een lange? Is het een zachte vervaging of een harde knal? En vaak zijn deze modellen moeilijk te trainen en onduidelijk in hun beslissingen.

De Oplossing: De Volterra-Signatuur

De auteurs van dit paper (Hager, Harang, Pelizzari en Tindel) hebben een nieuwe manier bedacht om met geheugen om te gaan. Ze noemen het de Volterra-Signatuur.

Laten we dit uitleggen met een paar creatieve analogieën:

1. De "Gewone" Signatuur vs. De "Volterra" Signatuur

Stel je voor dat je een reis maakt en onderweg foto's maakt.

• De Klassieke Signatuur: Dit is alsof je een album maakt van alleen de foto's die je nu maakt. Het is een perfecte samenvatting van je route, maar het houdt geen rekening met hoe snel je liep of hoe lang je bij een bepaald punt stopte. Het is puur de volgorde van de beelden.
• De Volterra-Signatuur: Dit is alsof je een slimme fotograaf bent die niet alleen de foto maakt, maar ook een filter gebruikt. Dit filter (de "kernel" of K) bepaalt hoe belangrijk een oude foto is ten opzichte van een nieuwe.
  • Soms wil je dat oude foto's snel verbleken (zoals een korte herinnering).
  • Soms wil je dat oude foto's nog lang helder blijven (zoals een trauma of een lange economische trend).

De Volterra-Signatuur neemt je reis (de data) en wikt elke stap af met dit filter. Het creëert zo een unieke "vingerafdruk" van je reis die niet alleen zegt waar je bent geweest, maar ook hoe lang je daar was en hoe belangrijk die momenten waren voor het heden.

2. De "Receptuur" voor de Toekomst

In de wiskunde gebruiken ze een kern (kernel). Denk hieraan als een recept voor een soep.

• Bij een gewone soep (klassieke methode) gooi je alle ingrediënten in de pot en roer je.
• Bij de Volterra-soep (deze nieuwe methode) heb je een speciale lepel die bepaalt hoe je de ingrediënten van gisteren, van vorige week en van vandaag mengt.
  • De lepel kan zeggen: "Voeg een beetje van gisteren toe, maar minder dan van vandaag."
  • Of: "Deze specifieke gebeurtenis van drie dagen geleden is heel belangrijk, voeg daar veel van toe."

De auteurs bewijzen wiskundig dat deze "lepel" (de Volterra-Signatuur) zo krachtig is dat je er elk mogelijk patroon mee kunt beschrijven. Het is als een universele sleutel die elk slot (elk type geheugensysteem) kan openen.

3. Waarom is dit zo slim?

• Het is transparant: In tegenstelling tot de "zwarte doos" van een neurale net, kun je precies zien welk deel van het verleden belangrijk was. Je kunt de "lepel" instellen op basis van wat je weet over het systeem (bijvoorbeeld: "We weten dat de effecten van een virus na 2 weken afnemen").
• Het is snel: Voor bepaalde soorten geheugen (zoals exponentiële afname, wat heel vaak voorkomt in de natuur) kunnen computers dit heel snel berekenen. Het is alsof je een ingewikkelde berekening vervangt door een simpele, snelle formule.
• Het werkt beter: In hun experimenten hebben ze getest of dit werkt op echte data.
  • Test 1: Ze probeerden een wiskundig probleem op te lossen dat bekend staat om zijn complexe geheugen. De nieuwe methode was veel nauwkeuriger dan de oude methoden.
  • Test 2: Ze probeerden de volatiliteit (schommelingen) van de S&P 500 (beurs) te voorspellen. De Volterra-Signatuur deed het beter dan de beste bestaande methoden, omdat het de lange en korte termijn effecten van de beursgeschiedenis beter kon "smaken".

Samenvattend in één zin:

Stel je voor dat je een tijdreiziger bent die niet alleen naar het heden kijkt, maar een slimme bril draagt die het verleden tintelt met de juiste kleur en helderheid, zodat je precies kunt zien hoe het verleden het nu vormt. Dat is de Volterra-Signatuur: een manier om het geheugen van data niet alleen te gebruiken, maar het ook te begrijpen en te benutten voor betere voorspellingen.

Het is een brug tussen de ruwe wiskunde van het verleden en de slimme AI van de toekomst.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "The Volterra Signature" in het Nederlands.

Titel: The Volterra Signature

Auteurs: Paul P. Hager, Fabian N. Harang, Luca Pelizzari, en Samy Tindel.

---

1. Het Probleem

Moderne methoden voor het leren van niet-Markovse tijdsreeksen (waar de toekomst afhangt van de volledige geschiedenis, niet alleen de huidige staat), zoals recurrente neurale netwerken (RNN's), LSTMs en Transformers, vertrouwen vaak op impliciete geheugenmechanismen. Deze hebben enkele belangrijke nadelen:

• Interpretabiliteit: Ze fungeren als "black boxes" waarbij de geleerde afhankelijkheidsstructuren moeilijk te interpreteren zijn.
• Trainingsstabiliteit: Training over lange tijdsperiodes kan instabiel zijn door het probleem van verdwijnende of exploderende gradiënten.
• Data-efficiëntie: Impliciete modellen vereisen vaak grote hoeveelheden data om afnamestructuren (decay structures) te leren die in wetenschappelijke contexten vaak a priori bekend zijn (bijv. exponentiële of fractale afname).

Bestaande wiskundige benaderingen, zoals de klassieke "path signature" (Chen/Lyons), zijn uitstekend voor lokale, differentieerbare systemen, maar missen de native capaciteit om kern-gemedieerde (globale) interacties te coderen die essentieel zijn voor systemen met geheugen, zoals beschreven door Volterra-vergelijkingen.

2. Methodologie: De Volterra Signature (VSig)

De auteurs stellen de Volterra Signature, genoteerd als $VSig(x; K)$, voor als een expliciete, fundamentele feature-representatie voor geschiedenis-afhankelijke systemen.

• Definitie: De VSig is een gewogen versie van de klassieke signature. In plaats van alleen iteratieve integralen van het pad $x$ te nemen, worden deze integralen gewogen door een temporale kern $K(t, s)$.
  • Formeel wordt het gedefinieerd als de collectie van iteratieve integralen die voortvloeien uit de Picard-expansie van lineaire Volterra-vergelijkingen.
  • Voor een pad $x$ en een kern $K$ wordt de eerste orde gegeven door: $z_t = \int_0^t K(t, s) dx_s$. De VSig bevat hogere-orde uitbreidingen hiervan.
• Algebraïsche Structuur: De auteurs bewijzen een Chen-identiteit voor de VSig. Deze identiteit beschrijft hoe de signature zich gedraagt onder tijdsconcatenatie via een convolutie-product ($\otimes$) in de tensor-algebra. Dit zorgt ervoor dat informatie uit het verleden correct wordt doorgegeven bij het samenvoegen van padsegmenten.
• Dynamische Representatie: Voor een grote klasse van exponentiële kernen (inclusief sommen van exponentiële en periodieke kernen) kan de VSig worden berekend als de oplossing van een lineaire toestandsruimte-ODE (ordinary differential equation) in de tensor-algebra. Dit is een cruciaal voordeel omdat het de berekening reduceert van een kwadratische complexiteit (typisch voor Volterra-structuren) naar een lineaire complexiteit in het aantal tijdstappen.
• Kernel Trick: De auteurs tonen aan dat het inproduct geassocieerd met de Volterra signature (de "Volterra signature kernel") een gesloten karakterisering heeft via een twee-parameter integraalvergelijking (een hyperbolische Goursat-PDE). Dit maakt het mogelijk om standaard kernel-methoden (zoals Support Vector Machines) toe te passen zonder de features expliciet te hoeven berekenen.

3. Belangrijkste Bijdragen

1. Wiskundige Structuur en Identificeerbaarheid:

   • Bewijs van een injectiviteitsstelling: Onder natuurlijke augmentaties (bijv. het toevoegen van een tijdscomponent) is de VSig injectief. Dit betekent dat het pad uniek wordt bepaald door zijn signature, wat essentieel is voor modelidentificeerbaarheid.
   • Dit leidt tot een universele benaderingstheorema (Stone-Weierstrass type) voor continue functionalen op de padruimte. Voor exponentiële kernen wordt zelfs bewezen dat lineaire functionalen van de VSig voldoende zijn voor universele benadering.

2. Invariance en Robuustheid:

   • De VSig is invariant onder tijdsreparameterisatie (tijdsschaalverandering), een cruciale eigenschap voor het modelleren van data met variërende snelheden.
   • Het biedt controle over geheugeneffecten via de keuze van de kern $K$ (bijv. kortetermijn vs. langetermijn geheugen).

3. Efficiënte Berekening:

   • Voor exponentiële kernen wordt een ODE-benadering gepresenteerd die lineair schaalt met de tijd, wat een groot computationeel voordeel biedt ten opzichte van directe numerieke integratie van Volterra-vergelijkingen.

4. Numerieke Validatie:

   • De auteurs demonstreren de prestaties op synthetische data (oplossing van een stochastische Volterra-vergelijking) en real-world data (voorspelling van gerealiseerde volatiliteit van de S&P 500).

4. Resultaten

• Synthetisch Experiment (Stochastische Volterra SDE):

  • De auteurs trainden modellen om de oplossing van een lineaire Volterra SDE te leren.
  • De VSig met de juiste kern ($K=k$) presteerde aanzienlijk beter dan de klassieke signature, vooral buiten het trainingsinterval. De klassieke signature faalde hier om de dynamiek correct te reproduceren zonder zeer hoge truncatieniveaus.
  • Zelfs met een parametrische kern (exponentieel) die niet exact overeenkwam met de onderliggende fractale kern, leverde de VSig aanzienlijke verbeteringen op in voorspellingsnauwkeurigheid (MSE en $R^2$).

• Real-world Experiment (S&P 500 Volatiliteit):

  • Doel: Voorspellen van de gerealiseerde volatiliteit op basis van historische prijzen.
  • Vergelijking: VSig vs. Klassieke Signature (Sig) vs. HAR-model (Heterogeneous Autoregressive).
  • Resultaat: De VSig overtrof consistent de klassieke signature. Cruciaal is dat de VSig, in tegenstelling tot de klassieke signature, profiteerde van langere geschiedenisvensters (tot 250 dagen). De klassieke signature prestaties verslechterden bij langere vensters, wat suggereert dat de VSig door de kern $K$ effectief gewichten toekent aan recente versus oudere waarnemingen.
  • De VSig presteerde ook beter dan het HAR-benchmarkmodel, ondanks dat VSig alleen gebruikmaakte van prijsdata en geen historische volatiliteit als input.

5. Significatie en Toekomstperspectief

De Volterra Signature positioneert zich als een robuust en computationeel haalbaar alternatief voor zowel diepe neurale netwerken als de klassieke signature in data-wetenschappelijke toepassingen.

• Interpretabiliteit: Het biedt een expliciete manier om geheugenstructuren (zoals afname of oscillatie) in te bouwen via de kern $K$, in plaats van dit te laten leren door een black-box.
• Theoretische Basis: Het biedt een solide wiskundige fundering (injectiviteit, universaliteit) voor het gebruik van Volterra-systemen in machine learning.
• Toepassingsgebied: Het is bijzonder geschikt voor dynamische taken waar de onderliggende structuur stationair is of fractale schaalrelaties vertoont (bijv. financiële volatiliteit, neurowetenschappen, engineering).
• Computationeel: De koppeling met ODE's voor exponentiële kernen opent de deur voor snelle implementaties, terwijl de kernel-trick (via PDE's) schaalbare kernel-methoden mogelijk maakt.

Kortom, dit werk vult een belangrijke lacune in de theorie van path-based machine learning door een brug te slaan tussen de algebraïsche kracht van signatures en de fysieke realiteit van systemen met geheugen, zoals beschreven door Volterra-vergelijkingen.