🤖 AI

In-Context Inpainting for Time Series Forecasting

Het artikel introduceert ICI-Time, een nieuw framework dat tijdreeksvoorspelling herformuleert als een visuele inpainting-taak door data om te zetten in vlakdiagrammen en gebruik te maken van vooraf getrainde grote visuele modellen om concurrerende prestaties te behalen zonder gespecialiseerde architecturen of fijnafstemming.

Oorspronkelijke auteurs: Thang Nguyen, Dung Nguyen, Romero Morais, Truyen Tran

Gepubliceerd 2026-08-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Thang Nguyen, Dung Nguyen, Romero Morais, Truyen Tran

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Tijdreeksvoorspelling is de kunst van het voorspellen van de toekomst op basis van het verleden. Het is de motor achter weerberichten, het beheer van elektriciteitsnetten en het bijhouden van ziekteverloop, waarbij het begrijpen van hoe een waarde in de loop van de tijd verandert ons in staat stelt ons voor te bereiden op wat er komt. Decennialang hebben wetenschappers complexe computerprogramma's gebouwd die specifiek zijn ontworpen om deze patronen in getallen te herkennen. Deze programma's zijn krachtig, maar ze zijn ook rigide; ze vereisen meestal enorme hoeveelheden gegevens en uitgebreide training om een nieuwe taak te leren, en ze hebben vaak moeite wanneer gegevens schaars zijn of wanneer de patronen onverwacht verschuiven. Ondertussen is er een ander soort kunstmatige intelligentie opgekomen, getraind op miljoenen afbeeldingen om de visuele wereld te begrijpen. Deze systemen kunnen naar een foto kijken en ontbrekende delen invullen, of een kat herkennen in een foto die ze nog nooit eerder hebben gezien, simpelweg door gebruik te maken van voorbeelden die op het moment van de taak worden gegeven. Dit vermogen om te leren van context zonder dat er hertraining nodig is, is een krachtig hulpmiddel, maar het is grotendeels ongebruikt gebleven voor het voorspellen van getallen omdat getallen niet van nature op plaatjes lijken.

Een team onderzoekers aan de Deakin University in Australië heeft nu deze kloof overbrugd door een computer te leren de tijd als een afbeelding te zien. Ze introduceerden een nieuwe methode genaamd ICI-Time, die het probleem van het voorspellen van de toekomst herdefinieert, niet als een wiskundige berekening, maar als een visuele puzzel. In plaats van ruwe getallen in een gespecialiseerd voorspellingsmodel te voeren, zetten de onderzoekers de geschiedenis van een datastroom — zoals dagelijkse griepgevallen of uurlijkse temperatuurmetingen — eerst om in een eenvoudige lijngrafiek. Vervolgens rangschikken ze deze grafieken in een raster, waarbij ze een compleet voorbeeld van een historisch patroon naast de huidige situatie plaatsen, met een lege ruimte waar de toekomst zou moeten zijn. Ze vragen een vooraf getraind visiemodel, een type kunstmatige intelligentie dat al heeft geleerd om afbeeldingen van het internet te begrijpen, om die lege ruimte in te vullen. Het model behandelt de ontbrekende toekomstige gegevens als een ontbrekend deel van een afbeelding en gebruikt het visuele voorbeeld om die lege ruimte te "inpainten", oftewel de lege zone met een aannemelijke voortzetting van de lijn te overschilderen.

Zodra het visiemodel de voltooide afbeelding heeft gegenereerd, vertalen de onderzoekers de tekening terug naar getallen. Ze extraheren zorgvuldig de lijn uit de nieuwe afbeelding en zetten de hoogte en positie ervan terug naar de oorspronkelijke datawaarden. Het hele proces vindt plaats zonder dat de computer specifiek is geleerd hoe hij tijdreeksen moet voorspellen. Het vertrouwt volledig op het bestaande vermogen van het model om visuele patronen te herkennen en op zijn capaciteit om te leren van de voorbeelden die op dat specifieke moment worden getoond. De onderzoekers testten deze aanpak op diverse real-world data, waaronder griepgevallen verzameld over twee decennia, weersindicatoren zoals luchtvochtigheid en luchtdruk, en de temperatuur van transformatoren in het elektriciteitsnet. Ze vergeleken hun methode met de meest geavanceerde voorspellingsmodellen die momenteel beschikbaar zijn, die zijn gebouwd met complexe architecturen die specifiek voor tijdsgebonden data zijn ontworpen.

De resultaten waren verrassend. In bijna elke test evenaarde de visuele aanpak de gespecialiseerde modellen of presteerde deze zelfs beter, vooral bij het meten van hoe dicht de voorspellingen bij de werkelijke waarden lagen. De methode bleek uitzonderlijk robuust wanneer gegevens beperkt waren. Terwijl de gespecialiseerde modellen moeite hadden en hun fouten aanzienlijk toenamen wanneer ze werden getraind op slechts een fractie van de beschikbare gegevens, bleef de visuele methode stabiel en accuraat. Dit suggereert dat het vermogen om vormen en trends in een afbeelding te herkennen een meer universele vaardigheid is dan de specifieke wiskundige regels die gewoonlijk op tijdreeksen worden toegepast. De onderzoekers ontdekten dat de sleutel tot succes niet alleen het omzetten van getallen in plaatjes was, maar dit te doen op een manier die de schaal en vorm van de gegevens perfect behield, zodat het visiemodel de grafiek net zo nauwkeurig kon lezen als een mens.

Dit werk daagt de langgevestigde aanname uit dat het voorspellen van de toekomst gespecialiseerde, data-hongerige algoritmen vereist. Het demonstreert dat een algemeen visueel systeem, wanneer het de juiste visuele representatie krijgt, de temporele dynamiek net zo goed, en soms zelfs beter, kan begrijpen dan modellen die vanaf de grond af aan voor dat specifieke doel zijn gebouwd. De studie suggereert dat de grens tussen visuele redenering en tijdgebaseerde voorspelling niet zo vaststaand is als voorheen werd aangenomen. Door simpelweg een computer een afbeelding van het verleden te tonen en hem te vragen het plaatje te voltooien, kan het systeem de toekomst afleiden zonder dat er hertraining of verfijning nodig is. Dit opent een nieuw pad voor voorspellingen in situaties waarin gegevens schaars zijn of waar snelle aanpassing aan nieuwe soorten data vereist is, wat bewijst dat soms de beste manier om de tijd te begrijpen, is door ernaar te kijken als een plaatje.

Technische Samenvatting: ICI-Time

Probleemstelling

Tijdreeksvoorspelling is een fundamentele uitdaging in machine learning, cruciaal voor toepassingen in de financiële sector, epidemiologie en klimaatmodellering. Ondanks vooruitgang in deep learning, vertrouwen bestaande methoden doorgaans op gespecialiseerde temporele architecturen (bijv. Transformers met specifieke aandachtmechanismen) en vereisen ze uitgebreide domeinspecifieke training of fine-tuning. Deze afhankelijkheid beperkt de schaalbaarheid en generalisatie, met name in scenario's met weinig data of bij het aanpassen aan nieuwe domeinen. Bovewerig hebben foundation models in taal en visie krachtige in-context learning (ICL) capaciteiten aangetoond, terwijl het benutten van Large Vision Models (LVMs) voor tijdreeksvoorspelling een openstaande uitdaging blijft vanwege de "modality gap"—temporele signalen zijn niet van nature visueel.

Methodologie: ICI-Time Framework

De auteurs stellen ICI-Time (In-Context Inpainting for Time series) voor, een framework dat tijdreeksvoorspelling herformuleert als een visuele inpainting-taak. De kernhypothese is dat vooraf getrainde generieke visuele modellen temporele voorspellingsopdrachten kunnen oplossen zonder architecturale modificatie of taakspecifieke training, mits de data wordt gepresenteerd in een geschikte visuele vorm.

Het framework werkt via vier afzonderlijke stadia:

Visuele Case-Based Selectie:
Het systeem construeert een doorzoekbare database uit historische data door tijdreeksen op te delen in overlappende vensters, elk bestaande uit een lookback-component ( $L_I$ ) en een predictie-component ( $L_P$ ). Voor een gegeven query-venster zoekt het systeem naar het meest vergelijkbare historische voorbeeldpaar op basis van de Euclidische afstand tussen genormaliseerde inputs. Dit bootst case-based reasoning na, waarbij de LVM fungeert als een niet-lineaire interpolator in de beeldruimte.
Tijdreeks naar Visuele Representatie:
Numerieke tijdreeksen worden getransformeerd naar gestructureerde gebiedendiagrammen (afbeeldingen).
- Normalisatie: Het systeem gebruikt een bidirectionele mapping om omkeerbaarheid te garanderen. Cruciaal is dat het een transfer scaling strategie ( $h_{transfer}$ ) gebruikt: het bereik van de verticale as van de query-afbeelding wordt bepaald door de lokale statistieken van de query-input plus de hoogte-schaal afgeleid van het opgehaalde voorbeeld. Dit zorgt voor visuele consistentie tussen het voorbeeld en de query, waardoor het model patronen kan herkennen over verschillende grootteordes heen.
- Resolutie: De input- en target-componenten worden gemapt naar vaste 224×224 pixel afbeeldingen. De horizontale as behoudt de natuurlijke temporele resolutie van de input en target afzonderlijk ( $w_{diff}$ ), in plaats van een uniforme resolutie af te dwingen, om de temporele getrouwheid te behouden.
In-Context Visuele Prompting:
Het opgehaalde voorbeeldpaar (input-output) en de query (input met ontbrekende output) worden gerangschikt in een rasterachtige visuele prompt. Een vooraf getraind Large Vision Model (LVM), dat direct uit de doos wordt gebruikt zonder fine-tuning, voert visuele inpainting uit op dit raster. Het model extrapoleert de voorspellingsopdracht vanuit het voorbeeldpaar en "schildert" de ontbrekende toekomstige regio van de query-afbeelding, waardoor het patroon effectief wordt voltooid.
Tijdreeks Herstel:
De gegenereerde afbeelding wordt via een tweestaps-proces teruggezet naar een numerieke tijdreeks:
- Denoising: De afbeelding wordt gebinariseerd en verwerkt met morfologische operaties om ruis en artefacten te verwijderen.
- Curve Extractie: De grens van het ingevulde gebied wordt kolom voor kolom geëxtraheerd. Om het "disconnection problem" aan te pakken (fouten op de grens tussen input en predictie), wordt een Gaussian smoothing decay toegepast om de laatste input-punt te laten versmelten met de voorspelde waarden.

Belangrijkste Bijdragen

Het artikel beschrijft vier primaire bijdragen:

Cross-Modale Framework: Een innovatieve aanpak die de temporele en visuele domeinen overbrugt, wat snelle adaptatie mogelijk maakt met off-the-shelf vision transformers zonder training.
Visuele In-Context Learning Formulering: Het uitbreiden van ICL voorbij NLP naar een paradigma waar temporele voorspelling wordt opgelost via visuele prompts en inpainting.
Omkeerbare Mapping: Een zorgvuldig ontworpen bidirectionele mapping tussen tijdreeksen en visuele ruimtes die temporele afhankelijkheden via ruimtelijke lay-out representeert, terwijl er geen verlies van voorspellingsgetrouwheid optreedt tijdens de transformatie.
Empirische Validatie: Sterke prestaties over epidemiologie (ILI), meteorologie (Weather) en energiesystemen (ETT) datasets, waarmee bewezen wordt dat het competitief is met deep learning baselines en superieure robuustheid vertoont in situaties met weinig data.

Experimentele Resultaten

De auteurs evalueerden ICI-Time tegenover Transformer-gebaseerde baselines (Informer, Pyraformer, LogTrans) over meerdere datasets en voorspellingshorizonten.

Prestaties met Volledige Data: ICI-Time presteerde beter dan de baselines in de meerderheid van de gevallen, met name op de Mean Absolute Error (MAE) metriek (23 van de 24 gevallen). Dit bevestigt dat off-the-shelf visuele modellen concurrerende voorspellingen kunnen uitvoeren zonder training.
Few-Shot Adaptatie: In experimenten waarbij de trainingsdata werd beperkt tot 1%, 5% en 10%, toonde ICI-Time een opmerkelijke stabiliteit. Terwijl baselines zoals Informer en Pyraformer een significante toename in fouten lieten zien (bijv. een stijging van +32% tot +35% in MAE wanneer de data daalde van 10% naar 1%), bleef de prestatie van ICI-Time stabiel (bijv. een stijging van slechts +3,4% in MAE). In extreme scenario's met weinig data (1%) behaalde ICI-Time vaak fouten die vele malen lager waren dan die van de baselines, die moeite hadden met convergentie.
Ablatie Studies: De auteurs valideerden het belang van hun ontwerpkeuzes. De transfer scaling strategie ( $h_{transfer}$ ) en het behoud van de natuurlijke resolutie ( $w_{diff}$ ) verminderden consequent de fout vergeleken met vaste schaling en uniforme resolutie. Post-processing smoothing verbeterde eveneens de prestaties, met name bij het verminderen van grensfouten.

Betekenis en Claims

Het artikel claimt dat ICI-Time een nieuw paradigma introduceert voor tijdreeksanalyse door aan te tonen dat visuele redeneermodellen kunnen generaliseren naar temporele taken wanneer zij zijn uitgerust met geschikte representaties.

Eliminatie van Trainingsoverhead: Het framework elimineert de noodzaak voor domeinspecifieke architecturen, kostbare pre-training of fine-tuning. Het maakt gebruik van de "free lunch" van de reeds aanwezige visuele priors.
Data-efficiëntie: De resultaten suggereren dat visuele prompting zeer effectief is in scenario's met beperkte middelen, wat een robuust alternatief biedt wanneer gelabelde data schaars is.
Modality Transfer: Het werk daagt de conventionele grenzen tussen temporele en visuele modellering uit, en suggereert dat de rijke patroonherkenningscapaciteiten van LVMs kunnen worden ingezet voor tijdreeksanalyse door middel van zorgvuldige representatie-ontwerp.

De auteurs concluderen dat deze aanpak een nieuw onderzoeksveld opent voor het benutten van cross-modale transfer, met potentiële toekomstige uitbreidingen naar anomaliedetectie en classificatie, hoewel het huidige werk zich strikt richt op voorspelling.