🤖 machine learning

Align-RAG: Alignment Is All You Need for TSFM In-Context Learning

Het artikel introduceert Align-RAG, een trainingsvrije retrieval-augmented voorspellingsmethode die gebruikmaakt van gesloten vorm amplitude-rescaling en faseverschuiving om opgehaalde voorbeelden af te stemmen op een bevroren Time Series Foundation Model, waarbij wordt aangetoond dat dergelijke afstemming alleen al superieur kan zijn aan state-of-the-art getrainde fusie-adapters en dynamisch in-context leren kan ontsluiten zonder enige fine-tuning.

Oorspronkelijke auteurs: Mohammad Asadi, Soheil Hor, Bardiya Akhbari, Jack W. O'Sullivan, Tahoura Nedaee, Layne C. Price, Raviteja Anantha, Euan Ashley, Ehsan Adeli

Gepubliceerd 2026-08-07

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Mohammad Asadi, Soheil Hor, Bardiya Akhbari, Jack W. O'Sullivan, Tahoura Nedaee, Layne C. Price, Raviteja Anantha, Euan Ashley, Ehsan Adeli

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je het weer probeert te voorspellen, de aandelenmarkt, of hoeveel elektriciteit een stad morgen zal verbruiken. Decennialang hebben wetenschappers "Time Series Foundation Models" gebouwd—denk aan superintelligente, vooraf getrainde weervoorspellers die miljoenen historische gegevens hebben gelezen. Deze modellen zijn als briljante studenten die elk tekstboek in de bibliotheek hebben bestudeerd, maar nog niet in jouw specifieke stad zijn geweest. Ze zijn bevroren in de tijd; we kunnen ze niet opnieuw trainen op nieuwe gegevens omdat dat te duur of te traag zou zijn. Dus, de grote vraag is: hoe laten we deze bevroren genieën zich aanpassen aan een nieuwe situatie zonder ze een hele nieuwe les te leren?

Maak kennis met het concept van "Retrieval-Augmented Generation". Het is alsof je de student een referentieblad geeft. In plaats van alleen maar te gokken, zoekt het model naar vergelijkbare situaties uit het verleden in een database en gebruikt deze als voorbeelden om een betere gok te doen. Een tijdlang geloofde de wetenschappelijke gemeenschap dat je om dit referentieblad te laten werken, een complexe, getrainde "vertaler" of "fusie" nodig had om de oude voorbeelden aan de nieuwe voorspelling te lijmen. Er werd aangenomen dat het bevroren model te rigide was om de referentiekaart uit zichzelf te begrijpen. Maar wat als het model eigenlijk slim genoeg was om het te begrijpen, mits we de voorbeelden alleen op een manier aanboden die het gemakkelijk kon begrijpen?

Dit artikel, Align-RAG, daagt die aanname uit met een slimme, training-vrije truc. De auteurs, Mohammad Asadi en collega's, ontdekten dat je helemaal geen complexe, getrainde vertaler nodig hebt. In plaats daarvan ontdekten ze dat als je de opgehaalde voorbeelden simpelweg "alignt" (uitlijnt) om ze te laten aansluiten bij de huidige situatie—zoals een elastiekje uitrekken om in een nieuwe vorm te passen of een liedje verschuiven naar de juiste maat—het bevroren model die voorbeelden direct kan gebruiken om de voorspelling te verbeteren. Ze noemen deze methode Align-RAG.

Zo werkt het in begrijpelijke taal: Stel je voor dat je het pad van een achtbaanwagen (de "query") probeert te voorspellen op basis van een foto van een vergelijkbare rit van gisteren (het "opgehaalde voorbeeld"). Als de foto van een andere achtbaan is die twee keer zo hoog is of vijf seconden later begint met de lus, is de vergelijking nutteloos. Het model raakt in de war. Align-RAG werkt als een fotobewerker die de foto direct herstelt naar de hoogte van jouw huidige rit en de tijd verschuift zodat de lussen perfect op één lijn liggen. Zodra de voorbeelden op deze eenvoudige, wiskundige manier zijn "aligned", kijkt het bevroren model ernaar en zegt: "Ah, nu zie ik het patroon!" en maakt het een veel betere voorspelling.

De onderzoekers testten dit op een standaard benchmark met behulp van een bevroren model genaamd Chronos-Bolt. Ze vergeleken hun eenvoudige, zonder training werkende methode met de huidige state-of-the-art methode, die een complexe, getrainde "adapter" gebruikt om de gegevens te versmelten. Het resultaat? Align-RAG versloeg de getrainde methode op alle zeven datasets, waarbij de voorspellingsfout (MSE) gemiddeld met 3,75% werd verminderd. Nog indrukweakter nog was dat toen ze dezezelfde truc toepasten op vier andere verschillende bevroren modellen, het hun nauwkeurigheid met tussen de 2,5% en 13,7% verbeterde zonder extra training of aanpassingen.

Het artikel duikt ook in waarom dit werkt. Ze ontdekten dat wanneer de voorbeelden zijn uitgelijnd, het gedrag van het model verschuift op een manier die wiskundig gezien een "ridge predictor" nabootst—een klassiek statistisch hulpmiddel voor het vinden van de beste fit. Om te bewijzen dat het model niet alleen blindelings het gemiddelde nam van de toekomstige uitkomsten van de voorbeelden (wat een simplistische benadering zou zijn), deden ze een "future shuffle"-test. Ze door elkaar gehusseld de toekomstige delen van de opgehaalde voorbeelden terwijl ze de verleden delen uitgelijnd hielden. Het resultaat? De prestaties van het model stortten in, wat bewees dat het daadwerkelijk de relatie tussen het verleden en de toekomst leerde, en niet alleen het gemiddelde gokte.

Kortom, de auteurs stellen dat de "alignment" van de gegevens het geheime ingrediënt is, en niet de complexe training van een fusiemodule. Ze suggereren dat men, voordat men tijd en geld besteedt aan het trainen van een nieuwe adapter om een bevroren model te helpen, eerst deze eenvoudige, closed-form alignment moet proberen. Het blijkt dat voor deze krachtige bevroren modellen, alignment alles is wat je nodig hebt.

Technische Samenvatting: Align-RAG

Probleemstelling

Retrieval-augmented forecasting (RAG) voor Time Series Foundation Models (TSFMs) streeft ernaar om bevroren modellen aan te passen aan nieuwe domeinen zonder finetuning, door relevante verleden–toekomst-vensters te extraheren uit een referentiecorpus. Echter, recente state-of-the-art methoden (bijv. TS-RAG, TimeRAF, RATD) steunen op de aanname dat bevroren backbones geen inherente mechanismen missen om opgehaalde context dynamisch te integreren. Bijgevolg introduceren deze benaderingen geleerde fusiemodules (bijv. adaptieve mixers, prompting-modules of projectiekoppen) die getraind zijn om de opgehaalde voorbeelden met de representatie van de backbone te versmelten. Dit artikel daagt de noodzaak van dergelijke geleerde componenten uit, met de stelling dat de prestatiewinsten die aan hen worden toegeschreven, in plaats daarvan voortkomen uit een gebrek aan een juiste afstemming (alignment) tussen de opgehaalde demonstraties en de query.

Methodologie: Align-RAG

De auteurs introduceren Align-RAG, een training-vrije methode die een bevroren TSFM verbetert door closed-form transformaties toe te passen op opgehaalde verleden–toekomst-vensters voordat ze de context van het model binnenkomen. De methode werkt zonder de backbone te wijzigen of nieuwe parameters te trainen.

Kernmechanismen

Amplitude Alignment: Voor elk opgehaald verleden-venster $p_i$ wordt een geregulariseerde affine kaart aangepast om de query $q$ te matchen. De helling $a_i$ en het intercept $b_i$ worden afgeleid met behulp van een Wiener-stijl shrinkage-schatter om ruisversterking bij buren met een lage variantie te voorkomen:
$a_i = \frac{\sigma_q \sigma_{p_i}}{\sigma_{p_i}^2 + (\sigma_q/M)^2}, \quad b_i = \mu_q - a_i \mu_{p_i}$
Deze kaart wordt toegepast op zowel het opgehaalde verleden als het bijbehorende toekomstige deel ( $\tilde{p}_i, \tilde{f}_i$ ) om de paarrelatie te behouden.
Phase Alignment: Een integer-lag verschuiving $\tau^*_i$ wordt berekend via cross-correlatie om de fase van het geschaalde opgehaalde verleden af te stemmen op de query. Deze verschuving wordt eveneens toegepast op het toekomstige component, wat de temporele consistentie waarborgt.
Context Constructie:
- Diversificatie: Maximal Marginal Relevance (MMR) selecteert een diverse subset van $K=10$ buren uit een pool van 20 om bijna identieke exemplaren te vermijden.
- Token Budget: Een gelaagde lay-out verpakt demonstraties in de context-window van het model (bijv. 2048 tokens voor Chronos-Bolt), waarbij een balans wordt gezocht tussen gedetailleerde context op middellange termijn en dichte recente stappen.
Voorspellingsfusie: De uiteindelijke voorspelling combineert de in-context output van het model met een op afstand gewogen prior van de uitgelijnde toekomsten. Een tweede forward pass op de query alleen (zonder demonstraties) wordt uitgevoerd, en de twee voorspellingen worden gemiddeld om de output te stabiliseren.

Belangrijkste Bijdragen

Training-vrije Alignment: De introductie van Align-RAG, die aantoont dat het afstemmen van opgehaalde demonstraties in amplitude en fase voldoende is om dynamisch in-context leren in bevroren TSFMs te ontsluiten, waardoor de noodzaak voor geleerde fusie-adapters vervalt.
Empirische Superieuriteit: Een uitgebreide evaluatie die aantoont dat Align-RAG de getrainde TS-RAG mixer overtreft op een bevroren Chronos-Bolt backbone over alle zeven datasets van de standaard benchmark (ETTh1, ETTh2, ETTm1, ETTm2, Weather, Exchange, Electricity), met een gemiddelde MSE-reductie van 3,75%.
Cross-Architectuur Generalisatie: De methode verbetert de zero-shot prestaties op vier aanvullende bevroren TSFMs (Chronos-2, TimesFM-2.0, Moirai, Toto) met winsten variërend van 2,5% tot 13,7% zonder per-backbone tuning.
Mechanistisch Inzicht: Door middel van ablatie- en gedragsanalyse isoleren de auteurs dat alignment (en niet retrieval ranking) de prestatiewinsten drijft. Ze tonen verder aan dat uitgelijnde demonstraties voorspellingsverschuivingen induceren in de bevroren backbone die een closed-form ridge predictor volgen, wat suggereert dat het model impliciete regressie uitvoert op de uitgelijnde paren.

Resultaten

Benchmark Prestaties: Op de Chronos-Bolt backbone bereikt Align-RAG een lagere MSE op 7/7 datasets en een lagere MAE op 6/7 datasets vergeleken met TS-RAG. De verbetering is statistisch significant op kleine datasets via paired moving-block bootstrap.
Ablatie Studies:
- Retriever vs. Alignment: Het vervangen van de getrainde TS-RAG retriever door willekeurige retrieval terwijl alignment actief blijft, presteert nog steeds beter dan de getrainde TS-RAG mixer op 4/7 datasets. Omgekeeld zorgt het verwijderen van alignment (zelfs met een getrainde retriever) ervoor dat de MSE met meer dan 20 procentpunten degradeert ten opzichte van zero-shot.
- Component Analyse: Amplitude- en fase-alignment alleen al dichten het grootste deel van het gat naar de getrainde baseline; diversificatie en lay-out dragen verdere marginale winsten bij.
Mechanisme Validatie:
- Impliciete Ridge Regressie: De cosinus-gelijkenis ( $\rho_{GD}$ ) tussen de voorspellingsverschuiving van het model en een closed-form ridge predictor stijgt van 0,30 (niet-uitgelijnd) naar 0,45 (uitgelijnd).
- Future-Shuffle Controle: Het door elkaar husselen van de toekomsten van uitgelijnde paren (het verbreken van de $p \to f$ correspondentie) draait de MSE-winsten om, wat bevestigt dat het model vertrouwt op de specifieke $(past, future)$ relatie in plaats van simpelweg de opgehaalde toekomsten te middelen.

Betekenis en Claims

Het artikel claimt dat de aanname die geleerde fusiemodules vereist voor retrieval-augmented forecasting, onnodig is. De primaire bijdrage is de demonstratie dat bevroren TSFMs al dynamisch in-context gebruik van retrievals ondersteunen, mits de demonstraties correct zijn uitgelijnd in amplitude en fase.

De auteurs stellen dat eerdere winsten die aan geleerde adapters werden toegeschreven, grotendeels compenserend waren voor de afwezigheid van dergelijke alignment. Bijgevolg stellen zij voor dat closed-form alignment de standaard baseline zou moeten zijn voor retrieval-augmented forecasting voordat enige fusiemodule wordt getraind. Het werk suggereert dat de "alignment" van de context de cruciale factor is, en niet het "leren" van een fusiemechanisme, wat een eenvoudigere, parameter-vrije alternatief biedt dat de state-of-the-art getrainde methoden evenaart of overtreft.