🤖 machine learning

T3R: Deeper Test-Time Adaptation for Graph Neural Networks via Gradient Rotation

Het artikel stelt T3R voor, een nieuwe methode voor test-tijd adaptatie voor Graph Neural Networks die gebruikmaakt van Rotograd-matrices en gradiëntrotatie om zelfgesuperviseerde signalen te heroriënteren, wat diepere, volledige architectuuradaptatie op ongelabelde testdata mogelijk maakt en de prestaties onder distributieverschuivingen aanzienlijk verbetert.

Oorspronkelijke auteurs: Huy Truong, Alexander Lazovik, Victoria Degeler

Gepubliceerd 2026-06-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Huy Truong, Alexander Lazovik, Victoria Degeler

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer bekwame waternetwerkbeheerder hebt (een Graph Neural Network) die jarenlang de blauwdrukken van de waterleidingen van een specifieke stad heeft bestudeerd. Deze beheerder weet precies hoe druk en doorstroming in die stad werken.

Echter, op een dag wordt de beheerder naar een nieuwe stad gestuurd. De leidingen zijn anders, het terrein is anders en de patronen van de watervraag zijn vreemd. Omdat de beheerder getraind is op de oude stad, begint hij fouten te maken.

Normaal gesproken zou je dit oplossen door de beheerder terug te sturen naar school met een nieuw tekstboek vol gelabelde voorbeelden uit de nieuwe stad. Maar in de echte wereld is het verkrijgen van die gelabelde voorbeelden vaak te duur of onmogelijk (zoals het proberen te simuleren van elke mogelijke leidingbreuk in een nieuwe stad).

Dit is waar de oplossing van het artikel, T3R, om de hoek komt kijken. Het is een manier voor de beheerder om on the fly te leren, gebruikmakend van alleen de ruwe data die hij in de nieuwe stad ziet, zonder dat er een leraar nodig is om hem te vertellen of hij het goed of fout heeft.

Hier is hoe T3R werkt, onderverdeeld in eenvoudige concepten:

1. De "Y-vormige" Training (De Dubbele-Taak Strategie)

Stel je voor dat de beheerder wordt getraind met een speciale Y-vormige leerstof.

De Linkerarm (De Hoofdtaak): De beheerder leert waterdruk te voorspellen (de echte baan).
De Rechterarm (De Bijbaan): De beheerder speelt ook een "zelf-gesuperviseerd" spel, zoals proberen te raden welke delen van een leidingkaart verborgen of gemaskeerd waren. Dit vereist geen leraar; de beheerder probeert gewoon de ontbrekende stukken te reconstrueren.

Tijdens de training oefent de beheerder beide taken tegelijkertijd. Het doel is om ervoor te zorgen dat de vaardigheden geleerd tijdens de "Bijbaan" daadwerkelijk helpen bij de "Hoofdtaak".

2. Het Probleem: De "Bevroren" Beheerder

In standaardmethoden mag de beheerder, wanneer hij in de nieuwe stad aankomt, zijn brein licht aanpassen op basis van de "Bijbaan" (het maskeringsspel) om te wennen aan de nieuwe leidingen. Echter, het deel van zijn brein dat verantwoordelijk is voor de Hoofdtaak (het voorspellen van de druk) blijft bevroren. Het is als een auto waarbij je de spiegels en de radio kunt aanpassen, maar het stuur vergrendeld is. Dit beperkt hoe goed hij kan adapteren aan de nieuwe, vreemde omgeving.

3. De T3R-oplossing: De "Gradiënt-Rotator"

De auteurs stellen T3R voor, wat een slimme truc introduceert genaamd Gradient Rotation (Gradiënt-Rotatie).

Beschouw het "leersignaal" (de gradiënt) als een kompasnaald die de beheerder de richting wijst waarin hij moet verbeteren.

In de oude methoden wezen de kompassen voor de "Bijbaan" en de "Hoofdtaak" vaak in verschillende richtingen, of was de kompas van de Hoofdtaak vergrendeld.
T3R installeert een draaiend platform (een rotatiematrix) voor elke laag van het brein van de beheerder.

Hoe het werkt in de nieuwe stad (Testtijd):

De beheerder kijkt naar de nieuwe leidingen en speelt de "Bijbaan" (het maskeringsspel).
De "Bijbaan" genereert een leersignaal (een duwtje).
In plaats van dat duwtje alleen te gebruiken voor de zijtaak, roteert T3R dat duwtje. Het draait het signaal van de "Bijbaan" zodat het precies in dezelfde richting wijst als waar de "Hoofdtaak" naartoe moet.
Dit creëert een surrogaatgradiënt — een nepleinstructie die echter zeer nauwkeurig is, die de volledige beheerder (inclusclusief de voorheen bevroren Hoofdtaak-hersenen) vertelt hoe hij zich moet aanpassen aan de nieuwe stad.

4. Waarom het een "Diepe" Adaptatie is

De meeste andere methoden laten de beheerder alleen de bovenste laag van zijn brein (de encoder) aanpassen. T3R staat toe dat de rotatietruc helemaal doorstroomt naar beneden, waardoor bijna de gehele architectuur wordt bijgewerkt.

Het verschil is tussen:

De Oude Manier: De beheerder zet een nieuwe bril op om de nieuwe stad beter te zien, maar zijn interne kaart blijft hetzelfde.
De T3R-Manier: De beheerder zet niet alleen een nieuwe bril op, maar schrijft ook zijn interne kaart van de stad in realtime over, gebruikmakend van aanwijzingen uit het "Bijbaan"-spel om te achterhalen waar de leidingen zouden moeten liggen.

5. De Resultaten

Het artikel testte deze methode op twee soorten echte problemen:

Waternetwerken (Regressie): Het voorspellen van waterdruk en doorstroming. T3R verminderde de fouten aanzienlijk vergeleken met beheerders die niet adapteerden of oudere adaptatiemethoden gebruikten.
Molecuulclassificatie: Het voorspellen van eigenschappen van chemische moleculen. T3R liet enorme verbeteringen zien (tot bijna 50% beter) bij de overgang van de ene type molecuuldataset naar de andere.

De Kernboodschap

T3R is een methode die AI-modellen in staat stelt om diep te adapteren aan nieuwe, ongeziene omgevingen zonder dat daar gelabelde data voor nodig is. Dit doen ze door een "zijspel" te gebruiken om leersignalen te genereren en deze vervolgens te roteren zodat ze de hele het model kunnen bijwerken, en niet slechts een klein deel ervan. Het is alsof je een beheerder een universele vertaler geeft die onmiddellijk zijn volledige begrip van een nieuw systeem herschrijft op basis van een simpel puzzeltje dat hij zelfstandig kan oplossen.

Technische Samenvatting: T3R - Diepere Test-Time Adaptatie voor Graph Neural Networks via Gradiëntrotatie

1. Probleemstelling

Graph Neural Networks (GNN's) die worden ingezet in real-world systemen, zoals waterdistributienetwerken, 5G-infrastructuur en computernetwerken, werken doorgaans met vaste gewichten na de training. Dit statische paradigma leidt tot prestatievermindering wanneer men te maken krijgt met distributieverschuivingen (concept drift), een veelvoorkomend fenomeen in sensordata waarbij omstandigheden in de loop van de tijd veranderen.

Hoewel Test-Time Training (TTT) een oplossing biedt door modellen aan te passen met behulp van ongelabelde testdata via een hulp-taak voor zelfgesuperviseerd leren (SSL), kampen bestaande benaderingen met aanzienlijke beperkingen in het domein van grafen:

Oppervlakkige Adaptatie: Conventionele TTT-methoden (bijv. Sun et al., 2020) updaten doorgaans alleen de gedeelde encoder en de SSL-decoder tijdens de inferentie, waardoor de main task decoder vast blijft staan. Dit beperkt het vermogen van het model om volledig aan te passen aan nieuwe distributies.
Taak-misalignement: Het selecteren van een hulp-SSL-taak die betekenisvol aansluit bij een specifieke graaf-gebaseerde doeltaak is moeilijk. Gradiëntconflicten tussen taken kunnen gezamenlijke optimalisatie hinderen.
Datascarciteit: In domeinen zoals watersystemen is gelabelde data schaars, en het hertrainen of finetunen met simulaties is vaak onhaalbaar vanwege het gebrek aan volledige systeemkennis.

2. Methodologie: T3R

De auteurs stellen T3R (Test-Time Training met layer-wise Rotograds) voor, een nieuw framework dat gradiëntrotatie gebruikt om diepere adaptatie mogelijk te maken over bijna de gehele GNN-architectuur zonder grondwaarheid-labels (ground-truth labels).

Kernarchitectuur

T3R maakt gebruik van een Y-vormige architectuur bestaande uit:

Een gedeelde encoder ( $\theta_e$ ).
Een main head ( $\theta_m$ ) voor de doeltaak.
Een hulp-SSL head ( $\theta_s$ ) voor een label-vrije doelstelling (bijv. node masking).

Kernmechanismen

1. Gradiëntuitlijning en Taakaffiniteit:
De methode meet taakaffiniteit als de cosinusgelijkenis tussen de gradiëntvectoren van de main en de SSL heads. Een hoge positieve uitlijning geeft aan dat het minimaliseren van de ene doelstelling ook de andere doelstelling minimaliseert. De auteurs selecteren empirisch SSL-taken (specifiek node masking) die de hoogste positieve gradiëntuitlijning vertonen met de main task.

2. Layer-wise Rotograds:
Om gradiëntconflict te mitigeren en taakaffiniteit te verbeteren, integreert T3R Rotograd (Javaloy & Valera, 2022) in het TTT-framework.

Trainingsfase: Orthogonale rotatiematrices ( $R^{(l)}_m, R^{(l)}_s$ ) worden voorafgevoegd aan elke laag van de main en SSL decoders. Een rotatieverlies ( $L_{rot}$ ) wordt cyclisch geoptimaliseerd om de cosinusgelijkenis tussen de originele gradiënten en de geroteerde, taakspecifieke gradiënten te maximaliseren. Dit stimuleert de gradiënten van beide taken om in een gemeenschappelijke richting te wijzen.
Test-time fase: Tijdens de inferentie is de main task loss niet beschikbaar. T3R gebruikt de geleerde rotatiematrices om surrogaatgradiënten voor de main task te genereren. Specifiek wordt de SSL-gradiënt teruggeroteerd naar de gemiddelde originele gradiëntrichting en omgeleid om de lagen van de main decoder bij te werken.
- Formule: $\tilde{g}^{(l+1)}_m = R^{(l)\top}_s g^{(l)}_s R^{(l)}_m$ .
- Dit mechanisme maakt het mogelijk om de gehele architectuur (gedeelde encoder, SSL-decoder en bijna alle lagen van de main decoder) bij te werken, in plaats van alleen de encoder.

3. Hyperparameter Verschuivingen:
De auteurs observeren dat het aanpassen van hyperparameters tijdens de test-time fase de prestaties verbetert. Specifiek verhogen zij de hulp-loss coëfficiënt ( $\lambda_{test}$ ) en verminderen zij de augmentatie-intensiteit (bijv. lagere node masking rates) om SSL-signalen te versterken en falen op kleine testbatches te voorkomen.

3. Belangrijkste Bijdragen

Het artikel beschrijft drie primaire bijdragen:

T3R Methode: Een nieuwe adaptatiebenadering die gebruikmaakt van layer-wise rotatiematrices om taakaffiniteit te verbeteren tijdens de training en om surrogaatgradiënten te genereren voor diepe, architectuurbrede adaptatie tijdens de testtijd.
Empirische SSL Selectie: Een onderzoek naar het selecteren van graaf-gebaseerde SSL-doelstellingen die aansluiten bij main tasks, waarbij wordt aangetoond dat positieve gradiëntuitlijning correleert met verbeterde aanpasbaarheid.
Uitgebreide Evaluatie: Omvattende experimenten over regressie (waterdistributienetwerken) en classificatie (moleculaire grafen) datasets onder Out-of-Distribution (OOD) en cross-domain settings.

4. Experimentele Resultaten

De auteurs evalueerden T3R op de DiTEC-WDN (DWD) dataset (regressie) en Open Graph Benchmark (OGB) datasets (classificatie).

Regressie (Waterdistributienetwerken)

Prestaties: T3R behaalde een relatieve verbetering van 38,38% in RMSE vergeleken met standaard Empirical Risk Minimization (ERM) en presteerde beter dan andere adaptatie-baselines (Tent, standaard TTT, TTT+Rotograd) over meerdere metrieken (MAE, R2, PCC).
Observatie: Standaard TTT en TTT+Rotograd (die alleen de encoder updaten) vertoonden beperkte winst of presteerden onder de ERM in deze setting, wat het belang van het updaten van de main decoder benadrukt.
Cross-validatie: In cross-domain tests (trainen op één netwerktopologie, testen op een andere), leverde T3R met een enkele adaptatiestap ( $t=1$ ) de beste resultaten op. Diepere adaptatie (meer stappen) leidde over het algemeen tot verslechtering van de prestaties in regressietaken.

Classificatie (Moleculaire Grafen)

Cross-Domain Adaptatie: In experimenten waarbij werd geadapteerd tussen ogbg-molbace en ogbg-molbbbp, behaalde T3R significante relatieve verbeteringen in ROC-AUC, met een stijging tot 69,56% relatieve verbetering ten opzichte van standaard inferentie zonder adaptatie.
Vergelijking: Terwijl andere methoden lichte verbeteringen of vroege convergentie lieten zien, demonstreerde T3R robuuste winsten, vooral wanneer de adaptatiestappen zorgvuldig werden afgestemd.

Ablatie Studies

Rotatie Lagen: Het verwijderen van de rotatielagen verhoogde de onzekerheid en degradeerde de prestaties, wat de noodzaak van layer-wise adaptatie bevestigt.
Loss Coëfficiënt: Het afstemmen van de test-time hulp-loss coëfficiënt ( $\lambda_{test}$ ) om hoger te zijn dan de trainingscoëfficiënt verbeterde de main task prestaties, terwijl te hoge waarden leidden tot over-adaptatie.

5. Betekenis en Claims

Het artikel claimt dat T3R de kritieke beperking van bestaande TTT-methoden aanpakt door diepere adaptatie mogelijk te maken over de gehele modelarchitectuur, en niet alleen over de encoder. Door gebruik te maken van gradiëntrotatie om surrogaatgradiënten te creëren, stelt T3R modellen in staat om effectief te adapteren in scenario's waar:

Gelabelde data niet beschikbaar of duur is om te verzamelen.
Distributieverschuivingen frequent voorkomen (bijv. sensor drift in infrastructuur).
Conventionele fine-tuning of hertraining onhaalbaar is.

De auteurs positioneren T3R als een stap naar het ontwikkelen van robuuste, label-vrije adaptatie-pipelines voor real-time graaf-gebaseerde systemen, met name in kritieke infrastructuurdomeinen zoals waternetwerken. Ze erkennen dat hoewel de methode veelbelovend is, de relatie tussen gradiëntuitlijning en aanpasbaarheid verdere theoretische rechtvaardiging behoeft, en dat de computationele kosten van extra gradiëntupdates een trade-off zijn voor verbeterde nauwkeurigheid.