Technische Samenvatting: ADAPTOOD – Onzekerheidsbewuste Fine-tuning voor Out-of-Distribution ECG Tijdreeksmodellen

Probleemstelling

Het implementeren van machine learning-modellen die getraind zijn op grootschalige sensordata in echte klinische omgevingen stuit op aanzienlijke hindernissen door distributieverschuivingen. Hoewel pre-training een fundament biedt, hebben modellen vaak moeite wanneer ze worden gefinetuned op kleine, geannoteerde datasets die verschillen van de pre-training distributie. Deze discrepanties ontstaan door diverse bronnen, waaronder populatieheterogeniteit, variërende sensortypen, verschillende verzamelprotocollen en temporele driften.

Bestaande adaptatiemethoden, zoals transfer learning en domeinadaptatie, gaan doorgaans uit van vaste distributieverschuivingen of behandelen Out-of-Distribution (OOD) gevallen als een binaire staat (in-domein versus out-of-domain). Ze falen in het rekening houden met de ernst of granulariteit van deze verschuivingen. Als gevolg hiervan passen ze vaak uniforme adaptatiestrategieën toe, ongeacht of de verschuiving mild is (bijv. een iets andere populatie) of ernstig (bijv. een nieuw sensormodaliteit), wat leidt tot suboptimale generalisatie, overfitting op kleine datasets of catastrofale vergetelheid (catastrophic forgetting).

Methodologie: ADAPTOOD Framework

De auteurs stellen ADAPTOOD voor, een framework ontworpen om de ernst van distributieverschuivingen te kwantificeren en fine-tuning dynamisch te sturen. Het systeem werkt via vier onderling verbonden modules:

1. Onzekerheidsgestuurde Ernstkwantificatie

De kerninnovatie is het gebruik van data-onzekerheid om te meten hoeveel een doel-dataset ($D_t$) afwijkt van de pre-training bron-distributie ($D_s$).

• Dimensiereductie: Hoogdimensionale ECG-signalen worden gereduceerd tot een dominante component met behulp van Principal Component Analysis (PCA) om de dichtheidschatting te verbeteren.
• Afstandsmetrieken: Het framework berekent de divergentie op distributieniveau met behulp van twee complementaire metrieken:
  • Mahalanobis Afstand ($d_m$): Meet de afstand van nieuwe batches tot het centrum van de bekende distributie, rekening houdend met feature-correlaties en schaal.
  • Hellinger Afstand ($d_h$): Kwantificeert de gelijkenis tussen de algemene waarschijnlijkheidsverdelingen van de bron en het doel.
• Gecombineerde Metriek: Deze afstanden worden genormaliseerd en gecombineerd in een gewogen onzekerheidsscore, $\sigma(D_t | P(D_s))$, waarbij een hogere score wijst op een ernstigere OOD-verschuiving.

2. Selectieve Laag Ontdooiing (Selective Layer Unfreezing)

In plaats van de gehele model of een vaste subset te finetunen, bepaalt ADAPTOOD dynamisch hoeveel lagen worden 'ontdooid' (unfrozen) op basis van de berekende onzekerheidsscore.

• Strategie: Het maakt gebruik van een combinatie van lineaire en exponentiële vervalfuncties.
  • Lineair: Het aantal ontdooide lagen is proportioneel aan de inverse van de onzekerheid.
  • Exponentieel: Gebruikt een vervalfactor om de gevoeligheid voor onzekerheidsniveaus te vergroten.
• Uitvoering: Het uiteindelijke aantal trainbare lagen is het gemiddelde van deze twee berekeningen. Lagen worden ontdooid beginnend vanaf de bovenkant (dichtst bij de output) naar beneden toe. Dit zorgt ervoor dat milde verschuivingen minimale architecturale wijzigingen vereisen, terwijl ernstige verschuivingen meer uitgebreide adaptatie triggeren, wat een balans biedt tussen het risico op overfitting en underfitting.

3. Low-Rank Adaptation (LoRA)

Om computationele efficiëntie te behouden en overfitting op beperkte doel-data te voorkomen, integreert het framework LoRA in alle Conv1D-lagen.

• Mechanisme: Pre-trained gewichten worden bevroren, en lichtgewicht, trainbare low-rank matrices worden geïntroduceerd.
• Voordeel: Dit vermindert het aantal parameters en de geheugenvoetafdruk aanzienlijk, terwijl de capaciteit van het model zich richt op het leren van lokale temporele patronen waar dit het meest nodig is.

4. Adaptieve Hyperparameter Optimalisatie

In het besef dat hyperparameters die optimaal zijn voor pre-training mogelijk niet geschikt zijn voor OOD-taken, maakt het framework gebruik van Bayesiaanse Optimalisatie.

• Proces: Het zoekt iteratief naar optimale configuraties voor de optimizer (bijv. Adam, RMSprop) en de learning rate over een gedefinieerde zoekruimte.
• Doel: Het identificeren van configuraties die de specifieke distributieverschuiving het beste kunnen accommoderen zonder handmatige afstemming.

Belangrijkste Bijdragen

1. Nieuwe Ernstkwantificatie: Introductie van een mechanisme dat data-onzekerheid (via Mahalanobis en Hellinger afstanden) gebruikt om de ernst van OOD-verschuivingen te beoordelen ten opzichte van de pre-training data, waarmee verder wordt gegaan dan binaire in/out-of-domain aannames.
2. Ernst-flexibele Adaptatie: Ontwikkeling van een aanpak die onzekerheidsscores gebruikt om selectieve laag ontdooiing en hyperparameter afstemming te sturen, waardoor de adaptatiestrategie overeenkomt met de complexiteit van de verschuiving.
3. Efficiëntie en Robuustheid: Integratie van LoRA en Bayesiaanse optimalisatie om een parameter-efficiënte fine-tuning te bereiken die een sterke prestatie behoudt over diverse metrieken, zelfs wanneer de ernst van de distributieverschuiving toeneemt.

Experimentele Resultaten

De auteurs evalueerden ADAPTOOD op ECG tijdreeks-datasets met diverse verschuivingen (populatie, sensor, temporeel, label, modaliteit en dimensionaliteit) vergeleken met baselines inclusief standaard Transfer Learning, Supervised Learning, Feature-based Domain Adaptation en Instance-based Domain Adaptation.

• Prestatiewinsten: ADAPTOOD presteerde consequent beter dan alle baselines.
  • In de MIT-BIH dataset (sensor/populatie verschuiving) behaalde het 0.953 accuratesse en 0.930 precisie, waarmee het de beste baseline (Feature-based DA) versloeg met 1.3% in accuratesse en 0.9% in precisie.
  • In de PTB-DB dataset liet het een verbetering van 11.9% in accuratesse zien ten opzichte van Transfer Learning (0.922 vs. 0.803) en een verbetering van 12.9% in precisie.
  • In de MIMICPERform PPG dataset (een ernstige modaliteitverschuiving van ECG naar PPG) bereikte ADAPTOOD 0.975 accuratesse, waarmee het de beste baseline met ongeveer 3% versloeg (0.945).
  • In de CODEtest dataset (dimensionaliteitsverschuiving met 12-lead ECG) behaalde het 0.922 accuratesse, waarmee het de op één na beste methode (Feature-based DA bij 0.894) versloeg.
• Ablatie-studies: Het verwijderen van componenten (onzekerheidsmetrieken, hyperparameter tuning of LoRA) leidde consequent tot een verslechtering van de prestaties, wat de noodzaak van het volledige framework bevestigt. Specifiek bood de combinatie van beide afstandmetrieken consistenter resultaten dan het gebruik van slechts één van beide.
• Efficiëntie: Door gebruik te maken van LoRA en selectieve ontdooiing, reduceerde ADAPTOOD het totaal aantal parameters en de geheugenvoetafdruk aanzienlijk. Bijvoorbeeld, op de MIT-BIH dataset werd de modelgrootte gereduceerd van ~29.17 MB (zonder LoRA) naar 8.61 MB.

Betekenis en Claims

Het artikel beweert dat ADAPTOOD een kritiek gat in de interpretatie van biosignalen opvult: het gebrek aan methoden die kunnen adapteren aan variërende ernst van distributieverschuivingen. Door OOD-adaptatie te behanderen als een ernst-afhankelijk proces in plaats van een vast protocol, bereikt het framework:

• Robuuste Generalisatie: Het behouden van hoge accuratesse en precisie, zelfs wanneer testdata aanzienlijk afwijkt van de trainingsdata door meerdere overlappende typen verschuivingen.
• Resource-efficiëntie: Het behalen van deze winsten met minder parameters en lagere computationele kosten, wat het geschikt maakt voor implementatie in omgevingen met beperkte middelen.
• Kalibratie: Het bieden van een meer gebalanceerde prestatie over metrieken (accuratesse, precisie, recall, F1) vergeleken met baselines die vaak lijden onder problemen met klasse-imbalans (bijv. lage sensitiviteit).

De auteurs positioneren ADAPTOOD als een betrouwbare, data-gestuurde aanpak voor het finetunen van gepre-trainde modellen in real-world, out-of-distribution scenario's, met name waar gelabelde data schaars is en de kenmerken van de verschuiving onbekend of variabel zijn.