Technische Samenvatting: ITGPT – Generatieve Pretraining op Irreguliere Tijdsreeksen

1. Probleemstelling

Het artikel behandelt de uitdaging om regressie en classificatie uit te voeren op multimodale, onregelmatig bemonsterde tijdsreeksdata. In domeinen zoals gezondheidszorg (bijvoorbeeld patiëntmonitoring met variërende sensorfrequenties) en voorspellend onderhoud (bijvoorbeeld trucksensoren met ongelijke uitleesintervallen), arriveert data vaak op verschillende snelheden, bevat het ontbrekende waarden en mist het synchronisatie.

Huidige benaderingen vertrouwen doorgaans op rekenkundig duur of overdreven simplistische voorverwerkingsstappen, zoals hersampling, imputatie en kenmerkenfusie, om data in een regelmatig rooster te dwingen. Deze methoden slagen er vaak niet in om grote hoeveelheden niet-gelabelde data te benutten, waardoor modellen beperkt blijven tot toezichtleerframeworks die schaarse, door experts gelabelde datasets vereisen. Hoewel Transformer-gebaseerde modellen succesvol zijn geweest in tekst- en beelddomeinen via Zelftoezichtleren (SSL) en Generatieve Pretraining (GPT), missen bestaande architecturen de flexibiliteit om onregelmatig bemonsterde multimodale tijdsreeksen direct te verwerken zonder temporele trouw te verliezen of kunstmatige uitlijning te vereisen.

2. Methodologie: De ITGPT Architectuur

De auteurs stellen ITGPT voor, een op attentie gebaseerde architectuur die is ontworpen om multimodale, onregelmatig bemonsterde data op natuurlijke wijze te verwerken. Het model breidt het ITNet-kader uit om GPT-achtige doelen te ondersteunen.

Kerncomponenten

• Causale Cross-Attention: Het model maakt gebruik van een modality-specifiek mechanisme voor causale cross-attention. Voor een doel tijdstip $t$ let het model alleen op eerdere data ($t' < t$) over alle modaliteiten.
  • Queries ($Q$): Afgeleid van de doel-tijdlijn (anker-tijdlijn) met behulp van sinusvormige positionele codering.
  • Keys ($K$) en Values ($V$): Afgeleid van de input multimodale data en hun specifieke tijdstippen, eveneens verrijkt met additieve positionele codering.
  • Mechanisme: Dit stelt het model in staat om specifieke tijdstippen te bevragen tegen een geschiedenis van onregelmatig bemonsterde gebeurtenissen zonder de inputdata te hersamplen.

Aanpassing van het GPT-kader

Om generatieve pretraining mogelijk te maken, koppelt ITGPT paren van ITNet-modellen aan elkaar:

1. Encoder: Neemt multimodale onregelmatige data als input en geeft een enkele, gesynchroniseerde multivariate tijdsreeks (de "anker"data) uit op een vooraf gedefinieerde tijdlijn.
2. Decoder: Neemt de ankerdata als input en reconstrueert de oorspronkelijke multimodale data (of voorspelt de volgende stap in de inputruimte).
3. Diepe Stacking: Meerdere encoder-decoder paren kunnen worden gekoppeld om de modelcapaciteit te vergroten, met residuale verbindingen en niet-lineariteiten (ReLU) tussen de lagen.

Trainingsdoelen

Het model wordt getraind met twee primaire strategieën om niet-gelabelde data te benutten:

• Zelftoezichtleren (SSL): Het model minimaliseert de Gemiddelde Kwikkwadratefout (MSE) tussen de werkelijke inputdata en de gereconstrueerde/voorspelde inputdata (voorspelling één stap vooruit). Dit maakt training mogelijk op de volledige dataset, ongeacht de beschikbaarheid van labels.
• Generatieve Pretraining (GPT) + Fine-tuning: Het model wordt eerst voorgepretraind op het SSL-doel (MSE-verlies) en vervolgens fijn afgestemd op een toezichttaak met behulp van Cross-Entropy (CE) verlies met de beperkte gelabelde data.
• Gecombineerd Verlies (CE+SSL): Simultane optimalisatie van het toezichtverlies (voor gelabelde steekproeven) en het SSL-verlies (voor alle steekproeven).

3. Belangrijkste Bijdragen

Het artikel schetst vier specifieke bijdragen:

1. Kadervoorstel: Introductie van ITGPT, dat ITNet uitbreidt om GPT-achtige doelen te ondersteunen voor onregelmatig bemonsterde multimodale inputs.
2. Empirische Evaluatie: Uitgebreide evaluatie op twee verschillende real-world datasets:
   • TIHM: Een gezondheidszorgdataset voor remote dementiemonitoring.
   • CompX: Een dataset voor voorspellend onderhoud van zware vrachtwagens.
3. Architecturale Analyse: Een systematische studie van hyperparameters, specifiek modeldiepte (aantal encoder-decoder paren) en menglaagtypes (Lineair vs. MLP).
4. Prestaties bij Weinig Labels: Experimentele demonstratie dat ITGPT niet-gelabelde data effectief benut via SSL- en GPT-training, en superieur presteert aan puur toezichtgebaseerde benaderingen wanneer gelabelde steekproeven schaars zijn.

4. Experimentele Resultaten

TIHM Dataset (Gezondheidszorg)

• Prestaties: ITGPT behaalde prestaties vergelijkbaar met de oorspronkelijke lineaire modellen die in de literatuur worden gerapporteerd (specificiteit ~0,77, recall ~0,68) met behulp van ruwe, niet-geïnterpoleerde data.
• Trainingschema's: Het CE+SSL-schema toonde een marginale verbetering in gemiddelde recall (van 0,63 naar 0,73) in vergelijking met standaard Cross-Entropy (CE) alleen. Het GPT→CE-schema presteerde in deze specifieke instelling met volledige labels niet beter dan standaard CE.
• Stabiliteit bij Weinig Labels: Wanneer het aantal gelabelde patiënten werd verminderd, behield het CE+SSL-schema stabiele recall-prestaties, terwijl de prestaties van CE en GPT→CE significant verslechterden.

CompX Dataset (Voorspellend Onderhoud)

• Architectuuroptimalisatie: Experimenten met variërende diepte (1–7 paren) en menglagen (Lineair, MLP/1, MLP/2) toonden aan dat diepere modellen hogere dropout-kansen (10–20%) vereisen om overfitting te voorkomen.
  • Beste Configuratie: MLP/2-menglagen met 10% dropout en diepte 3 of 6 bereikten het hoogste Oppervlakte Onder de Precision-Recall Curve (AUPRC) van 0,44.
  • Lineair vs. Niet-lineair: Op MLP gebaseerde menglagen presteerden over het algemeen beter dan lineaire menglagen.
• Prestaties bij Weinig Labels:
  • Zowel GPT→CE als CE+SSL presteerden aanzienlijk beter dan de pure CE-baseline wanneer gelabelde data schaars was (bijvoorbeeld <1% van de data).
  • CE+SSL toonde snellere prestatiewinst naarmate gelabelde data toenam, met een piek AUPRC van ~0,28 bij 171 gelabelde steekproeven.
  • De prestaties van GPT→CE piekten vroeg en namen licht af met meer labels, wat suggereert dat de pretrainingsfase het meest gunstig was in het extreme regime met weinig data.
• Omgaan met Censuurdata: De auteurs merkten op dat Klasse 6 (censuurdata/potentieel falen) in CompX dubbelzinnig was en vaak misclassificaties trok van andere klassen. Bijgevolg werd Klasse 6 uitgesloten van de toezichtverliesberekening maar behouden voor SSL-pretraining.

5. Betekenis en Claims

Het artikel stelt dat ITGPT een belangrijke stap voorwaarts is naar het efficiënt benutten van grote, ongestructureerde tijdsreeksdatasets voor praktische inferentietaken. De primaire betekenis ligt in:

• Eliminatie van Voorverwerking: Het bereikt state-of-the-art resultaten zonder hersampling, kenmerkenfusie of expliciete data-imputatie te vereisen, waardoor de native onregelmatigheid van de data behouden blijft.
• Data-efficiëntie: Het overbrugt effectief de kloof tussen de overvloed aan niet-gelabelde sensordata en de schaarste aan expertlabels, en demonstreert dat SSL- en GPT-frameworks levensvatbaar zijn voor onregelmatige multimodale tijdsreeksen.
• Schaalbaarheid: De architectuur blijkt te schalen met diepte en capaciteit, mits overfitting wordt gecontroleerd via dropout en geschikte menglagen.

De auteurs concluderen dat ITGPT een flexibele basis biedt voor industriële en gezondheidszorgtoepassingen, hoewel zij erkennen dat toekomstig werk nodig is om de interpreteerbaarheid te verbeteren, de rekenkundige complexiteit te verminderen via efficiënte attentiemechanismen, en sparse berekeningen te optimaliseren.