A statistical perspective on transformers for small longitudinal cohort data

Probleemstelling

Longitudinale cohortdata (data over tijd van dezelfde individuen) vertonen vaak complexe temporale afhankelijkheden. Hoewel transformer-architecturen (bekend van taal- en visieapplicaties) uitstekend zijn in het modelleren van context en sequenties, zijn ze doorgaans niet toepasbaar op kleine datasets met weinig tijdspunten. De standaardtransformers vereisen enorme hoeveelheden trainingsdata om overfitting te voorkomen en generalisatie te garanderen. In de biomedische context, waar studies vaak beperkt zijn tot een klein aantal deelnemers en meetmomenten, leiden standaardtransformers vaak tot overfitting en slechte prestaties in vergelijking met eenvoudigere modellen. Er is een behoefte aan een architectuur die de kracht van de "attention-mechanisme" behoudt, maar statistisch robuust is voor kleine data.

Methodologie: De MiniTransformer

De auteurs stellen een vereenvoudigde transformer-architectuur voor, genaamd MiniTransformer, die is gebaseerd op een statistisch perspectief in plaats van puur op diep leren.

1. Statistische Basis: In plaats van te starten met een complexe transformer en deze te vereenvoudigen, beginnen de auteurs met een Vector Autoregressive (VAR) model. Dit is een gevestigd statistisch model voor multivariate tijdreeksen.
2. Attention als Kernel: Ze integreren het multi-head attention-mechanisme als een kernel-operatie met temporale verval.
   • Voor elke tijd $t_i$ en elke "head" $h$ wordt een gewogen gemiddelde berekend van eerdere observaties.
   • De kernel-functie $g(x_{t_i}, x_{t_l})$ combineert een dot-product van query- en key-parameters met een exponentiële vervalterm gebaseerd op de tijdsafstand $|t_i - t_l|$. Dit zorgt ervoor dat recentere data meer gewicht krijgt, maar ook oudere data invloed kan hebben als de inhoud relevant is.
3. Parameterreductie:
   • Er wordt geen embedding-laag gebruikt (de input is al kwantitatief), wat interpretatie vergemakkelijkt.
   • De projecties naar query, key en value worden gereduceerd tot scalair gewogen vectoren in plaats van zware matrices.
   • De aggregatie van meerdere heads gebeurt via een lineaire cumulant-laag in plaats van een volledig verbonden neurale netwerklagen.
   • Dit reduceert het aantal te schatten parameters met een factor van $O(p^2H^2)$, waardoor het model geschikt is voor kleine datasets.
4. Statistische Toetsing (Permutatietest):
   • Een unieke bijdrage is de ontwikkeling van een permutatietest om contexteffecten te evalueren.
   • De methode vergelijkt voorspellingen met en zonder specifieke contextobservaties.
   • Door variabelen in de context te permuteren (of te wijzigen met een waarde $\delta$), wordt de verandering in de voorspelling gemeten.
   • Dit resulteert in p-waarden die aangeven welke variabelen significant bijdragen aan het contextpatroon dat de voorspelling beïnvloedt.

Belangrijkste Bijdragen

• MiniTransformer Architectuur: Een nieuwe, lichtgewicht transformer-variant die specifiek is ontworpen voor kleine longitudinale datasets, gebaseerd op VAR-modellen met geïntegreerde attention.
• Statistisch Toetsingskader: Een permutation-based procedure om de statistische significantie van contextpatronen te identificeren, wat interpretatie mogelijk maakt in plaats van alleen voorspelling.
• Interpreteerbaarheid: Door het ontbreken van complexe embedding-lagen en het gebruik van lineaire transformaties, blijven de effecten van individuele variabelen beter interpreteerbaar dan bij standaard deep learning-modellen.

Resultaten

De methode werd geëvalueerd via een simulatiestudie en een toepassing op real-world data.

1. Simulatiestudie:

   • De MiniTransformer werd getraind op datasets met slechts 100 tot 1000 sequenties.
   • Voorspellingsprestatie: De MiniTransformer presteerde concurrerend of beter dan regressiemodellen en een "informed" benchmark (die de ware structuur deels kende), zelfs bij zeer kleine steekproefgroottes (100 individuen).
   • Structuurherstel: Het model slaagde erin om de onderliggende latente structuur ($z_t$) te herkennen die de dynamiek van de doelvariabele bepaalde, wat zichtbaar was in de geleerde cumulanten.
   • Toetsing: De permutatietest slaagde erin om de variabelen die deel uitmaakten van het ware patroon te identificeren met lage p-waarden, zelfs bij beperkte data.

2. Real Data Toepassing (LORA-studie):

   • Toepassing op data van de "Longitudinal Resilience Assessment" (LORA) studie, waarbij stressoren (micro- en macrostressors) en mentale gezondheid werden gemeten.
   • Voorspelling: De MiniTransformer behaalde de laagste Mean Squared Error (MSE) voor het voorspellen van mentale gezondheid (GHQ-scores) vergeleken met gemiddelde benaderingen, regressiemodellen en een "carry-forward" methode.
   • Contextanalyse: De permutatietest identificeerde specifieke stressoren als cruciale contextfactoren. Bijvoorbeeld, "huishoudelijke taken" (housekeeping) bleek een significant contexteffect te hebben op psychische distress.
   • Interpretatie: Verdere analyse toonde aan dat het stoppen met huishoudelijke taken leidde tot een voorspelde toename in psychische distress, wat overeenkomt met klinische inzichten over de relatie tussen orde en mentale gezondheid.

Betekenis en Conclusie

Dit artikel demonstreert dat transformer-architecturen niet beperkt zijn tot "Big Data". Door een statistisch onderbouwde, vereenvoudigde architectuur te ontwerpen, kunnen onderzoekers:

1. Competitieve voorspellingsprestaties behalen op kleine longitudinale cohorten.
2. Complexe tijdsafhankelijkheden en contextpatronen blootleggen die door traditionele lineaire modellen worden gemist.
3. Statistische significantie toekennen aan deze patronen, wat essentieel is voor wetenschappelijke interpretatie in de biomedische wetenschappen.

De MiniTransformer opent de deur voor het gebruik van geavanceerde sequentiemodellen in domeinen waar data schaars is, zoals klinische studies met beperkte patiëntgroepen of korte follow-upperiodes.