CardioState-JEPA: Delay-Aware Cross-Modal Learning of a Shared Cardiac Representation

Stel je voor dat je probeert het verhaal van een enkele dag in een bruisende stad te begrijpen. Je zou naar de radio-uitzending kunnen luisteren (het elektrische signaal), de verkeersstroom op een snelweg kunnen bekijken (de bloedstroom), of op een straathoek kunnen staan luisteren naar het gehoor en het geschreeuw (het geluid van activiteit). Elk van deze geeft je een stukje van de puzzel, maar ze gebeuren op iets verschillende tijdstippen en zien er heel anders uit. In de wereld van de hartgezondheid gebruiken artsen drie belangrijke manieren om naar het hart te luisteren: een ECG (die de elektrische vonk van het hart opvangt), een PPG (die de polsgolf ziet reizen door je bloedvaten, zoals een rimpeling in een vijver), en een PCG (die luistert naar de werkelijke "lub-dub"-geluiden van de sluitende hartkleppen). Lange tijd bouwden wetenschappers aparte "AI-detectives" voor elk van deze aanwijzingen, waarbij ze deze behandelden alsof het ongerelateerde mysteries waren. Maar het hart is één machine, en deze aanwijzingen zijn slechts verschillende weergaven van dezelfde gebeurtenis. De grote vraag is: Kunnen we één superintelligente AI bouwen die het ware verhaal van het hart leert door al deze drie weergaven tegelijkertijd te combineren, zelfs als ze op verschillende tijdstippen aankomen?

Dit is precies wat de onderzoekers achter CardioState-JEPA probeerden te doen. Ze realiseerden zich dat hoewel de elektrische vonk van het hart eerst plaatsvindt, de mechanische "dreun" van de kleppen een fractie van een seconde later komt, en de bloelspuls die naar je pols reist zelfs nog later arriveert. Als je een computer probeert te leren het hart te begrijpen door deze signalen simpelweg op een tijdlijn uit te lijnen, raakt de computer in de war omdat hij de verkeerde momenten met elkaar vergelijkt. In plaats daarvan bouwde het team een nieuw soort AI-model dat werkt als een meestervertaler. Het onthoudt niet alleen hoe een ECG-golf eruitziet; het leert de verborgen staat van het hart zelf. Denk aan het leren van de plot van een film in plaats van alleen de ondertiteling in één taal te memoriseren. Het model gebruikt een slimme truc genaamd "delay-aware learning", wat lijkt op het hebben van een slimme assistent die weet dat het geluid van een dichtslaande deur (het hartgeluid) altijd een fractie van een seconde nadat iemand de deur daadwerkelijk heeft dichtgeduwd (het elektrische signaal) plaatsvindt. Door de AI te leren de ontbrekende delen van het verhaal van het hart te voorspellen terwijl er rekening wordt gehouden met deze kleine tijdsvertragingen, leert het model één enkele, gedeelde taal voor het hart.

De resultaten zijn zeer indrukwekkend. De onderzoekers testten hun nieuwe "CardioState-JEPA"-model op 25 verschillende taken, van het opsporen van onregelmatige hartslagen tot het meten van de bloeddruk en het detecteren van hartgeruis. Wanneer ze het brein van het model bevroren en er simpelweg hulpmiddelen aan toevoegden om specifieke problemen op te lossen, presteerde het beter dan elke eerdere AI die slechts naar één type signaal keek. Zo verbeterde het de mogelijkheid om hartgeruis (abnormale hartgeluiden) te detecteren met maar liefst 18,8 punten op een standaard scoreschaal, en het verhoogde de detectie van bloeddruk en pols met 8,2 punten. Zelfs verrassender nog: het kwam overeen met of versloeg modellen die getraind waren met dure, geprivilegieerde medische aantekeningen en labels, terwijl het alleen de ruwe signalen gebruikte. De studie suggereert dat door deze verschillende signalen elkaar te laten "superviseren"—door het geluid van het hart het model te laten helpen bij het begrijpen van de elektrische vonk, en vice versa—we een veel dieper begrip van de menselijke fysiologie kunnen opbouwen. Het is een stap weg van het bouwen van aparte instrumenten voor elke sensor en toe naar een verenigde, intelligente basismodel die het ritme van het leven werkelijk begrijpt.