Predicting Blastocyst Formation in IVF: Integrating DINOv2 and Attention-Based LSTM on Time-Lapse Embryo Images

1. Probleemstelling

In vitro fertilisatie (IVF) is een cruciale behandeling voor onvruchtbaarheid, waarbij de selectie van het beste embryo voor transfer een uitdagende stap blijft. Traditioneel vertrouwen embryologen op handmatige inspectie van uitgebreide time-lapse videodata. Echter, er zijn twee belangrijke beperkingen:

• Beperkte data: Veel klinieken hebben geen volledige time-lapse systemen (TLI) en beschikken vaak slechts over een beperkt aantal dagelijkse beelden in plaats van continue video's.
• Complexiteit: Het voorspellen van de blastocystevorming (een kritiek stadium voor succesvolle implantatie) op basis van deze schaarse, dagelijkse beelden is moeilijk. Bestaande AI-modellen vertrouwen vaak op volledige video's of focussen alleen op het eindstadium, waardoor ze minder bruikbaar zijn in klinieken met beperkte imaging-capaciteit.

Het doel van deze studie is het ontwikkelen van een model dat nauwkeurig kan voorspellen welke embryo's zich zullen ontwikkelen tot een blastocyst, uitsluitend op basis van een beperkte reeks dagelijkse beelden (spare data).

2. Methodologie

De auteurs stellen een hybride deep learning-architectuur voor die ruimtelijke kenmerken en temporele patronen combineert. Het proces verloopt in drie hoofdfasen:

A. Data Preprocessing

• Dataset: Gebruik van een real-world dataset van 704 embryo-video's (verzameld via ICSI-cycli), waarbij elk embryo tot 16 ontwikkelingsstadia is geannoteerd.
• Frame-selectie: In plaats van volledige video's, worden maximaal 7 frames per video geselecteerd met een interval van 24 uur (van dag 1 tot dag 7). Dit simuleert de klinische praktijk van dagelijkse observaties.
• Voorbewerking: Beelden worden omgezet naar grijstinten en geresize naar 518x518 pixels om compatibel te zijn met de feature extractor.

B. Ruimtelijke Kenmerkextractie (DINOv2)

• Model: Er wordt gebruikgemaakt van DINOv2, een self-supervised Vision Transformer (ViT) model dat is voorgeïnd op een enorme dataset (LVD-142M) zonder menselijke labels.
• Extractie: Het model haalt betekenisvolle visuele kenmerken uit elk embryo-beeld. De auteurs combineren de globale [CLS] embedding met de gemiddelde gepoolde per-patch embeddings tot een enkele vector van 1536 dimensies.
• Voordeel: DINOv2 leert robuuste, semantische representaties zonder dat er specifieke annotaties nodig zijn voor de training van de feature extractor zelf.

C. Temporele Modellering (LSTM met Multi-Head Attention)

• Architectuur: De gegenereerde embedding-vectoren worden ingevoerd in een LSTM (Long Short-Term Memory) netwerk om de sequentiële groei van het embryo te modelleren.
• Attention Mechanisme: Een Multi-Head Attention (MHA) laag wordt geïntegreerd bovenop de LSTM-uitvoer. Dit stelt het model in staat om niet alleen lokale continuïteit te modelleren, maar ook lange-afstand afhankelijkheden te detecteren (bijv. hoe een vroeg stadium invloed heeft op het eindresultaat).
• Verwerking van onvolledige data: Om variaties in de lengte van sequenties (vanwege vroegtijdige stopzetting van de groei) te hanteren, wordt "zero-padding" toegepast om alle sequenties op dezelfde lengte te brengen.
• Classificatie: Een classificatielaag voorspelt uiteindelijk of het embryo een blastocyst wordt (positief) of niet (negatief). Voor het onbalans in de klassen wordt een gewogen binary cross-entropy loss functie gebruikt.

3. Belangrijkste Bijdragen

1. Hybride Architectuur: De ontwikkeling van een nieuw model dat de krachtige ruimtelijke feature-extractie van DINOv2 combineert met de temporele modellering van een LSTM verrijkt met Multi-Head Attention.
2. Robuustheid bij Schaarste: Het model is specifiek ontworpen om te werken met spare data (maximaal 7 beelden per dag), waardoor het toepasbaar is in klinieken zonder volledige time-lapse incubatoren.
3. Interpreteerbaarheid: Door de attention-mechanismen kunnen de auteurs analyseren welke tijdstippen (ontwikkelingsstadia) het meest invloedrijk zijn voor de voorspelling.
4. Efficiëntie: Het verminderen van de afhankelijkheid van continue videostreams verlaagt de computerkosten en maakt de methode toegankelijker voor een breder scala aan IVF-laboratoria.

4. Resultaten

Het model werd getest op de dataset van 704 embryo's (522 blastocyst, 182 non-blastocyst), verdeeld in 80% training en 20% test.

• Algemene Prestatie: Het model bereikte een nauwkeurigheid (accuracy) van 96,4%.
• Vergelijking: Dit presteert aanzienlijk beter dan bestaande methoden, zoals het ResNet50-GRU model van Kalyani et al. (93% nauwkeurigheid) en andere CNN/DenseNet-varianten.
• Klassenspecifieke Metrics:
  • Voor de blastocyst-klasse: Precision/Recall/F1-score van ~0,971.
  • Voor de non-blastocyst-klasse: Precision/Recall/F1-score van ~0,918.
  • De AUC (Area Under Curve) bedroeg 0,99, wat wijst op uitzonderlijke discriminatiekracht.
• Ablatie Studie: Het toevoegen van de Multi-Head Attention laag aan een standaard LSTM verhoogde de nauwkeurigheid van 93,86% naar 96,43%, wat de meerwaarde van de attention-mechanisme bevestigt.
• Generaliseerbaarheid: Het model werd ook getest op andere tijdsreeksdatasets (zoals financiële distress en EEG-gegevens) en behaalde daar eveneens hoge scores, wat de robuustheid van de architectuur aantoont.

5. Betekenis en Conclusie

Deze studie biedt een praktische oplossing voor een veelvoorkomend probleem in de IVF-sector: het gebrek aan volledige time-lapse data in veel laboratoria. Door te bewijzen dat een model met slechts dagelijkse beelden (in plaats van continu video) een zeer hoge voorspelnauwkeurigheid kan bereiken, maakt dit onderzoek de geavanceerde AI-ondersteunde embryo-selectie toegankelijker.

• Klinische Impact: Het kan embryologen helpen om sneller en met meer vertrouwen de beste embryo's te selecteren, wat leidt tot een hogere succeskans voor zwangerschappen en minder emotionele en financiële belasting voor patiënten.
• Toekomstperspectief: Hoewel de resultaten veelbelovend zijn, wijzen de auteurs op de beperking dat ze afhankelijk zijn van één specifieke dataset. Toekomstig onderzoek moet gericht zijn op validatie in multicenter-studies en het integreren van aanvullende patiëntgegevens om de generaliseerbaarheid verder te vergroten.

Kortom, dit artikel presenteert een state-of-the-art aanpak die de kloof tussen geavanceerde deep learning en de praktische beperkingen van klinische IVF-laboratoria overbrugt.