When Measurement Conventions Masquerade as Calibration Gains in Cardiac Digital Twins

Technische Samenvatting: Wanneer meetconventies zich voordoen als kalibratiewinst in cardiale digitale tweelingen

Probleemstelling
Cardiale digitale tweelingen vertrouwen op een "observatie-operator" ($H_{op}$) om klinische beelden (specifiek echocardiogrammen) te mappen naar fysiologische metingen zoals de linker ventrikel ejectiefractie (EF). Hoewel recente deep learning-pipelines de segmentatienauwkeurigheid hebben verbeterd (vaak gemeten aan de hand van Dice-scores), kunnen systematische fouten in $H_{op}$ de downstream state-updates beïnvloeden, ongeacht de kwaliteit van het onderliggende model.

Het kernprobleem dat is geïdentificeerd, is dat kalibratiestudies vaak uitgaan van een vaste referentieconventie, wat leidt tot "fantoomwinsten". Specifiek lijken modellen die geëvalueerd worden tegen klinische EF-labels te verbeteren in kalibratie, simpelweg omdat ze onbedoeld overeenkomen met een mismatch in meetconventie (bijv. single-plane versus biplane), in plaats van omdat ze daadwerkelijk de segmentatiefout verminderen. De auteurs stellen dat zonder het onderscheid te maken tussen meetconventies en modelprestaties, digitale twin-pipelines het risico lopen gestructureerde biases te incorporeren die de fysiologische staat-schatting verstoren.

Methodologie
De auteurs voerden een audit uit van EF-observatie-operators met behulp van vier front-end architecturen die een U-Net backbone delen, toegepast op twee belangrijke datasets: CAMUS en EchoNet-Dynamic.

1. Geëvalueerde modellen:
   • B1: Frame-wise segmentatie.
   • B2: Segmentatie met smoothing tussen aangrenzende frames.
   • P1: Combineert FiLM (Feature-wise Linear Modulation) met een fase-head.
   • P2: Voegt cross-patient cyclische consistentie en Mean-Teacher-stijl EMA-averaging toe.
2. Observatie-operator: Een single-plane method-of-disks benadering werd gebruikt om volumes en EF te extraheren uit apicale vierkamer-clips voor alle modellen.
3. Evaluatiemetrieken:
   • $EF_{MAE_{gt}}$: Fout tegen grondwaarheid-masks (ground-truth) die door dezelfde extractor zijn verwerkt (om de segmentatiefout te isoleren).
   • $EF_{MAE_{clin}}$: Fout tegen klinische EF-labels (inclusief conventie-mismatch).
   • Bias-analyse: Kwantificering van het gat tussen single-plane extractor outputs en biplane klinische referenties.
4. Datasets:
   • CAMUS: Geëvalueerd op een subset ($n=50$). Klinische EF is biplane (2- en 4-kamer beelden), terwijl de extractor alleen de 4-kamer view gebruikt, wat een bekende plane-mismatch creëert.
   • EchoNet-Dynamic: Geëvalueerd op de officiële testsplit ($n=1.287$). Labels en extractor zijn beide single-plane (4-kamer), wat dient als een plane-aligned replicatie om te testen of "winsten" blijven bestaan wanneer de dominante mismatch wordt verwijderd.

Belangrijkste bijdragen

1. EF Observatie-operator Audit: Een framework om onderscheid te maken tussen echte modelverbeteringen en artefacten veroorzaakt door mismatch in de meet-referentieconventie.
2. Bewijs van Conventie-confounding: Demonstratie dat de schijnbare kalibratiewinsten van fase-geconditioneerde modellen (P1/P2) op CAMUS grotendeels verklaard worden door de kloof tussen single-plane en biplane EF-metingen, en niet door verbeterde segmentatie.
3. Negatieve Replicatie: Een plane-aligned replicatie op EchoNet-Dynamic laat zien dat het "voordeel van fase-conditionering" verdwijnt wanneer de plane-mismatch wordt verwijderd, en in sommige gevallen zelfs omkeert.
4. Convention-Aware EF Audit (CAEA) Protocol: Een vijfstaps protocol om te voorkomen dat modellen krediet krijgen voor kalibratiewinsten veroorzaakt door het meet-referentiepaar.

Resultaten

• CAMUS Bevindingen: Fase-geconditioneerde modellen (P1/P2) leken de bias naar nul te verminderen in vergelijking met biplane klinische EF, wat suggereert dat er sprake is van een kalibratiewinst. Echter, wanneer geëvalueerd tegen grondwaarheid-masks verwerkt door dezelfde single-plane extractor, was de fout ($MAE_{gt}$) statistisch ononderscheidbaar over alle modellen. Sterker nog, P1 vertoonde de grootste $MAE_{gt}$ en de meest negatieve bias.
• De Conventie-kloof: De studie kwantificeerde de "single-plane–biplane" kloof. De single-plane grondwaarheid EF overschoot de biplane klinische EF met +6,30 punten. Deze offset verklaarde bijna de gehele baseline bias van het B1-model. Zodra deze component van de conventie werd afgetrokken, was de resterende segmentatiebias statistisch ononderscheidbaar van nul.
• EchoNet-Dynamic Bevindingen: In de plane-aligned setting werden de CAMUS-resultaten niet gereproduceerd. De baseline modellen (B1/B2) vertoonden een negatieve bias, en de fase-geconditioneerde modellen (P1/P2) verbeterden de bias niet ten opzichte van de baselines. Bovendien produceerden P1 en P2 in 10–20 gevallen ongeldige EF-schattingen (waarbij $\hat{ESV} \ge \hat{EDV}$), een deployment-risico dat niet aanwezig was bij B2.
• Downstream Implicaties:
  • Hemodynamica: Onder CAMUS-omstandigheden propageerde de EF-bias naar significante fouten in Slagvolume (SV) en Cardiale Output (CO) (tot ~16-18% fout). Onder plane-aligned EchoNet-omstandigheden daalden deze fouten naar ~3–4%.
  • Stratum Toewijzing: De conventie-mismatch veroorzaakte frequente onenigheid in de toewijzing van EF-strata (bijv. het classificeren van een patiënt als HFrEF vs. HFpEF), met percentages rond de 44–54% voor de geteste modellen.
  • Conformal Prediction: De residuele breedtes waren significant groter onder de met conventie-confounding geëvalueerde methode (CAMUS) vergeleken met de plane-aligned evaluatie (EchoNet), wat aangeeft dat kalibratie-residuen gestructureerde referentie-mismatch bevatten, en niet enkel segmentatie-ruis.

Betekenis en Claims
Het artikel claimt dat de schijnbare superioriteit van fase-geconditioneerde modellen in eerdere literatuur mogelijk een artefact is van meetconventies in plaats van echte algoritmische vooruitgang. De auteurs stellen dat:

• Echte winsten moeten overleven na plane-alignment: Een model mag alleen de eer krijgen voor kalibratieverbeteringen als de winst standhoudt na het afstemmen van het meetvlak en het auditen van residuele verschillen in frameselectie, contouren en preprocessing.
• Dice is onvoldoende: Hoge geometrische overlap (Dice) garandeert geen gekalibreerde fysiologische metingen; kleine contourverschuivingen bij End-Diastole (ED) en End-Systole (ES) kunnen worden versterkt door de EF-ratio.
• Protocol Noodzakelijkheid: Het voorgestelde Convention-Aware EF Audit (CAEA) protocol is essentieel om echte kalibratie van de observatie-operator te scheiden van meetartefacten. Het vereist het controleren van seed-consistentie, het karakteriseren van conventie-offsets en replicatie onder afgestemde referenties voordat men kalibratieverbeteringen claimt.

De auteurs concluderen dat, onder de geëvalueerde front-ends, B2 (met smoothing tussen aangrenzende frames) de meest inzetbare optie is, omdat deze streaming inferentie ondersteunt, geen ongeldige EF-schattingen produceert en de beste prestaties levert in plane-aligned settings. De studie benadrukt dat kalibratie moet worden beoordeeld voor het volledige "model–extractor–referentie" paar, en niet alleen voor de modelarchitectuur.