Chart review and genetic validation of electronic medical record dementia diagnoses in VA: The impact of CMS data

Technische Samenvatting: Dossieronderzoek en Genetische Validatie van EMD-Dementiediagnoses in de VA: De Impact van CMS-Data

Probleemstelling
Epidemiologische studies en genetisch onderzoek naar de ziekte van Alzheimer (AD) en gerelateerde dementies (ADRD) vertrouwen veelal op International Classification of Diseases (ICD) codes binnen Elektronische Medische Dossiers (EMD) om gevallen te identificeren. Het identificeren van ADRD binnen het Veterans Affairs (VA) gezondheidszorgsysteem brengt echter specifieke uitdagingen met zich mee, waaronder het wijdverbreide gebruik van niet-specifieke dementiecodes en de neiging dat initiële diagnoses worden gesteld in de eerstelijnszorg in plaats van in gespecialiseerde klinieken. Bovendien ontvangen Veteranen vaak zorg buiten het VA-systeem, wat potentieel datagaten en selectiebias creëert in studies die uitsluitend gebaseerd zijn op VA-EMD. Hoewel data van de Centers for Medicare & Medicaid Services (CMS) een potentiële oplossing biedt om deze externe contacten te vangen, blijft de impact van de integratie van CMS-data op de prestaties van diagnostische algoritmen — specifiek met betrekking tot sensitiviteit, specificiteit en genetische validiteit — een openstaande vraag.

Methodologie
De auteurs voerden een veelzijdige evaluatie uit met behulp van data uit het VA Million Veteran Program (MVP), een grote biobank met meer dan één miljoen ingeschreven Veteranen.

• Algoritme-evaluatie: De studie benchmarkte negen verschillende AD/ADRD-algoritmen: vier door de MVP afgeleide algoritmen (variërend van strikte AD tot brede dementie), twee Chronic Conditions Warehouse (CCW) algoritmen, twee PheCode-algoritmen en één medicatiegebaseerd algoritme. Deze werden getest zowel met alleen VA EMD-data als met VA EMD-data aangevuld met CMS-data (inclusclusief Medicare/Medicaid-claims en contactmomenten).
• Validatie via Dossieronderzoek: Er werd een dossieronderzoek uitgevoerd op een gecombineerde cohort van 203 deelnemers (100 nieuwe beoordelingen plus 103 uit een eerdere studie). Medische dossiers werden ontdaan van identificerende kenmerken en beoordeeld door twee onafhankelijke beoordelaars met behulp van een "silver standard" classificatiesysteem ("Waarschijnlijk," "Mogelijk," of "Waarschijnlijk Niet" voor AD en alle oorzaken van dementie). Consensus werd bereikt door overleg. Prestatie-indicatoren (sensitiviteit, specificiteit, positieve voorspellende waarde [PPV], negatieve voorspellende waarde [NPV]) werden berekend tegenover deze handmatige classificaties.
• Genetische Validatie: Om de biologische validiteit van de gevaldefinities te beoordelen, onderzochten de auteurs de associaties tussen de door algoritmen afgeleide casegroepen en twee genetische markers in een grote MVP-cohort (n ≈ 396.000, beperkt tot Europese afkomst): het APOE ε4-allel (de sterkste genetische risicofactor voor laat geworden AD) en een AD polygene risicoscore (PRS) waarbij de APOE-regio is uitgesloten. Logistische regressiemodellen werden gebruikt om odds ratio's (OR) en Z-scores te berekenen.

Belangrijkste Bijdragen

1. Integratie van CMS-data: De studie biedt een rigoureuze beoordeling van hoe het toevoegen van CMS-data aan VA EMD-data de prestaties van dementie-algoritmen verandert.
2. Algoritme-verfijning: De auteurs hebben hun MVP-afgeleide algoritmen bijgewerkt om verandering in ICD-codering te reflecteren en hebben deze vergeleken met gevestigde CCW- en PheCode-standaarden.
3. Genetische Benchmarking: Door de prestaties van algoritmen te correleren met APOE ε4 en PRS-associaties, biedt de studie een methode om de "zuiverheid" van casegroepen met betrekking tot laat geworden AD te evalueren, waarbij onderscheid wordt gemaakt tussen algoritmen die echte AD-gevallen vangen versus algoritmen die bredere, minder specifieke dementiefenotypen vangen.

Resultaten

• Casusopbrengst en Sensitiviteit: De toevoeging van CMS-data verhoogde de detectie van gevallen aanzienlijk over alle algoritmen heen, wat vaak de telling verdubbelde voor strikte AD-algoritmen (bijv. MVP-AD steeg van ~11.345 naar ~22.537). Als gevolg hiervan verbeterden de sensitiviteit en de negatieve voorspellende waarde (NPV).
• Specificiteit en Voorspellende Waarde: De toename in casusopbrengst ging gepaard met trade-offs. De specificiteit en de positieve voorspellende waarde (PPV) namen af wanneer CMS-data werd toegevoegd.
• Genetische Associaties:
  • Strikte AD-algoritmen: Bij het gebruik van enkel VA-data leverden strikte AD-algoritmen (MVP-AD, Phe-AD) de hoogste odds ratio's (OR ≈ 2,40–2,41) voor APOE ε4 op, wat wijst op een hoog aandeel echte gevallen van laat geworden AD. Het toevoegen van CMS-data aan deze strikte algoritmen verlaagde echter de OR's (naar ≈ 1,95–1,97), wat suggereert dat de nieuwe gevallen een lager aandeel echte AD bevatten.
  • Brede ADRD-algoritmen: Bredere algoritmen (MVP-ADRD, Phe-Dementia) vertoonden sterke genetische associaties maar lagere OR's in het algemeen. Interessant genoeg was de prestatie van brede algoritmen met enkel VA-data vergelijkbaar met die van strikte algoritmen met zowel VA- als CMS-data.
  • Medicatiegegevens: Het opnemen van AD-medicatiegegevens vergrootte over het algemeen de steekproefomvang, maar had, net als CMS-data, de neiging de OR's voor strikte AD-algoritmen te verlagen.
  • Leeftijdscriteria: Het toepassen van een leeftijdsgrens (65+) verhoogde uniform de significantie van genetische associaties en OR-schattingen over alle algoritmen heen.

Betekenis en Claims
Het artikel concludeert dat de keuze van algoritme en databron zwaar afhangt van de specifieke doelstellingen van de studie:

• Voor Genetische Ontdekking: Om het aandeel echte gevallen van laat geworden AD te maximaliseren (aangegeven door hogere OR's), adviseren de auteurs om strikte AD-algoritmen te gebruiken die uitsluitend gebaseerd zijn op VA EMD-data, zonder CMS- of medicatiegegevens. Als CMS-data beschikbaar en noodzakelijk is voor de steekproefomvang, suggereren de auteurs het gebruik van strikte AD-algoritmen (MVP-AD, CCW-AD of Phe-AD) aangevuld met CMS- en medicatiegegevens, hoewel dit resulteert in een iets lagere OR dan VA-alleen strikte algoritmen.
• Voor Epidemiologische Studies: Voor studies die prioriteit geven aan sensitiviteit en casusdetectie (bijv. het monitoren van ziektecijfers), adviseren de auteurs bredere ADRD-algoritmen (MVP-ADRD of Phe-Dementia) gebaseerd op VA EMD-data alleen. Zij merken op dat het toevoegen van CMS-data aan brede algoritmen de prestaties niet significant verbetert en het fenotype kan verwateren.
• Algemene Best Practices: De studie benadrukt de noodzaak om meerdere ICD-codes te vereisen om als een geval te kwalificeren, het integreren van medicatiegegevens waar passend is, en het toepassen van leeftijdsgrenzen (≥60 of ≥65) om te focussen op laat geworden ziekte.

De auteurs benadrukken dat ICD-coderingpraktijken variëren per instelling en databron (VA vs. CMS). Daarom verandert de inclusie van CMS-data de samenstelling van de casusgroep fundamenteel, waardoor deze meer "ADRD-achtig" en minder puur "AD-achtig" wordt. Onderzoekers moeten daarom de prestaties van algoritmen zorgvuldig evalueren binnen hun specifieke EMD-systemen, in plaats van een uniforme toepasbaarheid op verschillende gezondheidszorgdatabases aan te nemen.