The FAIRSCAPE AI-readiness Framework for Biomedical Research

Dit artikel introduceert FAIRSCAPE, een digitaal framework dat biomedische datasets voorbereidt op AI-toepassingen door middel van rijke metadata, diepe provenance-graaf en geautomatiseerde evaluatie om ethische, uitlegbare en FAIR-compliant modellen mogelijk te maken.

De kern

🍳 De Grote Keuken van de Wetenschap: Waarom FAIRSCAPE nodig is

Stel je voor dat wetenschappers een gigantische, supermoderne keuken hebben waar ze enorme hoeveelheden ingrediënten (data) verzamelen om nieuwe recepten (kunstmatige intelligentie of AI) te bedenken.

Het probleem? Vaak krijgen de chefs (de AI) alleen een zak met onbekende poeders en vloeistoffen. Ze weten niet:

• Waar de ingrediënten vandaan komen.
• Of ze vers zijn of bedorven.
• Wie ze heeft gekocht.
• Of er misschien gif in zit.

Als de AI op basis van deze onduidelijke ingrediënten een recept bedenkt, kan het resultaat catastrofaal zijn. De AI zou kunnen denken dat "rode suiker" goed is, terwijl het eigenlijk "rode gif" was. In de medische wereld kan zo'n fout leiden tot gevaarlijke diagnoses of verkeerde behandelingen.

FAIRSCAPE is de oplossing. Het is een slimme, digitale verpakkingsmachine en kwaliteitscontroleur die ervoor zorgt dat elke zak ingrediënten perfect is verpakt, gelabeld en gecontroleerd voordat de AI er zelfs maar naar kijkt.

---

📦 Wat doet FAIRSCAPE precies? (De Analogie)

In plaats van losse bestanden te sturen, verpakt FAIRSCAPE de data in een "RO-Crate" (een slimme, digitale kist).

1. De Kist met een Gedetailleerd Menu (Datasheet):
   Stel je voor dat je een pakketje bestelt. In plaats van alleen de producten te zien, krijg je een uitgebreid menu. Dit menu vertelt je precies:

   • Wat is erin? (Bijvoorbeeld: foto's van cellen, patiëntgegevens).
   • Wie heeft het gemaakt? (De wetenschappers, de apparatuur).
   • Hoe is het gemaakt? (Welke stappen zijn er gezet om de data te verzamelen).
   • Waarom is het veilig? (Ethische regels, privacy).
     Dit noemen ze een "Datasheet". Het is als een eerlijk etiket op een voedselproduct, maar dan voor complexe wetenschappelijke data.

2. De Onzichtbare Spoorlijn (Provenance):
   FAIRSCAPE tekent een onzichtbare spoorlijn van elke druppel data. Het weet: "Deze cel is gemeten met machine X op dinsdag, verwerkt door software Y, en gecontroleerd door onderzoeker Z."
   Als er later iets misgaat met een AI-resultaat, kunnen we teruglopen langs deze spoorlijn om precies te zien waar het fout ging. Dit noemen ze provenance (herkomst). Het maakt de "zwarte doos" van AI transparant.

3. De Slimme Controleur (AI-Readiness):
   Voordat de data de keuken verlaat, loopt FAIRSCAPE een checklist af. Het heeft 28 specifieke regels (de "AI-readiness criteria").

   • Is de data vindbaar? (Ja, het heeft een unieke barcode).
   • Is het toegankelijk? (Ja, maar alleen voor wie mag).
   • Is het ethisch? (Ja, privacy is gewaarborgd).
     Als de data niet aan alle regels voldoet, geeft het systeem een waarschuwing. Het is alsof een keurmeester zegt: "Nog niet klaar, je mist een etiket!"

---

🛠️ Hoe werkt het in de praktijk?

Het team heeft een systeem gebouwd dat werkt als een digitale assemblagelijn:

• De Werkers (De Gebruikers): Wetenschappers gebruiken een simpele app (op hun computer of via een website) om hun data in te leveren. Ze hoeven geen programmeurs te zijn.
• De Robot (Het Systeem): Het systeem pakt de data, plakt er automatisch de juiste labels op, controleert of alles klopt, en verpakt het in die slimme "RO-Crate".
• De Magazijnbeheerder (De Server): De verpakte kisten worden opgeslagen in een veilige, centrale database (zoals een digitaal archief bij de universiteit), waar iedereen ze kan vinden en gebruiken, zolang ze de regels volgen.

🌟 Waarom is dit zo belangrijk?

Vroeger was het alsof wetenschappers data gaven met de tekst: "Geloof me, dit werkt."
Met FAIRSCAPE zeggen ze: "Kijk hier, dit is precies wat we hebben gedaan, dit is waar het vandaan komt, en dit is waarom we erop kunnen vertrouwen."

Dit is cruciaal voor AI in de geneeskunde. Als een AI een ziekte moet voorspellen, moeten artsen en patiënten kunnen vertrouwen op de data die die AI heeft geleerd. FAIRSCAPE zorgt voor dat vertrouwen door alles eerlijk, transparant en controleerbaar te maken.

Samenvattend in één zin:

FAIRSCAPE is de "etiketteermachine en kwaliteitscontroleur" die ervoor zorgt dat medische data zo veilig en duidelijk verpakt is, dat kunstmatige intelligentie erop kan vertrouwen zonder gevaarlijke fouten te maken.

Technische samenvatting

Titel: Het FAIRSCAPE AI-klaarheidskader voor Biomedisch Onderzoek

1. Het Probleem

Biomedische datasets die bedoeld zijn voor gebruik in kunstmatige intelligentie (AI) en machine learning (ML) applicaties, lijden vaak onder een gebrek aan transparantie en diepgaande documentatie. Hoewel de FAIR-principes (Findable, Accessible, Interoperable, Reusable) een basis leggen, zijn deze onvoldoende gespecificeerd voor de complexe eisen van AI-toepassingen.

De kernproblemen zijn:

• Ontbrekende Pre-model Verklaarbaarheid: Bestaande frameworks focussen vaak op de modeltraining of post-hoc uitleg, maar negeren de "pre-model" fase. Zonder volledige transparantie over de data-preparatie, transformaties en de oorsprong van de data (provenance), kunnen AI-modellen gebaseerd zijn op epistemische fouten (bijv. "Clever Hans"-effecten).
• Onvoldoende Metadata: Standaarden zoals FAIR vereisen metadata, maar specificeren niet welke attributen nodig zijn voor ethisch en wetenschappelijk verantwoorde AI. Bestaande tools (zoals Croissant of CEDAR) zijn vaak te generiek, ontberen diepe provenance-graafjes, of behandelen data ten onrechte als "ground truth" zonder historische context.
• Ethische en Epistemische Risico's: Het ontbreken van gedetailleerde documentatie over data-extractie, instrumentatie en menselijke tussenkomst leidt tot risico's op ethische schendingen en onbetrouwbare wetenschappelijke conclusies.

2. Methodologie

FAIRSCAPE is een digitaal gemeenschapsomgeving (digital commons) ontwikkeld met agile methoden in nauwe samenwerking met de NIH Bridge2AI Standards Working Group en data-productieteams. Het is een containerized client-server framework (Python, JavaScript, React) dat de volgende technische componenten integreert:

• RO-Crate Packaging: FAIRSCAPE gebruikt RO-Crate (Research Object Crate) versie 1.2 als standaard voor het verpakken van data en metadata. Dit zorgt voor een portabele, zelfstandige eenheid die bestanden, schema's en metadata koppelt.
• Semantische Verrijking:
  • W3C PROV & EVI: Voor diepe provenance-graafjes. FAIRSCAPE gebruikt het EVI-profiel (Evidence Graph Ontology) om PROV-entiteiten (Entiteiten, Activiteiten, Agenten) te specialiseren voor biomedisch onderzoek (bijv. evi:Dataset, evi:Computation, evi:Instrument).
  • LinkML: Voor semantische verrijking en het genereren van schema's.
  • Croissant & Croissant RAI: Geïntegreerd voor interoperabiliteit met ML-ecosystemen, maar aangepast voor biomedische nuances.
• Client-Server Architectuur:
  • Client-side: Data wordt verpakt en gevalideerd op de client (via CLI, Electron GUI, of React GUI) voordat deze naar de server wordt gestuurd. Dit voorkomt koppeling aan specifieke servers en zorgt voor duurzaamheid.
  • Server-side: Een cloud-ready Python-applicatie (FastAPI) die metadata opslaat in MongoDB, data in MinIO (S3-compatibel), en gebruik maakt van Redis voor asynchrone verwerking.
• AI-klaarheidscriteria: Het framework operationaliseert 28 specifieke AI-klaarheidscriteria (verdeeld over 7 dimensies: FAIRness, Provenance, Karakterisering, Pre-model Verklaarbaarheid, Ethiek, Duurzaamheid, en Berekenbaarheid).
• Human-in-the-Loop AI: Het systeem ondersteunt menselijke validatie en gebruikt LLM's (Large Language Models) voor het genereren van voorlopige metadata, die altijd door een menselijke curator moeten worden goedgekeurd.

3. Belangrijkste Bijdragen

• Het FAIRSCAPE Framework: Een volledig werkend systeem dat data, software, en metadata in één verpakking (RO-Crate) bundelt met diepe, oplosbare provenance-informatie.
• Automatische Evaluatie: Een geautomatiseerde evaluator die elke dataset beoordeelt tegen de 28 AI-klaarheidscriteria en een histogram genereert om tekortkomingen direct zichtbaar te maken.
• Uitgebreide Datasheets: Generatie van mens- en machine-leesbare "Datasheets" (HTML) die het concept van Gebru et al. (2021) uitbreiden met specifieke biomedische vereisten, inclusief ethische, schema-, statistische en semantische karakterisering.
• Integratie met Bestaande Infrastructuur: Naadloze integratie met Harvard Dataverse (en andere GREI-repositories) voor langdurige archivering, en ondersteuning voor diverse data-modaliteiten (imaging, genomics, klinische data).
• Open Source Tooling: Beschikbaarstelling van CLI-tools, GUI's en server-componenten onder de Apache 2.0 licentie.

4. Resultaten

Het framework is succesvol toegepast op grote, multimodale datasets binnen het NIH Bridge2AI-programma, specifiek voor het "Cell Maps for Artificial Intelligence" (CM4AI) project.

• Implementatie: Het systeem heeft meerdere data-releases beheerd, waarbij de AI-klaarheid progressief is verhoogd tot volledige naleving van de criteria.
• Validatie: De framework is gevalideerd door het beheer van complexe datasets uit vier verschillende laboratoria over drie campussen.
• Functionaliteit: Het systeem slaagt erin om:
  • Diepe provenance-graafjes te visualiseren (via React-Flow).
  • Data te valideren tegen JSON-schema's (Frictionless Data).
  • Cryptografische handtekeningen toe te voegen aan metadata voor integriteit.
  • Data direct naar repositories zoals Dataverse te pushen met volledige metadata-context.

5. Betekenis en Impact

FAIRSCAPE vult een kritieke epistemische kloof in het biomedische AI-landschap:

• Van "Ground Truth" naar Verklaarbare Data: Het challengeert de aanname dat data "gegeven" is. Door de volledige levenscyclus van data (van instrument tot model) te documenteren, biedt het een basis voor end-to-end AI-verklaring.
• Virtueel Getuigen: Het herintroduceert het concept van "virtual witnessing" (Shapin) in de digitale era, waarbij gedetailleerde methodologische verslagen onafhankelijke scrutinie mogelijk maken, in plaats van blindelings op autoriteiten te vertrouwen.
• Standaardisatie: Het biedt een gemeenschappelijk patroon voor ethische, FAIR en epistemisch robuuste datasets, wat essentieel is voor de betrouwbaarheid en reproduceerbaarheid van AI in de kliniek en het laboratorium.
• Toekomstgericht: Het legt de basis voor de integratie van AI-klaarheid in algemene repository-ecosystemen (GREI) en stelt de gemeenschap in staat om complexe, multimodale datasets te delen zonder in te leveren op transparantie of privacy.

Kortom, FAIRSCAPE transformeert data-preparatie van een vaak onzichtbare "black box" naar een transparant, verifieerbaar en ethisch onderbouwd proces, wat noodzakelijk is voor het vertrouwen in biomedische AI-toepassingen.