H2: A Dual Hybrid Semantic Data Lake Architecture for Medical Data Harmonization with Human-In-the-Loop verified, LLM Driven Metadata Annotation System

Stel je voor dat je een enorme, chaotische bibliotheek binnenloopt waar boeken op de grond zijn gegooid, in stapels zijn gestapeld, of zelfs begraven liggen onder bergen losse papieren. Sommige boeken zijn geschreven in perfect Engels, andere zijn geschreven in code, en sommige zijn gewoon afbeeldingen van kaarten. Dit is wat er gebeurt wanneer ziekenhuizen en onderzoekscentra medische gegevens verzamelen: ze hebben afbeeldingen, tekstnotities en cijfers, maar ze slaan deze vaak op in een gigantisch, ongeorganiseerd "data lake". Het probleem is dat hoewel een data lake geweldig is voor het vasthouden van alles, het verschrikkelijk is voor het vinden van iets. Als je de boeken niet kunt organiseren, kun je geen verhaal schrijven, en als je geen verhaal kunt schrijven, kun je de informatie niet gebruiken om ziekten te genezen of slimme computers te trainen.

Om deze puinhoop op te lossen, gebruiken wetenschappers iets dat een "Knowledge Graph" wordt genoemd. Denk aan dit als een gigantisch, magisch web dat stippen verbindt. In plaats van alleen feiten op te sommen, trekt het lijnen tussen hen, zoals het verbinden van "Patiënt A" met "MRI-scan B" en vervolgens met "Kankertype C". Dit helpt computers te begrijpen hoe dingen met elkaar verband houden. Maar het bouwen van dit web vereist meestal een team van experts die elke enkele file handmatig moeten lezen en de lijnen moeten trekken, wat traag en duur is. Recentelijk hebben we ook superintelligente computerbreinen uitgevonden genaamd "Large Language Models" (LLM's). Dit zijn als AI-experts die bijna alles op het internet hebben gelezen en kunnen raden wat dingen betekenen. De grote vraag die wetenschappers zich stellen is: Kunnen we deze AI-breinen gebruiken om onze rommelige medische data automatisch te organiseren en de Knowledge Graph voor ons te bouwen, zonder fouten te maken?

Dit artikel, getiteld "H2: A Dual Hybrid Semantic Data Lake Architecture", stelt een slimme oplossing voor aan dat exacte probleem. De auteurs, een team uit Griekenland, hebben een systeem gebouwd dat fungeert als een supergeorganiseerde bibliothecaris die een AI-assistent gebruikt om de bibliotheek te sorteren. Ze noemen hun systeem "H2", en het gebruikt een "Dual Hybrid" benadering. Stel je een bibliotheek voor die twee manieren heeft om boeken te organiseren: een strikte, rigide archiefkast voor de basisinformatie (zoals de naam van de auteur en de datum) en een flexibel, magisch web voor de complexe verbindingen. Het rigide deel zorgt ervoor dat er niets verloren gaat, terwijl het flexibele deel de AI in staat stelt om nieuwe verbindingen tussen de data te leggen.

De kern van hun uitvinding is een "Human-in-the-Loop" (HIL) systeem. Zo werkt het: Eerst neemt het systeem een rommelige medische dataset en gebruikt het strikte regels om een basisgeraamte van informatie te creëren. Vervolgens vraagt het een AI (de LLM) om naar de data te kijken en te raden voor wat voor soort medische taken deze geschikt is — bijvoorbeeld: "deze dataset is perfect voor het trainen van een computer om tumoren te herkennen." Om er zeker van te zijn dat de AI niet zomaar dingen verzint (een probleem dat "hallucinatie" wordt genoemd), fungeert een tweede AI als een strikte supervisor die het werk van de eerste AI controleert. Als de supervisor het niet zeker weet, kan een mens ingrijpen om het dubbel te controleren. Dit zorgt ervoor dat het uiteindelijke web van verbindingen zowel slim als accuraat is.

Om te testen of dit idee daadwerkelijk werkt, hebben de onderzoekers niet alleen gegokt; ze hebben een massaal experiment uitgevoerd. Ze namen 500 echte medische datasets en 140 AI-modellen van een publieke website genaamd Kaggle en probeerden verschillende AI-breinen te gebruiken om deze te labelen. Ze testten zeven verschillende AI-modellen, variërend van kleine, snelle tot enorme, krachtige modellen. Ze maten hoe goed elk AI-model in staat was om correct te identificeren waar de data nuttig voor was (een score genaamd "Recall") en hoe snel het dit kon doen.

De resultaten waren fascinerend. De auteurs ontdekten dat je niet altijd de grootste, duurste AI nodig hebt om de klus te klaren. Sterker nog, voor de meeste van hun tests presteerde een kleiner, nieuwer model genaamd Gemma 3:4B het beste. Het was snel, gebruikte minder computerbronnen en was zeer accuraat bij het labelen van de data. Het artikel merkt echter op dat voor een specifiek type taak die te maken heeft met complexe technologie-stacks, een iets groter model genaamd Llama 3.1:8B het eigenlijk beter deed. Dit suggereert dat de "beste" AI afhangt van wat je de AI vraagt te doen.

Het artikel concludeert dat dit hybride systeem een sterke manier is om een rommelige "data swamp" te veranderen in een schone, bruikbare "data lake". Door strikte regels te combineren met slimme AI en een veiligheidscontrole, hebben ze een systeem gecreëerd dat medische data automatisch kan organiseren. Hoewel de auteurs ook vertrouwen hebben in hun resultaten op basis van deze simulaties, wijzen ze er ook op dat dit een startpunt is. Ze suggereren dat dit systeem in de toekomst automatisch de bibliotheek up-to-date kan houden, misschien zelfs door grotere AI-modellen te gebruiken voor de echt moeilijke taken. Voor nu hebben ze laten zien dat met de juiste mix van regels en AI, we eindelijk orde kunnen scheppen in de bergen medische data die we hebben verzameld.