CaresAI at SMM4H-HeaRD 2026: Predicting TNM Staging

Stel je voor dat je een detective bent die een complexe medische puzzel probeert op te lossen. De aanwijzingen zijn verborgen in lange, rommelige, handgeschreven rapporten van pathologen (artsen die weefselmonsters onderzoeken). Deze rapporten beschrijven de kanker van een patiënt, maar ze zeggen de oplossing niet altijd duidelijk. Jouw taak is om drie specifieke dingen te achterhalen over de kanker:

1. T (Tumor): Hoe groot is de hoofdbult en hoe diep is deze in het omliggende weefsel doorgedrongen?
2. N (Node/Lymfeklier): Is de kanker uitgezaaid naar de nabijgelegen lymfeklieren (de beveiligingscontroles van het lichaam)?
3. M (Metastase/Uitzaaiing): Is de kanker volledig naar andere delen van het lichaam ontsnapt?

Dit wordt TNM-stadiëring genoemd, en dit is de "scorekaart" die artsen gebruiken om te beslissen hoe ze een patiënt behandelen. Het team van CaresAI deed mee aan een wedstrijd (SMM4H-HeaRD 2026) om een computerprogramma te bouwen dat deze rommelige rapporten kan lezen en automatisch de T-, N- en M-scores kan raden.

Hier is hoe ze het deden, eenvoudig uitgelegd:

1. De Uitdaging: De "Kleine Lettertjes" Lezen

De rapporten die ze gebruikten, kwamen uit een enorme database genaamd TCGA. Zie deze rapporten als duizenden verschillende romans geschreven door verschillende auteurs. Sommige zijn kort, sommige zijn enorm groot, sommige gebruiken chique medisch jargon en sommige zijn vaag.

• Het Probleem: De data was "ongebalanceerd". Stel je een zak knikkers voor waarin 93% wit is (geen kankeruitzaaiing) en slechts 7% zwart (wel kankeruitzaaiing). Als je telkens "wit" zou gokken, zou je meestal gelijk hebben, maar je zou de gevaarlijke zwarte knikkers missen. De computer moest leren om de zeldzame, gevaarlijke aanwijzingen op te sporen.

2. De Tools: Twee Verschillende Manieren om te "Lezen"

Het team probeerde twee hoofdmanieren om de computer te leren de tekst te begrijpen:

• Methode A: De "Trefwoordenteller" (TF-IDF & LightGBM)
  Denk hierbij aan een bibliothecaris die telt hoe vaak specifieke woorden voorkomen. Als een rapport vaak termen als "metastase" of "verspreiding" noemt, markeert de computer dit. Ze gebruikten een slim algoritme genaamd LightGBM (wat een soort super-snelle, georganiseerde beslisboom is) om naar deze woordtellingen te kijken.

  • Resultaat: Dit was de kampioen. Het was erg goed in het opsporen van patronen in de tekst, bijna als een ervaren detective die precies weet naar welke woorden hij moet zoeken.

• Methode B: De "Diepe Denker" (BERT-modellen & Neurale Netwerken)
  Deze aanpak maakte gebruik van geavanceerde AI-modellen (ClinicalBERT, BioBERT) die al miljoenen medische boeken hebben gelezen. In plaats van alleen woorden te tellen, proberen deze modellen de betekenis en context van de zinnen te begrijpen. Deze "begrip"-informatie voedden ze vervolgens aan een Wide Residual Network (WRN), een type hersenachtig computernetwerk dat ontworpen is om complexe patronen te herkennen.

  • Resultaat: Dit was wat minder consistent. Hoewel het de "vibe" van de tekst goed begreep, raakte het soms in de war door de specifieke details in vergelijking met de trefwoordenteller.

3. De Resultaten: Hoe Goed Ging het?

Het team testte hun "detectives" op twee verschillende sets nieuwe, ongeziene rapporten (Testset 1 en Testset 2).

• Het Goede Nieuws: Op de eerste testset was de computer ongelooflijk nauwkeurig. Hij haalde een score van 0,978 (van de 1,0) voor de tumorfase en 0,957 voor de klierfase. Het was als een detective die bijna elke zaak perfect oploste.
• Het Slechte Nieuws: Toen ze overgingen naar de tweede testset, daalden de scores (naar ongeveer 0,80).
  • Waarom? Het paper legt uit dat de computer "verwend" werd door de eerste set gegevens. De computer leerde de specifieke patronen van de trainingsdata té goed (een probleem dat overfitting wordt genoemd). Wanneer de computer een rapport zag dat iets anders of langer was dan gebruikelijk, raakte hij in de war. Ook omdat de "gevaarlijke" gevallen (zoals kankeruitzaaiing) zo zeldzaam waren in de trainingsdata, had de computer moeite om ze te herkennen wanneer ze in nieuwe, lastige rapporten verschenen.

4. De Beperkingen: Waarom het Nog Niet Klaar is voor het Ziekenhuis

De auteurs zijn heel eerlijk over wat hun tool niet kan:

• Het "Paginalimiet"-probleem: De AI-modellen die ze gebruikten, kunnen slechts ongeveer 512 woorden tegelijk lezen. Veel van deze medische rapporten zijn veel langer. Het is alsoal een hele roman proberen te lezen, maar je mag alleen de eerste paar pagina's lezen; de computer mist het einde en belangrijke aanwijzingen.
• Het "Zeldzame Gebeurtenis"-probleem: Omdat de gevallen van "kankeruitzaaiing" zo zeldzaam waren in de trainingsdata, is de computer nog steeds een beetje bevooroordeeld. Het is veiliger om "geen uitzaaiing" te zeggen dan om "uitzaaiing" te gokken, wat betekent dat de computer echte gevallen kan missen.
• Geen Dokter: In het paper staat expliciet vermeld dat hoewel dit een geweldige "baseline" (startpunt) is, het nog niet betrouwbaar genoeg is om in een echt ziekenhuis te worden gebruikt voor beslissingen over leven of dood. Het heeft meer training nodig en een betere omgang met lange documenten.

De Kernboodschap

Het team van CaresAI heeft een computerprogramma gebouwd dat kankerrapporten kan lezen en de fase van de ziekte kan raden met indrukwekkende nauwkeurigheid op bekende data. Ze ontdekten dat een eenvoudige methode van "trefwoorden tellen" (LightGBM) eigenlijk beter werkte dan de fancy "diepe denkende" AI voor deze specifieke taak.

Echter, net zoals een student die een oefentoets met vlag en wimpel haalt, maar worstelt bij het echte examen omdat de vragen net even anders zijn, heeft deze AI meer werk nodig om de rommelige, lange en zeldzame gevallen uit de echte wereld aan te kunnen voordat hij artsen kan vertrouwen. Voor nu is het een krachtig hulpmiddel voor onderzoek en een uitstekend startpunt voor toekomstige verbeteringen.