Understanding Human AI Discrepancy in Breast Cancer TIL Assessment: A Multi-Rater and Perceptual Bias Study

Technische Samenvatting: Begrip van de Mens-AI Discrepantie bij de Beoordeling van TILs bij Borstkanker

Probleemstelling
Tumor-infiltrerende lymfocyten (TILs) bij borstkanker, met name bij de subtypes triple-negatief en HER2-positief, dienen als kritieke prognostische en predictieve biomarkers. Ondanks het bestaan van de richtlijnen van de International TILs Working Group, blijft de beoordeling van TILs onderhevig aan aanzienlijke inter-waarnemer variabiliteit vanwege de inherente subjectiviteit van visuele schatting, heterogeniteit in de distributie van lymfocyten en perceptuele biases. Hoewel Kunstmatige Intelligentie (AI) is voorgesteld om dit proces te standaardiseren, hebben eerdere studies zich grotendeels gericht op de nauwkeurigheid van modellen ten opzichte van referentie-annotaties, in plaats van direct de overeenstemming tussen meerdere menselijke waarnemers en AI-modellen op identieke regio's te vergelijken. Bovendien zijn de specifieke bronnen van discrepantie tussen menselijke visuele schatting en algoritmische kwantificering nog onvoldoende onderzocht.

Methodologie
De studie maakte gebruik van een multi-rater, multi-model ontwerp met 184 gevallen van borstkanker (186 gevallen uit 179 patiënten) en 416 handmatig geannoteerde stroma regio's van interesse (ROIs).

• Menselijke Beoordeling: Drie pathologen (één expert, één senior assistent, één junior assistent) evalueerden onafhankelijk de ROIs om de stromale TIL-percentages en de proporties van het stromale tumoroppervlak te schatten volgens de standaardrichtlijnen.
• AI-Beoordeling: Twee verschillende AI-pipelines werden toegepast op dezelfde ROIs zonder lokale fine-tuning (getraind uitsluitend op publieke datasets):
  1. YOLO Pipeline: Maakte gebruik van U-Net voor stromale segmentatie en YOLO-v8 voor lymfocytdetectie.
  2. HoVer-NeXt Pipeline: Maakte gebruik van U-Net voor stromale segmentatie en HoVer-NeXt (een instance segmentatiemodel) voor lymfocytdetectie.
• Statistische Analyse: Overeenstemming werd gekwantificeerd met behulp van Intraclass Correlation Coefficients (ICC), Concordance Correlation Coefficients (CCC), Spearman- en Pearson-correlaties, en Kappa-statistieken (Cohen's en Fleiss') voor zowel continue als categorische (gedichotomiseerde en meerlagige) scores. Bland–Altman-analyse werd gebruikt om bias te beoordelen.
• Perceptuele Bias Studie: Om menselijke cognitieve beperkingen te isoleren, werd een aanvullend experiment uitgevoerd met behulp van synthetische zwart-wit afbeeldingen die de distributie van lymfocyten nabootsten. Tien pathologen schatten het percentage witte gebieden in deze afbeeldingen tegenover bekende grondwaarheden (ground truths) om de inherente fouten in visuele schatting te meten.

Belangrijkste Resultaten

• Inter-Patholoog Overeenstemming: Er werd een hoge overeenstemming waargenomen tussen de menselijke beoordelaars, met een globale ICC van 0,81 (95% CI 0,76–0,84) en sterke paargewijze correlaties (ρ = 0,82–0,85). Categorische overeenstemming (Fleiss' kappa) was matig (0,50–0,58).
• Mens–AI Overeenstemming: De overeenstemming tussen pathologen en AI-modellen was significant lager. De globale ICC voor alle vijf beoordelaars (3 mensen + 2 AI) was 0,41. Paargewijze ICC's tussen individuele pathologen en AI-modellen varieerden van 0,10 tot 0,21.
• Modelprestaties: Het HoVer-NeXt model vertoonde een betere afstemming met pathologen (ICC ~0,21) vergeleken met het YOLO-model (ICC ~0,10–0,16). Echter, beide AI-modellen vertoonden een systematische negatieve bias, waarbij ze de TIL-scores consistent met ongeveer 15% onderschatten ten opzichte van pathologen, waarbij de discrepantie groter werd bij hogere TIL-scores.
• Correlatie vs. Overeenstemming: Hoewel de absolute overeenstemming slecht was, waren de Spearman-correlaties tussen pathologen en AI matig tot goed (ρ = 0,48–0,81), wat aangeeft dat AI-modellen gevallen relatief goed kunnen rangschikken maar er niet in slagen de absolute scorewaarden te matchen.
• Bevindingen Perceptuele Bias: De studie met synthetische afbeeldingen onthulde dat de schattingen van pathologen van de percentages witte gebieden een lage-tot-matige overeenstemming hadden met de grondwaarheid (ICC 0,16–0,57). Dit suggereert dat de menselijke visuele schatting van verspreide objecten inherent foutgevoelig is, wat significant bijdraagt aan de geobserveerde mens-AI discrepantie.

Betekenis en Claims
Het artikel claimt dat de discrepantie tussen menselijke en AI TIL-scoring niet uitsluitend toe te schrijven is aan algoritmische beperkingen, maar ook wordt gedreven door intrinsieke perceptuele en cognitieve biases in de menselijke visuele schatting. De studie demonstreert dat hoewel ervaren pathologen een hoge interne consistentie bereiken, hun visuele schatting van verspreide cellulaire patronen onderhevig is aan fouten, een beperking die pixelgebaseerde AI-modellen omzeilen.

De auteurs concluderen dat huidige AI-modellen, zelfs wanneer ze technisch accuraat zijn in segmentatie en detectie, nog niet de absolute overeenstemming bereiken die vereist is voor zelfstandige klinische implementatie. Zij benadrukken dat toekomstige AI-integratie zich moet richten op:

1. Standardisatie: Trainen op grotere, diversere datasets om generaliseerbaarheid te verbeteren.
2. Perceptuele Kalibratie: Strategieën ontwikkelen om AI-outputs af te stemmen op menselijke visuele tendensen, in plaats van menselijke scores als de enige grondwaarheid te behandelen.
3. Beslissingsondersteuning: AI positioneren als een hulpmiddel om de waarnemersvariabiliteit te verminderen en standaardisatie te verbeteren, in plaats van als een directe vervanging voor de scoring door de patholoog in de huidige vorm.

De studie onderstreept de noodzaak van een realistisch begrip van de mens-AI dynamiek, en suggereert dat de "gouden standaard" in TIL-beoordeling opnieuw geëvalueerd moet worden in het licht van de cognitieve beperkingen van menselijke waarnemers.