💻 computer science

Label tree semantic losses for rich multi-class medical image segmentation

Dit artikel stelt twee nieuwe op bomen gebaseerde semantische verliesfuncties voor die hiërarchische labelstructuren benutten om multi-class medische beeldsegmentatie te verbeteren, waarbij consistente prestatiewinsten ten opzichte van basismodellen worden aangetoond in zowel volledig gesuperviseerde hele-hersenparcellatie als neurochirurgische hyperspectrale beeldvormingstaken met schaarse annotaties.

Oorspronkelijke auteurs: Junwen Wang, Oscar MacCormac, William Rochford, Aaron Kujawa, Jonathan Shapey, Tom Vercauteren

Gepubliceerd 2026-05-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Junwen Wang, Oscar MacCormac, William Rochford, Aaron Kujawa, Jonathan Shapey, Tom Vercauteren

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een computer te leren om elk enkel onderdeel van een menselijk brein of een chirurgische scène te herkennen. In het verleden waren computers als strenge leraren die elke fout op dezelfde manier behandelden. Als de computer een "linker nier" verwarde met een "rechter nier", kreeg het dezelfde "onvoldoende" als wanneer het een "nier" verwarde met een "broodrooster".

Maar in de geneeskunde zijn niet alle fouten gelijk. Het verwarren van twee vergelijkbare hersengebieden is een kleine fout; het verwarren van een hersengebied met een volledig ander orgaan is een enorme fout.

Dit artikel introduceert een nieuwe manier om computers te leren die relaties begrijpt. De auteurs bouwden een "stamboom" voor medische labels, waarbij vergelijkbare dingen bij elkaar worden gegroepeerd, en ze creëerden twee speciale "beoordelingssystemen" (verliesfuncties) die deze boom gebruiken om slimmere feedback te geven.

Hier is een uiteenzetting van hun ideeën met behulp van eenvoudige analogieën:

1. Het Probleem: Het "Eén-Maat-Voor-Alles" Beoordelingssysteem

Momenteel wordt de meeste medische AI getraind met een standaard beoordelingssysteem. Als de AI "Klasse A" raadt terwijl het antwoord "Klasse B" is, krijgt het een straf. Als het "Klasse A" raadt terwijl het antwoord "Klasse Z" is (wat totaal anders is), krijgt het exact dezelfde straf.

Dit is als een leraar die een student dezelfde "onvoldoende" geeft voor het verkeerd spellen van "kat" als "hond" (een kleine fout) en voor het verkeerd spellen van "auto" als "vliegtuig" (een enorme fout). Naarmate medische beelden gedetailleerder worden met honderden kleine, vergelijkbare klassen, wordt dit oude systeem inefficiënt omdat het niet begrijpt dat sommige fouten "dichter" bij de waarheid liggen dan andere.

2. De Oplossing: De "Stamboom" van Labels

De auteurs hebben alle medische labels (zoals verschillende delen van het brein of weefselsoorten) georganiseerd in een hiërarchie, of een stamboom.

De Wortel: De top van de boom is een brede categorie (bijv. "Brein").
De Takken: Deze splitsen zich in grote groepen (bijv. "Linker Hemisfeer", "Rechter Hemisfeer").
De Bladeren: Dit zijn de specifieke, kleine details (bijv. "Linker Temporale Kwab").

Ze creëerden twee nieuwe manieren om de AI te beoordelen op basis van deze boom:

A. De "Reiskosten"-Beoordelaar (Wasserstein Afstand Verlies)

Stel je voor dat de labelboom een kaart van een stad is.

Als de AI een fout maakt, berekent de computer de afstand die het moet afleggen op de kaart om van het verkeerde antwoord naar het juiste antwoord te komen.
Als de AI twee buurten verward (zoals "Linker Temporale Kwab" en "Rechter Temporale Kwab"), zijn de "reiskosten" kort, dus is de straf klein.
Als de AI een buurt verward met een volledig andere stad (zoals "Brein" en "Lever"), zijn de "reiskosten" enorm, dus is de straf zwaar.
Het Resultaat: De AI leert dat het oké is om kleine, "dichtbijzijnde" fouten te maken, maar het moet grote, "ver weg"-fouten vermijden.

B. De "Familieverantwoordelijkheid"-Beoordelaar (Boom-Gewogen Cross-Entropy)

Stel je voor dat de AI een student is die een toets maakt.

In het oude systeem wordt de student alleen beoordeeld op het eindantwoord (het specifieke blad van de boom).
In dit nieuwe systeem wordt de student ook beoordeeld op de stappen die ze hebben genomen om daar te komen. Hebben ze de "Brein"-tak correct geïdentificeerd? Hebben ze de "Linker Hemisfeer"-tak correct geïdentificeerd?
Zelfs als de student het kleine blad verkeerd heeft, krijgt hij gedeeltelijke punten als hij de grote takken goed had. Dit moedigt de AI aan om de "grote lijn" structuur van de anatomie te leren, wat helpt bij het maken van betere gokken over de kleine details.

3. Omgaan met "Ontbrekende" Informatie (Sparce Annotaties)

In de echte wereld hebben artsen geen tijd om elk enkel pixel in een medisch beeld te labelen. Ze labelen vaak alleen de belangrijke delen en laten de rest leeg.

De Oude Valstrik: Als een pixel niet is gelabeld, gaan oude AI-systemen ervan uit dat het "achtergrond" is (niets). Dit is gevaarlijk omdat die lege ruimte eigenlijk een tumor zou kunnen zijn die de arts gewoon vergeten is te markeren.
De Nieuwe Truc: De auteurs hebben hun "Stamboom"-beoordeling gecombineerd met een "Detective"-systeem. De AI krijgt te horen: "Als je niet 100% zeker bent dat een pixel tot een van de gelabelde families behoort, markeer het dan als 'Onbekend' (Out-of-Distribution) in plaats van te gokken dat het achtergrond is." Dit voorkomt dat de AI zelfverzekerd ongemarkeerde gebieden verkeerd labelt.

4. Wat Ze Vonden (De Resultaten)

De auteurs testten deze nieuwe beoordelingssystemen op twee zeer verschillende taken:

Brein MRI (Hele Brein Parcellatie): Het opsplitsen van een 3D-breinscan in 100+ kleine gebieden.
- Resultaat: De "Reiskosten"-beoordelaar (Wasserstein) was de winnaar. Het verbeterde significant het vermogen van de AI om kleine, moeilijk te zien hersenstructuren correct te identificeren in vergelijking met standaardmethoden.
Chirurgische Camera (Hyperspectrale Imaging): Het identificeren van weefsels tijdens een breinoperatie met een speciale camera die kleuren ziet die voor het menselijk oog onzichtbaar zijn.
- Resultaat: De "Familieverantwoordelijkheid"-beoordelaar (Boom-Gewogen) werkte hier het beste, vooral wanneer de trainingsdata spaarzaam (onvolledig) was. Het hielp de AI om "normaal" en "abnormaal" weefsel nauwkeuriger te onderscheiden.

Samenvatting

Het artikel betoogt dat we door AI te leren de relaties tussen medische labels te begrijpen (met behulp van een stamboomstructuur) in plaats van elke label als een geïsoleerd eiland te behandelen, slimmere, robuustere medische beeldvormingstools kunnen bouwen. Deze tools maken minder catastrofale fouten en zijn beter in het omgaan met de rommelige, onvolledige data waarmee echte artsen werken.

Technische Samenvatting: Semantische Verliesen van Labelbomen voor Rijke Multi-Class Segmentatie van Medische Beelden

Probleemstelling
Rijke en nauwkeurige segmentatie van medische beelden is cruciaal voor pre-operatieve planning, intra-operatieve navigatie en post-operatieve beoordeling. Echter, standaard leermethoden voor segmentatietaken straffen doorgaans alle classificatiefouten gelijkmatig af, waardoor ze geen gebruik maken van de semantische relaties binnen de labelruimte. Deze beperking wordt steeds problematischer naarmate de kardinaliteit van labels groeit om subtiel verschillende klassen te omvatten (bijvoorbeeld specifieke hersensubregio's of weefseltypen). Bovendien zijn bij chirurgische beeldvorming en grootschalige annotatie-inspanningen de data vaak spaarzaam geannoteerd met alleen "positieve" labels, waarbij ongeannoteerde gebieden niet als achtergrond kunnen worden beschouwd. Bestaande benaderingen missen vaak mechanismen om labelhiërarchieën te benutten of de ambiguïteit van ongeannoteerde pixels op een semantisch zinvolle manier te behandelen.

Methodologie
De auteurs stellen een raamwerk voor dat een hiërarchische organisatie van labels (een labelboom) integreert in het trainingsproces via twee complementaire semantische verliesfuncties. Deze verliesfuncties zijn ontworpen om te werken met zowel dichte supervisie (bijvoorbeeld hele-hersenen-parcellatie) als spaarzame, achtergronddata-vrije annotaties (bijvoorbeeld neurochirurgische hyperspectrale beeldvorming).

Op Wasserstein-afstand gebaseerde segmentatieverlies ( $\mathcal{L}_{wass+seg}$ ):
Dit verlies maakt gebruik van de Wasserstein-afstand (optimale transport) om de kosten van het transformeren van voorspelde waarschijnlijkheidsverdelingen naar grondwaarheidsverdelingen te meten. De "grondafstand"-matrix ( $M$ ) is afgeleid van de labelboom, waarbij de afstand tussen twee bladknopen wordt gedefinieerd door de padlengte tussen hen in de hiërarchie. Deze formulatie straalt fouten af op basis van semantische ernst; het verkeerd classificeren van een klasse als een semantisch verre broer of zus levert een hogere straf op dan het verkeerd classificeren als een naaste verwant. Het uiteindelijke verlies is een samenstelling van de Wasserstein-afstand en een generieke segmentatieverliesfunctie (bijvoorbeeld Dice of Cross-Entropy).
Boom-gewogen semantische Cross-Entropy-verlies ( $\mathcal{L}_{twce+seg}$ ):
Deze benadering breidt standaard Cross-Entropy (CE) uit door waarschijnlijkheden te aggregeren over alle knopen in de labelboom, niet alleen de bladknopen. Met behulp van een benvolgens-matrix om ouder-kind-relaties weer te geven, berekent het model geaggregeerde waarschijnlijkheden voor interne knopen. Het verlies wordt vervolgens berekend als een gewogen som van CE over alle knopen, waarbij gewichten worden toegewezen op basis van de randstructuur. Dit stelt het model in staat supervisiesignalen te ontvangen op meerdere niveaus van abstractie (grof en fijn).
Integratie met Spaarzame Alleen-Positieve Lering:
De voorgestelde verliesfuncties zijn geïntegreerd in een raamwerk voor training met spaarzame, alleen-positieve annotaties (gebaseerd op Wang et al., 2026). In deze setting wordt het model uitsluitend getraind op geannoteerde positieve klassen. Tijdens inferentie markeert een Out-of-Distribution (OOD)-detectiemechanisme pixels met een lage maximale voorspelde waarschijnlijkheid als achtergrond. De auteurs breiden dit uit door waarschijnlijkheden te aggregeren op een gekozen hiërarchieniveau (bijvoorbeeld top-niveau knopen) om de OOD-drempel te bepalen, wat zorgt voor een robuustere achtergronddetectie zonder de prestaties op positieve klassen te verslechteren.

Belangrijkste Bijdragen

Nieuwe Verliesfuncties: Introductie van twee boomgebaseerde semantische verliesfuncties (op Wasserstein gebaseerd en boom-gewogen CE) die hiërarchische labelrelaties expliciet coderen tijdens optimalisatie.
Veelzijdig Raamwerk: Demonstratie van hoe deze verliesfuncties van toepassing zijn op zowel dichte supervisie voor hele-hersenen-parcellatie (WBP) als spaarzaam gesuperviseerde neurochirurgische hyperspectrale beeldvorming (HSI), inclusief integratie met OOD-detectie voor achtergrondbepaling.
Prestatieverbetering: Empirisch bewijs dat het incorporeren van door experts gedefinieerde of anatomisch afgeleide labelhiërarchieën leidt tot meer semantisch zinvolle supervisie en verbeterde segmentatieprestaties in vergelijking met standaard baselines.
Robuustheid op Kleine Structuren: Specifieke verbeteringen waargenomen bij kleine anatomische structuren met beperkte annotaties, waarbij standaard baselines vaak moeite hebben.

Experimentele Resultaten
De auteurs evalueerden hun aanpak op twee distincte taken:

Hele-Hersenen-Parcellatie (WBP): Met behulp van 3D T1-gewogen MRI-data uit drie datasets (Mindboggle42, AOMIC, IXI) met volledige supervisie.
- Vondsten: Het op Wasserstein-afstand gebaseerde samengestelde verlies ( $\mathcal{L}_{wass+seg}$ ) presteerde consequent beter dan de standaard nnU-Net-baseline (Dice + CE) en de Generalised Wasserstein Dice-verliesfunctie. De verbeteringen waren het meest significant voor metrieken gerelateerd aan kleine structuren (Dicesmall, NSDsmall) en oppervlakte-overlap (NSD). Statistische analyse bevestigde significante winsten in NSD en metrieken voor kleine structuren in bijna alle train-test-instellingen.
Neurochirurgische Hyperspectrale Beeldvorming (HSI): Met behulp van spaarzame, alleen-positieve annotaties uit intra-operatieve chirurgische video's.
- Vondsten: Het voorgestelde raamwerk verbeterde de prestaties op top-niveau klassen (bijvoorbeeld het onderscheiden van normaal versus abnormaal weefsel) in vergelijking met baselines die uitsluitend op bladknopen waren getraind. De hiërarchie-gewogen top-niveau supervisie ( $\mathcal{L}_{twce+seg}$ met specifieke randgewichten) toonde sterke ondersteuning in de spaarzame setting. Analyse van de verwarringsmatrix onthulde dat de voorgestelde methoden semantisch onwaarschijnlijke fouten verminderden (bijvoorbeeld het verwarren van normaal en abnormaal weefsel) in vergelijking met de baseline.

Betekenis en Claims
Het artikel beweert dat het benutten van de structuur van de labelruimte als bron van informatie cruciaal is voor rijke segmentatietaken, met name bij het omgaan met subtiele variaties in klassen en spaarzame data. Door voorbij uniforme foutstraf te gaan, stellen de voorgestelde methoden modellen in staat "betere fouten" te maken (d.w.z. fouten die semantisch dichter bij de waarheid liggen). De auteurs benadrukken dat hun aanpak verbetert op standaard baselines zonder architecturale wijzigingen aan de segmentatienetwerken te vereisen (bijvoorbeeld nnU-Net of U-Net), waardoor het een praktische uitbreiding is voor bestaande pijplijnen. Het werk overbrugt een gat in chirurgische beeldvorming, waar dergelijke hiërarchische semantische supervisie eerder onontgonnen terrein was, en biedt een schaalbare oplossing voor training op grote, spaarzaam geannoteerde datasets.