Prompting with the human-touch: evaluating model-sensitivity of foundation models for musculoskeletal CT segmentation

Dit onderzoek evalueert de gevoeligheid van elf promptbare foundation modellen voor de segmentatie van musculoskeletale CT-beelden en concludeert dat de prestaties sterk variëren afhankelijk van de prompting-strategie en anatomische structuur, waarbij de prestaties met menselijke prompts lager zijn dan die met ideale prompts, wat de selectie van het meest geschikte model voor klinische toepassingen bemoeilijkt.

De kern

Samenvatting: Hoe goed zijn slimme AI's echt als ze door mensen worden aangestuurd?

Stel je voor dat je een superkrachtige robot hebt die foto's van botten kan "schilderen" (segmenteren) op een CT-scan. Deze robot is getraind op miljoenen voorbeelden en kan bijna alles zien. Maar er is een probleem: de robot heeft een beetje hulp nodig om te weten waar hij precies moet beginnen. Hij heeft een "prompt" nodig, zoals een vinger die op het scherm wijst of een kadersetje dat je om een bot trekt.

De onderzoekers van dit paper wilden weten: Hoe goed werkt deze robot als jij (een mens) de vinger of het kader zet, in plaats van een computer die perfect weet waar het bot zit?

Hier is de uitleg, vertaald naar alledaagse taal:

1. Het probleem: De "Perfecte" vs. de "Menselijke" aanwijzing

In de wetenschap testen ze deze robots vaak met "perfecte" aanwijzingen. Stel je voor dat je een robot vraagt om een appel te tekenen, en je geeft hem een puntje dat exact in het midden van de appel zit, berekend door een computer. De robot doet het dan fantastisch.

Maar in het echte leven (bij een arts in het ziekenhuis) wijst een mens met de muis. Die wijst misschien net iets links of rechts, of trekt een kader dat net iets te groot is.

• De ontdekking: De onderzoekers lieten 20 medische studenten (die nog geen experts waren) deze aanwijzingen geven. Ze ontdekten dat de robots, zelfs de slimste, veel minder goed werden als ze door mensen werden aangestuurd. De "perfecte" tests overschatten dus hoe goed ze in de praktijk zijn.

2. De test: Een wedstrijd tussen 11 robots

Ze namen 11 verschillende modellen (de "robots") en testten ze op CT-scans van vier lichaamsdelen:

• De pols (veel kleine botjes)
• Het onderbeen (een groot bot met een implantaat)
• De schouder
• Het heupgewricht

Ze gebruikten twee methodes om de robots te testen:

1. De "Ideale" manier: De computer geeft de perfecte coördinaten (alsof je een laserpointer gebruikt).
2. De "Menselijke" manier: Studenten zetten handmatig een kader of puntje op het scherm.

3. De winnaars (en verliezers)

• 2D-modellen (laag voor laag): De modellen die oorspronkelijk getraind waren op gewone foto's (zoals van honden en auto's) bleken verrassend goed te zijn voor medische beelden, zelfs beter dan de modellen die specifiek voor de geneeskunde waren getraind. De winnaar hier was SAM2.1.
• 3D-modellen (hele volume): Hier deed Med-SAM2 het beste.
• De menselijke factor: Toen de studenten de aanwijzingen gaven, daalde de prestatie van alle robots. Het was alsof je een Formule 1-auto laat rijden op een modderig fietspad: de auto is snel, maar het pad maakt het lastig.

4. Waarom is dit lastig? (De analogie van de "Vage instructie")

De onderzoekers ontdekten dat de robots erg gevoelig zijn voor kleine foutjes in de aanwijzingen.

• Voorbeeld: Als je een kader om een heup plaatst, en je zet het net iets te breed, kan de robot denken: "Ah, ik moet ook de spier erbij schilderen!" of "Oh, ik moet stoppen bij de lucht!".
• Complexiteit: Bij simpele, ronde botjes (zoals in de pols) was iedereen het erover eens waar ze moesten wijzen. Maar bij complexe vormen (zoals een heup met een metalen implantaat) liepen de mensen enorm uiteen. De ene student tekende een klein vierkantje, de andere een groot vierkantje. De robots konden hierdoor niet goed beslissen wat ze moesten doen.

5. De belangrijkste les: "Robuustheid" is de nieuwe superkracht

De onderzoekers concludeerden dat we niet alleen moeten kijken naar hoe goed een robot is met perfecte instructies, maar vooral naar hoe stabiel hij is als de instructies niet perfect zijn.

• De winnaar in stabiliteit: Het model nnInteractive bleek het minst gevoelig voor de "wankelende hand" van de mens. Als de mens een beetje afwijkt, blijft dit model toch een redelijk goed resultaat geven.
• De les: Als je een AI kiest voor een ziekenhuis, wil je niet de snelste auto die crasht bij de minste hobbel, maar de auto die veilig blijft rijden, zelfs als de bestuurder niet perfect stuurt.

Conclusie in één zin

Deze studie waarschuwt dat we niet blindelings moeten vertrouwen op de hoge scores van AI-modellen in wetenschappelijke papers (die vaak met "perfecte" data werken), maar dat we moeten testen hoe deze modellen reageren op de onvolmaakte, menselijke aanwijzingen die we in het echte leven gebruiken. De beste AI is niet degene die het snelst is, maar degene die het meest vergevingsgezind is voor menselijke fouten.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Prompting with the human-touch: evaluating model-sensitivity of foundation models for musculoskeletal CT segmentation", vertaald en samengevat in het Nederlands.

Probleemstelling

Promptbare Foundation Models (FMs), zoals de Segment Anything Model (SAM) en zijn medische varianten, hebben de beeldsegmentatie in de geneeskunde revolutionair veranderd. Deze modellen stellen gebruikers in staat om segmentaties te sturen via eenvoudige interacties (punten, kaders, lijnen). Echter, de huidige evaluatiestudies lijden onder drie kritieke tekortkomingen:

1. Ideale vs. Realistische Prompts: De meeste studies gebruiken synthetische, algoritmisch gegenereerde prompts die zijn afgeleid van perfecte referentiemaskers ("ideale prompts"). Dit negeert de inherente variabiliteit van menselijke annotaties (fouten, onzekerheid, variatie in expertise).
2. Schalingsproblemen: Het testen van alle beschikbare modellen met meerdere menselijke annotatoren is computationeel onhaalbaar.
3. Data-contaminatie en Diversiteit: Veel modellen zijn getraind op publieke datasets, wat eerlijke vergelijkingen bemoeilijkt. Bovendien missen brede benchmarks vaak de diepgang die nodig is voor specifieke klinische taken (zoals bot- en implantaatsegmentatie).

Het artikel stelt dat er een significant gat bestaat in het begrijpen hoe variatie in menselijke prompts de uiteindelijke segmentatieprestaties beïnvloedt, wat cruciaal is voor de klinische implementatie.

Methodologie

De auteurs hebben een uitgebreide evaluatie uitgevoerd met de volgende aanpak:

• Modellen: 11 promptbare foundation modellen werden getest, waaronder SAM, SAM2, Med-SAM, SAM-Med2D, nnInteractive, en Vista3D. Deze werden ingedeeld in 2D en 3D modellen, getraind op natuurlijke of medische beelden.
• Datasets: Een hybride dataset werd samengesteld om zowel onafhankelijkheid als reproduceerbaarheid te waarborgen:
  • Privé-data: CT-scans van het Amsterdam UMC (hand, onderbeen, schouder).
  • Publieke data: Selectie uit de TotalSegmentator dataset (heup).
  • Doel: Segmentatie van botten en metalen implantaten in vier anatomische regio's.
• Observer Study: 20 medische studenten voerden annotaties uit op 404 geselecteerde axiale CT-slices. Ze plaatsten bounding boxes en center points volgens strikte richtlijnen.
  • Intra-rater variabiliteit: Gemeten door annotatoren om dezelfde slices tweemaal te labelen.
  • Inter-rater variabiliteit: Gemeten door vergelijking tussen verschillende annotatoren.
• Evaluatie Strategie (Twee-fasen):
  1. Pareto-optimaliteit: Eerst werden alle 11 modellen getest met "ideale" (automatisch gegenereerde) prompts om de Pareto-optimale modellen te identificeren (de beste balans tussen prestatie en modelgrootte).
  2. Menselijke Prompts: Vervolgens werden alleen deze top-modellen getest met de menselijke prompts om de gevoeligheid voor variatie te analyseren.
• Metingen: Prestaties werden gemeten met Dice Similarity Coefficient (DSC), Normalized Surface Dice (NSD) en Hausdorff Distance (HD95). De gevoeligheid werd gekwantificeerd door de correlatie te berekenen tussen prompt-variabiliteit (Euclidische afstand, IoU) en segmentatie-consistentie.

Belangrijkste Resultaten

1. Prestatieverschil tussen Ideal en Mens:

   • Er is een statistisch significant prestatieverlies wanneer men overschakelt van ideale naar menselijke prompts.
   • 2D-modellen: Gemiddeld een daling van 2,07% in DSC.
   • 3D-modellen: Een kleinere maar significante daling van 1,06% in DSC.
   • Dit suggereert dat benchmarks met ideale prompts de prestaties in een mens-gedreven setting overschatten.

2. Pareto-optimale Modellen:

   • 2D: SAM en SAM2.1 (vooral de 'Tiny' variant met combinatie-prompts) presteerden het beste, zelfs beter dan medisch getrainde 2D-modellen.
   • 3D: Med-SAM2 en nnInteractive presteerden het beste. Med-SAM2 was de beste voor bounding box prompts, terwijl nnInteractive uitblonk bij combinatie-prompts.

3. Menselijke Prompt Variabiliteit:

   • Locatie: De consistentie varieert sterk per anatomische structuur. Eenvoudige, ronde structuren (handwortelbeentjes) hadden hoge consistentie. Complexe structuren (bekken, tibia, implantaten) vertoonden hoge localisatiefouten en lage consistentie.
   • Type Prompt: Bounding boxes waren over het algemeen consistenter en accurater dan center points, vooral bij complexe vormen.

4. Gevoeligheid voor Variatie (Sensitiviteit):

   • Algemene Gevoeligheid: Alle geteste modellen waren gevoelig voor variaties in de input-prompts. Een kleine verandering in de menselijke input leidde vaak tot grote veranderingen in het output-masker.
   • Robuustheid: Twee modellen toonden enige robuustheid tegenover intra-rater variatie (dezelfde persoon, twee keer): nnInteractive (met combinatie-prompts) en SAM2.1 T (met center points).
   • Inter-rater Limitatie: Echter, deze robuustheid gold niet voor inter-rater variatie (verschillende personen). Geen enkel model was volledig robuust tegen de variatie tussen verschillende annotatoren.

5. Foutpatronen:

   • Veelvoorkomende fouten waren anatomische ambiguïteit (het onderscheid tussen botlagen), over-segmentatie (vooral bij 3D-modellen waar fouten zich voortplanten naar aangrenzende slices) en onder-segmentatie bij vervaagde intensiteiten.

Bijdragen en Significatie

• Realistische Validatie: Dit is een van de eerste studies die systematisch de impact van menselijke annotatievariabiliteit op foundation models voor medische beeldvorming kwantificeert, in plaats van te vertrouwen op synthetische "perfecte" prompts.
• Nieuwe Prestatiemeta: De auteurs pleiten ervoor om modelgevoeligheid voor prompt-variatie te introduceren als een essentiële, complementaire prestatie-maatstaf naast traditionele metrics zoals DSC. Een model kan een hoge DSC scoren met ideale prompts, maar in de praktijk falen door zijn gevoeligheid voor menselijke onnauwkeurigheid.
• Klinische Implicatie: De studie waarschuwt dat de selectie van het "beste" model complex blijft. Zelfs high-performing modellen kunnen gevoelig zijn voor menselijke input, wat de betrouwbaarheid in klinische workflows beïnvloedt.
• Open Science: De code voor prompt-extractie en model-inferentie is openbaar gemaakt, wat reproduceerbaarheid bevordert.

Conclusie:
De keuze van het optimale Foundation Model voor een mens-gedreven setting blijft uitdagend. Hoewel bepaalde modellen (zoals nnInteractive en SAM2.1) beter presteren dan anderen, is geen enkel model volledig immuun voor de variabiliteit van menselijke input. Toekomstige ontwikkelingen moeten niet alleen gericht zijn op het maximaliseren van de nauwkeurigheid met perfecte prompts, maar ook op het minimaliseren van de gevoeligheid voor menselijke variatie om de kloof tussen theoretisch potentieel en praktische toepassing te overbruggen.