📄 health informatics

FootNet: A Multi-View Smartphone Dataset and Four-Model Benchmark for Clinical Foot Segmentation

Dit artikel introduceert FootNet, een multi-view smartphone-dataset met door experts geannoteerde maskers voor klinische voetsegmentatie, en vestigt een benchmark die aantoont dat een U-Net met een MobileNetV2-encoder andere modellen, waaronder DeepLabV3, UNet++ en SAM ViT-B, aanzienlijk overtreft op het gebied van segmentatie nauwkeurigheid.

Oorspronkelijke auteurs: Vijay, A., Prabhune, A., Srihari, V. R., Rayampalli, A.

Gepubliceerd 2026-07-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Vijay, A., Prabhune, A., Srihari, V. R., Rayampalli, A.

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren de wereld te zien, maar in plaats van hem een perfecte, in een studio belichte foto van een schoen te geven, overhandig je een slordige snapshot die met een trillende hand is gemaakt in een drukke kliniek. Dit is de uitdaging van computer vision, een tak van de wetenschap waar we proberen machines de wereld te laten begrijpen zoals mensen dat doen. Specifiek duikt dit artikel in medische beeldsegmentatie, wat lijkt op een spannend spelletje "punten verbinden" waarbij de punten pixels zijn. Het doel is om een perfecte lijn rond een specifiek object te trekken—in dit geval een menselijke voet—waarbij de voet wordt gescheiden van de rommelige achtergrond van vloeren, kleding en schaduwen. Waarom is dit belangrijk? Omdat als een computer een voet nauwkeurig kan meten vanuit een simpele smartphonefoto, artsen gemakkelijk wonden kunnen volgen, schoenen kunnen passen voor mensen met diabetes, of misvormingen kunnen opsporen zonder dat daar dure, logge 3D-scanners voor nodig zijn. Het gaat erom hoogwaardige medische instrumenten in de palm van je hand te brengen, zelfs wanneer de verlichting slecht is en de achtergrond chaotisch.

Maak kennis met FootNet, de nieuwe sterspeler in dit spel. De onderzoekers creëerden een enorme, multi-view fotoalbum van 453 voeten, genomen met gewone smartphones door kliniekpersoneel. Dit zijn geen perfecte studiobeelden; het zijn realistische beelden met variërende verlichting en achtergronden, vastgelegd vanuit zes verschillende hoeken: de bovenkant (dorsaal), de zijkant (mediaal) en de onderkant (plantaar) van zowel de linker- als de rechtervoet. Elke voet in dit album is zorgvuldig getraceerd door menselijke experts om een "ground truth"-kaart te maken, die precies laat zien waar de voet eindigt en de vloer begint.

Het team organiseerde vervolgens een vriendelijke (maar felle) competitie tussen vier verschillende AI-modellen om te zien welk model de beste omtrek rond deze voeten kon tekenen. Denk aan deze modellen als vier verschillende kunstenaars met verschillende stijlen:

U-Net (met een MobileNetV2 encoder): De klassieke, betrouwbare kunstenaar die bekend staat om het behoud van fijne details.
UNet++: Een complexere versie van de eerste kunstenaar, die probeert extra grondig te zijn met geneste paden.
DeepLabV3 (met MobileNetV3-Large): Een specialist in het begrijpen van context en schaal.
SAM (Segment Anything Model): Een beroemde, vooraf getrainde "super-kunstenaar" die meestal een hint nodig heeft (zoals een bounding box) om te weten wat hij moet tekenen.

De resultaten waren duidelijk. U-Net kroonde zichzelf tot winnaar, met de hoogste nauwkeurigheid met een IoU (Intersection over Union, een score die meet hoeveel de getekende lijn overlapt met de echte voet) van 0,9268 en een Dice-score van 0,9608. In eenvoudige termen: de omtrek was bijna perfect uitgelijnd met de tekening van de expert. Het artikel sluit expliciet de gedachte uit dat de luxere, complexere modellen altijd beter zijn; UNet++ presteerde niet significant beter dan de simpelere DeepLabV3, wat suggereert dat het toevoegen van extra complexiteit in deze specifieke taak niet hielp.

Zelfs de "super-kunstenaar" SAM, wanneer deze een perfecte hint kreeg (een "oracle" bounding box getekend rond de voet), scoorde een IoU van 0,9219 op de subset van afbeeldingen waarop het werd getest. Hoewel indrukwekkend, toonden statistische tests aan dat U-Net SAM nog steeds significant versloeg (met een p-waarde van 0,005), wat bewijst dat een model dat specifiek op deze foto's van voeten is getraind, beter is dan een algemeen model, zelfs wanneer het algemene model een perfecte hint krijgt. De onderzoekers testten ook een "opruimtruc" genaamd connected-component post-processing, in de hoop dat dit rommelige stukjes in de tekeningen zou oplossen, maar ontdekten dat het bijna geen verschil maakte (een verbetering van slechts 0,0003 gemiddeld), dus besloten ze dat het het gebruik niet waard was.

Eén interessante ontdekking was dat de AI het beste presteerde op de plantaire (onderkant) aanzichten, met IoU-scores rond de 0,95, waarschijnlijk omdat de zool van de voet een duidelijke, contrastrijke vorm vormt tegen de vloer. De dorsale (bovenkant) aanzichten waren lastiger, vooral voor de rechtervoet, waar de achtergrond meer rommelig was, wat zorgde voor meer variatie in de resultaten.

Concluderend suggereert dit artikel dat voor de specifieke taak van het traceren van voeten vanuit slordige smartphonefoto's, de klassieke U-Net architectuur het meest betrouwbare hulpmiddel is, die zowel zijn complexe neefje als de beroemde algemene AI verslaat. De dataset zelf, FootNet, is nu beschikbaar voor andere onderzoekers om te gebruiken, waarbij de originele 191 afbeeldingen openbaar toegankelijk zijn en de volledige set van 453 beschikbaar is op aanvraag. De auteurs merken voorzichtig op dat hoewel de resultaten sterk zijn, ze afkomstig zijn van één enkele kliniek en de modellen nog niet zijn getest op verschillende apparaten of in verschillende landen, dus er moet nog werk worden verzet voordat dit een universele medische standaard wordt.

Technische Samenvatting: FootNet

Probleemstelling
Geautomatiseerde segmentatie van de gehele voet vanuit foto's gemaakt met consumentensmartphones is een cruciale voorbereidende stap voor klinische workflows, waaronder wondoppervlaktemeting, graadverdeling van misvormingen en schoenpassing. De huidige publieke datasets richten zich echter primair op segmentatie op wondniveau (bijv. de Diabetic Foot Ulcer Challenge) in plaats van de gehele voet. Bovendien vertrouilt de huidige analyse van de gehele voet vaak op gecontroleerde omgevingen met behulp van 3D-plantaire scanners, thermische camera's of dieptesensoren, die niet beschikbaar zijn in de context van directe patiëntenzorg (point-of-care). Realistische klinische foto's brengen aanzienlijke uitdagingen met zich mee door handmatige opname, omgevingsverlichting en gevarieerde, vaak huidkleurige achtergronden, wat segmentatie aanzienlijk moeilere maakt dan in gecontroleerde omgevingen. Voorafgaand aan dit werk bestond er geen publiek beschikbare multi-view dataset van de gehele voet die verkregen is onder realistische point-of-care condities.

Methodologie
De auteurs introduceren FootNet, een dataset en benchmark die ontworpen is om deze hiaten te adresseren.

Datasetconstructie: FootNet bestaat uit 453 beeld-maskerparen verzameld in poliklinieken met behulp van diverse consumentensmartphones zonder statieven of gecontroleerde verlichting. De dataset dekt zes anatomische aanzichten (dorsaal, mediaal en plantair voor zowel linker- als rechtervoeten). De afbeeldingen zijn geannoteerd door getraind personeel met behulp van LabelMe om voetgrenzen te traceren, geconverteerd naar binaire PNG-maskers en gedeïdentificeerd. De dataset is gesplitst in een originele publieke set (191 afbeeldingen) en een uitgebreide set (262 afbeeldingen) in afwachting van de beoordeling van de de-identificatie.
Model Benchmarking: De studie benchmarkt vier segmentatiearchitecturen onder een gecontroleerd protocol:
1. U-Net met een MobileNetV2 encoder.
2. UNet++ met een MobileNetV2 encoder.
3. DeepLabV3 met een MobileNetV3-Large encoder.
4. Segment Anything Model (SAM) ViT-B, geëvalueerd in een zero-shot setting met een "oracle" bounding box prompt (de nauwe grondwaarheid-box met een padding van 20px) om een bovengrens aan de kwaliteit van de prompt vast te stellen.
Training en Evaluatie: Gesuperviseerde modellen werden getraind op de volledige dataset van 453 afbeeldingen met behulp van een gecombineerde Dice + Binary Cross-Entropy loss, AdamW optimizer en specifieke augmentatiestrategieën (flips, rotaties, affine perturbaties). Evaluatiemetrieken omvatten Intersection over Union (IoU) en de Dice-coëfficiënt. Statistische significantie werd beoordeeld met behulp van Bonferroni-gecorrigeerde Wilcoxon signed-rank tests over zes paargewijze vergelijkingen, waarbij effectgroottes werden gerapporteerd als rank-biseriale correlaties.

Belangrijkste Bijdragen

FootNet Dataset: Een multi-view smartphone voet-dataset met door experts geannoteerde binaire maskers, beschikbaar in twee niveaus (191 publieke afbeeldingen en 262 aanvraagbare afbeeldingen).
Gecontroleerde Benchmark: Een vergelijkende analyse van vier verschillende segmentatiemodellen (U-Net, UNet++, DeepLabV3 en SAM) op dit specifieke domein.
Strikte Statistische Analyse: Toepassing van Bonferroni-gecorrigeerde significantietoetsing en bootstrap betrouwbaarheidsintervallen om prestatieverschillen te valideren.
Ablatieonderzoek: Een evaluatie van connected-component post-processing om het nut ervan te bepalen bij het verfijnen van segmentatieoutputs.

Resultaten

Modelprestaties: U-Net met een MobileNetV2 encoder behaalde de beste algehele prestaties met een IoU van 0,9268 en een Dice-score van 0,9608.
- U-Net presteerde significant beter dan DeepLabV3 (IoU 0,8984, $p < 0,001$ ) en UNet++ (IoU 0,8913, $p < 0,001$ ).
- UNet++ vertoonde geen significant verschil met DeepLabV3 ( $p = 0,062$ ).
SAM Vergelijking: Op de bijbehorende subset van 191 afbeeldingen presteerde U-Net (IoU 0,9274) significant beter dan SAM ViT-B met oracle prompts (IoU 0,9219, $p = 0,005$ ). Omgekeerd presteerde SAM significant beter dan DeepLabV3 op deze subset ( $p < 0,001$ ), terwijl het verschil tussen UNet++ en SAM niet statistisch significant was na correctie.
Aanzichtspecifieke Prestaties: Plantaire aanzichten leverden de hoogste nauwkeurigheid op (bijv. Linker Plantair IoU 0,9526), waarschijnlijk door de hoog-contrast silhouetten tegen vloeren. Rechter dorsale aanzichten vertoonden de hoogste variantie (std 0,102), toegeschreven aan complexe achtergronden en variërende patiëntenhoudingen.
Post-Processing: Connected-component analyse leverde een verwaarloosbaar voordeel op, waarbij de gemiddelde IoU met slechts 0,0003 verbeterde over de gehele dataset.

Significantie en Claims
Het artikel claimt dat U-Net met een MobileNetV2 encoder het meest robuuste model is voor deze specifieke taak, waarbij het zowel een hogere gemiddelde nauwkeurigheid als een lager risico op worst-case falen biedt vergeleken met DeepLabV3 en de prompt-gebaseerde SAM. De auteurs schrijven het succes van U-Net toe aan de encoder-decoder skip-verbindingen, die fijne randdetails behouden die atrous pooling (gebruikt in DeepLabV3) mogelijk verwijdert bij de gebruikte resolutie van 384×384.

De studie benadrukt dat hoewel SAM sterke zero-shot capaciteiten vertoont wanneer het voorzien wordt van perfecte prompts, het gevoelig blijft voor ambiguïteit binnen de box en aanzienlijk meer rekenkracht vereist (375 MB checkpoint) vergeleken met de prompt-vrije U-Net. De auteurs concluderen dat voor downstream klinische pipelines U-Net een superieur evenwicht biedt tussen nauwkeurigheid, efficiëntie en betrouwbaarheid.

Beperkingen
De auteurs vermelden expliciet enkele beperkingen: de data is afkomstig van een enkele klinische locatie met een onbekende inter-rater betrouwbaarheid; de train/validatie split werd uitgevoerd op beeldniveau in plaats van op patiëntniveau (wat potentieel kan leiden tot data leakage); en de datasetgrootte (453 afbeeldingen) is bescheiden volgens de standaarden van deep learning, wat de generaliseerbaarheid van de bevindingen naar transformer-gebaseerde architecturen of diverse acquisitiecondities beperkt. Er zijn geen benchmarks voor on-device inferentie uitgevoerd.

Technische Samenvatting: FootNet

Meer zoals dit