📄 health informatics

FootNet: A Multi-View Smartphone Dataset and Four-Model Benchmark for Clinical Foot Segmentation

Dieses Paper führt FootNet ein, einen Multi-View-Smartphone-Datensatz mit von Experten annotierten Masken für die klinische Fußsegmentierung, und etabliert einen Benchmark, der zeigt, dass ein U-Net mit einem MobileNetV2-Encoder andere Modelle, einschließlich DeepLabV3, UNet++ und SAM ViT-B, in Bezug auf die Segmentierungsgenauigkeit signifikant übertrifft.

Ursprüngliche Autoren: Vijay, A., Prabhune, A., Srihari, V. R., Rayampalli, A.

Veröffentlicht 2026-07-17

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Vijay, A., Prabhune, A., Srihari, V. R., Rayampalli, A.

Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, die Welt zu sehen, aber anstatt ihm ein perfektes, im Studio beleuchtetes Foto eines Schuhs zu geben, überreichen Sie ihm eine unordentliche Momentaufnahme, die mit einer zittrigen Hand in einer belebten Klinik aufgenommen wurde. Dies ist die Herausforderung der Computer Vision (Computersehen), eines Zweigs der Wissenschaft, bei dem wir versuchen, Maschinen dazu zu bringen, Bilder so zu verstehen wie Menschen. Speziell vertieft sich diese Arbeit in die medizinische Bildsegmentierung, was wie ein hochriskantes Spiel „Verbinde die Punkte“ ist, bei dem die Punkte Pixel sind. Das Ziel ist es, eine perfekte Linie um ein bestimmtes Objekt zu ziehen – in diesem Fall einen menschlichen Fuß – und ihn vom Hintergrundchaos aus Böden, Kleidung und Schatten abzugrenzen. Warum ist das wichtig? Weil, wenn ein Computer einen Fuß aus einem einfachen Smartphone-Foto präzise messen kann, könnten Ärzte Wunden leicht verfolgen, Schuhe für Menschen mit Diabetes anpassen oder Deformitäten erkennen, ohne teure, sperrige 3D-Scanner zu benötigen. Es geht darum, Hightech-medizinische Werkzeuge in die Handfläche Ihrer Hand zu bringen, selbst wenn die Beleuchtung schlecht und der Hintergrund chaotisch ist.

Lernen Sie nun FootNet kennen, den neuen Starspieler in diesem Spiel. Die Forscher erstellten ein massives, mehrwinkliges Fotoalbum von 453 Füßen, die mit gewöhnlichen Smartphones vom Klinikpersonal aufgenommen wurden. Dies sind keine perfekten Studioproduktionen; es sind reale Bilder mit variierender Beleuchtung und unterschiedlichen Hintergründen, die aus sechs verschiedenen Blickwinkeln aufgenommen wurden: von oben (dorsal), von der Seite (medial) und von unten (plantar) sowohl der linken als auch der rechten Füße. Jeder einzelne Fuß in diesem Album wurde von menschlichen Experten sorgfältig nachgezeichnet, um eine „Ground Truth“-Karte (Referenzkarte) zu erstellen, die genau zeigt, wo der Fuß endet und der Boden beginnt.

Das Team organisierte dann einen freundschaftlichen (aber erbitterten) Wettbewerb zwischen vier verschiedenen KI-Modellen, um zu sehen, welches am besten eine Umrisslinie um diese Füße zeichnen konnte. Betrachten Sie diese Modelle als vier verschiedene Künstler mit unterschiedlichen Stilen:

U-Net (mit einem MobileNetV2-Encoder): Der klassische, zuverlässige Künstler, der dafür bekannt ist, feine Details zu bewahren.
UNet++: Eine komplexere Version des ersten Künstlers, die versucht, durch verschachtelte Pfade besonders gründlich zu sein.
DeepLabV3 (mit MobileNetV3-Large): Ein Spezialist für das Verständnis von Kontext und Skalierung.
SAM (Segment Anything Model): Ein berühmter, vortrainierter „Super-Künstler“, der normalerweise einen Hinweis benötigt (wie eine Bounding Box), um zu wissen, was er zeichnen soll.

Die Ergebnisse waren eindeutig. U-Net holte sich die Krone und erreichte die höchste Genauigkeit mit einem IoU (Intersection over Union, ein Score, der misst, wie stark sich die gezeichnete Linie mit dem echten Fuß überschneidet) von 0,9268 und einem Dice-Score von 0,9608. Einfach ausgedrückt: Seine Umrisslinie war fast perfekt mit der Zeichnung des Experten abgestimmt. Die Arbeit schließt explizit die Idee aus, dass die schickeren, komplexeren Modelle immer besser sind; UNet++ war nicht signifikant besser als das einfachere DeepLabV3, was darauf hindeutet, dass das Hinzufügen von zusätzlicher Komplexität in dieser spezifischen Aufgabe nicht half.

Selbst der „Super-Künstler“ SAM, wenn man ihm einen perfekten Hinweis (eine „Oracle“-Bounding Box, die um den Fuß gezeichnet wurde) gab, erreichte einen IoU von 0,9219 bei der Teilmenge der Bilder, für die er getestet wurde. Obwohl dies beeindruckend ist, zeigten statistische Tests, dass U-Net SAM immer noch signifikant übertraf (mit einem p-Wert von 0,005), was beweist, dass ein speziell auf diesen Fußfotos trainiertes Modell besser ist als ein allgemeiner Modell, selbst wenn das allgemeine Modell einen perfekten Hinweis erhält. Die Forscher testeten auch einen „Bereinigungs“-Trick namens Connected-Component-Post-Processing, in der Hoffnung, dass dies etwaige Unordnung in den Zeichnungen beheben würde, stellten jedoch fest, dass es fast keinen Unterschied machte (die Verbesserung des Scores betrug im Durchschnitt nur 0,0003), sodass sie entschieden, dass es sich nicht lohnte, es zu verwenden.

Eine interessante Entdeckung war, dass die KI bei den plantaren Ansichten (Unterseite) am besten abschnitt, mit IoU-Scores um 0,95, da wahrscheinlich die Sohle des Fußes eine klare, kontrastreiche Form gegenüber dem Boden bildet. Die dorsalen Ansichten (Oberseite) waren schwieriger, insbesondere bei dem rechten Fuß, wo der Hintergrund unruhiger war, was zu mehr Variationen in den Ergebnissen führte.

Zusammenfassend lässt sich sagen, dass diese Arbeit nahelegt, dass für die spezifische Aufgabe, Füße aus unordentlichen Smartphone-Fotos nachzuzeichnen, die klassische U-Net-Architektur das zuverlässigste Werkzeug ist, das sowohl seinen komplexeren Cousin als auch die berühmte allgemeine KI schlägt. Der Datensatz selbst, FootNet, steht nun anderen Forschern zur Verfügung, wobei die ursprünglichen 191 Bilder öffentlich zugänglich sind und der vollständige Satz von 453 auf Anfrage erhältlich ist. Die Autoren weisen vorsichtig darauf hin, dass die Ergebnisse zwar stark sind, aber aus einer einzigen Klinik stammen und die Modelle noch nicht auf verschiedenen Geräten oder in verschiedenen Ländern getestet wurden, sodass noch Arbeit geleistet werden muss, bevor dies zu einem universellen medizinischen Standard wird.

Technisches Resümee: FootNet

Problemstellung
Die automatisierte Segmentierung des gesamten Fußes aus Smartphone-Fotografien von Konsumenten ist ein entscheidender Vorverarbeitungsschritt für klinische Arbeitsabläufe, einschließlich der Messung von Wundflächen, der Graduierung von Deformitäten und der Schuhpassformanalyse. Bestehende öffentliche Datensätze zielen jedoch primär auf die Segmentierung auf Wundebene ab (z. B. die Diabetic Foot Ulcer Challenge) statt auf den gesamten Fuß. Die aktuelle Ganzfuß-Analyse stützt sich zudem häufig auf kontrollierte Umgebungen unter Verwendung von 3D-Plantar-Scannern, Wärmebildkameras oder Tiefensensoren, die in Point-of-Care-Einstellungen nicht verfügbar sind. Klinische Fotografien unter realen Bedingungen stellen erhebliche Herausforderungen dar, da sie durch Handhalteaufnahmen, Umgebungslicht und variierende, oft hautfarbene Hintergründe geprägt sind, was die Segmentierung im Vergleich zu kontrollierten Umgebungen wesentlich schwieriger macht. Vor dieser Arbeit existierte kein öffentlich zugänglicher Multi-View-Ganzfuß-Datensatz, der unter realistischen Point-of-Care-Bedingungen aufgenommen wurde.

Methodik
Die Autoren führen FootNet ein, einen Datensatz und Benchmark, der diese Lücken schließen soll.

Datensatz-Konstruktion: FootNet umfasst 453 Bild-Masken-Paare, die in Außenkliniken mit verschiedenen Consumer-Smartphones ohne Stative oder kontrollierte Beleuchtung gesammelt wurden. Der Datensatz deckt sechs anatomische Ansichten ab (dorsal, medial und plantar für beide Füße). Die Bilder wurden von geschultem Personal mittels LabelMe annotiert, um die Fußgrenzen nachzuzeichnen, in binäre PNG-Masken konvertiert und de-identifiziert. Der Datensatz ist unterteilt in einen ursprünglichen öffentlichen Satz (191 Bilder) und einen erweiterten Satz (262 Bilder), der noch der De-Identifizierungsprüfung unterliegt.
Modell-Benchmarking: Die Studie vergleicht vier Segmentierungsarchitekturen unter einem kontrollierten Protokoll:
1. U-Net mit einem MobileNetV2-Encoder.
2. UNet++ mit einem MobileNetV2-Encoder.
3. DeepLabV3 mit einem MobileNetV3-Large-Encoder.
4. Segment Anything Model (SAM) ViT-B, evaluiert in einem Zero-Shot-Szenario unter Verwendung eines „Oracle“-Bounding-Box-Prompts (die eng gefasste Ground-Truth-Box, um 20 px gepuffert), um eine Obergrenze für die Prompt-Qualität festzulegen.
Training und Evaluierung: Die überwachten Modelle wurden auf dem vollständigen 453-Bild-Datensatz unter Verwendung eines kombinierten Dice + Binary Cross-Entropy Loss, des AdamW-Optimierers und spezifischer Augmentationsstrategien (Spiegelungen, Rotationen, affine Perturbationen) trainiert. Die Evaluierung erfolgte mittels Intersection over Union (IoU) und dem Dice-Koeffizienten. Die statistische Signifikanz wurde mittels Bonferroni-korrigierter Wilcoxon-Rangsummentests über sechs paarweise Vergleiche hinweg ermittelt, wobei Effektstärken als rang-biseriale Korrelationen angegeben wurden.

Zentrale Beiträge

FootNet-Datensatz: Ein Multi-View-Smartphone-Fuß-Datensatz mit Experten-annotierten binären Masken, verfügbar in zwei Stufen (191 öffentliche Bilder und 262 anforderbare Bilder).
Kontrollierter Benchmark: Eine vergleichende Analyse von vier unterschiedlichen Segmentierungsmodellen (U-Net, UNet++, DeepLabV3 und SAM) für diesen spezifischen Bereich.
Strenge statistische Analyse: Anwendung von Bonferroni-korrigierter Signifikanzprüfung und Bootstrap-Konfidenzintervallen zur Validierung von Leistungsunterschieden.
Ablationsstudie: Eine Untersuchung der Connected-Component-Nachverarbeitung, um deren Nutzen bei der Verfeinerung von Segmentierungsergebnissen zu bestimmen.

Ergebnisse

Modellleistung: U-Net mit einem MobileNetV2-Encoder erzielte die beste Gesamtleistung mit einem IoU von 0,9268 und einem Dice-Score von 0,9608.
- U-Net übertraf DeepLabV3 (IoU 0,8984, $p < 0,001$ ) und UNet++ (IoU 0,8913, $p < 0,001$ ) signifikant.
- UNet++ unterschied sich nicht signifikant von DeepLabV3 ( $p = 0,062$ ).
SAM-Vergleich: Auf dem passenden 191-Bild-Subset übertraf U-Net (IoU 0,9274) SAM ViT-B mit Oracle-Prompts (IoU 0,9219, $p = 0,005$ ) signifikant. Umgekehrt übertraf SAM DeepLabV3 auf diesem Subset signifikant ( $p < 0,001$ ), während der Unterschied zwischen UNet++ und SAM nach der Korrektur statistisch nicht signifikant war.
Ansichtsspezifische Leistung: Plantaransichten lieferten die höchste Genauigkeit (z. B. Linker Plantar IoU 0,9526), was wahrscheinlich auf die kontrastreichen Silhouetten gegen den Boden zurückzuführen ist. Rechte Dorsalansichten zeigten die höchste Varianz (Std 0,102), was auf komplexe Hintergründe und variierende Patientenpositionen zurückzuführen ist.
Nachverarbeitung: Die Connected-Component-Analyse brachte einen vernachlässigbaren Nutzen, indem sie den mittleren IoU über den Datensatz hinweg nur um 0,0003 verbesserte.

Bedeutung und Behauptungen
Das Paper behauptet, dass U-Net mit einem MobileNetV2-Encoder das robusteste Modell für diese spezifische Aufgabe ist, da es sowohl eine höhere mittlere Genauigkeit als auch ein geringeres Risiko für Worst-Case-Fehlentwicklungen bietet als DeepLabV3 und das promptbasierte SAM. Die Autoren führen den Erfolg von U-Net auf die Encoder-Decoder-Skip-Connections zurück, welche feine Randdetails bewahren, die durch Atrous Pooling (verwendet in DeepLabV3) bei der hier genutzten Auflösung von 384×384 verworfen werden könnten.

Die Studie hebt hervor, dass SAM zwar starke Zero-Shot-Fähigkeiten zeigt, wenn ideale Prompts bereitgestellt werden, jedoch empfindlich gegenüber Unklarheiten innerhalb der Box bleibt und deutlich mehr Rechenressourcen benötigt (375 MB Checkpoint) als das promptfreie U-Net. Die Autoren kommen zu dem Schluss, dass U-Net für klinische Downstream-Pipelines eine überlegene Balance aus Genauigkeit, Effizienz und Zuverlässigkeit bietet.

Limitierungen
Die Autoren weisen explizit auf mehrere Einschränkungen hin: Die Daten stammen aus einer einzigen klinischen Einrichtung mit unbekannter Inter-Rater-Reliabilität; der Train/Validation-Split erfolgte auf Bildebene statt auf Patientenebene (was potenziell zu Data Leakage führt); und die Datensatzgröße (453 Bilder) ist nach Deep-Learning-Standards moderat, was die Generalisierbarkeit der Ergebnisse auf Transformer-basierte Architekturen oder diverse Erfassungsbedingungen einschränkt. Es wurden keine Benchmarks zur On-Device-Inferenz durchgeführt.

Mehr davon