📄 health informatics

FootNet: A Multi-View Smartphone Dataset and Four-Model Benchmark for Clinical Foot Segmentation

Este artigo introduz o FootNet, um conjunto de dados de smartphone de múltiplas vistas com máscaras anotadas por especialistas para segmentação clínica do pé, e estabelece um benchmark demonstrando que uma U-Net com um codificador MobileNetV2 supera significativamente outros modelos, incluindo DeepLabV3, UNet++ e SAM ViT-B, em termos de precisão de segmentação.

Autores originais: Vijay, A., Prabhune, A., Srihari, V. R., Rayampalli, A.

Publicado 2026-07-17

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Vijay, A., Prabhune, A., Srihari, V. R., Rayampalli, A.

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Esta é uma explicação gerada por IA de um preprint que não foi revisado por pares. Não é aconselhamento médico. Não tome decisões de saúde com base neste conteúdo. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a ver o mundo, mas em vez de dar a ele uma foto perfeita, com iluminação de estúdio, de um sapato, você entrega a ele um registro bagunçado, tirado por uma mão trêmula em uma clínica movimentada. Este é o desafio da visão computacional, um ramo da ciência onde tentamos fazer com que as máquinas entendam imagens tal como os humanos fazem. Especificamente, este artigo mergulha na segmentação de imagens médicas, que é como jogar um jogo de alto risco de "ligar os pontos", onde os pontos são pixels. O objetivo é desenhar uma linha perfeita ao redor de um objeto específico — neste caso, um pé humano — separando-o da desordem do fundo, composta por pisos, roupas e sombras. Por que isso importa? Porque se um computador puder medir com precisão um pé a partir de uma simples foto de smartphone, médicos poderiam facilmente monitorar feridas, ajustar calçados para pessoas com diabetes ou detectar deformidades sem a necessidade de scanners 3D caros e volumosos. Trata-se de trazer ferramentas médicas de alta tecnologia para a palma da sua mão, mesmo quando a iluminação é ruim e o fundo é caótico.

Agora, conheça o FootNet, a nova estrela deste jogo. Os pesquisadores criaram um enorme álbum de fotos multivisual de 453 pés, tiradas com smartphones comuns por funcionários de clínicas. Não são fotos perfeitas de estúdio; são imagens do mundo real com iluminação e fundos variados, capturadas de seis ângulos diferentes: o topo (dorsal), a lateral (medial) e a sola (plantar) de ambos os pés esquerdo e direito. Cada um dos pés neste álbum foi cuidadosamente traçado por especialistas humanos para criar um mapa de "verdade fundamental" (ground truth), mostrando exatamente onde o pé termina e o chão começa.

A equipe então organizou uma competição amigável (mas feroz) entre quatro modelos diferentes de IA para ver qual deles conseguiria desenhar o melhor contorno ao redor desses pés. Pense nesses modelos como quatro artistas diferentes com estilos distintos:

U-Net (com um codificador MobileNetV2): O artista clássico e confiável, conhecido por preservar detalhes finos.
UNet++: Uma versão mais complexa do primeiro artista, tentando ser extra minuciosa com caminhos aninhados.
DeepLabV3 (com MobileNetV3-Large): Um especialista em entender contexto e escala.
SAM (Segment Anything Model): Um famoso "superartista" pré-treinado que geralmente precisa de uma dica (como uma caixa delimitadora) para saber o que desenhar.

Os resultados foram claros. A U-Net levou a coroa, alcançando a maior precisão com um IoU (Interseção sobre União, uma pontuação que mede o quanto a linha desenhada se sobrepõe ao pé real) de 0,9268 e um índice Dice de 0,9608. Em termos simples, seu contorno estava quase perfeitamente alinhado com o desenho do especialista. O artigo descarta explicitamente a ideia de que os modelos mais sofisticados e complexos são sempre melhores; a UNet++ não superou significativamente a mais simples DeepLabV3, sugerindo que adicionar complexidade extra não ajudou nesta tarefa específica.

Mesmo o "superartista" SAM, quando recebeu uma dica perfeita (uma caixa delimitadora "oráculo" desenhada ao redor do pé), obteve um IoU de 0,9219 no subconjunto de imagens em que foi testado. Embora impressionante, testes estatísticos mostraram que a U-Net ainda superou significativamente o SAM (com um p-valor de 0,005), provando que um modelo treinado especificamente nessas fotos de pés é melhor do que um modelo de propósito geral, mesmo quando o modelo geral recebe uma dica perfeita. Os pesquisadores também testaram um truque de "limpeza" chamado pós-processamento de componentes conectados, esperando que isso corrigisse partes bagunçadas nos desenhos, mas descobriram que fez quase nenhuma diferença (melhorando a pontuação em apenas 0,0003 em média), portanto decidiram que não valia a pena usar.

Uma descoberta interessante foi que a IA teve o melhor desempenho nas vistas plantares (sola), com pontuações de IoU em torno de 0,95, provavelmente porque a sola do pé cria uma forma de alto contraste contra o chão. As vistas dorsais (topo) foram mais difíceis, especialmente para o pé direito, onde o fundo era mais poluído, causando maior variação nos resultados.

Em conclusão, este artigo sugere que, para o trabalho específico de traçar pés a partir de fotos bagunçadas de smartphones, a arquitetura clássica U-Net é a ferramenta mais confiável, vencendo tanto sua prima complexa quanto a famosa IA de propósito geral. O próprio conjunto de dados, FootNet, está disponível para que outros pesquisadores o utilizem, sendo as 191 imagens originais abertas ao público e o conjunto completo de 453 disponível mediante solicitação. Os autores ressaltam cuidadosamente que, embora os resultados sejam fortes, eles provêm de uma única clínica, e os modelos ainda não foram testados em diferentes dispositivos ou em diferentes países, portanto, ainda há trabalho a ser feito antes que isso se torne um padrão médico universal.

Resumo Técnico: FootNet

Problema
A segmentação automatizada de todo o pé a partir de fotografias de smartphones de consumo é uma etapa de pré-processamento crítica para fluxos de trabalho clínicos, incluindo medição de área de feridas, classificação de deformidades e ajuste de calçados. No entanto, os conjuntos de dados públicos existentes visam principalmente a segmentação de nível de ferida (ex: o Desafio de Úlcera de Pé Diabético) em vez do pé inteiro. Além disso, a análise atual de todo o pé frequentemente depende de ambientes controlados usando scanners plantares 3D, câmeras térmicas ou sensores de profundidade, que não estão disponíveis em configurações de cuidados de ponto de atendimento. Fotografias clínicas do mundo real apresentam desafios significativos devido à captura manual, iluminação ambiente e fundos variados, muitas vezes de cor de pele, tornando a segmentação substancialmente mais difícil do que em ambientes controlados. Antes deste trabalho, não existia um conjunto de dados público de múltiplas vistas de todo o pé adquirido sob condições realistas de ponto de atendimento.

Metodologia
Os autores introduzem o FootNet, um conjunto de dados e benchmark projetado para abordar essas lacunas.

Construção do Conjunto de Dados: O FootNet compreende 453 pares de imagem-máscara coletados em clínicas ambulatoriais usando vários smartphones de consumo sem tripés ou iluminação controlada. O conjunto de dados abrange seis vistas anatômicas (dorsal, medial e plantar para ambos os pés, esquerdo e direito). As imagens foram anotadas por pessoal treinado usando o LabelMe para traçar os limites do pé, convertidas em máscaras PNG binárias e desidentificadas. O conjunto de dados é dividido em um conjunto público original (191 imagens) e um conjunto estendido (262 imagens) pendente de revisão de desidentificação.
Benchmarking de Modelos: O estudo avalia quatro arquiteturas de segmentação sob um protocolo controlado:
1. U-Net com um codificador MobileNetV2.
2. UNet++ com um codificador MobileNetV2.
3. DeepLabV3 com um codificador MobileNetV3-Large.
4. Segment Anything Model (SAM) ViT-B, avaliado em um cenário zero-shot usando um prompt de caixa delimitadora "oráculo" (a caixa de verdade fundamental estreita com um preenchimento de 20px) para estabelecer um limite superior de qualidade de prompt.
Treinamento e Avaliação: Modelos supervisionados foram treinados no conjunto completo de 453 imagens usando uma perda combinada de Dice + Entropia Cruzada Binária, otimizador AdamW e estratégias de aumento específicas (flips, rotações, perturbações afins). A avaliação incluiu métricas de Interseção sobre União (IoU) e coeficiente Dice. A significância estatística foi avaliada usando testes de postos sinalizados de Wilcoxon com correção de Bonferroni através de seis comparações pareadas, com tamanhos de efeito reportados como correlações de correlação de risco-biserial.

Principais Contribuições

Conjunto de Dados FootNet: Um conjunto de dados de pé de smartphone de múltiplas vistas com máscaras binárias anotadas por especialistas, disponível em dois níveis (191 imagens públicas e 262 imagens sob solicitação).
Benchmark Controlado: Uma análise comparativa de quatro modelos de segmentação distintos (U-Net, UNet++, DeepLabV3 e SAM) neste domínio específico.
Análise Estatística Rigorosa: Aplicação de testes de significância com correção de Bonferroni e intervalos de confiança de bootstrap para validar as diferenças de desempenho.
Estudo de Ablação: Uma avaliação do pós-processamento de componentes conectados para determinar sua utilidade no refinamento dos resultados de segmentação.

Resultados

Desempenho do Modelo: A U-Net com um codificador MobileNetV2 alcançou o melhor desempenho geral com um IoU de 0,9268 e um escore Dice de 0,9608.
- A U-Net superou significativamente a DeepLabV3 (IoU 0,8984, $p < 0,001$ ) e a UNet++ (IoU 0,8913, $p < 0,001$ ).
- A UNet++ não diferiu significativamente da DeepLabV3 ( $p = 0,062$ ).
Comparação com SAM: No subconjunto correspondente de 191 imagens, a U-Net (IoU 0,9274) superou significativamente a SAM ViT-B com prompts de oráculo (IoU 0,9219, $p = 0,005$ ). Inversamente, a SAM superou significativamente a DeepLabV3 neste subconjunto ( $p < 0,001$ ), enquanto a diferença entre UNet++ e SAM não foi estatisticamente significativa após a correção.
Desempenho por Vista: As vistas plantares produziram a maior precisão (ex: IoU Plantar Esquerdo 0,9526), provavelmente devido às silhuetas de alto contraste contra o chão. As vistas dorsais direitas mostraram a maior variância (desvio padrão 0,102), atribuída a fundos complexos e posturas variadas dos pacientes.
Pós-processamento: A análise de componentes conectados rendeu benefício negligenciável, melhorando o IoU médio em apenas 0,0003 em todo o conjunto de dados.

Significância e Alegações
O artigo alega que a U-Net com um codificador MobileNetV2 é o modelo mais robusto para esta tarefa específica, oferecendo tanto uma maior precisão média quanto um menor risco de falha no pior caso em comparação com a DeepLabV3 e a SAM baseada em prompts. Os autores atribuem o sucesso da U-Net às suas conexões de salto (skip connections) de codificador-decodificador, que preservam detalhes finos de borda que o pooling atrous (usado na DeepLabV3) pode descartar na resolução de 384×384 utilizada.

O estudo destaca que, embora a SAM demonstre fortes capacidades zero-shot quando fornecida com prompts perfeitos, ela permanece sensível à ambiguidade dentro da caixa e requer significativamente mais recursos computacionais (checkpoint de 375 MB) em comparação com a U-Net livre de prompts. Os autores concluem que, para pipelines clínicos subsequentes, a U-Net oferece um equilíbrio superior de precisão, eficiência e confiabilidade.

Limitações
Os autores explicitamente notam várias restrições: os dados originam-se de um único local clínico com confiabilidade inter-avaliador desconhecida; a divisão treino/validação foi realizada ao nível da imagem em vez de nível do paciente (potencialmente introduzindo vazamento de dados/data leakage); e o tamanho do conjunto de dados (453 imagens) é modesto para os padrões de deep learning, limitando a generalização dos achados para arquiteturas baseadas em transformers ou diversas condições de aquisição. Nenhum benchmark de inferência em dispositivo (on-device) foi realizado.

Mais como este