Prompting with the human-touch: evaluating model-sensitivity of foundation models for musculoskeletal CT segmentation

Este estudo avalia a sensibilidade de 11 modelos fundamentais de segmentação de imagens a prompts humanos em tomografias computadorizadas musculoesqueléticas, revelando que o desempenho varia significativamente entre modelos e estratégias de prompt, e que a performance reportada com prompts ideais tende a superestimar os resultados em cenários reais guiados por humanos.

O essencial

Imagine que você está tentando ensinar um robô superinteligente a desenhar contornos de ossos em imagens de tomografia computadorizada (CT), como se fosse um cirurgião planejando uma operação.

Este artigo é como um relatório de testes de direção para esses robôs (chamados de "Modelos de Fundação" ou FMs). Os pesquisadores queriam saber: Qual robô é o melhor? E, mais importante, eles funcionam bem quando a gente (humanos) dá as instruções, ou só funcionam bem quando as instruções são perfeitas?

Aqui está a explicação simplificada, usando analogias do dia a dia:

1. O Problema: O "Aluno Perfeito" vs. O "Aluno Real"

Até agora, a maioria dos testes com esses robôs era feita como se eles estivessem estudando para uma prova com um gabarito perfeito.

• A analogia: Imagine que você pede para um aluno desenhar um círculo. O professor (o computador) dá a instrução exata: "Faça um ponto no centro e um quadrado ao redor". O aluno desenha perfeitamente.
• A realidade: Na vida real, um médico ou estudante não dá instruções perfeitas. Eles podem colocar o ponto um pouco torto ou o quadrado um pouco grande demais.
• O que o estudo fez: Os pesquisadores decidiram parar de testar apenas com o "gabarito perfeito". Eles reuniram 20 estudantes de medicina para dar as instruções (os "prompts") e viram como os robôs reagiam a essas instruções humanas, cheias de pequenas variações.

2. A Corrida dos Robôs (Os Modelos)

Eles testaram 11 robôs diferentes. Alguns foram treinados apenas com fotos da internet (como o SAM), e outros foram treinados especificamente com imagens médicas (como o Med-SAM ou nnInteractive).

• Os Vencedores (2D): Para imagens em fatias (como ver uma fatia de pão), os robôs que usavam a tecnologia mais recente da "internet" (SAM2.1) foram os melhores, mesmo sem ter estudado medicina antes.
• Os Vencedores (3D): Para ver o volume completo (como ver o pão inteiro), os robôs treinados especificamente para medicina (Med-SAM2 e nnInteractive) foram os campeões.

3. A Grande Surpresa: O Efeito "Humanos"

Aqui está a parte mais importante do estudo. Quando eles trocaram as instruções perfeitas (do computador) pelas instruções humanas:

• A queda de desempenho: A precisão de todos os robôs caiu.
• A analogia: É como se o robô fosse um cozinheiro de elite que faz um prato perfeito se você der a receita exata em gramas. Mas, se você disser "um pouco de sal" ou "um punhado de farinha", o prato fica estragado.
• O resultado: Os testes anteriores, feitos com instruções perfeitas, estavam superestimando o quão bons esses robôs realmente são quando usados por humanos reais.

4. A Sensibilidade ao "Toque Humano"

Os pesquisadores descobriram que a maioria dos robôs é extremamente sensível.

• A analogia: Imagine um castelo de cartas. Se você mover um único ponto de apoio (a instrução humana) apenas um milímetro para a esquerda, o castelo inteiro desmorona (a segmentação do osso fica errada).
• O que eles viram:
  • Estruturas simples: Para ossos pequenos e redondos (como os do pulso), os humanos foram consistentes e os robôs funcionaram bem.
  • Estruturas complexas: Para ossos grandes, com formatos estranhos ou com implantes metálicos (como o quadril ou a canela com prótese), os humanos tinham mais dificuldade em dar a instrução exata, e os robôs "travavam" ou faziam erros grandes.

5. A Conclusão: O Que Isso Significa para o Futuro?

O estudo conclui que, embora esses robôs sejam incríveis, ainda não podemos confiar neles cegamente para substituir médicos.

• A lição: Se um robô parece perfeito em testes de laboratório (com instruções perfeitas), ele pode falhar miseravelmente no consultório, onde as instruções vêm de mãos humanas que tremem um pouco ou têm opiniões diferentes sobre onde está o centro do osso.
• O futuro: Para que esses robôs sejam usados na medicina, precisamos desenvolver modelos que sejam mais "robustos" — ou seja, modelos que entendam que "um pouco para a esquerda" ainda significa "o mesmo osso", e não entrem em pânico e desmontem o trabalho todo.

Em resumo: Os robôs de IA para medicina são promissores, mas são muito "delicados". Eles precisam aprender a lidar com a imperfeição humana antes de serem considerados prontos para o dia a dia dos hospitais.

Resumo técnico

Título: Prompting com o Toque Humano: Avaliando a Sensibilidade de Modelos Fundamentais para Segmentação de CT Musculoesquelético

1. Problema e Motivação

Os Modelos Fundamentais (FMs) para segmentação de imagens médicas, inspirados no Segment Anything Model (SAM), prometem revolucionar a área ao permitir interações simples (pontos, caixas delimitadoras, rabiscos) para guiar a segmentação. No entanto, a maioria das avaliações existentes baseia-se em "prompts ideais" gerados algoritmicamente a partir de máscaras de referência perfeitas.

O problema central identificado é que essas avaliações ignoram a variabilidade inerente das anotações humanas. Na prática clínica, os prompts são fornecidos por humanos com diferentes níveis de expertise, resultando em variações de posicionamento que podem degradar significativamente o desempenho do modelo. Existe uma lacuna crítica na compreensão de como a variabilidade dos prompts humanos impacta a consistência e a precisão final da segmentação, especialmente em tarefas complexas de ortopedia (ossos e implantes).

2. Metodologia

Os autores propuseram um estudo abrangente e rigoroso para preencher essa lacuna, utilizando uma estratégia de duas etapas:

• Conjunto de Dados Híbrido:

  • Combinaram dados privados (do Amsterdam UMC) e públicos (TotalSegmentator) para garantir avaliação independente e reprodutibilidade.
  • Foco em quatro regiões anatômicas: Punho, Perna Inferior, Ombro e Quadril.
  • Total de 49 exames de TC com 18 classes de rótulos (ossos e implantes).

• Estudo de Observadores (Human-in-the-loop):

  • 20 estudantes de medicina realizaram anotações seguindo diretrizes padronizadas.
  • Coletaram prompts humanos (pontos centrais e caixas delimitadoras) para criar um conjunto de dados de variabilidade intra-avaliador (mesmo anotador, duas vezes) e inter-avaliador (diferentes anotadores).
  • Tempo médio de anotação: ~4s para pontos e ~11s para caixas.

• Avaliação de Modelos:

  • 11 Modelos Fundamentais foram testados, divididos em 2D e 3D, treinados em dados naturais ou médicos (incluindo SAM, SAM2, Med-SAM, nnInteractive, etc.).
  • Estratégia de Prompting: Testaram estratégias não iterativas (2D e 3D) com caixas, pontos e combinações.
  • Seleção de Modelos (Fronteira de Pareto): Primeiro, os modelos foram avaliados com prompts "ideais" (extraídos de máscaras de referência) para identificar os modelos Pareto-ótimos (melhor equilíbrio entre desempenho e eficiência de parâmetros).
  • Análise de Sensibilidade: Os modelos selecionados foram reavaliados com os prompts humanos para medir:
    1. Queda de desempenho em relação aos prompts ideais.
    2. Consistência da segmentação frente à variabilidade dos prompts.
    3. Correlação entre a variabilidade do prompt e a consistência da segmentação (sensibilidade do modelo).

3. Contribuições Principais

1. Avaliação Realista: Primeiro estudo a quantificar sistematicamente o impacto da variabilidade de prompts humanos (intra e inter-avaliador) em modelos fundamentais para segmentação de CT musculoesquelético.
2. Descoberta de Viés de Benchmarking: Demonstração de que as métricas de desempenho reportadas em benchmarks com prompts "ideais" superestimam a performance em cenários reais guiados por humanos.
3. Análise de Sensibilidade: Introdução de uma métrica de sensibilidade do modelo à variabilidade de entrada, mostrando que mesmo modelos de alto desempenho podem ser frágeis a pequenas mudanças no posicionamento do prompt.
4. Recursos Abertos: Disponibilização do código para extração de prompts e inferência do modelo, além de um conjunto de dados anotado por humanos para futuras pesquisas.

4. Resultados Chave

• Desempenho com Prompts Ideais vs. Humanos:

  • Houve uma queda estatisticamente significativa no desempenho ao passar de prompts ideais para humanos.
  • Modelos 2D: Queda média de 2,07% no DSC e 0,87% no NSD.
  • Modelos 3D: Queda média de 1,06% no DSC e 0,47% no NSD.
  • Isso confirma que benchmarks atuais podem ser otimistas demais para aplicações clínicas reais.

• Modelos Pareto-Ótimos Selecionados:

  • 2D: SAM e SAM2.1 (especialmente com prompts combinados) superaram os modelos médicos treinados.
  • 3D: nnInteractive e Med-SAM2 foram os melhores, superando as versões 3D do SAM2.1.

• Consistência e Variabilidade Humana:

  • A consistência intra-avaliador foi maior que a inter-avaliador.
  • Estruturas simples (ossos do punho) tiveram maior consistência; estruturas complexas (pelve, tíbia, implantes) apresentaram maior erro de localização e menor consistência.
  • Caixas delimitadoras foram mais consistentes e precisas do que pontos centrais, especialmente em geometrias complexas.

• Sensibilidade do Modelo:

  • Todos os modelos 2D mostraram sensibilidade significativa à variabilidade de prompts (intra e inter-avaliador).
  • Modelos 3D: A maioria foi sensível. No entanto, o nnInteractive (com prompts combinados) e o SAM2.1 T (com pontos) mostraram robustez à variabilidade intra-avaliador, mas falharam em manter essa robustez sob variabilidade inter-avaliador mais ampla.
  • O nnInteractive foi identificado como o modelo menos sensível às flutuações entre diferentes anotadores.

• Erros Comuns Observados:

  1. Ambiguidade Anatômica: Dificuldade em distinguir entre osso cortical e trabecular ou volume total.
  2. Supersegmentação: Propagação de erros em modelos 3D, onde falhas de limite em uma fatia se propagam para estruturas vizinhas ou através de espaços articulares.
  3. Subsegmentação: Parada prematura da predição em regiões com intensidade de sinal variável.

5. Significado e Conclusão

O estudo conclui que a seleção do modelo fundamental mais adequado para um ambiente guiado por humanos permanece desafiadora. Mesmo os modelos de alto desempenho são sensíveis a variações na entrada humana.

Implicações Práticas:

• A comunidade de pesquisa deve incorporar a sensibilidade à variabilidade de prompts como uma métrica complementar essencial na avaliação de FMs, além das métricas tradicionais de precisão (DSC, NSD).
• Os benchmarks atuais, baseados em prompts perfeitos, não refletem fielmente o desempenho em cenários clínicos reais.
• Para aplicações clínicas, a escolha do modelo deve considerar não apenas a precisão máxima, mas também a robustez a erros humanos de anotação. O nnInteractive emergiu como uma forte candidata para tarefas 3D devido à sua menor sensibilidade a variações entre avaliadores.

Este trabalho destaca a necessidade de uma transição de avaliações puramente algorítmicas para avaliações que integrem a variabilidade humana, garantindo que os modelos desenvolvidos sejam verdadeiramente prontos para uso clínico.