Resumo Técnico: Explorando o Alinhamento de Prompts com Fatores Clínicos em Segmentação Zero-Shot

1. Declaração do Problema

A delimitação precisa do Volume Tumoral Macroscópico (GTV) é crítica para o planejamento de radioterapia no câncer de pulmão de células não pequenas (CPNPC), mas o contorno manual é demorado e exibe variabilidade significativa entre anotadores. Embora a aprendizagem profunda tenha reduzido os tempos de contorno, os paradigmas atuais de segmentação apresentam uma lacuna em termos de interpretabilidade no que diz respeito a Modelos Visão-Linguagem (VLMs) zero-shot acionáveis por prompts.

As abordagens de segmentação existentes dividem-se em três categorias:

1. Modelos supervisionados ajustados (por exemplo, nnUNet).
2. Modelos fundamentais zero-shot (por exemplo, TotalSegmentator, VISTA3D).
3. VLMs zero-shot que aceitam imagens volumétricas e prompts clínicos em texto livre.

Embora o desempenho em benchmarks (por exemplo, Coeficiente de Similaridade Dice) seja padrão, ele é insuficiente para implementação clínica. Permanece incerto quais atributos específicos dentro de um prompt clínico (diagnóstico, estadiamento, demografia, localização anatômica) realmente impulsionam o comportamento espacial dos VLMs zero-shot. Um VLM clinicamente útil não deve apenas alcançar alta precisão, mas também demonstrar que suprime a saída para prompts irrelevantes, melhora com prompts espacialmente informativos e falha adequadamente quando informações específicas do paciente não correspondem, em vez de atuar como um detector genérico de tumores.

2. Metodologia

O estudo utilizou um conjunto de dados interno retido, HarvardRT, composto por 93 casos de CPNPC com TCs de planejamento e contornos de GTV de especialistas. Prompts clínicos em texto livre foram derivados de notas institucionais, preservando linguagem de diagnóstico, demografia e estadiamento.

Desenho Experimental

O foco principal foi o VoxTell, o VLM zero-shot de melhor desempenho na triagem inicial. Os autores conduziram quatro análises específicas de alinhamento em um subconjunto de casos:

• Decomposição de Sub-prompts: Prompts originais foram fragmentados em controles (diagnóstico, demografia, estágio TNM, localização anatômica, "tumor de pulmão" genérico e "cisto hepático" irrelevante).
• Robustez a Perturbações: Estruturas de sentenças foram preservadas enquanto atributos únicos eram trocados (tipo de tumor, estágio, idade, sexo, localização) para medir a mudança no Coeficiente de Similaridade Dice ($\Delta$DSC).
• Escada de Especificidade: Prompts foram variados do Nível 0 ("tumor" genérico) ao Nível 6 (prompt completo mais detalhe fabricado) para testar se o aumento do detalhe clínico melhora ou desestabiliza o alinhamento.
• Trocas de Prompts entre Casos: Imagens foram emparelhadas com prompts de outros pacientes para distinguir a condicionamento específico do paciente da detecção agnóstica ao prompt.

Benchmarking

Nove modelos foram avaliados nas três paradigmas:

• Ajustados: nnUNet (apenas GTV), Ahmed et al. (multi-estágio), MM-LLM-RO.
• Visão Zero-shot: TotalSeg-Nodules, VISTA3D.
• VLM Zero-shot: VoxTell, BiomedParse, SAT, CAT.

O desempenho foi medido usando o Coeficiente de Similaridade Dice (DSC). A significância estatística foi avaliada usando testes de Friedman para heterogeneidade geral e testes de postos sinalizados de Wilcoxon pareados com correção de Benjamini–Hochberg para 33 comparações pareadas.

3. Resultados Principais

Alinhamento e Robustez de Prompts

• Dominância Anatômica: A localização anatômica é o principal motor da atenção espacial do VoxTell. 63,4% das perturbações de localização causaram quedas catastróficas no desempenho ($|\Delta$DSC| > 0,5), enquanto substituições de tipo de tumor e estágio tiveram efeitos mínimos (mediana $|\Delta$DSC| = 0,009 para tipo).
• Especificidade do Prompt: O desempenho melhorou monotonicamente de consultas genéricas para descrições clínicas completas, com o maior ganho ocorrendo na transição da especificidade ao nível de órgão ("tumor de pulmão") para o nível de lobo. No entanto, prompts de "apenas diagnóstico" (L4) foram inconsistentes, performando bem para histologias comuns, mas falhando para tipos raros.
• Supressão de Prompts Irrelevantes: Prompts irrelevantes (por exemplo, "cisto hepático") produziram corretamente zero segmentação.
• Condicionamento Específico do Paciente: Trocas entre casos confirmaram que o modelo depende de informações específicas do paciente. Pares prompt-imagem correspondidos alcançaram um DSC médio de 0,906, enquanto pares não correspondidos caíram para 0,406, com 44% das incompatibilidades produzindo saída zero.

Desempenho em Benchmark

• VoxTell vs. Ajustados: O VoxTell alcançou um DSC médio de 0,613. Isso foi estatisticamente indistinguível dos principais modelos ajustados, nnUNet (0,690, $p_{adj} = 0,156$) e Ahmed et al. (0,675, $p_{adj} = 0,679$).
• Comparação Zero-shot: O VoxTell superou significativamente todos os outros VLMs zero-shot (BiomedParse, SAT, CAT tiveram todos DSC < 0,26) e a maioria dos modelos de visão zero-shot, exceto o TotalSeg-Nodules (0,653), com o qual não houve diferença significativa.
• Hierarquia Geral: Modelos ajustados geralmente lideraram o benchmark, seguidos pelo VoxTell e TotalSeg-Nodules. Outros modelos fundamentais zero-shot performaram mal, provavelmente devido a incompatibilidades de distribuição com a heterogeneidade de tumores pulmonares.

4. Contribuições Principais

1. Caracterização do Alinhamento de Prompts: O estudo fornece a primeira análise sistemática de quais dimensões de prompts clínicos impulsionam a segmentação por VLMs zero-shot. Estabelece que a localização anatômica é a direção de alinhamento dominante, enquanto histologia e estadiamento são amplamente ignorados pelos mecanismos de atenção espacial do modelo.
2. Demonstração de Condicionamento Específico do Paciente: Através de trocas entre casos, os autores provam que o VoxTell não funciona como um detector genérico de tumores, mas condiciona sua segmentação ao contexto específico do paciente fornecido no prompt.
3. Paridade de Desempenho: O trabalho demonstra que um VLM totalmente zero-shot pode alcançar precisão de segmentação estatisticamente comparável a modelos supervisionados ajustados de última geração em um conjunto de dados clínico independente.
4. Framework de Avaliação: O artigo argumenta que VLMs devem ser avaliados não apenas pela precisão agregada (Dice), mas também pelo seu comportamento de alinhamento — especificamente, sua capacidade de suprimir entradas irrelevantes e responder a pistas espaciais.

5. Significado e Alegações

O artigo afirma que VLMs de segmentação devem ser avaliados com base em ambos a precisão de benchmark e análises de alinhamento de prompts. As descobertas sugerem que o VoxTell utiliza linguagem clínica de maneira seletiva, priorizando "onde olhar" (localização anatômica) em vez de "o que procurar" (histologia/estágio). Este comportamento alinha-se com arquiteturas onde consultas de texto localizam regiões via atenção cruzada antes de se fundir com características espaciais.

Os autores concluem que integrar a compreensão da linguagem clínica com a análise de imagens volumétricas é uma direção promissora para o contorno escalável de radioterapia. No entanto, eles notam limitações, incluindo o conjunto de dados de uma única instituição, o uso do DSC como única métrica e a observação de que a dependência do modelo da localização anatômica pode limitar sua aplicabilidade a alvos complexos como volumes ganglionares, onde o estadiamento e a intenção de tratamento são mais críticos. O estudo enfatiza que, embora o VoxTell se aproxime da fronteira de desempenho dos modelos ajustados, sua utilidade clínica depende da compreensão desses comportamentos específicos de alinhamento.