Resumo Técnico: Auditoria do Sybil: Explicando a Predição de Risco de Câncer de Pulmão Através de Atribuições Intervencionais Generativas

1. Declaração do Problema

O câncer de pulmão permanece como a principal causa de mortalidade por câncer globalmente, impulsionando o desenvolvimento de ferramentas de triagem automatizadas como o Sybil, um modelo de aprendizado profundo capaz de prever o risco de câncer de pulmão em 6 anos a partir de uma única tomografia computadorizada de baixa dose (TCBD) com alta precisão. Embora o Sybil tenha passado por validação clínica extensa, demonstrando robustez em diversas populações, as avaliações atuais dependem puramente de métricas observacionais. Essa abordagem baseada em correlação confirma que o modelo funciona, mas falha em explicar por que funciona ou quando pode falhar. Essa falta de verificação causal cria uma lacuna crítica para a implantação clínica de alto risco, pois ignora os mecanismos reais de raciocínio do modelo, incluindo a dependência potencial de correlações espúrias ou artefatos.

2. Metodologia: O Framework S(H)NAP

Para abordar as limitações da validação observacional, os autores propõem o S(H)NAP, um framework de auditoria agnóstico ao modelo que desloca o paradigma da validação observacional para a auditoria intervencional. O framework aproveita as Pontes de Difusão Incorporadas ao Sistema (SDB) para realizar intervenções generativas 3D realistas em nódulos pulmonares, permitindo o isolamento das contribuições causais específicas do objeto para as pontuações de risco.

A metodologia fundamenta-se na Hipótese 1: a função de decisão do Sybil pode ser efetivamente aproximada por um Modelo Linear com Interações Pares (LMPI) sobre nódulos pulmonares, consistindo em um termo de fundo específico da amostra e efeitos principais/pares dos nódulos.

O framework compreende dois métodos de atribuição primários:

A. SHNAP (Perfis de Atribuição de Nódulo SHapley)

O SHNAP é projetado para decompor a predição do modelo em contribuições individuais de nódulos e interações entre nódulos.

• Mecanismo: Utiliza a remoção de nódulos através de pontes de difusão. Ao substituir sistematicamente nódulos específicos por tecido saudável (usando uma abordagem de "operador do"), o framework gera um conjunto de dados de exames contrafactuais representando todas as coalizões possíveis de nódulos.
• Atribuição: Emprega Valores n-Shapley (nSV) com $n=2$ para aproximar o modelo como um LMPI. Isso calcula efeitos principais (impacto individual do nódulo) e interações pares (como os nódulos influenciam uns aos outros), aderindo ao manifold dos dados.
• Objetivo: Verificar se o Sybil processa nódulos como unidades semânticas modulares independentes do contexto de fundo.

B. SNAP (Sondagem de Atribuição de Nódulo Substitutiva)

O SNAP é projetado para sondar a sensibilidade volumétrica e os vieses espaciais do modelo.

• Mecanismo: Utiliza a inserção de nódulos. Nódulos realistas de malignidade conhecida são extraídos de um paciente e inseridos em coordenadas específicas do exame de outro paciente, usando a ponte de difusão para alinhar o nódulo com o novo contexto anatômico.
• Atribuição: Mede a mudança na saída de logit do modelo (razão de odds logarítmica) resultante da inserção.
• Objetivo: Revelar vieses espaciais (por exemplo, sensibilidade à localização, tamanho ou tecido circundante) e testar o raciocínio do modelo sob cenários controlados de "e se".

C. Intervenção Generativa via Pontes de Difusão

A inovação técnica central é o uso de Pontes de Difusão Incorporadas ao Sistema (SDB) para garantir que as intervenções permaneçam dentro da distribuição.

• Remoção de Nódulos: A SDB trata a região do nódulo mascarado como dados ausentes e a reconstrói usando o modelo de pontuação treinado em distribuições de tecido saudável, apagando efetivamente o nódulo enquanto preserva a anatomia circundante.
• Inserção de Nódulos: Um nódulo de um paciente fonte é "copiado e colado" em um exame alvo e difundido. A SDB garante que o nódulo inserido se misture perfeitamente com o novo contexto, evitando os artefatos comuns em métodos ingênuos de copiar e colar.
• Base Teórica: A abordagem baseia-se no Teorema da Estimativa Desajustada (Verdú, 2009), que garante que amostras difundidas de distribuições diferentes se tornam estatisticamente indistinguíveis após um passo de tempo específico, validando o uso do modelo de pontuação para reconstrução.

3. Resultados Chave

A. Valididade de Perturbações Sintéticas

Radiologistas especialistas avaliaram o realismo das intervenções geradas.

• Remoção: Os radiologistas não conseguiram distinguir entre tecido saudável real e nódulos removidos sinteticamente (precisão estatisticamente indistinguível de um chute aleatório), confirmando alta fidelidade.
• Inserção: Um passo de tempo de mistura ótimo ($\tau = 0.3$) foi identificado, onde os nódulos inseridos preservaram as propriedades da fonte sem artefatos visuais ou desvios excessivos do novo contexto.

B. Verificação da Estrutura do Modelo

• Aproximação LMPI: Os experimentos SHNAP confirmaram que o Sybil funciona efetivamente como um modelo linear com interações pares sobre nódulos pulmonares. A aproximação alcançou um alto coeficiente de determinação ($R^2 \approx 1$) para a maioria dos casos, apoiando a Hipótese 1.
• Estabilidade: As atribuições SHNAP mostraram baixa variância em execuções independentes, indicando robustez contra a estocasticidade do processo de difusão reversa.

C. Modos de Falha Críticos e Desalinhamentos

A auditoria intervencional revelou várias questões críticas não detectáveis por métricas observacionais:

1. Viés de Sensibilidade Radial: O SNAP revelou uma falha sistemática em detectar nódulos periféricos próximos à borda do pulmão (pleura). Uma regressão linear mostrou uma correlação positiva significativa entre a distância até a pleura e a atribuição, indicando que a sensibilidade cai perto da borda. Os autores hipotetizam que isso decorre do preenchimento zero em convoluções 3D, uma vulnerabilidade estrutural clinicamente preocupante, dado que o adenocarcinoma frequentemente surge na periferia.
2. Viese Lobar: Embora o Sybil identificasse corretamente os lobos superiores como de maior risco (alinhando-se com padrões clínicos), exibiu um viés global onde a sensibilidade variava distintamente por lobo, independentemente de fatores específicos do paciente.
3. Correlações Espúrias e Artefatos:
   • Falsos Positivos: O modelo ocasionalmente atribuiu alto risco a achados benignos ou artefatos, como eletrodos de ECG no tórax ou fivelas metálicas de batas hospitalares.
   • Falsos Negativos: Em alguns casos malignos, o modelo ignorou nódulos reais, atribuindo-lhes atribuição negativa, e em vez disso dependeu de características de fundo ou interações para fazer uma predição correta (mas pelas razões erradas).
   • Inconsistência: A análise longitudinal mostrou que o modelo podia mudar seu foco entre nódulos em exames de acompanhamento, tornando seu raciocínio instável, apesar de predições iniciais potencialmente defensáveis.

4. Significado e Alegações

O artigo alega fornecer a primeira auditoria intervencional do modelo Sybil, demonstrando que, embora o modelo frequentemente imite o comportamento de radiologistas especialistas, ele sofre de modos de falha críticos que a validação baseada em correlação ignora.

• Mudança de Paradigma: O trabalho argumenta por uma mudança da validação puramente observacional para a verificação causal via auditoria intervencional para garantir a tomada de decisão robusta antes da implantação clínica.
• Contribuição Metodológica: Introduz um framework inovador (S(H)NAP) que combina atribuições baseadas em teoria dos jogos, modelagem generativa e expertise radiológica para auditar modelos de uma maneira que respeita o manifold dos dados.
• Segurança e Confiança: Ao revelar a dependência de artefatos clinicamente injustificáveis (por exemplo, cabos de ECG) e vieses estruturais (por exemplo, sensibilidade radial), o artigo destaca a necessidade de auditorias rigorosas para prevenir predições não confiáveis em ambientes médicos de alto risco.
• Agnosticismo de Modelo: O framework é agnóstico ao modelo, dependendo apenas de pares de entrada-saída, tornando-o aplicável a sistemas proprietários (por exemplo, Optellum) e outros modelos de imagem médica.

Os autores concluem que, embora o Sybil demonstre poder discriminatório significativo, os desalinhamentos de raciocínio identificados sublinham a necessidade de verificação rigorosa do modelo além das métricas de desempenho padrão para garantir o desenvolvimento ético e seguro da IA na medicina.