$\Delta$Representation: Geometry Supervised Representation Learning of Phenotypes via Counterfactual Reasoning for Medical VLMs

No zumbido silencioso de um departamento de radiologia de um hospital, um médico estuda uma tomografia computadorizada, procurando a diferença sutil entre um pulmão saudável e um doente. Para o olho humano, essa tarefa depende de anos de treinamento para reconhecer como uma doença específica altera a aparência do tecido normal. Nos últimos anos, os computadores começaram a aprender essa mesma habilidade por meio de sistemas de inteligência artificial conhecidos como modelos de visão-linguagem. Esses sistemas são treinados para olhar imagens médicas e ler textos clínicos, aprendendo a conectar o que veem com o que está escrito. O objetivo é criar um assistente digital que possa ajudar os médicos a interpretar exames, detectar anormalidades e gerar laudos. No entanto, um obstáculo significativo permanece: esses modelos de computador frequentemente têm dificuldade em entender que uma doença não é um objeto separado flutuando no corpo, mas sim uma mudança ocorrendo na estrutura normal do corpo. Eles veem a imagem como um todo, mas têm dificuldade em isolar exatamente como uma lesão, ou uma área danificada, difere do tecido saudável que a circunda. Sem esse entendimento preciso, o computador pode identificar que algo está errado, mas não consegue explicar de forma confiável exatamente o que está errado ou onde está localizado com a precisão que um médico necessita.

Uma equipe de pesquisadores propôs uma nova maneira de ensinar esses modelos de computador, uma que se concentra no conceito de mudança, em vez de apenas na imagem final. Eles chamam sua abordagem de um método para aprender representações visuais através do raciocínio contrafactual. Em termos simples, em vez de apenas mostrar ao computador a foto de um pulmão doente e pedir que ele nomeie a doença, os pesquisadores ensinam o computador a imaginar como aquele ponto específico pareceria se estivesse saudável. O sistema primeiro aprende um mapa detalhado de como as partes saudáveis do corpo estão organizadas no espaço, entendendo que o coração se situa em uma relação específica com os pulmões e que os vasos sanguíneos seguem um caminho contínuo. Uma vez estabelecido esse mapa da anatomia normal, o computador olha para uma área doente e faz uma pergunta hipotética: "Se este ponto fosse normal, como ele seria?". Ao comparar a imagem real do tecido doente contra esta versão saudável imaginada, o sistema calcula a diferença específica. Essa diferença, ou o "incremento" da mudança, torna-se a chave para identificar a doença. Os pesquisadores descobriram que, ao focar nesse hiato entre o real e o estado saudável imaginado, o computador torna-se muito melhor em localizar onde está o problema e descrever exatamente que tipo de problema é.

O método é construído sobre duas etapas distintas. Primeiro, o sistema passa por uma fase de treinamento onde aprende a geometria do corpo humano sem a presença de doenças. Ele recebe milhares de imagens de anatomia saudável e é ensinado a organizar sua compreensão interna dessas estruturas de modo que as relações espaciais correspondam à realidade. Se o modelo sabe onde o pulmão esquerdo deve estar em relação ao pulmão direito, e como o tecido flui continuamente dentro de um único órgão, ele constrói um ponto de referência estável. Isso é crucial porque fornece ao computador uma linha de base confiável. Na segunda etapa, o sistema encontra imagens contendo lesões, como nódulos ou áreas de inflamação. Para cada mancha de tecido doente, o sistema usa seu conhecimento de anatomia saudável para estimar como aquela mancha deveria parecer se não estivesse doente. Ele então subtrai essa versão saudável estimada da imagem doente real. O resultado é um sinal claro que destaca apenas a mudança patológica, removendo o ruído de fundo da anatomia normal. Isso permite que o modelo aprenda que um "nódulo pulmonar" não é apenas uma forma aleatória, mas um tipo específico de mudança visual em relação ao tecido pulmonar normal.

Para testar essa ideia, os pesquisadores aplicaram seu método a vários modelos existentes de inteligência artificial médica e os avaliaram em dois grandes conjuntos de dados públicos contendo tomografias computadorizadas de tórax. Um conjunto de dados incluía mais de dois mil imagens com notas detalhadas sobre quatro tipos específicos de condições pulmonares, enquanto o outro continha centenas de exames com anotações de especialistas para nódulos pulmonares. Os resultados mostraram uma melhoria dramática na capacidade dos modelos em realizar duas tarefas críticas: localizar a posição exata de uma lesão no exame e identificar corretamente o tipo de doença. Por exemplo, quando testado em um dos modelos, a capacidade de localizar precisamente o local de um problema saltou de aproximadamente dez por cento de precisão para mais de cinquenta por cento. Da mesma forma, a precisão de identificação do tipo específico de doença mais que triplicou em alguns casos. Os pesquisadores observaram que, conforme alimentavam o sistema com mais exemplos de tecido doente, sua capacidade de distinguir entre diferentes tipos de condições tornava-se mais nítida, de forma muito semelhante a um estudante que aprende a diferenciar pássaros de aparência semelhante após ver muitos mais exemplos.

O estudo também demonstrou que essa abordagem funciona bem mesmo quando o computador é solicitado a gerar relatórios escritos completos sobre os exames, uma tarefa conhecida como geração de laudos radiológicos. Nesses testes, os modelos equipados com o novo método foram capazes de produzir laudos que não eram apenas mais precisos em suas descrições, mas também melhores em vincular essas descrições às partes corretas da imagem. Em um estudo de caso específico, um modelo padrão falhou em notar uma opacidade em vidro fosco, uma nebulosidade sutil no pulmão, e relatou que o exame estava normal. O modelo usando o novo método, no entanto, identificou corretamente a anormalidade, descreveu sua textura e forma, e anotou sua localização na parte inferior do pulmão. Esse sucesso sugere que, ao ensinar o computador a entender o layout normal do corpo e, em seguida, medir o desvio desse layout, o sistema ganha uma compreensão mais profunda e confiável da doença. Os pesquisadores concluíram que esta forma de aprendizado, que separa o normal do anormal através de um processo de comparação, oferece uma ferramenta poderosa para melhorar a forma como a inteligência artificial interpreta imagens médicas, potencialmente levando a diagnósticos mais precisos e um melhor suporte para os médicos no futuro.