Discrimination Transfers but Thresholds Do Not: External Validation of Convolutional and Transformer Pneumonia Classifiers on Adult and Paediatric Chest Radiographs

Quando um médico suspeita de pneumonia, o primeiro passo é frequentemente uma radiografia do tórax, uma imagem simples que revela a paisagem oculta dos pulmões. Durante décadas, a interpretação dessas imagens dependeu do olho humano, uma habilidade que varia inclusive entre especialistas. Nos últimos anos, programas de computador treinados em vastas bibliotecas de imagens médicas prometeram automatizar essa tarefa, atuando como um segundo par de olhos que nunca se cansa. Esses sistemas de inteligência artificial aprendem a identificar padrões associados à infecção, visando fornecer diagnósticos rápidos e consistentes. No entanto, uma questão crítica pairou ao fundo dessa corrida tecnológica: se um computador aprende a reconhecer a pneumonia em radiografias de um hospital, poderá ele realmente compreender a doença quando vir radiografias de um hospital completamente diferente, ou de uma criança em vez de um adulto? A capacidade desses programas de distinguir entre um pulmão doente e um saudável é apenas parte da história; o verdadeiro teste reside em saber se as regras específicas que utilizam para fazer um diagnóstico e a confiança que expressam em suas respostas se mantêm quando o mundo ao seu redor muda.

Uma equipe de pesquisadores partiu para responder a essa pergunta construindo e testando uma grande variedade desses modelos de computador. Eles começaram com uma coleção massiva de mais de 18.000 radiografias torácicas de adultos, dividindo cuidadosamente os dados para que os modelos pudessem aprender com algumas imagens e serem testados em outras que nunca haviam visto antes. Eles treinaram quinze tipos diferentes de redes neurais, que são os cérebros digitais por trás dos sistemas, usando vários métodos para ver quais performavam melhor. Algumas dessas redes foram construídas do zero, enquanto outras foram adaptadas de sistemas que já haviam aprendido a reconhecer objetos em fotos cotidianas. Os pesquisadores estavam particularmente interessados em um tipo mais novo de rede chamado transformer, que processa imagens de uma forma que mimetiza como os humanos podem escanear uma cena, observando a imagem inteira e suas partes simultaneamente. Após o treinamento, eles selecionaram o modelo com o melhor desempenho e também criaram uma equipe de cinco dos melhores modelos que votavam juntos, esperando que uma decisão em grupo fosse mais confiável do que uma opinião individual.

O verdadeiro teste veio quando esses modelos congelados, que não podiam mais aprender ou mudar, foram apresentados a radiografias de dois grupos de pessoas completamente diferentes. O primeiro grupo consistia em milhares de imagens de crianças, uma população com pulmões menores e padrões de doenças diferentes. O segundo grupo era uma coleção de radiografias de adultos de um país diferente, representando uma população hospitalar geral com uma taxa de pneumonia muito menor do que os dados originais de treinamento. Os resultados revelaram uma divisão fascinante na forma como a tecnologia se comporta. Os modelos provaram ser notavelmente bons em simplesmente diferenciar um pulmão saudável de um doente, independentemente de o paciente ser uma criança ou um adulto. No grupo de crianças, os modelos alcançaram um AUC de 0,925, e no grupo de adultos, alcançaram um AUC de 0,888. Essa habilidade de distinguir entre classes, conhecida como discriminação, transferiu-se bem entre diferentes populações.

No entanto, a história mudou dramaticamente quando os pesquisadores observaram como os modelos realmente tomavam suas decisões. Um modelo de computador não diz apenas "doente" ou "saudável"; ele calcula uma probabilidade, um número que representa o quão provável ele acha que o paciente esteja doente. Para transformar esse número em um diagnóstico, um humano deve definir um limiar, um ponto de corte onde qualquer coisa acima dele é chamada de pneumonia. Os pesquisadores descobriram que o limiar que funcionava perfeitamente para os dados originais de adultos falhou miseravelmente quando aplicado aos novos grupos. A mesma regra que detectou 84% dos casos de pneumonia no grupo original detectou apenas 59% dos casos em crianças e meros 39% no novo grupo de adultos. Os modelos ainda estavam vendo a doença, mas estavam cautelosos demais para declará-la. Quando os pesquisadores pegaram uma pequena amostra dos novos dados para redefinir o ponto de corte, os modelos tornaram-se imediatamente precisos novamente, alcançando um AUC de 0,83 em crianças e 0,79 em adultos. Isso mostrou que a lógica interna dos modelos era sólida, mas suas regras de decisão eram rígidas e ligadas ao ambiente específico onde foram treinados pela primeira vez.

Outra camada de complexidade surgiu quando os pesquisadores examinaram a confiança que os modelos expressavam em suas respostas. Nos dados de treinamento originais, os modelos foram calibrados para fornecer pontuações de probabilidade que correspondiam à frequência real da doença. Mas, ao enfrentar os novos grupos, essa calibração quebrou. No grupo de crianças, onde a pneumonia era extremamente comum, os modelos subestimaram drasticamente o risco, prevendo uma chance de doença muito menor do que a que estava realmente presente. No novo grupo de adultos, onde a doença era rara, as estimativas de probabilidade dos modelos permaneceram surpreendentemente precisas. Isso sugere que, embora os modelos possam aprender as características visuais da pneumonia, sua compreensão de quão comum a doença é em um cenário específico é frágil e facilmente perturbada por mudanças na população de pacientes.

O estudo também descobriu que os modelos eram sensíveis à forma como as radiografias eram tiradas. Nos dados originais, imagens tiradas com a máquina de raio-X à frente do paciente, conhecidas como vistas anteroposteriores, eram muito mais propensas a mostrar pneumonia do que as imagens tiradas de trás, conhecidas como posteroanteriores. Os modelos aprenderam a usar essa pista, performando pior nas imagens de frente porque eram mais difíceis de ler, não porque os modelos estivessem confusos. Quando os pesquisadores tentaram forçar os modelos a ignorar essa pista durante o treinamento, os modelos tornaram-se, na verdade, piores em seu trabalho, sugerindo que a dificuldade era real e inerente ao tipo de imagem, e não apenas um método que os modelos estavam explorando. Além disso, os pesquisadores descobriram que o melhor modelo para adultos não era necessariamente o melhor para crianças. A classificação de qual cérebro computacional era superior mudou dependendo da idade do paciente, significando que um modelo escolhido para hospitais de adultos pode não ser a escolha certa para uma ala pediátrica.

Em última análise, a pesquisa demonstra que, embora a inteligência artificial possa aprender a enxergar a pneumonia com um alto grau de habilidade que viaja através de diferentes populações, as ferramentas práticas necessárias para usar essa habilidade em um hospital não viajam tão facilmente. A capacidade de distinguir a doença é robusta, mas as regras específicas para fazer um diagnóstico e a maneira como o sistema expressa sua confiança estão profundamente ligadas ao contexto local. Para que esses sistemas sejam úteis no mundo real, eles não podem simplesmente ser baixados e usados como estão. Eles requerem um processo de ajuste local, onde as regras de decisão são ajustadas para corresponder à mistura específica de pacientes e à prevalência da doença em cada novo hospital. O estudo conclui que, para que essas tecnologias sejam confiáveis, os relatórios futuros devem ir além de simplesmente declarar o quão bem um modelo consegue distinguir o doente do saudável; eles devem também mostrar o quão bem o modelo performa nos pontos de decisão específicos usados na prática, e como sua confiança se mantém quando o mundo muda.