Expert-level vision-language foundation model for real-world radiology and comprehensive evaluation

No consultório do radiologista moderno, o ambiente é de um foco intenso, onde o olho humano varre milhares de imagens para encontrar os sinais invisíveis de doenças. Essas imagens, que variam de chapas de raio-X de tórax a cortes tridimensionais da tireoide, são mais do que apenas fotos; são conjuntos de dados complexos que exigem uma compreensão profunda de anatomia e patologia para serem interpretados corretamente. Por décadas, computadores foram treinados para detectar padrões específicos nessas imagens, atuando como ferramentas especializadas que podem identificar um osso quebrado ou um nódulo pulmonar. No entanto, essas ferramentas foram tradicionalmente limitadas a tarefas únicas, sendo incapazes de conversar com um médico ou explicar seu raciocínio em linguagem natural. Recentemente, surgiu uma nova geração de inteligência artificial que combina a capacidade de ver com a capacidade de compreender e gerar linguagem. Esses sistemas, conhecidos como modelos de visão-linguagem, visam preencher a lacuna entre o mundo visual do diagnóstico por imagem e o mundo textual dos relatórios clínicos, oferecendo a promessa de um assistente que não apenas vê o que um médico vê, mas também o descreve com a nuance de um especialista humano.

Uma equipe de pesquisadores introduziu agora um novo sistema chamado RadFound, projetado especificamente para dominar a linguagem complexa da radiologia. Diferente de tentativas anteriores que dependiam de conhecimento geral ou adaptações simples de ferramentas existentes, este novo modelo foi construído sobre a arquitetura BLIP-2, mas foi refinado utilizando uma coleção massiva de dados médicos. Os pesquisadores reuniram mais de 8,1 milhões de imagens médicas e 250.000 pares de imagens e suas respectivas descrições textuais. Este conjunto de dados abrange 19 sistemas de órgãos principais e 10 modalidades de imagem, garantindo que o modelo aprenda com uma ampla variedade de casos do mundo real, em vez de uma seleção estreita. Para ensinar o sistema a enxergar como um especialista, a equipe desenvolveu um método de treinamento único que força o modelo a olhar para uma imagem, ocultar partes dela e, em seguida, reconstruir os detalhes ausentes, enquanto também a compara com outras imagens relacionadas. Esse processo ajuda o computador a aprender não apenas os detalhes finos de um único exame, mas também o contexto mais amplo de como diferentes imagens se relacionam entre si, mimetizando a maneira como um radiologista compara um exame atual com os registros passados de um paciente.

O sistema também aprendeu a conectar esses insights visuais com a linguagem através de um processo de alinhamento especializado. Em vez de apenas associar palavras a imagens, o modelo foi treinado em dados onde imagens e textos estavam entrelaçados em uma ordem específica, ensinando-o a compreender o fluxo de um relatório médico. Ele aprendeu a lidar com instruções que podem envolver a observação de múltiplas imagens ao mesmo tempo, como comparar uma mamografia de dois ângulos diferentes ou analisar uma tomografia computadorizada tridimensional da tireoide. Essa capacidade permite que o modelo processe questões clínicas complexas, como pedir uma comparação entre um exame atual e um anterior, ou solicitar uma descrição detalhada de achados em diferentes partes do corpo. Os pesquisadores testaram este sistema em um novo conjunto de desafios que criaram, os quais incluíam responder perguntas sobre imagens médicas, escrever legendas curtas e gerar relatórios diagnósticos completos para raios-X de tórax, mamografias e exames de tireoide.

Os resultados desses testes mostraram que o novo modelo superou significativamente os sistemas existentes que não foram projetados especificamente para a radiologia. Quando questionado sobre responder perguntas acerca de imagens médicas, o modelo forneceu respostas corretas com muito mais frequência do que seus concorrentes, mesmo quando as perguntas eram complexas ou exigiam a comparação de múltiplas visualizações. Em tarefas nas quais o modelo precisava gerar texto, ele produziu relatórios que não eram apenas gramaticalmente corretos, mas também clinicamente precisos. Os pesquisadores mediram esse sucesso usando métricas computacionais padrão, mas foram além ao solicitar que médicos humanos avaliassem os relatórios. Nessas avaliações, o output do modelo foi classificado quanto à legibilidade, raciocínio médico e capacidade de detectar anormalidades importantes. As descobertas revelaram que o modelo apresentou um desempenho comparável ao de radiologistas seniores com mais de dez anos de experiência e, em alguns casos, superou radiologistas juniores. Isso sugere que o sistema atingiu um nível de expertise onde poderia potencialmente servir como um parceiro confiável no fluxo de trabalho clínico, capaz de lidar com as tarefas diversas e exigentes da radiologia moderna.

Apesar desses resultados impressionantes, os pesquisadores fazem questão de notar que o trabalho é um passo significativo à frente, e não uma solução final. Eles reconhecem que, embora o modelo tenha um bom desempenho em testes controlados, a integração da tecnologia no cotidiano da prática hospitalar exige investigação adicional. A avaliação atual dependeu fortemente de especialistas humanos para julgar a qualidade dos relatórios, um processo que é preciso, porém demorado e difícil de escalar. A equipe sugere que trabalhos futuros devem focar no desenvolvimento de melhores formas de medir automaticamente o valor clínico desses relatórios sem depender exclusivamente da pontuação humana. Além disso, o impacto real do uso deste sistema ao lado de médicos em um ambiente hospitalar movimentado ainda precisa ser visto. No entanto, o desenvolvimento do RadFound demonstra que é possível criar uma inteligência artificial que compreenda a complexidade única do diagnóstico por imagem, oferecendo uma nova ferramenta poderosa que poderá, um dia, ajudar médicos a fornecer cuidados mais rápidos e precisos aos pacientes.