Resumo Técnico: UniDerm – Um Modelo de Fundação Aberto para Dermatologia

Declaração do Problema

As doenças de pele representam uma carga de doença global significativa, mas o acesso a dermatologistas treinados é severamente limitado, particularmente em países de baixa e média renda. Embora os modelos de fundação tenham demonstrado o potencial de estender o cuidado de nível especialista, os sistemas atuais de última geração (ex: PanDerm) dependem de coortes clínicas privadas que são inacessíveis para a maioria das instituições de pesquisa. Além disso, esses sistemas frequentemente liberam apenas os pesos do modelo sem os dados de treinamento ou as receitas, impedindo a reprodução independente, a auditoria de viés ou o refinamento impulsionado pela comunidade.

Um desafio técnico específico ao utilizar dados públicos de dermatologia é a limitação "uma-imagem-muitos-textos". Conjuntos de dados públicos tipicamente pareiam uma única imagem de pele com múltiplas descrições textuais heterogêneas (ex: diagnóstico, local do corpo, conceitos visuais, legendas clínicas). O aprendizado contrastivo padrão (ex: arquiteturas CLIP de duas torres) força um único embedding de imagem fixo a se alinhar com todos esses textos simultaneamente. Esse efeito de média atua como um filtro passa-baixa, descartando detalhes de alta frequência e específicos de tarefas, e tratando sinais de supervisão distintos como ruído, degradando assim a capacidade do modelo de distinguir características finas.

Metodologia

Os autores apresentam o UniDerm, um modelo de fundação de dermatologia totalmente aberto, treinado exclusivamente em dados de imagem-texto publicamente disponíveis. A inovação central é o aprendizado contrastivo de denoising de supervisão, que aborda o problema de um-imagem-muitos-textos através de dois mecanismos:

1. Arquitetura Condicionada por Instrução: Diferente dos modelos de duas torres, o UniDerm utiliza um transformer unificado de visão-linguagem. Uma imagem ($I$) e uma instrução de sistema em linguagem natural ($S$) são concatenadas em um único fluxo de tokens. Isso permite que o modelo gere diferentes embeddings específicos para a tarefa para a mesma imagem, dependendo da instrução (ex: "Diagnostique esta lesão" vs. "Identifique a rede de pigmentação").
2. Objetivo de Denoising de Supervisão: O objetivo de treinamento combina o embedding de imagem condicionado pela instrução ($E(I, S)$) apenas com o texto alvo específico ($T$) que responde a essa instrução. Isso decompõe o problema de múltiplos alvos em problemas de alvo único, recuperando a supervisão detalhada que a média descartaria de outra forma.

Dados de Treinamento e Receita:

• Corpus: O modelo foi treinado em 505.658 imagens únicas de fontes públicas de cinco fontes (Derm1M, ISIC2019, SCIN, PubMed Central Open Access e BIOMEDICA), totalizando mais de 5,7 milhões de pares instrução-alvo.
• Síntese: Os pares imagem-texto brutos foram expandidos em pares instrução-alvo específicos de tarefas via síntese de instrução multitarefa (diagnóstico, codificação CID-11, descrição morfológica, legenda clínica) e aumento de ontologia CID-11 (usando definições oficiais e amostragem de irmãos de falso-positivo/hard-negative).
• Abertura: Os pesos do modelo, o código e a "receita de dados" (instruções para reconstruir o corpus a partir de fontes públicas) são todos liberados publicamente sob a licença Apache-2.0. Nenente coorte clínica privada foi utilizada.

Variantes do Modelo:

• UniDerm: Um transformer unificado de 2,07 bilhões de parâmetros.
• UniDerm-VE-lite: Um modelo de 0,1 bilhão de parâmetros derivado pela poda estrutural do encoder visual do UniDerm e destilado sem rótulos, projetado para implantação em hardware apenas com CPU.

Principais Contribuições

1. Sistema Totalmente Aberto: O UniDerm é o primeiro modelo de fundação de dermatologia onde os pesos, o código e a receita de dados são totalmente públicos, permitindo a reprodução independente e auditoria.
2. Aprendizado Contrastivo de Denoising de Supervisão: Um novo paradigma de treinamento que resolve o ruído introduzido pela média de alvos de texto heterogêneos, permitindo que o modelo aprenda representações finas e específicas de tarefas a partir de dados públicos.
3. Eficiência de Rótulo: O modelo atinge desempenho de última geração usando significativamente menos rótulos de especialistas do que modelos de coortes privadas.
4. Inferência Sensível ao Contexto: Ao fundir o contexto do paciente (idade, local, sintomas) diretamente no fluxo de tokens, o UniDerm melhora a precisão diagnóstica, enquanto modelos de duas torres frequentemente degradam quando o contexto é adicionado.
5. Equidade no Desempenho: O modelo demonstra robustez em tons de pele Fitzpatrick, particularmente em peles escuras (FST V–VI), onde muitos sistemas existentes falham.

Resultados

O UniDerm foi avaliado em 11 benchmarks abrangendo cinco continentes e oito países, cobrindo dermatoscopia e fotografia clínica.

• Eficiência de Rótulo: Em probing linear de poucos disparos (10% de rótulos), o UniDerm excedeu o PanDerm de coorte privada em 20,2 pontos percentuais (ganho relativo de 46,8%) em acurácia balanceada média. Com 30% de rótulos, o UniDerm igualou o desempenho de todos os rótulos (100%) do PanDerm.
• Desempenho Zero-Shot: O UniDerm classificou-se em primeiro lugar em todos os sete benchmarks de diagnóstico zero-shot, superando tanto modelos de dados públicos quanto o PanDermLIP de coorte privada.
• Estudos de Leitores:
  • No subset Tschandl-948 (painel de 302 leitores), a detecção de malignidade zero-shot do UniDerm (AUROC 0,917) igualou o consenso dos leitores (AUROC 0,914), e sua versão de poucos disparos (few-shot) (AUROC 0,946) excedeu significativamente o consenso.
  • No benchmark de Imagens de Dermatologia Diversas (DDI), o UniDerm superou todos os comparadores no subgrupo FST V–VI (pele escura) (AUROC 0,770 vs. 0,681 para o segundo melhor), sendo o único modelo a melhorar em vez de degradar em peles escuras.
• Eficiência: O UniDerm-VE-lite (0,1B de parâmetros) superou o PanDerm (0,3B de parâmetros) em todos os benchmarks, sendo 3,1 vezes mais rápido em quatro threads de CPU sem GPU.
• Capacidades de Busca: O UniDerm liderou em busca de conceito-para-imagem e busca de evidência cross-modal, permitindo que clínicos recuperem imagens baseadas em características clínicas ou descrições textuais.

Significância e Alegações

O artigo argumenta que o UniDerm demonstra que IA médica de nível especialista pode ser construída apenas com dados públicos, desafiando a premissa de que o desempenho de nível clínico requer coortes proprietárias e privadas.

• Democratização: Ao remover a dependência de dados privados e hardware caro (via variante leve VE-lite), o modelo permite que comunidades sub-recursos construam, auditem e possuam suas próprias ferramentas diagnósticas em vez de comprar produtos proprietários.
• Transparência e Responsabilidade: A abertura total permite a auditoria de viés independente e o refinamento iterativo pela comunidade, abordando a natureza de "caixa preta" dos sistemas de coorte privada.
• Generalização: Os autores postulam que o paradigma de denoising de supervisão não é específico para dermatologia e pode servir como um template para outros campos médicos ricos em dados e escassos em expertise, como radiologia e patologia.

Os autores mantêm uma postura modesta, observando que, embora o modelo atinja referências de leitores publicados, estas são comparações retrospectivas. Eles enfatizam que a validação prospectiva e multicêntrica é necessária antes que alegações de prontidão clínica possam ser feitas. Além disso, o corpus de treinamento é limitado pela licença mais restritiva de seus componentes (CC BY-NC 4.0), e os autores liberam uma receita em vez do corpus agregado bruto para cumprir o licenciamento de dados.