Assessing Multimodal Chronic Wound Embeddings with Expert Triplet Agreement

1. Problema e Contexto

O artigo aborda o desafio de avaliar e recuperar casos semelhantes de Epidermólise Bolhosa Distrófica Recessiva (RDEB), uma doença genética rara e crônica que causa feridas na pele de difícil cicatrização.

• Limitações dos Modelos Atuais: Modelos de base (foundation models) prontos para uso não capturam de forma confiável características clinicamente significativas para esta doença de "cauda longa" (long-tail), devido à sua heterogeneidade e à falta de dados de treinamento específicos.
• Dificuldade de Validação: Validar a similaridade entre feridas é complexo, pois as relações fenotípicas são graduais e sobrepostas, resistindo a categorizações discretas simples.
• Necessidade Clínica: Para a tomada de decisão clínica em doenças raras, é crucial identificar casos semelhantes e seus resultados de tratamento, o que exige representações de embutimento (embeddings) precisas baseadas em imagens e textos clínicos.

2. Metodologia: Framework TriDerm

Os autores propõem o TriDerm, um framework multimodal que aprende representações interpretáveis de feridas a partir de pequenas coortes, integrando imagens, máscaras de contorno e relatórios de especialistas.

A. Avaliação via Julgamento de Tripleto (Triplet Judgments)

Em vez de usar rótulos categóricos, o método utiliza comparações ordinais de especialistas:

• Dadas duas imagens de referência, um dermatologista indica qual delas é mais semelhante a uma terceira imagem.
• Isso codifica uma estrutura de similaridade ordinal (graduada), capturando nuances clínicas que rótulos binários perdem.

B. Representação Visual (Visão)

Para adaptar modelos de visão a RDEB:

• Base: Utiliza o modelo DermLIP (frozen).
• Atenção Nível de Ferida: Em vez de tratar a imagem inteira, o modelo extrai vetores de características de todas as localizações espaciais dentro da região da ferida (delimitada por máscaras).
• Agrupamento por Atenção (Attention Pooling): Um módulo de pooling com atenção (MLP de duas camadas) agrega esses tokens de ferida, focando nas características mais relevantes.
• Aprendizado Não-Contrastivo: O modelo é treinado usando a perda VICReg (Variance, Invariance, Covariance). Diferente de métodos contrastivos, o VICReg não requer amostras negativas, tornando-o ideal para conjuntos de dados pequenos.

C. Representação Textual

Para processar descrições clínicas:

• Protocolo de Especialista Sintético: Um Grande Modelo de Linguagem (LLM) é consultado como um "especialista sintético".
• Prompting: O LLM recebe descrições de três pacientes e responde a uma pergunta de comparação: "A ferida do Paciente B é mais semelhante à do Paciente A ou C?".
• Soft Ordinal Embedding (SOE): As respostas binárias do LLM são usadas para ajustar vetores de embedding contínuos via SOE, minimizando uma perda de hinge que força a distância entre pares similares a ser menor que a distância entre pares dissimilares.

D. Fusão Multimodal

O artigo avalia duas estratégias para combinar as distâncias das modalidades de visão e texto sem treinamento adicional:

1. Fusão Consciente de Incerteza: Pondera cada modalidade com base na variância das distâncias (confiança). Se uma modalidade mostra alta variância (clara separação), recebe mais peso.
2. Fusão Baseada em Similaridade: Converte distâncias em similaridades e multiplica-as, filtrando correspondências espúrias que aparecem em apenas uma modalidade.

3. Principais Contribuições

1. Paradigma de Tripleto: Introdução de julgamentos de tripleto de especialistas como referência para avaliar representações visuais, textuais e multimodais em doenças raras.
2. TriDerm (Visão): Adaptação de modelos de fundação visual para RDEB usando attention pooling no nível da ferida e aprendizado não-contrastivo.
3. TriDerm (Texto): Uso de perguntas de tripleto para descobrir embeddings clinicamente significativos via SOE, utilizando apenas 50 descrições de texto não rotuladas.
4. Recursos Abertos: Disponibilização pública da ferramenta de anotação, código do modelo e amostras representativas do conjunto de dados.

4. Resultados Experimentais

O estudo foi realizado com 53 imagens de feridas de 21 pacientes (totalizando 120 feridas rotuladas) e 513 triplets avaliados por um dermatologista.

• Desempenho Individual:
  • Texto: O método TriDerm (SOE) alcançou 67,4% de concordância com especialistas, superando a melhor linha de base (RoBERTa) em 3,7 pontos percentuais (pp).
  • Visão: O TriDerm (com atenção e VICReg) alcançou 71,6%, superando o melhor modelo de base (DermLIP) em 3,7 pp. Curiosamente, modelos grandes como MedGemma tiveram desempenho próximo ao acaso na visão (50,3%).
• Fusão Multimodal:
  • A fusão multimodal (especificamente a fusão consciente de incerteza) alcançou 73,5% de concordância com os especialistas.
  • Isso representa um ganho de 5,6 pp sobre o melhor modelo de base de modalidade única e demonstra que visão e texto capturam aspectos complementares do fenótipo da ferida.
• Métricas: O modelo fusionado atingiu um coeficiente Kappa de Cohen de 0,446 (acordo moderado), superior aos métodos unimodais.
• Ablação:
  • Dimensões de embedding de 4 foram ótimas para o texto.
  • O attention pooling superou o mean pooling em 2,3 pp.
  • O VICReg superou métodos contrastivos e de tripleto no regime de poucos dados.

5. Significância e Conclusão

O trabalho demonstra que, embora modelos de base encodeem alguma estrutura clínica relevante, eles falham em distinções finas específicas de doenças raras como a RDEB.

• Adaptação Direcionada: Técnicas como o ajuste fino não-contrastivo (VICReg) para visão e a extração de embeddings via julgamentos de tripleto (SOE) para texto permitem alinhar os modelos com o conhecimento de especialistas usando dados extremamente limitados (apenas 53 imagens não rotuladas).
• Sinergia Multimodal: A fusão de modalidades reduz a discrepância com o julgamento humano, provando que a informação visual e textual são complementares.
• Avaliação Robusta: O paradigma de avaliação baseado em tripleto de especialistas mostra-se eficaz quando dados rotulados são escassos, mas julgamentos de similaridade por especialistas são viáveis.

Em suma, o TriDerm oferece uma abordagem robusta e interpretável para a recuperação de casos clínicos em doenças raras, superando as limitações dos modelos prontos para uso através de uma adaptação multimodal focada na estrutura ordinal da similaridade clínica.