MeFEm: Medical Face Embedding model

1. Problema e Contexto

O artigo aborda a escassez de dados de treinamento de alta qualidade e rotulados para tarefas médicas específicas, particularmente aquelas que envolvem análise de imagens faciais. Embora modelos fundamentais (foundation models) tenham avançado significativamente em tarefas gerais de visão computacional, sua aplicação na medicina é limitada pela falta de grandes conjuntos de dados médicos anotados, devido a questões de privacidade, custos de rotulagem e necessidade de equipamentos especializados.

O desafio central é desenvolver um modelo capaz de extrair características biomédicas relevantes (como indicadores de saúde sistêmica, idade, gênero e IMC) a partir de imagens faciais, utilizando dados não rotulados e não médicos para pré-treinamento, sem depender de rótulos médicos diretos durante a fase de aprendizado auto-supervisionado.

2. Metodologia

O MeFEm é um modelo de visão baseado em uma arquitetura modificada de Joint Embedding Predictive Architecture (JEPA), utilizando um backbone Vision Transformer (ViT). A abordagem utiliza aprendizado auto-supervisionado (SSL) em grandes coleções de imagens faciais não médicas para aprender representações robustas.

Principais Modificações e Contribuições Metodológicas:

• Pré-processamento e Recorte (Cropping):
  • Utiliza o modelo Blazeface para detecção facial.
  • Diferente dos recortes padrão (que vão de queixo a testa), o MeFEm define um recorte quadrado com dimensões duas vezes maiores que a caixa delimitadora original. Isso preserva informações contextuais periféricas (testa, orelhas, pescoço) que podem conter sinais biométricos, mantendo uma correspondência estável entre as características anatômicas e a grade de patches do ViT.
• Máscara de Faixas Axiais (Axial Stripe Masking):
  • Substitui a estratégia de multiblock masking padrão do JEPA.
  • Em vez de máscaras aleatórias que podem cobrir regiões semanticamente irrelevantes (fundo) ou deixar de cobrir o centro (rosto), o modelo usa faixas verticais ou horizontais que atravessam a imagem inteira.
  • A posição da faixa é amostrada de uma distribuição Gaussiana centrada no meio da imagem, garantindo que o contexto de origem (source) sempre contenha informações faciais relevantes para a reconstrução.
• Reatribuição Probabilística do Token CLS:
  • Introduz uma abordagem onde o token especial CLS é atribuído probabilisticamente ao conjunto de origem (source) ou ao conjunto de destino (target) durante o treinamento.
  • Isso permite que o token CLS aprenda uma representação global significativa sem comprometer o aprendizado detalhado dos patches locais, otimizando o uso para probing linear posterior.
• Pesos de Perda Circulares (Circular Loss Weighting):
  • Aplica um esquema de ponderação na função de perda, onde os patches mais próximos do centro da imagem (onde o rosto está) têm maior peso, e os patches nas bordas (fundo) têm peso reduzido.
  • Utiliza uma função sigmoide baseada na distância do centro para suavizar essa transição, focando o aprendizado nas regiões clinicamente relevantes.

3. Dados

• Treinamento: O modelo foi treinado em um conjunto consolidado de aproximadamente 6,4 milhões de amostras, derivadas de:
  • FaceCaption-15M (após limpeza de links quebrados e recortes inválidos).
  • AVSpeech (quadros extraídos de vídeos de fala).
  • SFHQ (imagens sintéticas de alta qualidade).
  • Nota: O conjunto de dados é significativamente menor do que os usados por modelos concorrentes como FaRL ou Franca, mas é altamente curado.
• Avaliação:
  • Tarefas Biométricas: CelebA (atributos) e FairFace (idade e gênero).
  • Estimativa de IMC: Um novo conjunto de dados consolidado e fechado (não público) criado pelos autores, combinando FIW-BMI, MCD-rPPG e um conjunto personalizado, para mitigar viés de domínio.
  • Parâmetros Médicos: Avaliação preliminar no conjunto MCD-rPPG para prever hemoglobina, saturação de oxigênio, pressão arterial, etc., a partir de um único quadro.

4. Resultados

O MeFEm demonstrou desempenho superior em comparação com baselines fortes (FaRL, Franca e Buffalo) em várias tarefas, apesar de usar menos dados de treinamento:

• Tarefas de Núcleo (Anthropometry):
  • IMC: Alcançou um $R^2$ de 0,506 (vs. 0,425 do Franca e 0,380 do FaRL) e um Erro Absoluto Médio (MAE) de 3,453.
  • Idade e Gênero: Obteve a maior acurácia no conjunto FairFace (0,910 para idade) e CelebA, superando os modelos baseados em CLIP (FaRL) e modelos puramente visuais de grande escala (Franca).
• Parâmetros Médicos (MCD-rPPG):
  • O modelo mostrou capacidade preditiva moderada para hemoglobina glicada e saturação de oxigênio, mas falhou em prever colesterol e pressão diastólica a partir de um único quadro.
  • Os autores interpretam isso como uma prova de conceito: o modelo aprendeu associações visuais sutis com estados patológicos, embora a previsão de parâmetros laboratoriais complexos a partir de uma única imagem seja inerentemente difícil.
• Eficiência: O modelo superou o FaRL (que usa alinhamento imagem-texto) e o Franca (modelo geral massivo), sugerindo que a especialização visual pura via JEPA é mais eficiente para tarefas faciais médicas do que o alinhamento semântico com texto.

5. Significado e Conclusão

O trabalho do MeFEm é significativo por estabelecer um novo baseline robusto para análise facial médica e biométrica.

• Validação da Abordagem: Demonstra que o aprendizado auto-supervisionado puramente visual, quando adaptado com estratégias de mascaramento e perda específicas para a estrutura facial, pode superar modelos que dependem de alinhamento imagem-texto (CLIP) para tarefas onde o texto não oferece vantagem intrínseca.
• Eficiência de Dados: Prova que é possível obter desempenho de ponta com conjuntos de dados menores e mais curados, em vez de apenas escalar para bilhões de amostras da internet.
• Aplicabilidade: O modelo oferece uma ferramenta viável para extração de características em cenários onde dados médicos rotulados são escassos, servindo como base para fine-tuning ou extração de características congeladas em futuras pesquisas médicas.

Os pesos do modelo estão disponíveis publicamente no Hugging Face, incentivando a reprodutibilidade e o avanço na interseção entre visão computacional e saúde.