Using Deep Learning Models Pretrained by Self-Supervised Learning for Protein Localization

1. Problema e Motivação

A análise de imagens de microscopia para localização de proteínas é fundamental para entender mecanismos moleculares de doenças e identificar alvos terapêuticos. No entanto, um desafio central é a escassez de conjuntos de dados anotados em larga escala, o que dificulta o treinamento de modelos de Deep Learning (DL) robustos.

• Limitação Atual: Modelos supervisionados exigem grandes quantidades de dados rotulados, que são caros e difíceis de gerar em biologia.
• Oportunidade: O Self-Supervised Learning (SSL), como o método DINO (Self-Distillation with No Labels), permite aprender representações transferíveis a partir de dados não rotulados.
• Questão de Pesquisa: A generalização desses modelos pré-treinados (em datasets naturais como ImageNet ou específicos de microscopia como HPA) para novos datasets de tarefas específicas (como OpenCell) com configurações de canais de imagem diferentes e quantidades limitadas de dados de ajuste fino (fine-tuning) ainda não foi totalmente explorada.

2. Metodologia

Os autores investigaram a eficácia de backbones ViT (Vision Transformer) pré-treinados com DINO para a tarefa de localização de proteínas, utilizando o dataset OpenCell (pequeno, específico de tarefa) como alvo e ImageNet-1k, HPA FOV (campo de visão) e HPA Single-Cell como fontes de pré-treinamento.

Abordagens Principais:

1. Pré-treinamento e Fontes de Dados:

   • ImageNet-1k: Imagens naturais (3 canais RGB).
   • HPA FOV: Microscopia de fluorescência (4 canais: proteína, microtúbulos, núcleo, retículo endoplasmático).
   • HPA Single-Cell: Dados de microscopia focados em células individuais.
   • OpenCell: Dataset de destino com 2 canais (proteína e núcleo), gerado via edição genética CRISPR.

2. Estratégias de Tratamento de Canais (Channel Handling):
   Como os modelos pré-treinados esperam um número e tipo de canais específicos, foram testadas duas estratégias para alinhar o OpenCell (2 canais) aos modelos de 3 ou 4 canais:

   • Replicação de Canais: Extrair características de cada canal independentemente e concatená-los.
   • Embebedimento Canal a Canal (Channel-wise Embedding): Mapear os canais do OpenCell para os canais correspondentes do modelo pré-treinado (ex: Proteína -> Verde, Núcleo -> Azul) e preencher canais ausentes com zeros.

3. Protocolos de Avaliação:

   • Classificação FOV (Field-of-View): Treinamento de um cabeçote de classificação supervisionado (MLP) sobre os embeddings extraídos para prever a localização da proteína. Avaliado com e sem fine-tuning do backbone.
   • Classificação de Célula Única: Avaliação da qualidade dos embeddings de células individuais usando um classificador k-NN (k-Vizinhos Mais Próximos) em um subconjunto anotado por especialistas do OpenCell.
   • Métrica Principal: Pontuação Macro F1 (média harmônica de precisão e recall para múltiplas classes).

3. Contribuições e Resultados Chave

A. Transferibilidade Zero-Shot e Fine-Tuning

• Desempenho Zero-Shot: Modelos pré-treinados sem nenhum fine-tuning no OpenCell já demonstraram desempenho competitivo. O modelo pré-treinado no HPA FOV obteve o melhor resultado (Macro F1 = 0,822 ± 0,007), superando modelos pré-treinados no ImageNet-1k e um modelo treinado do zero no OpenCell.
• Impacto do Fine-Tuning: Ao realizar fine-tuning no dataset OpenCell, o desempenho do modelo HPA FOV aumentou para 0,860 ± 0,013. Isso confirma que o pré-treinamento específico do domínio (microscopia) oferece uma vantagem consistente sobre o pré-treinamento em imagens naturais, mesmo em cenários de poucos dados.

B. Estratégias de Canais

• A estratégia de Embebedimento Canal a Canal (especialmente o mapeamento "natural" onde os canais semanticamente correspondentes são alinhados) superou consistentemente a Replicação de Canais.
• Para modelos ImageNet, o mapeamento da proteína para o canal Verde (G) e do núcleo para o Azul (B) ou Vermelho (R) mostrou-se crítico, com o mapeamento "Proteína -> Verde" gerando os melhores resultados.
• O alinhamento semântico dos canais é crucial para transferir informações específicas do domínio.

C. Escalabilidade e Dados de Ajuste Fino

• Um experimento de escala mostrou que o tamanho do conjunto de dados para fine-tuning impacta significativamente o desempenho.
• Curiosamente, usar apenas 20% dos dados de fine-tuning resultou em um desempenho ligeiramente inferior ao uso do modelo pré-treinado sem nenhum fine-tuning, sugerindo que frações muito pequenas podem introduzir um viés de distribuição prejudicial. O desempenho máximo foi alcançado com o uso do dataset completo.

D. Representação em Nível de Célula Única

• Para a avaliação de células individuais (usando k-NN), o modelo pré-treinado no dataset HPA Single-Cell obteve o melhor desempenho (Macro F1 ≥ 0,796), superando tanto o HPA FOV quanto o ImageNet-1k.
• Isso indica que o pré-treinamento SSL em granularidade de célula única gera embeddings biologicamente significativos, úteis mesmo quando há poucos rótulos de células individuais disponíveis.

E. Análise Qualitativa

• Visualizações UMAP mostraram que o modelo consegue agrupar proteínas com localizações subcelulares semelhantes.
• Erros de classificação frequentemente ocorreram em casos de sinais fracos, sobreposição de compartimentos (ex: Golgi e vesículas) ou anotações de referência ambíguas, sugerindo que o modelo às vezes captura padrões biológicos plausíveis que não foram capturados nas anotações originais.

4. Significado e Conclusão

O estudo demonstra que:

1. SSL é Viável para Microscopia: Métodos como DINO, quando pré-treinados em grandes datasets específicos do domínio (como HPA), permitem o uso eficaz de características de DL em datasets pequenos e específicos de tarefas, reduzindo a dependência de grandes quantidades de dados anotados.
2. Vantagem do Domínio Específico: Embora o ImageNet-1k funcione bem, o pré-treinamento em dados de microscopia (HPA) oferece uma vantagem superior, especialmente após o fine-tuning.
3. Importância do Mapeamento de Canais: A forma como os canais de imagem são alinhados entre o dataset de origem e o de destino é crítica. O mapeamento semântico (canal a canal) é superior à simples replicação.
4. Recomendações Práticas: Para estudos de pequena escala em microscopia de fluorescência, recomenda-se utilizar backbones ViT pré-treinados com SSL em datasets de microscopia (como HPA) e aplicar fine-tuning com a maior quantidade possível de dados de tarefa específica, utilizando estratégias de embebedimento de canais que respeitem a semântica biológica.

Este trabalho fornece diretrizes empíricas robustas para pesquisadores que desejam aplicar aprendizado profundo em bioimagem, maximizando o desempenho mesmo com recursos de dados limitados.