Self-Supervised Pretraining of Molecular Graph Encoders with LeJEPA
Este artigo demonstra que, embora o pré-treinamento autossupervisionado baseado em LeJEPA produza representações moleculares de alta qualidade que superam significativamente a inicialização aleatória em sondagem congelada e complementam as impressões digitais tradicionais, seus benefícios não se traduzem de forma robusta em ganhos de desempenho em tarefas subsequentes através do ajuste fino padrão, sugerindo que a combinação ao nível de características é a estratégia ideal para aproveitar essas incorporações pré-treinadas.