Self-Supervised Pretraining of Molecular Graph Encoders with LeJEPA
Cet article démontre que, bien que le pré-entraînement auto-supervisé basé sur LeJEPA produise des représentations moléculaires de haute qualité qui surpassent significativement l'initialisation aléatoire lors du sondage gelé et complètent les empreintes digitales traditionnelles, ses avantages ne se traduisent pas de manière robuste par des gains de performance en aval via le réglage fin standard, suggérant que la combinaison au niveau des caractéristiques est la stratégie optimale pour exploiter ces plongements pré-entraînés.