Self-Supervised Pretraining of Molecular Graph Encoders with LeJEPA
本論文は、LeJEPAに基づく自己教師あり学習による事前学習が、フローズン・プロービングにおいてランダム初期化を大幅に上回り、従来のフィンガープリントを補完する高品質な分子表現をもたらす一方で、その恩恵は標準的なファインチューニングを通じたダウンストリームの性能向上には堅牢に転移しないことを示しており、これらの事前学習済み埋め込みを活用するための最適な戦略は特徴レベルでの組み合わせであることを示唆している。