🔬 materials science

Fine-tuning MLIP foundation models: strategies for accuracy and transferability

यह शोध पत्र विविध रासायनिक बेंचमार्क पर मशीन-लर्न किए गए इंटरएटॉमिक पोटेंशियल (MLIP) फाउंडेशन मॉडल्स के लिए सात फाइन-ट्यूनिंग रणनीतियों का मूल्यांकन करता है, जो यह प्रकट करता है कि जबकि फाउंडेशन मॉडल की गुणवत्ता और सही ऊर्जा इनिशियलाइजेशन जैसी पूर्व-आवश्यकताएं सर्वोपरि हैं, एकल-प्रणाली सटीकता के लिए 'नाइव फाइन-ट्यूनिंग' (naive fine-tuning) इष्टतम है, जबकि 'मल्टीहेड रिप्ले' (multihead replay) व्यापक परिनियोजन के लिए आउट-ऑफ-डिस्ट्रीब्यूशन मजबूती को विशिष्ट रूप से संरक्षित करता है।

मूल लेखक: Tamás Lajos Tompa, Eszter Varga-Umbrich, Ilyes Batatia, Alin M. Elena, Noam Bernstein, Gábor Csányi

प्रकाशित 2026-06-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tamás Lajos Tompa, Eszter Varga-Umbrich, Ilyes Batatia, Alin M. Elena, Noam Bernstein, Gábor Csányi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक मास्टर शेफ है जिसने केवल अकार्बनिक सामग्रियों जैसे चट्टानों, धातुओं और लवणों का उपयोग करके उत्तम भोजन बनाना सीखने में वर्षों बिताए हैं। यह शेफ एक "फाउंडेशन मॉडल" है। अब, आप चाहते हैं कि यह शेफ एक विशिष्ट नया व्यंजन, जैसे कि एक नाजुक जैविक सूप या जैविक स्टू (biological stew) बनाए, जिसके लिए बहुत कम नई रेसिपी उपलब्ध हैं।

मुख्य प्रश्न यह है: आप इस शेफ को नया व्यंजन कैसे सिखाएंगे ताकि वह पुराने व्यंजनों को बनाना न भूल जाए, या उसके मौजूदा कौशल खराब न हों?

यह शोध पत्र एक विशाल "किचन एक्सपेरिमेंट" है जो इस मास्टर शेफ को प्रशिक्षित करने (fine-tune करने) के सात अलग-अलग तरीकों का परीक्षण करता है। शोधकर्ताओं ने पाया कि सिखाने का तरीका उतना महत्वपूर्ण नहीं है जितना कि तीन महत्वपूर्ण "प्री-कुकिंग" चरण: सही शेफ चुनना, सही बेसलाइन सेट करना और आंच (heat) को ट्यून करना।

यहाँ उनके निष्कर्षों का सरल शब्दों में विवरण दिया गया है:

1. तीन "प्री-फ्लाइट" चेक (सबसे महत्वपूर्ण हिस्सा)

नया व्यंजन सिखाना शुरू करने से पहले, आपको इन तीन चीजों को सही करना होगा। यदि आप इनमें गलती करते हैं, तो कोई भी सिखाने का तरीका आपको बचा नहीं पाएगा।

सही शेफ चुनें (फाउंडेशन मॉडल की गुणवत्ता):
- उपमा: आप किसी ऐसे शेफ को सूफ़ले (soufflé) बनाना सिखाने के लिए नहीं रखेंगे जिसे केवल पानी उबालना आता हो।
- निष्कर्ष: मूल मॉडल की गुणवत्ता, फाइन-ट्यूनिंग रणनीति से अधिक मायने रखती है। एक विशाल और विविध अकार्बनिक सामग्रियों (जैसे "OMat24" मॉडल) के डेटासेट पर प्रशिक्षित मॉडल, पुराने और छोटे मॉडल की तुलना में नई और अजीब केमिस्ट्री सीखने में बहुत बेहतर होता है। भले ही आप एक ही सिखाने के तरीके का उपयोग करें, एक "बेहतर" फाउंडेशन मॉडल हमेशा एक बेहतर अंतिम व्यंजन तैयार करेगा।
जीरो पॉइंट सेट करें (एटमिक रेफरेंस एनर्जी / $E_0$ ):
- उपमा: कल्पना कीजिए कि आप एक इमारत की ऊंचाई माप रहे हैं। यदि आप ग्राउंड फ्लोर के बजाय बेसमेंट से मापना शुरू करते हैं, तो आपके नंबर गलत होंगे, और इमारत या तो हवा में तैरती हुई या जमीन में दबी हुई दिखाई देगी। केमिस्ट्री में, आपको व्यक्तिगत परमाणुओं के "वजन" को घटाने की आवश्यकता होती है ताकि मॉडल केवल यह सीख सके कि वे आपस में कैसे बातचीत (interact) करते हैं।
- निष्कर्ष: शोधकर्ताओं ने पाया कि इस जीरो पॉइंट को सेट करने के लिए एक स्मार्ट, "मॉडल-अवेयर" तरीके का उपयोग करना महत्वपूर्ण है। यदि आप एक औसत अनुमान का उपयोग करते हैं, तो मॉडल अस्थिर हो जाता है। यह कागजों पर तो अच्छा दिख सकता है (कम एरर स्कोर), लेकिन जब आप वास्तविक दुनिया के भौतिकी (जैसे हवा के झोंके में इमारत का ढहना) का अनुकरण करने की कोशिश करेंगे, तो यह बिखर जाएगा।
आंच को कम करें (हाइपरपैरामीटर्स):
- उपमा: जब आप कोई नया कौशल सीख रहे होते हैं, तो आप इतनी तेजी से नहीं चलना चाहते कि आप लड़खड़ा जाएं, लेकिन आप इतना धीमा भी नहीं होना चाहते कि आप कभी पूरा न कर पाएं।
- निष्कर्ष: अलग-अलग सिखाने के तरीकों को अलग-अलग "लर्निंग रेट" की आवश्यकता होती है। उदाहरण के लिए, एक विधि जिसे LoRA कहा जाता है (जो मॉडल के एक बहुत छोटे हिस्से को बदलती है), बहुत तेज़ लर्निंग रेट को संभाल सकती है, जबकि एक विधि जो दो चीजें एक साथ सिखाती है, उसे बहुत धीमी और कोमल गति की आवश्यकता होती है।

2. सात शिक्षण रणनीतियाँ

एक बार जब ऊपर दिए गए तीन चेक पास हो जाते हैं, तो शोधकर्ताओं ने नए व्यंजन सिखाने के सात तरीकों का परीक्षण किया:

नेइव फाइन-ट्यूनिंग (Naive Fine-Tuning): "बस खाना बनाना जारी रखें।" आप पूरे शेफ को लेते हैं और उन्हें नए डेटा पर प्रशिक्षित करना जारी रखते हैं।
- परिणाम: एक विशिष्ट व्यंजन को पूरी तरह से सीखने के लिए बहुत अच्छा है। लेकिन यदि आप बाद में इस शेफ को किसी अन्य प्रकार के भोजन के लिए उपयोग करने का प्रयास करते हैं, तो वे अपने पुराने कौशल भूल सकते हैं (जिसे "कैटैस्ट्रोफिक फॉरगेटिंग" कहा जाता है)।
लेयर फ्रीजिंग (Layer Freezing): "बुनियादी चीजों को न छुएं।" आप शेफ के बुनियादी चाकू चलाने के कौशल को लॉक कर देते हैं और उन्हें केवल नया सॉस सीखना देते हैं।
- परिणाम: अच्छा है, लेकिन कभी-कभी बहुत कठोर होता है। यह शेफ की नई सामग्रियों के अनुकूल होने की क्षमता को सीमित करता है।
LoRA (लो-रैंक अडैप्टेशन): "एक चीट शीट जोड़ें।" पूरे कुकबुक को फिर से लिखने के बजाय, आप शेफ के एप्रन पर एक छोटा, कुशल नोट-पैड जोड़ते हैं जो केवल नए नियमों को कवर करता है।
- परिणाम: विशिष्ट कार्यों के लिए बहुत कुशल और सटीक है, जो नेइव ट्यूनिंग के समान है।
मल्टीहेड रिप्ले (Multihead Replay): "द ड्यूल-हेड शेफ।" आप शेफ को दो टोपियाँ देते हैं। एक टोपी नए व्यंजन के लिए है, और दूसरी टोपी पुराने, परिचित व्यंजनों के लिए है। वे एक ही समय में दोनों का अभ्यास करते हैं।
- परिणाम: सुरक्षा के लिए विजेता है। यह एकमात्र तरीका है जो लगातार शेफ को पुराने कौशल भूलने से रोकता है। यह शेफ को नए व्यंजन और पुराने व्यंजनों, दोनों में कुशल बनाए रखता है।
स्यूडोलेबल रिप्ले (Pseudolabel Replay): "द सिंथेटिक शेफ।" पुराने असली व्यंजनों के बजाय, आप पुराने व्यंजनों के बारे में शेफ के अपने अनुमानों का उपयोग अभ्यास करने के लिए करते हैं।
- परिणाम: यह लचीला और प्रभावी है क्योंकि आपको मूल पुराने डेटा की आवश्यकता नहीं है, केवल शेफ की याददाश्त की आवश्यकता है।
रिप्ले + LoRA (Replay + LoRA): चीट शीट के साथ ड्यूल हेड को मिलाना।
- परिणाम: अच्छा है, लेकिन "ड्यूल हेड" अकेले ही अक्सर पर्याप्त था।

3. मुख्य निष्कर्ष

पहिए का पुनर्जन्म न करें (Don't Reinvent the Wheel): यदि आपको किसी विशिष्ट, संकीमित कार्य (जैसे केवल नमक वाले पानी का अनुकरण करना) के लिए मॉडल चाहिए, तो नेइव फाइन-ट्यूनिंग सबसे तेज़ और आसान तरीका है।
अतीत को न भूलें: यदि आपको एक ऐसा मॉडल चाहिए जो अजीब, नई स्थितियों (जैसे एक नई प्रकार की बैटरी या एक जटिल जैविक अणु) को बिना कुछ भूले संभाल सके, तो आपको मल्टीहेड रिप्ले का उपयोग करना ही होगा। यह एकमात्र रणनीति है जिसने मॉडल को मजबूत और सुरक्षित रखा।
ट्रिक्स से ऊपर गुणवत्ता: यह शोध पत्र इस बात पर जोर देता है कि एक उच्च-गुणवत्ता वाले फाउंडेशन मॉडल को चुनने और ऊर्जा संदर्भों (energy references) को सही ढंग से सेट करने में समय बिताना, एक आदर्श फाइन-ट्यूनिंग एल्गोरिदम चुनने से अधिक महत्वपूर्ण है। यदि आधार कमजोर है या गणित गलत तरीके से सेट किया गया है, तो दुनिया का सबसे अच्छा सिखाने का तरीका भी काम नहीं आएगा।

संक्षेप में: केमिस्ट्री के लिए सबसे अच्छा AI प्राप्त करने के लिए, एक स्मार्ट फाउंडेशन से शुरुआत करें, अपने गणित के नियमों को सही ढंग से सेट करें, और यदि आप चाहते हैं कि आपका AI बहुमुखी हो और कुछ भूले नहीं, तो उसे "ड्यूल हेड" विधि (मल्टीहेड रिप्ले) से सिखाएं।

तकनीकी सारांश: फाइन-ट्यूनिंग MLIP फाउंडेशन मॉडल्स

समस्या विवरण
मशीन-लर्नड इंटरएटोमिक पोटेंशियल (MLIP) फाउंडेशन मॉडल्स ने विविध रासायनिक प्रणालियों में स्थानांतरित होने की क्षमता प्रदर्शित की है, जो एक ऐसा वर्कफ़्लो प्रदान करते हैं जो कार्य-विशिष्ट पोटेंशियल को शून्य से प्रशिक्षित करने की संसाधन-गहन प्रक्रिया से बचने में मदद करता है। हालाँकि, समुदाय के पास इस बात के लिए व्यवस्थित मार्गदर्शन की कमी है कि इन मॉडल्स को कैसे और कब फाइन-ट्यून किया जाए। शुरुआती रिपोर्टों ने सुझाव दिया कि साधारण (naive) फाइन-ट्यूनिंग अक्सर "कैटास्ट्रोफिक फॉरगेटिंग" (विनाशकारी विस्मृति) की ओर ले जाती है, जिससे बड़े भाषा मॉडल्स (LLMs) के लिए विकसित की गई संकुचित तकनीकों (जैसे, लेयर फ्रीजिंग, लो-रैंक एडेप्टेशन - LoRA) को अपनाने की आवश्यकता महसूस हुई। यह शोध जांचता है कि क्या ये प्रतिबंध आवश्यक हैं या प्रारंभिक विफलताओं का कारण अन्य कारक थे, जैसे कि कमजोर फाउंडेशन मॉडल्स, अनुचित परमाणु संदर्भ ऊर्जा ( $E_0$ ) इनिशियलाइजेशन, या अस्थिर प्रशिक्षण प्रक्रियाएं। इस अध्ययन का उद्देश्य फाइन-ट्यूनिंग परिणामों को आकार देने वाले प्रमुख कारकों, विशेष रूप से लक्ष्य-कार्य सटीकता (target-task accuracy) और आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) मजबूती (robustness) को स्पष्ट करना है।

कार्यप्रणाली (Methodology)
लेखक पांच रासायनिक रूप से विविध बेंचमार्क्स, तीन पीढ़ियों के फाउंडेशन मॉडल्स और पांच ऑर्डर्स ऑफ मैग्नीट्यूड के आकार वाले ट्रेनिंग सेट्स के माध्यम से सात अलग-अलग फाइन-ट्यूनिंग रणनीतियों का मूल्यांकन करते हैं।

मूल्यांकित फाइन-ट्यूनिंग रणनीतियाँ:
1. नेइव (Naive): निरंतर ग्रेडिएंट डिसेंट के माध्यम से पूर्ण पैरामीटर अपडेट।
2. लेयर फ्रीजिंग (विविध रूप): एम्बेडिंग/मैसेज-पासिंग लेयर्स को फ्रीज करना जबकि रीडआउट्स को प्रशिक्षित किया जाता है; या एम्बेडिंग और पहली मैसेज-पासिंग लेयर को फ्रीज़ करना।
3. लो-रैंक एडेप्टेशन (LoRA): प्री-ट्रेन्ड वेट्स को फ्रीज करते हुए, स्केलर और इक्विवेलेंट लीनियर लेयर्स दोनों में प्रशिक्षित लो-रैंक डिकम्पोजिशन को इंजेक्ट करना।
4. मल्टीहेड रिप्ले (Multihead Replay): अलग-अलग रीडआउट हेड्स का उपयोग करके, टारगेट डेटा और एक रिप्ले डेटासेट (प्री-ट्रेनिंग से या स्यूडो-लेबल वाला) पर समवर्ती अनुकूलन (simultaneous optimization)।
5. स्यूडोलेबल रिप्ले (Pseudolabel Replay): मल्टीहेड रिप्ले का एक संस्करण जहाँ रिप्ले लेबल्स स्वयं फाउंडेशन मॉडल द्वारा उत्पन्न किए जाते हैं, जिससे रिप्ले स्रोत प्री-ट्रेनिंग कॉर्पस से स्वतंत्र हो जाता है।
6. रिप्ले + LoRA: मल्टीहेड रिप्ले को LoRA के साथ जोड़ना।
बेंचमार्क्स: अध्ययन OMat24 प्री-ट्रेनिंग डोमेन (इनऑर्गेनिक पीरियडिक बल्क) से बढ़ते विचलन वाले सिस्टमों को कवर करता है:
- लिथियम अर्जीरोडाइट इलेक्ट्रोलाइट्स (इनऑर्गेनिक पीरियडिक सॉलिड)।
- जलीय NaCl (आयनिक सॉल्यूशन)।
- आइस पॉलीमॉर्फ्स (मॉलिक्यूलर सॉलिड)।
- SN2 रिएक्शंस (गैस-फेज रिएक्टिव केमिस्ट्री)।
- SPICE बायोमॉलिक्यूल्स (ऑर्गेनिक/बायोमॉलिकुलर कॉन्फ़ॉर्मर्स)।
तकनीकी कार्यान्वयन: लेखकों ने MACE कोडबेस में तीन नई क्षमताओं को लागू किया है:
- इक्विवेलेंट मैसेज-पासिंग आर्किटेक्चर के लिए अनुकूलित LoRA (स्केलर और इक्विवेलेंट लीनियर लेयर्स दोनों को कवर करते हुए)।
- रिप्ले डेटा स्रोतों को अलग करने के लिए स्यूडोलेबलled रिप्ले।
- प्री-ट्रेन्ड बेसलाइन्स को टारगेट डेटा के साथ संरेखित करने के लिए मॉडल-अवेयर एटोमिक रेफरेंस एनर्जी ( $E_0$ ) री-एस्टिमेशन।
मूल्यांकन मेट्रिक्स: मानक पॉइंटवाइज एनर्जी और फोर्स एरर्स के अलावा, यह अध्ययन रेडियल डिस्ट्रीब्यूशन फंक्शन्स (RDFs) से लेकर मॉलिक्यूलर डायनेमिक्स (MD), नग्ड इलास्टिक बैंड (NEB) रिएक्शन प्रोफाइल, MD स्थिरता परीक्षण और शॉर्ट-रेंज रिपल्शन विफलताओं का पता लगाने के लिए रैंडम स्ट्रक्चर सर्च (RSS) सहित गतिशील और एक्सट्रैपोलेटिव व्यवहारों की जांच करता है।

प्रमुख परिणाम

प्रावधान (Prerequisites) रणनीति चयन पर हावी हैं: अध्ययन पाता है कि फाउंडेशन मॉडल की गुणवत्ता, सही $E_0$ इनिशियलाइजेशन और अच्छी तरह से चुने गए हाइपरपैरामीटर्स ऐसे पूर्वापेक्षाएँ हैं जिनका प्रभाव विशिष्ट फाइन-ट्यूनिंग रणनीति की तुलना में लगातार अधिक होता है।
- फाउंडेशन क्वालिटी: नए फाउंडेशन मॉडल्स (जैसे, OMat24-आधारित) पुराने मॉडल्स (MPTraj-आधारित) की तुलना में OOD ट्रांसफर में लगातार बेहतर प्रदर्शन करते हैं, भले ही फाइन-ट्यूनिंग रेसिपी स्थिर हो।
- $E_0$ इनिशियलाइजेशन: "एवरेज्ड" $E_0$ मानों का उपयोग करने से काफी अधिक त्रुटियां और MD अस्थिरता (जैसे, आइस मॉडल्स का 50 ps के भीतर विफल होना) होती है। "री-एस्टीमेटेड" $E_0$ (जो प्री-ट्रेन्ड मॉडल के ज़ीरो-पॉइंट को टारगेट डेटा के साथ संरेखित करते हैं) स्थिरता और ट्रांसफरेबिलिटी के लिए महत्वपूर्ण हैं, जो अक्सर किसी फाइन-ट्यूनिंग एल्गोरिदम के चुनाव से बेहतर परिणाम देते हैं।
- हाइपरपैरामीटर्स: नेइव फाइन-ट्यूनिंग के लिए कम लर्निंग रेट और अधिक EMA डिके की आवश्यकता होती है। LoRA उच्च लर्निंग रेट को सहन कर सकता है। मल्टीहेड रिप्ले को प्रतिस्पर्धी अपडेट सिग्नल से बचने के लिए काफी कम लर्निंग रेट की आवश्यकता होती है। वेट डिके को शून्य पर सेट किया जाना चाहिए ताकि पैरामीटर्स को प्री-ट्रेन्ड समाधान से दूर जाने से रोका जा सके।
उद्देश्य के अनुसार प्रदर्शन:
- इन-डिस्ट्रीब्यूशन स्पेशलाइजेशन (सिंगल सिस्टम): संकीर्ण कार्यों (जैसे, SN2 बैरियर्स, जलीय NaCl सॉल्वेशन) के लिए, अधिकांश रणनीतियाँ (नेइव, LoRA, मल्टीहेड) मजबूत सटीकता प्राप्त करती हैं, जो लगातार स्क्रैच से प्रशिक्षित मॉडल्स से बेहतर होती हैं। सिंगल-सिस्टम अनुप्रयोगों के लिए नेइव फाइन-ट्यूनिंग सबसे अच्छा अभिसरण (convergence) प्रदान करती है।
- आउट-ऑफ-डिस्ट्रीब्यूशन मजबूती (OOD Robustness): संबंधित लेकिन अनदेखे कंपोजिशन (जैसे, गैर-अर्जीरोडाइट इलेक्ट्रोलाइट्स) या विभिन्न रसायन विज्ञान (जैसे, बायोमॉलिकल्स) में स्थानांतरण के मूल्यांकन के समय, मल्टीहेड रिप्ले (मूल या स्यूडोलेबल डेटा के साथ) एकमात्र ऐसा दृष्टिकोण है जो लगातार OOD मजबूती बनाए रखता है। यह प्री-ट्रेनिंग वितरण पर सटीकता बनाए रखते हुए लक्ष्य कार्य को सीखता है, जिससे कैटास्ट्रोफिक फॉरगेटिंग प्रभावी रूप से रुक जाती है।
- फ्रीजिंग और LoRA: पैरामीटर दक्षता के लिए प्रभावी होने के बावजूद, लेयर फ्रीजिंग और LoRA ने सॉल्वेशन फीचर्स के अनुकूल होने या व्यापक रासायनिक मजबूती बनाए रखने में परीक्षण किए गए परिदृश्यों में मल्टीहेड रिप्ले की तुलना में सीमाएं दिखाईं।

महत्व और दावे
यह पेपर दावा करता है कि MLIPs में नेइव फाइन-ट्यूनिंग की कथित नाजुकता मुख्य रूप से उप-इष्टतम सेटअप का परिणाम है, न कि विधि की अंतर्निहित सीमा का। लेखक तर्क देते हैं कि:

नेइव फाइन-ट्यूनिंग सिंगल-सिस्टम अनुप्रयोगों के लिए एक व्यवहार्य और अक्सर बेहतर शुरुआती बिंदु है, बशर्ते कि फाउंडेशन मॉडल उच्च-गुणवत्ता का हो और $E_0$ को सही ढंग से री-एस्टीमेट किया गया हो।
मल्टीहेड रिप्ले व्यापक परिनियोजन (deployment) के लिए आवश्यक रणनीति है जहाँ फाइन-ट्यूनिंग वितरण के बाहर फाउंडेशन मॉडल के व्यवहार को संरक्षित करने की आवश्यकता होती है।
स्यूडोलेबलड रिप्ले एक व्यावहारिक लाभ प्रदान करता है क्योंकि यह रिप्ले के लिए किसी भी संरचनात्मक रूप से विविध डेटासेट का उपयोग करने की अनुमति देता है, जिससे मूल प्री-ट्रेनिंग कॉर्पस पर निर्भरता समाप्त हो जाती है।

यह कार्य स्थापित करता है कि अभ्यासकर्ताओं के लिए, किसी विशिष्ट संकुचित फाइन-ट्यूनिंग एल्गोरिदम का चयन करने के बजाय, सबसे मजबूत उपलब्ध फाउंडेशन मॉडल में निवेश करना और सही परमाणु संदर्भ ऊर्जा संरेखण सुनिश्चित करना अधिक महत्वपूर्ण डिज़ाइन विकल्प हैं। यह अध्ययन MLIP फाउंडेशन मॉडल्स को तैनात करने के लिए एक व्यवस्थित ढांचा प्रदान करता है, जिससे फाइन-ट्यूनिंग एक विशिष्ट विकल्प से बदलकर सिस्टम-विशिष्ट विकास के लिए एक डिफॉल्ट शुरुआती बिंदु बन जाती है।

1. तीन "प्री-फ्लाइट" चेक (सबसे महत्वपूर्ण हिस्सा)

2. सात शिक्षण रणनीतियाँ

3. मुख्य निष्कर्ष

इसी तरह के और पेपर