Fine-Tuning Large Language Models for Quantum Reasoning
यह शोध पत्र प्रदर्शित करता है कि स्पष्ट क्वांटम सर्किट सिमुलेशन ट्रेसेस पर, विशेष रूप से सुपरवाइज्ड फाइन-ट्यूनिंग और ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन के संयोजन के माध्यम से, बड़े भाषा मॉडलों को फाइन-ट्यून करना प्रभावी रूप से वास्तविक क्वांटम तर्क क्षमताओं को स्थापित करता है जो सटीकता और बड़े क्यूबिट सिस्टम में सामान्यीकरण दोनों में बेसलाइन मॉडलों की तुलना में काफी बेहतर प्रदर्शन करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विद्वान छात्र है (एक लार्ज लैंग्वेज मॉडल, या LLM) जो दुनिया के बारे में बहुत कुछ जानता है लेकिन उसने वास्तव में कभी भौतिक विज्ञान (physics) का होमवर्क नहीं किया है। वह कहानियों के आधार पर अनुमान लगा सकता है कि किसी विज्ञान प्रयोग में क्या हो सकता है, लेकिन वह वास्तव में इस बात की कार्यप्रणाली (mechanics) को नहीं समझता कि चीजें क्यों होती हैं।
यह पेपर उस छात्र को यह सिखाने के बारे में है कि क्वांटम कंप्यूटिंग के लिए गणित को वास्तव में कैसे किया जाए, न कि केवल उत्तर का अनुमान कैसे लगाया जाए।
यहाँ उनके प्रयोग का सरल उपमाओं (analogies) के साथ विवरण दिया गया है:
समस्या: अनुमान लगाना बनाम समझना
क्वांटम कंप्यूटिंग अदृश्य पासे (dice) के खेल की तरह है जो बहुत अजीब व्यवहार करते हैं। परिणाम जानने के लिए, आपको यह ट्रैक करना होगा कि हर एक चाल के साथ पासे कैसे बदलते हैं।
- पुराना तरीका: पिछले AI मॉडलों ने चालों के पैटर्न को देखकर अंतिम परिणाम का अनुमान लगाने की कोशिश की। यह शतरंज के खेल के पहले कुछ कदमों को देखकर ही विजेता का अनुमान लगाने जैसा है, बिना बाकी खेल की गणना किए। वे सरल खेलों में भाग्यशाली हो जाते हैं लेकिन जब खेल लंबा या अधिक जटिल हो जाता है, तो वे बुरी तरह विफल हो जाते हैं।
- लक्ष्य: शोधकर्ता चाहते थे कि AI को हर एक कदम पर खेल का अनुकरण (simulate) करना सिखाया जाए, यानी हर चाल के बाद "पासे" की स्थिति की गणना करना।
समाधान: दो प्रशिक्षण विधियाँ
शोधकर्ताओं ने अपने AI (जो Qwen3-8B नामक मॉडल पर आधारित है) को एक क्वांटम सिम्युलेटर बनाने के लिए दो अलग-अलग तरीके आजमाए।
विधि 1: "चरण-दर-चरण कार्यपुस्तिका" (सुपरवाइज्ड फाइन-ट्यूनिंग या SFT)
कल्पना कीजिए कि आप छात्र को एक ऐसी कार्यपुस्तिका (workbook) दे रहे हैं जहाँ गणित की समस्या का हर एक चरण विस्तार से लिखा गया है।
- यह कैसे काम करता है: AI को एक क्वांटम सर्किट (निर्देशों की एक सूची) और बीच के प्रत्येक चरण का सटीक उत्तर दिखाया जाता है। इसे गेट 1 के बाद, फिर गेट 2 के बाद, फिर गेट 3 के बाद, और अंत तक सिस्टम की स्थिति लिखनी होती है।
- परिणाम: यह छात्र उन समस्याओं में जीनियस बन गया जिनका उसने अभ्यास किया था। वे छोटे सर्किटों के लिए और उन सर्किटों के लिए भी जिनमें अधिक चरण थे जिन्हें उन्होंने पहले देखा था, लगभग सटीक उत्तर प्राप्त करने में सफल रहे।
- दोष: जब शोधकर्ताओं ने उन्हें एक बहुत बड़ी प्रणाली (उन "पासे" की संख्या जो उन्होंने कार्यपुस्तिका में देखी थी उससे अधिक) दी, तो छात्र घबरा गया। उन्होंने उसी छोटी नोटबुक का उपयोग करने की कोशिश की जिसका वे आदी थे, और पूरी प्रक्रिया विफल हो गई। वे बड़े आकार को संभालने में असमर्थ रहे।
विधि 2: "कार्यपुस्तिका + कोच" (SFT + GRPO)
इस पद्धति ने कार्यपुस्तिका (SFT) से शुरुआत की लेकिन इसमें एक दूसरा चरण जोड़ा: एक कोच जो रिवॉर्ड सिस्टम (जिसे GRPO कहा जाता है) का उपयोग करता है।
- यह कैसे काम करता है: पहले, छात्र चरण-दर-चरण तरीका सीखता है। फिर, कोच कहता है, "ठीक है, अब इन समस्याओं को अपने आप हल करने की कोशिश करो। यदि तुम सही अंतिम उत्तर प्राप्त करते हो, तो तुम्हें एक अंक मिलेगा। यदि तुम गलत होते हो, तो तुम्हें शून्य मिलेगा।" छात्र को सोचने के विभिन्न तरीकों को आज़माने की अनुमति है, जब तक कि वह सही परिणाम प्राप्त कर ले।
- परिणाम: इस छात्र ने अधिक लचीला होना सीखा। हालांकि वे परिचित छोटी समस्याओं पर पहले छात्र जितने सटीक नहीं थे, लेकिन उन्होंने एक महत्वपूर्ण ट्रिक सीखी: बड़ी समस्याओं को कैसे संभालना है।
- जादुई ट्रिक: 6-qubit सिस्टम (जो पहले छात्र के लिए बहुत बड़ा था) का सामना करते समय, इस छात्र ने अपनी मध्यवर्ती गणनाओं में गलती की (उन्होंने अभी भी एक छोटी नोटबुक का उपयोग किया), लेकिन उन्होंने अंत में सुधार किया, "रुको, यह एक 6-qubit गेम है, इसलिए मेरे उत्तर में 6 अंक होने चाहिए!" उन्होंने अपने उत्तर को समस्या के आकार के अनुरूप बनाने के लिए अंतिम उत्तर को सुधारा, जबकि पहले छात्र ने केवल अपने छोटे नोटबुक के आधार पर गलत उत्तर दे दिया।
मुख्य निष्कर्ष सरल अंग्रेजी में
- काम दिखाना मायने रखता है: जब शोधकर्ताओं ने "चरण-दर-चरण" निर्देश हटा दिए और केवल AI से अंतिम उत्तर का अनुमान लगाने को कहा, तो AI बहुत खराब प्रदर्शन करने लगा। इसने साबित किया कि मध्यवर्ती चरणों (reasoning traces) को देखना AI के लिए केवल पैटर्न नहीं, बल्कि तर्क (logic) सीखने के लिए आवश्यक है।
- "लंबाई" की समस्या: सबसे बड़ी बाधा गणित की जटिलता नहीं थी, बल्कि समस्या की लंबाई थी। क्वांटम सिस्टम तेजी से बढ़ते हैं। यदि आप एक और "qubit" (एक क्वांटम बिट) जोड़ते हैं, तो सूचना की मात्रा दोगुनी हो जाती है। AI को उस डेटा को ट्रैक करने में संघर्ष करना पड़ा जो उनके प्रशिक्षण के दायरे से बाहर था।
- दक्षता (Efficiency): "कार्यपुस्तिका + कोच" (SFT+GRPO) विधि अधिक कुशल होना सीख गई। इसने अपने तर्क (reasoning) में अनावश्यक विवरणों को छोड़ना शुरू कर दिया (जैसे, पूरे नंबरों की सूची को फिर से लिखने के बजाय यह कहना कि "स्थिति नहीं बदली") ताकि जगह बचाई जा सके और परिणाम पर ध्यान केंद्रित किया जा सके।
निचोड़ (The Bottom Line)
पेपर निष्कर्ष निकालता है कि आप केवल एक स्मार्ट AI से क्वांटम भौतिकी को "समझने" के लिए नहीं कह सकते। आपको इसे चरण-दर-चरण भौतिकी का अनुकरण (simulate) करना सिखाना होगा।
- इसे चरण सिखाना (SFT) इसे उन समस्याओं के लिए अविश्वसनीय रूप से सटीक बनाता है जिन्हें यह जानता है।
- रिवॉर्ड सिस्टम जोड़ना (GRPO) इसे सामान्यीकरण (generalize) करने और बड़ी, अपरिचित समस्याओं को संभालने में मदद करता है क्योंकि यह उन्हें हल करने के लिए स्मार्ट और अधिक लचीले तरीके खोजने के लिए प्रोत्साहित करता है।
हालांकि, पेपर स्वीकार करता है कि इस प्रशिक्षण के बावजूद, जब क्वांटम सिस्टम बहुत बड़ा हो जाता है, तो AI एक दीवार से टकरा जाता है। यह एक इंसान को लंबी विभाजन (long division) करने के लिए सिखाने जैसा है: वे कागज पर इसे पूरी तरह से कर सकते हैं, लेकिन यदि आप उन्हें दस लाख अंकों वाली संख्या देते हैं, तो वे अंततः जगह खत्म होने या गलती करने लगेंगे, चाहे उन्हें कितना भी अच्छा प्रशिक्षित क्यों न किया गया हो। AI क्वांटम कार्यों के लिए "System 2" सोच (धीमी, विचारशील तर्क) में बेहतर हो रहा है, लेकिन यह अभी भी ब्रह्मांड के विशाल पैमाने के साथ संघर्ष कर रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।