🤖 machine learning

PsiLogic: Chaos-Aware Active Cancellation for Adam with a Fair Cross-Domain Benchmark

यह शोध पत्र PsiLogic को प्रस्तुत करता है, जो एक अराजता-जागरूक (chaos-aware) ऑप्टिमाइज़र है जो मैन्युअल वॉर्मअप शेड्यूल्स के बिना शुरुआती प्रशिक्षण को स्थिर करने के लिए एक सक्रिय रद्दीकरण पद (active cancellation term) के साथ Adam को गतिशील रूप से संवर्धित करता है, जो NLP और विज़न बेंचमार्क में Adam, AdamW और Lion की तुलना में एक कठोर, पुनरुत्पादनीय क्रॉस-डोमेन मूल्यांकन में सांख्यिकीय रूप से महत्वपूर्ण प्रदर्शन सुधार प्रदर्शित करता है।

मूल लेखक: Ali Sultonov

प्रकाशित 2026-07-21

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ali Sultonov

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

सीखने वाली मशीनों का महान संतुलन (The Great Balancing Act of Learning Machines)

कल्पना कीजिए कि आप एक रोबोट को हजारों तस्वीरें दिखाकर बिल्ली पहचानना सिखाने की कोशिश कर रहे हैं। ऐसा करने के लिए, रोबोट एक "मस्तिष्क" का उपयोग करता है जो गणित से बना है, और वह हर बार एक नई तस्वीर देखने पर अपनी आंतरिक सेटिंग्स में सूक्ष्म समायोजन करके सीखता है। इस प्रक्रिया को 'ट्रेनिंग' (प्रशिक्षण) कहा जाता है, और वह उपकरण जो यह तय करता है कि वे समायोजन कितने बड़े या छोटे होने चाहिए, उसे ऑप्टिमाइज़र (optimizer) कहा जाता है। ऑप्टिमाइज़र को रोबोट के शिक्षक के रूप में सोचें। यदि शिक्षक बहुत सख्त है, तो रोबोट धीरे सीखता है; यदि शिक्षक बहुत उदार है, तो रोबोट भ्रमित हो जाता है और जो उसने अभी सीखा है उसे भूल जाता है।

वर्षों से, AI की दुनिया में सबसे लोकप्रिय शिक्षक Adam नामक एक विधि रही है। यह एक बहुत ही अनुभवी कोच की तरह है जो यह जानता है कि रोबोट के कदमों को उसके वर्तमान दौड़ने की गति के आधार पर कैसे समायोजित किया जाए। हालाँकि, इसमें एक पेंच है: यह कोच उन्हीं नियमों का उपयोग करता है चाहे रोबोट अभी शुरुआत ही क्यों न कर रहा हो (जहाँ सब कुछ अराजक, अस्त-व्यस्त और शोर भरा होता है) या वह लगभग समाप्त होने ही वाला हो (जहाँ चीजें शांत और स्थिर होती हैं)। वास्तविक दुनिया में, हम जानते हैं कि किसी नए कार्य की शुरुआत आमतौर पर एक अराजक उथल-पुथल होती है, जबकि समापन शांत होता है। जिस शोध पत्र को आप पढ़ने जा रहे हैं, वह एक सरल प्रश्न पूछता है: क्या होगा यदि हमारे रोबोट का शिक्षक यह महसूस कर सके कि चीजें कब अराजक हैं और उसके अनुसार अपना व्यवहार बदल सके? यह एक नए अध्ययन का केंद्र है जो AI मॉडल को प्रशिक्षित करने के एक स्मार्ट तरीके की खोज कर रहा है, जिसका लक्ष्य उन्हें शुरुआत के शोर में खोए बिना तेजी से और अधिक विश्वसनीय रूप से सिखाना है।

PsiLogic से मिलिए: अराजकता को पहचानने वाला कोच

इस अध्ययन के पीछे के शोधकर्ताओं ने, जिनका नेतृत्व स्वतंत्र शोधकर्ता अली सुल्तोनोव (Ali Sultonov) ने किया है, PsiLogic (या $\Psi$ Logic) नामक एक नया ऑप्टिमाइज़र पेश किया है। आप इसे प्रसिद्ध Adam ऑप्टिमाइज़र के एक अपग्रेड के रूप में देख सकते हैं, लेकिन एक विशेष सुपरपावर के साथ: एक "अराजकता डिटेक्टर" (chaos detector)।

कल्पना कीजिए कि आप कार चला रहे हैं। जब आप एक ठंडी सुबह पहली बार इंजन शुरू करते हैं, तो कार लड़खड़ा सकती है, हिल सकती है और अजीब आवाजें निकाल सकती है। यदि आप तुरंत एक्सीलेटर को पूरा दबा देते हैं, तो आप इंजन को बंद (stall) कर सकते हैं। लेकिन एक बार जब इंजन गर्म हो जाता है और सुचारू रूप से चलने लगता है, तो आप सामान्य रूप से गाड़ी चला सकते हैं। Adam जैसे मानक ऑप्टिमाइज़र ठंडे, लड़खड़ाते इंजन के साथ भी वैसा ही व्यवहार करते हैं जैसा वे सुचारू, गर्म इंजन के साथ करते हैं—वे बस एक्सीलेटर दबाते रहते हैं। हालाँकि, PsiLogic एक स्मार्ट ड्राइवर की तरह है जो इंजन के हिलने को महसूस करता है। जब कार लड़खड़ा रही होती है (प्रशिक्षण का "अराजक" प्रारंभिक चरण), तो PsiLogic धीरे से एक्सीलेटर से पैर हटा लेता है और ब्रेक लगा देता है ताकि कार नियंत्रण से बाहर होकर न घूम जाए। जैसे-जैसे इंजन गर्म होता है और सवारी सुचारू होती जाती है (अंत के पास "स्थिर" चरण), ब्रेक हट जाते हैं, और कार बिल्कुल वैसे ही चलती है जैसे वह सामान्य रूप से चलती है।

यह कैसे काम करता है?
शोध पत्र बताता है कि प्रशिक्षण के शुरुआती चरणों के दौरान, AI की सीखने के पीछे का गणित बहुत शोर भरा और अप्रत्याशable होता है। PsiLogic इस शोर के "वॉल्यूम" (आवाज़ के स्तर) पर नज़र रखता है। यह डेटा कितना जंगली या अनियंत्रित है, इसे मापने के लिए यह दो अलग-अलग "थर्मामीटर" (गणितीय औसत) का उपयोग करता है। यदि अल्पकालिक थर्मामीटर दीर्घकालिक थर्मामीटर की तुलना में बहुत अधिक बढ़ जाता है, तो सिस्टम जान जाता है कि अराजकता हो रही है। इसके बाद यह एक "कैंसलेशन टर्म" (cancellation term) को सक्रिय करता है—जो एक फैंसी तरीका है यह कहने का कि यह सीखने के कदमों को छोटा करने के लिए एक डैम्पिंग फोर्स (damping force) जोड़ता है। यह अपने आप होता है, बिना मानव प्रशिक्षक द्वारा कोई टाइमर या शेड्यूल सेट किए। यह एक इम्प्लिसिट वॉर्मअप (implicit warmup) है: सिस्टम खुद जानता है कि कब सावधान रहना है और कब साहसी होना है।

बड़ा परीक्षण: FairBench
यह देखने के लिए कि क्या यह नया विचार वास्तव में काम करता है, शोधकर्ताओं ने केवल अनुमान नहीं लगाया; उन्होंने एक कठोर परीक्षण मैदान बनाया जिसे वे FairBench कहते हैं। वे यह सुनिश्चित करना चाहते थे कि वे एक ऑप्टिमाइज़र को दूसरे की तुलना में बेहतर लर्निंग रेट देकर धोखाधड़ी न कर रहे हों। इसलिए, उन्होंने प्रत्येक ऑप्टिमाइज़र (Adam, AdamW, Lion, और PsiLogic) को बिल्कुल समान शुरुआती बिंदु दिया और उन्हें अपनी सर्वोत्तम गति खोजने दी। उन्होंने उन्हें चार अलग-अलग "अरेना" (कार्यों) पर परखा:

NLP (भाषा): एक मॉडल को कहानी में अगले शब्द की भविष्यवाणी करना सिखाना।
ViT (दृष्टि/विज़न): एक मॉडल को चित्र पहचानना सिखाना।
ResNet (दृष्टि/विज़न): एक अन्य इमेज रिकग्निशन कार्य।
Diffusion (कला): एक मॉडल को शोर (noise) से चित्र बनाना सिखाना।

उन्होंने इन परीक्षणों को एक शक्तिशाली NVIDIA H100 कंप्यूटर पर चलाया, और परिणामों की पुष्टि के लिए प्रत्येक प्रयोग को तीन बार दोहराया।

उन्हें क्या मिला?
परिणाम काफी रोमांचक थे, लेकिन लेखक इस बारे में बहुत ईमानदार थे कि PsiLogic कहाँ चमकता है और कहाँ नहीं।

जीत: चार में से तीन क्षेत्रों में, PsiLogic शीर्ष पर रहा।
- Language (NLP) कार्य में, इसने 7.79 की "परप्लेक्सिटी" (एक स्कोर जहाँ कम होना बेहतर है) प्राप्त की, जो AdamW के 8.17 से बेहतर थी। शोधकर्ताओं का कहना है कि यह अंतर सांख्यिकीय रूप से महत्वपूर्ण है, जिसका अर्थ है कि यह एक वास्तविक सुधार है और कोई इत्तेफाक नहीं।
- ViT (Vision) कार्य में, PsiLogic ने 0.244 की सटीकता प्राप्त की, जो AdamW के 0.223 से काफी अधिक है।
- ResNet कार्य में, इसने 0.222 सटीकता हासिल की, जो मानक Adam ऑप्टिमाइज़र के 0.172 से बेहतर थी।
टाई (बराबरी):
- Diffusion (इमेज जनरेशन) कार्य में, PsiLogic ने मानक विधियों के समान प्रदर्शन किया। अंतर इतना कम था कि यह सांख्यिकीय रूप से एक "टाई" था।
- ResNet कार्य में, विशेष रूप से AdamW की तुलना में, परिणाम एक "संख्यात्मक टाई" (0.222 बनाम 0.219) थे जो सांख्यिकीय रूप से महत्वपूर्ण नहीं थे।

चुनौती: गति (Speed)
शोध पत्र एक कमी के बारे में बहुत पारदर्शी है। हालांकि PsiLogic कुछ मामलों में बेहतर सीखता है, लेकिन यह धीमा है। ViT कार्य पर, इसे AdamW की तुलना में एक सिंगल स्टेप पूरा करने में 1.79 गुना अधिक समय लगा। लेखक बताते हैं कि ऐसा इसलिए नहीं है क्योंकि गणित कठिन है, बल्कि इसलिए क्योंकि उनका वर्तमान कंप्यूटर कोड अभी पूरी तरह से अनुकूलित (optimized) नहीं है। उनका मानना है कि भविष्य में बेहतर कोड लिखकर इस गति की कमी को ठीक किया जा सकता है, लेकिन फिलहाल, यह एक ट्रेड-ऑफ है: आपको बेहतर परिणाम मिल सकते हैं, लेकिन इसमें थोड़ा अधिक समय लग सकता है।

निष्कर्ष (The Bottom Line)
यह शोध पत्र सुझाव देता है कि हमारे AI शिक्षकों में एक "अराजकता डिटेक्टर" जोड़कर, हम उन्हें सीखने के शुरुआती अराजक दिनों में भ्रमित हुए बिना आगे बढ़ने में मदद कर सकते हैं। PsiLogic यह दावा नहीं करता कि यह हर समस्या के लिए पूर्ण समाधान है (उदाहरण के लिए, यह इमेज जनरेशन प्रतियोगिता नहीं जीत सका), लेकिन यह दिखाता है कि प्रशिक्षण प्रक्रिया के "मिजाज" के प्रति संवेदनशील होना भाषा और इमेज रिकग्निशन कार्यों में बेहतर प्रदर्शन की ओर ले जा सकता है। शोधकर्ताओं ने अपना सारा कोड और डेटा सार्वजनिक कर दिया है, जिससे अन्य लोग उनके काम की जांच कर सकें और देख सकें कि क्या वे भी वही परिणाम प्राप्त कर सकते हैं। यह ऐसे AI की ओर एक आशाजनक कदम है जो जानता है कि कब कोमल होना है और कब साहसी, और यह सब अपने स्वयं के सीखने के शोर को सुनकर संभव होता है।

तकनीकी सारांश: PsiLogic – Adam के लिए Chaos-Aware एक्टिव कैंसलेशन

1. समस्या विवरण

Adam और AdamW जैसे एडेप्टिव ऑप्टिमाइज़र डीप लर्निंग अभ्यास में हावी हैं, लेकिन वे प्रशिक्षण चरण की परवाह किए बिना एक स्थिर अपडेट नियम लागू करते हैं। वे अराजक प्रारंभिक चरण (जो बड़े, शोर वाले ग्रेडिएंट्स द्वारा पहचाना जाता है) और स्थिर अभिसरण चरण (छोटे, स्थिर ग्रेडिएंट्स) के बीच अंतर करने में विफल रहते हैं। मानक Adam इन दोनों स्थितियों के साथ संरचनात्मक रूप से समान अपडेट करता है, जिससे इनिशियलाइजेशन के दौरान अस्थिरता या अभिसरण के पास उप-इष्टतम डैम्पिंग (suboptimal damping) हो सकती है। जबकि मैनुअल लर्निंग रेट (LR) वॉर्मअप एक सामान्य ह्यूरिस्टिक है, यह मॉडल की वास्तविक 'भ्रम की स्थिति' के बजाय हाथ से ट्यून किए गए शेड्यूल्स पर निर्भर करता है।

2. कार्यप्रणाली: PsiLogic

PsiLogic ( $\Psi$ Logic) को torch.optim.Adam के ड्रॉप-इन रिप्लेसमेंट के रूप में प्रस्तावित किया गया है। यह एक "चाओस डिटेक्टर" (chaos detector) द्वारा नियंत्रित "डायनेमिक एक्टिव कैंसलेशन टर्म" के साथ मानक Adam अपडेट को बढ़ाता है।

मुख्य तंत्र

ऑप्टिमाइज़र एक एकीकृत क्षय गुणांक (unified decay coefficient) $\delta_t$ को नियंत्रित करने के लिए एक स्केलर चाओस वॉर्मअप वेट ( $w_t$ ) और एक चाओस सिग्नल ( $chaos_t$ ) पेश करता है।

चाओस डिटेक्टर (Chaos Detector):
- एक स्केल-नॉर्मलाइज्ड ग्रेडिएंट नॉर्म कंप्यूट करता है: $g_{nt} = \|g_t\|_2 / \sqrt{\text{numel}}$ ।
- दो एक्सपोनेंशियल मूविंग एवरेज (EMAs) बनाए रखता है:
  - fast: छोटा हॉरिजन (~10 स्टेप्स, $\alpha=0.1$ )।
  - slow: लंबा हॉरिजन (~100 स्टेप्स, $\alpha=0.01$ )।
- अनुपात $r_t = \text{fast}_t / (\text{slow}_t + \epsilon)$ की गणना करता है।
- चाओस सिग्नल को इस प्रकार परिभाषित किया गया है:
  $chaos_t = \tanh(\text{slow}_t) \cdot (1 + 0.5 \cdot \tanh(\text{relu}(r_t - 1)))$
- तर्क: जब fast, slow से काफी अधिक हो जाता है (जो ग्रेडिएंट अस्थिरता में उछाल का संकेत देता है), तो सिग्नल सक्रिय हो जाता है। जैसे-जैसे प्रशिक्षण स्थिर होता है ( $\text{slow}_t \to 0$ ), सिग्नल लुप्त हो जाता है।
एकीकृत क्षय और अपडेट नियम (Unified Decay & Update Rule):
वेट डिके और कैंसलेशन को अलग-अलग लागू करने के बजाय, PsiLogic क्रॉस-टर्म्स के ओवर-डैम्पिंग से बचने के लिए एक एकल संयुक्त क्षय गुणांक $\delta_t$ की गणना करता है:
$\delta_t = \eta\lambda + w_t \cdot \min(\tilde{c}_t, c_{max})$
जहाँ $\tilde{c}_t$ चाओस सिग्नल, समूह-विशिष्ट प्रवर्धन कारकों ( $P_k$ ), और एक गेन पैरामीटर ( $\gamma$ ) पर आधारित रॉ कैंसलेशन फ्रैक्शन है। $c_{max}$ , अस्थिर इनिशियलाइजेशन के दौरान संकुचन (shrinkage) को कैप करता है।
पैरामीटर अपडेट इस प्रकार होता है:
$\theta_{t+1} = \theta_t \cdot (1 - \delta_t) - \eta \cdot \frac{\hat{m}_t}{\sqrt{\hat{v}_t} + \epsilon}$
यह संरचना निहित वॉर्मअप (implicit warmup) प्रदान करती: डैम्पिंग तब मजबूत होती है जब ग्रेडिएंट अस्थिर होते हैं और जैसे ही मॉडल अभिसरित होता है, यह स्वतः ही कम हो जाती है, बिना किसी बाहरी शेड्यूल के।
वैकल्पिक विशेषताएं:
- ग्रेडिएंट सेंट्रलाइजेशन (GC) और एडेप्टिव ग्रेडिएंट क्लिपिंग (AGC): स्थिरता में सुधार के लिए एकीकृत किया गया है।
- क्वांटम डिके (Quantum Decay): एक वैकल्पिक, ग्रेडिएंट-निर्भर रेगुलराइजेशन टर्म जो केवल तभी सक्रिय होता है जब चाओस गेट बंद ( $s_t=0$ ) होता है।

3. मुख्य योगदान

पेपर तीन प्राथमिक योगदानों को रेखांकित करता है:

PsiLogic ऑप्टिमाइज़र: एक चाओस-गेटेड एक्टिव कैंसलेशन मैकेनिज्म जो Adam पर आधारित है, जिसमें यूनिफाइड डिके, वैकल्पिक GC/AGC, और एडेप्टिव ग्रुप-विशिष्ट प्रवर्धन शामिल है।
FairBench: एक पुनरुत्पादनीय, पूर्वाग्रह-मुक्त मूल्यांकन प्रोटोकॉल। पिछले तुलनाओं के विपरीत, जो अक्सर एक साझा लर्निंग रेट का उपयोग करते हैं, FairBench प्रति-ऑप्टिमाइज़र लर्निंग रेट स्वीप (7 लॉग-स्पेस रेट्स) करता है और सांख्यिकीय महत्व सुनिश्चित करने के लिए प्रत्येक सीड के लिए समान इनिशियलाइजेशन का उपयोग करता है। यह सांख्यिकीय महत्व के लिए वेलच टी-टेस्ट (Welch t-tests) का उपयोग करता है।
रेफरेंस बेंचमार्क: चार डोमेन (NLP, ViT, ResNet, Diffusion) में एक NVIDIA H100 80GB पर व्यापक मूल्यांकन, पूर्ण ओपन-सोर्स कोड, रॉ CSVs और लर्निंग कर्व्स के साथ।

4. प्रयोगात्मक परिणाम

4 डोमेन (bf16 AMP, बैच 64) पर 3 सीड्स और 2000 स्टेप्स के दौरान मूल्यांकन किया गया:

NLP (TinyStories): PsiLogic ने 7.79 ± 0.18 की परप्लेक्सिटी प्राप्त की, जो AdamW (8.17 ± 0.08, $p=0.049$ ) से काफी बेहतर है।
ViT (CIFAR-100): PsiLogic ने 0.244 ± 0.006 टॉप-1 सटीकता प्राप्त की, जो AdamW (0.223 ± 0.002, $p=0.015$ ) से काफी बेहतर है।
ResNet (Tiny ImageNet): PsiLogic ने 0.222 ± 0.001 प्राप्त किया, जो AdamW (0.219 ± 0.005) की तुलना में संख्यात्मक सुधार है लेकिन सांख्यिकीय रूप से महत्वपूर्ण नहीं ( $p=0.44$ ) है। यह मानक Adam (0.172 ± 0.004, $p=0.001$ ) से काफी बेहतर प्रदर्शन करता है।
Diffusion (CelebA 64²): वैलिडेशन MSE, Adam/AdamW के साथ सांख्यिकीय रूप से समान था ( $p=0.49$ )।
ओवरहेड: पीक GPU मेमोरी तुलनीय है। हालांकि, ट्रांसफार्मर-हैवी कार्यों (जैसे ViT पर 1.79×) पर वॉल-क्लॉक टाइम ओवरहेड 1.2–1.8× है। लेखक इस लागत को कार्यान्वयन सीमाओं (सीक्वेंशियल पायटॉर्च ऑप्स, फ्यूज्ड CUDA कर्नेल की कमी) के कारण बताते हैं, न कि सैद्धांतिक लागत के कारण।

5. महत्व और दावे

पेपर PsiLogic को एक ऐसी विधि के रूप में स्थापित करता है जो मैनुअल वॉर्मअप शेड्यूल्स के बिना अभिसरण स्थिरता के प्रति अनुकूलित (implicitly adapts) होती है।

निहित वॉर्मअप (Implicit Warmup): चाओस टर्म एक डायनेमिक डैम्पर के रूप में कार्य करता है, जो अस्थिर प्रारंभिक चरण के दौरान विनाशकारी अपडेट को दबा देता है और जैसे-जैसे मॉडल स्थिर होता है, यह कम होता जाता है।
मामूली दावे: लेखक स्पष्ट रूप से कहते हैं कि वे सार्वभौमिक प्रभुत्व का दावा नहीं करते हैं। वे रिपोर्ट करते हैं:
- ResNet या Diffusion कार्यों पर AdamW की तुलना में कोई महत्वपूर्ण लाभ नहीं।
- वर्तमान कार्यान्वयन में महत्वपूर्ण स्टेप-टाइम ओवरहेड।
- छोटे सीड काउंट (3) और कम प्रशिक्षण बजट (2000 स्टेप्स) के संबंध में सीमाएं, यह नोट करते हुए कि परिणामों को अभी तक बाहरी समूहों द्वारा दोहराया नहीं गया है।
पुनरुत्पादनीयता (Reproducibility): पेपर पारदर्शिता पर जोर देता है, सभी रॉ डेटा जारी करता है और गैर-महत्वपूर्ण या नकारात्मक परिणामों को स्वीकार करता है, जिसका उद्देश्य FairBench के माध्यम से निष्पक्ष ऑप्टिमाइज़र मूल्यांकन के लिए एक मानक स्थापित करना है।

निष्कर्षतः, PsiLogic यह प्रदर्शित करता है कि एक चाओस-अवेयर डैम्पिंग टर्म, ग्रेडिएंट अस्थिरता के आधार पर प्रभावी स्टेप साइज को गतिशील रूप से समायोजित करके विशिष्ट डोमेन (NLP, ViT) में अभिसरण और स्थिरता में सुधार कर सकता है, जो मौजूदा पैरामीटर-फ्री या हाइपरग्रेडिएंट विधियों के लिए एक पूरक दृष्टिकोण प्रदान करता है।