← नवीनतम पेपर
💬 NLP

Solve the Loop: Attractor Models for Language and Reasoning

यह शोध पत्र 'अट्रैक्टर मॉडल्स' (Attractor Models) को प्रस्तुत करता है, जो एक नवीन आर्किटेक्चर है जो लेटेंट रिप्रेजेंटेशन्स में फिक्स्ड पॉइंट्स को हल करने के लिए इम्प्लिसिट डिफरेंशिएशन का उपयोग करता है, जिससे स्थिर, अनुकूलन योग्य पुनरावृत्ति परिशोधन (iterative refinement) सक्षम होता है जो कम कम्प्यूटेशनल लागत के साथ बेहतर लैंग्वेज मॉडलिंग और रीजनिंग प्रदर्शन प्राप्त करता है और कुशल इन्फरेंस के लिए इक्विलिब्रियम स्टेट्स को आंतरिक रूप से आत्मसात करने की अनूठी क्षमता रखता है।

मूल लेखक: Jacob Fein-Ashley, Paria Rashidinejad

प्रकाशित 2026-05-13
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Jacob Fein-Ashley, Paria Rashidinejad

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Attractor Models for Language and Reasoning" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

मुख्य विचार: बोलने से पहले सोचना

कल्पना कीजिए कि आप एक कठिन प्रश्न का उत्तर देने की कोशिश कर रहे हैं।

  • Standard AI (Transformers): ये मॉडल उन लोगों की तरह हैं जो अपने दिमाग में आने वाले पहले विचार को तुरंत बोल देते हैं। वे एक ही बार में उत्तर की गणना करते हैं और उसे तुरंत कह देते हैं। यदि पहला विचार गलत है, तो वे गलत बात कह देते हैं।
  • Looped AI (पुराने Recurrent Models): ये मॉडल उन लोगों की तरह हैं जो बार-बार सोचते रहते हैं, "रुको, शायद मुझे यह कहना चाहिए," और अपने उत्तर को सुधारने के लिए एक मानसिक लूप चलाते हैं। हालाँकि, इसे प्रशिक्षित करना कठिन है (यह किसी को चक्कर आए बिना गोल-गोल सोचने के लिए सिखाने जैसा है), इसे चलाना महंगा है, और यदि वे बहुत अधिक बार सोचते हैं तो यह अस्थिर हो जाता है।

समाधान: Attractor Models
लेखक Attractor Models पेश करते हैं। इसे एक दो-चरणीय टीम के रूप में सोचें:

  1. The Proposer (Backbone): एक स्मार्ट, तेज़ विशेषज्ञ जो उत्तर का एक बहुत अच्छा "पहला अनुमान" लगाता है।
  2. The Refiner (Attractor): एक विशेष संपादक जो उस पहले अनुमान को लेता है और उसे तब तक पॉलिश करता है जब तक कि वह एकदम सही न हो जाए।

जादुई बात यह है कि Refiner प्रक्रिया को एक निश्चित संख्या में बार नहीं दोहराता (जैसे "5 बार सोचो")। इसके बजाय, यह तब तक सुधार करता रहता है जब तक कि उत्तर बदलना बंद न कर दे। यह उस "स्वीट स्पॉट" को खोज लेता है जहाँ उत्तर स्थिर हो जाता है।

रचनात्मक उपमा: मूर्तिकार और मिट्टी (The Sculptor and the Clay)

कल्पना कीजिए कि आप मिट्टी के एक ब्लॉक से एक मूर्ति उकेरने की कोशिश कर रहे हैं।

  • Standard Transformers उस मूर्तिकार की तरह हैं जो मिट्टी पर एक बार हथौड़े से वार करते हैं और काम खत्म कर देते हैं। यदि वह वार सटीक नहीं था, तो मूर्ति अजीब दिखेगी।
  • Old Looped Models उस मूर्तिकार की तरह हैं जो मिट्टी पर प्रहार करते हैं, जाँच करते हैं, फिर से प्रहार करते हैं, जाँच करते हैं, और फिर से प्रहार करते हैं। लेकिन उन्हें पहले से ही अपने प्रहारों की गिनती करनी होती है (जैसे "मैं ठीक 10 बार प्रहार करूँगा")। यदि उन्होंने 11 बार प्रहार किया, तो मूर्ति टूट सकती है। यदि उन्होंने केवल 5 बार प्रहार किया, तो वह अधूरी रह जाएगी। साथ ही, उनके द्वारा किए गए हर प्रहार को याद रखने में बहुत अधिक मानसिक ऊर्जा (मेमोरी) खर्च होती है।
  • Attractor Models एक नए तकनीक वाले मास्टर मूर्तिकार की तरह हैं:
    1. The Proposer जल्दी से मिट्टी को एक मोटे, पहचानने योग्य आकार की मूर्ति में ढाल देता है (एक "warm start")।
    2. The Refiner धीरे से मिट्टी को चिकना करता है। वे तब तक चिकना करते रहते हैं जब तक कि मिट्टी हिलना बंद न कर दे और अपने अंतिम, पूर्ण आकार में स्थिर न हो जाए।
    3. परिणाम: क्योंकि Proposer ने बहुत अच्छा काम किया, इसलिए Refiner को केवल थोड़ा सा ही चिकना करने की आवश्यकता होती है। मूर्ति एकदम सही होती है, और मूर्तिकार को अतीत में किए गए हर प्रहार को याद रखने की आवश्यकता नहीं पड़ती।

यह पेपर क्यों महत्वपूर्ण है

यह पेपर इस नई पद्धति के लिए तीन बड़ी जीत का दावा करता है:

1. यह स्मार्ट और सस्ता है ("The Pareto Improvement")
लेखकों ने लेखन कार्यों (language modeling) पर इन मॉडलों का परीक्षण किया। उन्होंने पाया कि Attractor Models मानक मॉडलों की तुलना में बेहतर परिणाम (कम "perplexity," जिसका अर्थ है "कम गलतियाँ") देते हैं, भले ही वे कम कंप्यूटिंग पावर का उपयोग कर रहे हों।

  • उपमा: यह एक साइकिल की ईंधन दक्षता के साथ फेरारी की गति प्राप्त करने जैसा है। एक 770-मिलियन-पैरामीटर वाला Attractor मॉडल, दोगुने डेटा पर प्रशिक्षित 1.3-बिलियन-पैरामीटर वाले मानक मॉडल से बेहतर प्रदर्शन करता है।

2. यह कठिन पहेलियों को हल करता है ("The Tiny Genius")
जब बहुत कठिन तर्क पहेलियों (जैसे Sudoku और Maze) पर परीक्षण किया गया, तो मानक AI मॉडल और यहाँ तक कि विशाल, प्रसिद्ध AI सिस्टम (जैसे Claude और GPT) पूरी तरह से विफल रहे, जिनका स्कोर 0% था।

  • उपमा: कल्पना कीजिए कि एक विशाल, महंगा सुपरकंप्यूटर एक साधारण भूलभुलैया (maze) को हल करने में विफल हो जाता है, जबकि एक छोटा, सस्ता कैलकुलेटर इसे पूरी सटीकता के साथ हल कर लेता है।
  • Attractor Model, जिसमें केवल 27 मिलियन पैरामीटर हैं (विशाल मॉडलों की तुलना में बहुत कम) और बहुत कम प्रशिक्षण डेटा है, ने इन पहेलियों को 90% से अधिक सटीकता के साथ हल किया। यह अच्छी तरह से स्केल होता है, जबकि अन्य "रिकर्सिव" (लूपिंग) मॉडल बड़े होने पर वास्तव में बदतर हो जाते हैं।

3. "Equilibrium Internalization" की ट्रिक ("The Lazy Genius")
यह सबसे आश्चर्यजनक खोज है। मॉडल को "सोचने" (सुधारने) के लिए प्रशिक्षित किया जाता है जब तक कि वह एक स्थिर उत्तर तक न पहुँच जाए। लेकिन लेखकों ने पाया कि प्रशिक्षण के बाद, Proposer (मॉडल का पहला हिस्सा) इतना सटीक अनुमान लगाना सीख जाता है कि Refiner (दूसरा हिस्सा) को बहुत कम काम करना पड़ता है।

  • उपमा: कल्पना कीजिए कि एक छात्र जो अच्छे ग्रेड पाने के लिए पूरे साल एक ट्यूटर (Refiner) के साथ पढ़ाई करता है। जब तक स्नातक का समय आता है, छात्र ने इतना कुछ सीख लिया होता है कि वह ट्यूटर की मदद के बिना ही परीक्षा के प्रश्नों का उत्तर पूरी तरह से दे सकता है। "सोचने" की प्रक्रिया को आंतरिक रूपत: आत्मसात (internalized) कर लिया गया है।
  • परिणाम: टेस्ट के समय, मॉडल अक्सर सुधारने के चरण को पूरी तरह से छोड़ सकता है और फिर भी सही उत्तर प्राप्त कर सकता है, जिससे यह अविश्वसनीय रूप से तेज़ हो जाता है।

"लूप" का सारांश

यह पेपर "recurrence" (चरणों को दोहराना) की समस्या को एक गणितीय समस्या में बदलकर हल करता है जिसे Fixed Point कहा जाता है।

  • मॉडल को एक निश्चित संख्या में बार लूप चलाने के लिए मजबूर करने के बजाय, मॉडल पूछता है: "मेरा उत्तर कब बदलना बंद कर देता है?"
  • यह इस बिना याद रखे कि लूप के प्रत्येक चरण के लिए कितनी मेमोरी बचानी है, implicit differentiation नामक एक गणितीय ट्रिक का उपयोग करता है।

संक्षेप में: Attractor Models AI बनाने का एक नया तरीका है जो इटरेटिव (पुनरावृत्ति) तरीके से सोचता है लेकिन कुशलता से प्रशिक्षित होता है। वे इतने अच्छे शुरुआती अनुमान लगाना सीखते हैं कि उन्हें अक्सर दोबारा "सोचने" की आवश्यकता नहीं होती, फिर भी वे लेखन और कठिन तर्क पहेलियों दोनों पर विशाल मॉडलों से बेहतर प्रदर्शन करते हैं।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💬 cs.CL →