आधुनिक आर्टिफिशियल इंटेलिजेंस के विशाल परिदृश्य में, ट्रांसफॉर्मर नामक एक विशिष्ट प्रकार का कंप्यूटर प्रोग्राम अस्तित्व में मौजूद कुछ सबसे सक्षम भाषा और छवि प्रणालियों के इंजन के रूप में उभरा है। इन प्रणालियों के केंद्र में 'सेल्फ-अटेंशन' (self-attention) नामक एक तंत्र है, जो सॉफ्टवेयर को यह निर्णय लेने की अनुमति देता है कि किसी दिए गए क्षण में वाक्य या छवि के कौन से हिस्से पर ध्यान केंद्रित करना सबसे महत्वपूर्ण है। कल्पना कीजिए कि एक पाठक एक लंबे दस्तावेज़ को स्कैन कर रहा है; सेल्फ-अटेंशन वह मानसिक प्रक्रिया है जो उन्हें "it" जैसे सर्वनाम को तुरंत उस विशिष्ट संज्ञा से जोड़ने देती है जिसे वह संदर्भित करता है, या कितने भी शब्दों के बीच में होने के बावजूद एक क्रिया को उसके कर्ता से जोड़ने देती है। वर्षों से, इंजीनियर इस फोकसिंग प्रक्रिया को निर्देशित करने के लिए नियमों के एक मानक, कुछ हद तक कठोर सेट पर भरोसा करते रहे हैं। ये नियम कई स्थितियों में अच्छी तरह काम करते हैं, लेकिन जब टेक्स्ट बहुत लंबा हो जाता है या जब सिस्टम ऐसे पैटर्न का सामना करता है जो उसने पहले कभी नहीं देखे होते, तो वे संघर्ष करते हैं, जिससे अक्सर भ्रम या सबसे महत्वपूर्ण जानकारी पर ध्यान खोने की स्थिति पैदा होती है।

स्टैनफोर्ड यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने इस बात पर एक मौलिक बदलाव का प्रस्ताव दिया है कि यह फोकसिंग तंत्र कैसे काम करता है। वे सुझाव देते हैं कि मानक नियम इस छिपे हुए अनुमान पर आधारित हैं कि कंप्यूटर को सामग्री देखने से पहले ही हर संभावित शब्द या इमेज पैच को समान रूप से महत्वपूर्ण मानने के लिए तैयार रहना चाहिए। शोधकर्ताओं का तर्क है कि यह एक सरल शुरुआती बिंदु है। इसके बजाय, उन्होंने GOAT नामक एक नई विधि विकसित की है, जो सिस्टम को यह सीखने की अनुमति देती है कि उसे कहाँ देखना चाहिए। कंप्यूटर को एक खाली स्लेट के साथ शुरू करने के लिए मजबूर करने के बजाय, GOAT इसे विशिष्ट संरचनात्मक आदतों को खोजने और अपनाने की अनुमति देता है, जैसे कि वाक्य की शुरुआत में ध्यान देने की स्वाभाविक प्रवृत्ति या हाल के शब्दों पर ध्यान देना, बिना शब्दों के वास्तविक अर्थ से भ्रमित हुए।

इस खोज का मूल आधार अटेंशन को केवल समानता की एक सरल गणना के रूप में नहीं, बल्कि वस्तुओं के एक अनुक्रम (sequence) में फोकस वितरित करने की एक प्रक्रिया के रूप में पुनर्कल्पित करना है। मानक दृष्टिकोण में, सिस्टम सामग्री द्वारा दृढ़ता से संकेत दिए जाने तक अपने ध्यान को यथासंभव समान रूप से फैलाने की कोशिश करता है। शोधकर्ताओं ने पाया कि यह "समान वितरण" का अनुमान ही वह कारण है जिससे सिस्टम तब विफल हो जाता है जब सामग्री अस्पष्ट होती है या जब अनुक्रम अत्यंत लंबा होता है। इस समान धारणा को एक लचीले, सीखने योग्य मार्गदर्शक से बदलकर, नई विधि सिस्टम को सूचना विरल होने पर भी एक स्थिर फोकस बनाए रखने की अनुमति देती है। यह विशेष रूप से "अटेंशन सिंक्स" (attention sinks) नामक घटना के लिए महत्वपूर्ण है, जहाँ लंबे संवादों में मॉडल अक्सर कुछ विशिष्ट टोकन पर, अक्सर पहले वाले पर, अपने ध्यान का एक अत्यधिक हिस्सा डाल देते हैं, केवल इसलिए क्योंकि सिस्टम के पास अपना ध्यान रखने के लिए कोई और जगह नहीं होती है। नया दृष्टिकोण इस व्यवहार को एक त्रुटि के रूप में नहीं, बल्कि एक तार्किक परिणाम के रूप में समझाता है कि कैसे सिस्टम अपने ध्यान को वितरित करता है जब उसके पास स्पष्ट संकेत नहीं होते, और यह इस व्यवहार को जानबूझकर नियंत्रित करने का एक तरीका प्रदान करता है।

अपने विचार का परीक्षण करने के लिए, शोधकर्ताओं ने एक ऐसा सिस्टम बनाया जो अटेंशन के संरचनात्मक नियमों को शब्दों के वास्तविक अर्थ से अलग करता है। पिछले तरीकों में, कहाँ देखना है इसके नियम अक्सर शब्दों के अर्थ के साथ उलझे हुए थे, जिससे सिस्टम के लिए नई लंबाई या संदर्भों में सामान्यीकरण करना कठिन हो जाता था। नई विधि इन दोनों चीजों को अलग रखती है। यह अपेक्षाओं का एक निरंतर मानचित्र (map) सीखती है जिसे सिस्टम के प्रशिक्षण के दौरान समायोजित किया जा सकता है। यह मानचित्र जटिल पैटर्न को पकड़ सकता है, जैसे कि वर्तमान शब्द से ठीक पहले वाले शब्द को देखने की प्राथमिकता, या अनुक्रम की शुरुआत की ओर झुकाव, बिना शब्दों के अर्थ को विकृत किए। शोधकर्ताओं ने प्रदर्शित किया कि इस सिस्टम को उन्हीं उच्च-गति वाले कंप्यूटर चिप्स का उपयोग करके कुशलतापूर्वक लागू किया जा सकता है जो वर्तमान बड़े भाषा मॉडलों को शक्ति प्रदान करते हैं, जिसमें अतिरिक्त मेमोरी या प्रोसेसिंग पावर की आवश्यकता नहीं होती है।

उनके प्रयोगों के परिणाम आश्चर्यजनक थे। जब उन्होंने मॉडलों को भारी मात्रा में टेक्स्ट पर प्रशिक्षित किया, तो नई विधि लंबे अनुक्रमों को समझने में मौजूदा तकनीकों से बेहतर प्रदर्शन करती है। उन परीक्षणों में जहाँ मॉडलों को एक लंबे संदर्भ के भीतर छिपी हुई जानकारी खोजने के लिए कहा गया था—एक कार्य जिसे अक्सर "नीडल इन अ हेस्टैक" (needle in a haystack) कहा जाता है—नए सिस्टम ने पूर्ण सटीकता बनाए रखी, भले ही संदर्भ उस लंबाई से कई गुना अधिक था जो उसने प्रशिक्षण के दौरान देखी थी। इसके विपरीत, अन्य लोकप्रिय तरीके जो स्थिति संभालने के लिए निश्चित नियमों पर निर्भर करते हैं, टेक्स्ट लंबा होने के साथ तेजी से विफल होने लगे। नया सिस्टम जैविक अनुक्रमों, जैसे DNA, को मॉडल करने और छवियों को संसाधित करने में भी बेहतर प्रदर्शन करता है, जहाँ इसने बिना बताए सीखा कि द्वि-आयामी स्थानिक संबंधों को कैसे संभालना है।

एक सबसे महत्वपूर्ण निष्कर्ष यह था कि सिस्टम ने "अटेंशन सिंक" समस्या को कैसे संभाला। मानक मॉडलों में, पहले टोकन पर अत्यधिक ध्यान केंद्रित करने की प्रवृत्ति अक्सर डेटा को समझने की कोशिश का एक दुष्प्रभाव होती है, जो कभी-कभी नई जानकारी को संसाधित करने की इसकी क्षमता में हस्तक्षेप कर सकती है। शोधकर्ताओं ने दिखाया कि पहले टोकन को एक संरचनात्मक नियम के रूप में एक डिफॉल्ट फोकस के रूप में स्पष्ट रूप से सिखाकर, वे वास्तव में स्थिरता में सुधार कर सकते थे। इसने मॉडल को पहले टोकन का उपयोग एक विश्वसनीय एंकर के रूप में करने की अनुमति दी जब बाकी टेक्स्ट अस्पष्ट था, बिना अन्य शब्दों के प्रतिनिधित्व को दूषित किए। संरचना और अर्थ के इस अलगाव का अर्थ था कि सिस्टम पहले की तुलना में नए लंबाई और संदर्भों के अनुकूल बहुत अधिक सहजता से ढल सकता था।

शोधकर्ताओं ने यह भी पता लगाया कि जब इनपुट डेटा अप्रत्याशित तरीकों से बदलता है तो यह नया तरीका कैसे व्यवहार करता है। एक प्रयोग में, उन्होंने एक मॉडल को छोटे अनुक्रमों पर प्रशिक्षित किया और फिर इसे सोलह गुना लंबे अनुक्रमों पर परीक्षण किया। जबकि अन्य तरीकों ने प्रदर्शन में महत्वपूर्ण गिरावट देखी, नए सिस्टम ने उच्च सटीकता के साथ कार्य करना जारी रखा। यह सुझाव देता है कि सिस्टम ने सूचना को व्यवस्थित करने के एक मजबूत सेट को सीखा है जिसे उसके प्रशिक्षण डेटा से कहीं आगे की स्थितियों में लागू किया जा सकता है। इतनी प्रभावी ढंग से सामान्यीकरण करने की क्षमता वास्तविक दुनिया के संचार की ओपन-एंडेड, परिवर्तनशील-लंबाई वाली प्रकृति को संभालने वाले आर्टिफिशियल इंटेलिजेंस के निर्माण की दिशा में एक महत्वपूर्ण कदम है।

कंप्यूटर विजन के क्षेत्र में, यह विधि समान रूप से बहुमुखी सिद्ध हुई। इमेज रिकग्निशन कार्यों पर लागू होने पर, सिस्टम ने एक छवि के विभिन्न हिस्सों के बीच स्थानिक संबंधों को समझना सीखा। इसने पास के इमेज पैच को देखने की प्राथमिकता विकसित की, जो एक पैटर्न है जो नकल करता है कि मनुष्य स्वाभाविक रूप से दृश्य दृश्यों को कैसे स्कैन करते हैं। इसने सिस्टम को उन रिज़ॉल्यूशन पर भी वस्तुओं और दृश्यों को पहचानने की अनुमति दी जो उसने पहले कभी नहीं देखे थे, एक ऐसी क्षमता जो व्यापक पुन: प्रशिक्षण के बिना अन्य मॉडलों के लिए प्राप्त करना अक्सर कठिन होता है। शोधकर्ताओं ने पाया कि सिस्टम ने स्वतः ही इन स्थानिक पूर्वाग्रहों की खोज की, जो पुष्टि करता है कि यह दृष्टिकोण केवल टेक्स्ट तक सीमित नहीं है बल्कि इसे किसी भी डेटा पर लागू किया जा सकता है जिसमें अनुक्रमिक या स्थानिक संरचना होती है।

इस कार्य ने यह भी स्पष्ट सैद्धांतिक समझ प्रदान की कि बड़े भाषा मॉडलों में कुछ व्यवहार क्यों उभरते हैं। कंटेंट को सीखे गए अपेक्षाओं के साथ संतुलित करने की एक प्रक्रिया के रूप में अटेंशन को फ्रेम करके, शोधकर्ता समझा सके कि मॉडल कभी-कभी लंबे संदर्भों के साथ संघर्ष क्यों करते हैं और इसे कैसे ठीक किया जाए। उन्होंने दिखाया कि इन प्रणालियों में देखी जाने वाली अस्थिरता आर्किटेक्चर की अंतर्निहित खामी नहीं है, बल्कि अटेंशन के लिए एक निश्चित, गैर-सूचनात्मक शुरुआती बिंदु का परिणाम है। सिस्टम को अपना शुरुआती बिंदु सीखने की अनुमति देकर, उन्होंने भविष्य के मॉडलों के लिए अधिक स्थिर और विश्वसनीय आधार बनाया।

यह शोध यह दावा नहीं करता है कि उसने आर्टिफिशियल इंटेलिजेंस की हर समस्या को हल कर दिया है, लेकिन यह अधिक मजबूत सिस्टम बनाने के लिए एक शक्तिशाली नया उपकरण प्रदान करता है। यह विधि वर्तमान अत्याधुनिक मॉडलों में उपयोग किए जाने वाले अटेंशन मैकेनिज्म के सीधे प्रतिस्थापन के रूप में डिज़ाइन की गई है, जिसका अर्थ है कि इसे न्यूनतम परिवर्तनों के साथ मौजूदा सॉफ्टवेयर में एकीकृत किया जा सकता है। लेखकों ने अपना कोड उपलब्ध कराया है, जिससे अन्य शोधकर्ता उनके निष्कर्षों का परीक्षण और उन पर निर्माण कर सकें। जैसे-जैसे क्षेत्र उन मॉडलों की ओर बढ़ता है जो लंबे संदर्भों और अधिक जटिल कार्यों को संभाल सकते हैं, यह समझना कि अटेंशन कैसे वितरित किया जाता है, संभवतः एक मानक आवश्यकता बन जाएगा। नया दृष्टिकोण इसे पहले से कहीं अधिक लचीलेपन और सटीकता के साथ करने का एक तरीका प्रदान करता है, जो न केवल स्मार्ट बल्कि अधिक स्थिर और विश्वसनीय तर्क करने वाले सिस्टमों का मार्ग प्रशस्त करता है।

इस कार्य के निहितार्थ केवल मॉडलों को पढ़ने या देखने में बेहतर बनाने तक ही सीमित नहीं हैं। यह इस पर एक नया दृष्टिकोण प्रदान करता है कि मशीनें जानकारी को व्यवस्थित करना कैसे सीखती हैं। अटेंशन के नियमों को कुछ ऐसा मानने के बजाय जिसे इंजीनियरों द्वारा हार्डकोड किया जाना चाहिए, उन्हें सीखने योग्य और परिष्कृत करने योग्य चीज़ के रूप में मानकर, शोधकर्ताओं ने ऐसे सिस्टम के द्वार खोल दिए हैं जो कार्य की विशिष्ट मांगों के अनुसार अपनी आंतरिक संरचनाओं को अनुकूलित कर सकते हैं। कठोर नियमों से लचीले सीखने की ओर यह बदलाव आर्टिफिशियल इंटेलिजेंस के विकास में एक महत्वपूर्ण कदम है, जो हमें ऐसे सिस्टम के करीब लाता है जो वास्तविक दुनिया की जटिलताओं को उसी सहजता से नेविगेट कर सकते हैं जैसा कि मनुष्य करते हैं। निष्कर्ष बताते हैं कि अधिक सक्षम मशीनें बनाने की कुंजी उन्हें बड़ा बनाने में नहीं, बल्कि उन्हें अपना ध्यान केंद्रित करने के बेहतर तरीके देने में निहित है।