GEMS: Geometric Constraints Enable Multi-Semantic Superposition in LLMs
यह शोध पत्र GEMS का प्रस्ताव करता है, जो एक प्रशिक्षण-मुक्त विधि है जो वितरण विचलन (distributional deviation) और दिशात्मक हस्तक्षेप (directional interference) को कम करने के लिए ज्यामितीय बाधाओं—विशेष रूप से नॉर्म-प्रिजर्विंग वेटेड सुपरपोजिशन और रियल-टाइम ऑर्थोगोनलाइजेशन—को लागू करके LLMs में स्थिर बहु-सिमेंटिक सुपरपोजिशन को सक्षम बनाती है, जिससे समवर्ती सक्रियता स्टीयरिंग (concurrent activation steering) के दौरान मॉडल कोलैप्स को रोका जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक लार्ज लैंग्वेज मॉडल (LLM) की कल्पना एक विशाल, अत्यधिक प्रशिक्षित ऑर्केस्ट्रा के रूप में करें। प्रत्येक संगीतकार (न्यूरल नेटवर्क में एक लेयर) एक विशिष्ट भूमिका निभाता है, और साथ मिलकर वे एक सुसंगत सिम्फनी (वह टेक्स्ट जो मॉडल बनाता है) रचते हैं।
लंबे समय से, शोधकर्ताओं ने इस ऑर्केस्ट्रा को "स्टीयर" करने का एक तरीका खोजा है। प्रदर्शन के दौरान एक विशिष्ट क्षण पर शीट म्यूज़िक (sheet music) में थोड़ा बदलाव करके, वे ऑर्केस्ट्रा को थोड़ा अधिक "सत्यनिष्ठ," "सुरक्षित," या "सहानुभूतिपूर्ण" बना सकते हैं। इसे एक्टिवेशन स्टीयरिंग (activation steering) कहा जाता है।
हालाँकि, एक बड़ी समस्या थी: आप ऑर्केस्ट्रा से एक समय में केवल एक ही नई शैली में बजाने के लिए कह सकते थे। यदि आप उन्हें एक साथ "सहानुभूतिपूर्ण," "जवाबदेह," और "न्यूनतमवादी (minimalist)" होने के लिए कहते, तो संगीत एक अराजक, निरर्थक शोर में बदल जाता। मॉडल "कोलैप्स" (collapse) हो जाता।
यह पेपर, GEMS, इसी समस्या को हल करता है। यह एक नए प्रकार के कंडक्टर (संचालक) की तरह काम करता है जो संगीत को खराब किए बिना एक साथ कई शैलियों को प्रबंधित कर सकता है। यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:
दो कारण जिनसे संगीत पहले बिखर जाता था
लेखकों ने पाया कि जब आप बहुत अधिक शैलियों को मिलाने की कोशिश करते हैं, तो ऑर्केस्ट्रा दो विशिष्ट कारणों से विफल हो जाता है:
- वॉल्यूम विस्फोट (डिस्ट्रीब्यूशनल डेविएशन):
कल्पना कीजिए कि हर बार जब आप ऑर्केस्ट्रा को एक नई शैली बजाने के लिए कहते हैं, तो आप वॉल्यूम का नॉब भी थोड़ा सा ऊपर कर देते हैं। यदि आप ऑर्केस्ट्रा के 12 अलग-अलग हिस्सों को ऐसा करने के लिए कहते हैं, तो वॉल्यूम केवल बढ़ता नहीं है; यह विस्फोट कर देता है। संगीतकार इतनी ज़ोर से बजाने लगते हैं कि वे अपने वाद्य यंत्र तोड़ देते हैं और पूरा गाना ही भूल जाते हैं। मॉडल में, इसका अर्थ है कि डेटा की "ऊर्जा" इतनी बढ़ जाती है कि वह उस सुरक्षित क्षेत्र से बाहर निकल जाती है जहाँ मॉडल को प्रशिक्षित किया गया था, जिससे वह निरर्थक बातें (hallucinations) करने लगता है।
- समाधान: GEMS एक नॉर्म-प्रिजर्वेशन कंस्ट्रेंट (Norm-Preservation Constraint) का उपयोग करता है। इसे एक सख्त वॉल्यूम लिमिटर के रूप में समझें। आप चाहे कितनी भी शैलियाँ जोड़ लें, कुल वॉल्यूम (गणितीय रूप से, "norm") बिल्कुल समान रहता है। यह सुनिश्चित करता है कि ऑर्केस्ट्रा बहुत तेज़ न हो जाए।
- सिग्नल टकराव (डायरेक्शनल इंटरफेरेंस):
कल्पना कीजिए कि आप वायलिन सेक्शन को "दुखी" और ब्रास सेक्शन को "क्रोधित" बजाने के लिए कहते हैं। यदि "दुखी" और "क्रोधित" संगीत सिद्धांत में समान दिशाएँ हैं, तो वे एक-दूसरे को रद्द कर सकती हैं या एक धुंधले मिश्रण में बदल सकती हैं। पेपर में पाया गया कि जब आप अलग-अलग "वेक्टर्स" (अर्थ की दिशाओं) को मिलाते हैं जो पूरी तरह से अलग नहीं हैं, तो वे एक-दूसरे के साथ हस्तक्षेप करते हैं, जैसे दो रेडियो स्टेशन एक ही फ्रीक्वेंसी पर बज रहे हों।
- समाधान: GEMS रियल-टाइम ऑर्थोगोनलाइजेशन (Real-Time Orthogonalization) का उपयोग करता है। यह एक साउंड इंजीनियर की तरह है जो तुरंत फ्रीक्वेंसी को एडजस्ट करता है ताकि "दुखी," "क्रोधित," और "न्यूनतमवादी" सभी पूरी तरह से अलग, बिना हस्तक्षेप वाले चैनलों पर हों। यह निर्देशों को गणितीय रूप से एक-दूसरे के लंबवत (perpendicular) होने के लिए मजबूर करता है ताकि वे एक-दूसरे को रद्द न कर सकें।
GEMS कंडक्टर का टूलकिट
इसे काम करने के लिए, GEMS विधि तीन मुख्य उपकरणों का उपयोग करती है:
- गौसियन एनवेलप (द स्पॉटलाइट):
हर एक नोट के शुरू से अंत तक हर संगीतकार को नए निर्देश चिल्लाकर देने के बजाय, GEMS एक "स्पॉटलाइट" का उपयोग करता है। यह निर्देशों को मॉडल के मध्य परतों (जहाँ सबसे जटिल सोच होती है) पर केंद्रित करता है और शुरुआत और अंत में निर्देशों को धीरे-धीरे कम करता जाता है। यह मॉडल को वाक्य की शुरुआत या अंत में भ्रमित होने से रोकता है। - सर्जिकल हुक (द इंजेक्शन पॉइंट):
मॉडल के दो मुख्य भाग होते हैं: एक जो तथ्यों को संभालता है ( "ज्ञान" वाला हिस्सा) और दूसरा जो प्रवाह और ध्यान (attention) को संभालता है ("सोचने" वाला हिस्सा)। GEMS अपने परिवर्तनों को केवल "सोचने" वाले हिस्से में इंजेक्ट करता है। यह "ज्ञान" वाले हिस्से को अछूता छोड़ देता है, यह सुनिश्चित करते हुए कि सहानुभूतिपूर्ण या जवाबदेह होने के प्रयास में मॉडल बुनियादी तथ्य न भूल जाए। - जियोमेट्रिक कंस्ट्रेंट (द रूलबुक):
पेपर यह सिद्ध करता है कि यदि आप "वॉल्यूम लिमिटर" या "सर्जिकल हुक" के नियमों को तोड़ते हैं, तो संगीत तुरंत बिखर जाता है। यदि आप "फ्रीक्वेंसी ट्यूनिंग" के नियम को तोड़ते हैं, तो संगीत सुसंगत तो रहता है लेकिन अपना विशिष्ट स्वाद खो देता है (उदाहरण के लिए, यह विशिष्ट रूप से "न्यूनतमवादी" होने के बजाय सामान्य हो जाता है)।
क्या हुआ जब उन्होंने इसे आज़माया?
शोधकर्ताओं ने इसे Qwen3.5-4B नामक मॉडल पर टेस्ट किया।
- टेस्ट: उन्होंने मॉडल को गणित की समस्याएं (GSM8K) हल करने के लिए कहा और साथ ही साथ इसे "सहानुभूतिपूर्ण," "जवाबदेह," और "न्यूनतमवादी" दिखने के लिए भी कहा।
- परिणाम: बिना GEMS के, मॉडल की सटीकता 4% रह गई (यह निरर्थक शोर में बदल गया)। GEMS के साथ, इसने गणित पर 98% सटीकता बनाए रखी और सफलतापूर्वक तीनों व्यक्तित्व लक्षणों को अपनाया।
- क्रॉस-चेक: उन्होंने इसे अन्य मॉडलों (3 बिलियन से 31 बिलियन पैरामीटर्स) पर भी आज़माया और यह वहां भी काम कर गया, जिससे पता चलता है कि ये नियम लगभग किसी भी आधुनिक AI ऑर्केस्ट्रा पर लागू होते हैं।
निचोड़ (The Bottom Line)
इस पेपर से पहले, एक साथ कई व्यक्तित्व देने की कोशिश करना वैसा ही था जैसे एक साथ बाएं, दाएं और आगे स्टीयरिंग घुमाते हुए कार चलाने की कोशिश करना—कार बस दुर्घटनाग्रस्त हो जाएगी।
GEMS दिखाता है कि आप एक साथ कई दिशाओं में ड्राइव कर सकते हैं, लेकिन केवल तभी जब आप ज्यामिति (geometry) के नियमों का पालन करें: गति स्थिर रखें (वॉल्यूम को फटने न दें), सुनिश्चित करें कि आपके स्टीयरिंग इनपुट एक-दूसरे से न लड़ें (फ्रीक्वेंसी को ट्यून करें), और स्टीयरिंग को केवल वहीं लागू करें जहाँ इसकी आवश्यकता है। यह हमें AI मॉडल्स को तोड़ने के बिना उन्हें जटिल, बहु-आयामी व्यवहारों की ओर मोड़ने की अनुमति देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।