Operads for compositional reasoning in LLMs
यह शोध पत्र LLMs में प्रश्न विखंडन (question decomposition) को मॉडल करने के लिए एक कठोर गणितीय ढांचे के रूप में ऑपेरेड्स (operads) का प्रस्ताव करता है, जो "ऑपेरेडिक निरंतरता" (operadic consistency) की अवधारणा को एक नवीन इनवेरिएंट (invariant) के रूप में प्रस्तुत करता है जो तर्क संबंधी सटीकता के साथ दृढ़ता से सह-संबंधित है और मानक सेल्फ-कंसिस्टेंसी बेसलाइन्स से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत बड़ी, जटिल पहेली को सुलझाने की कोशिश कर रहे हैं, जैसे कि यह पता लगाना कि टाइटैनिक को आइसबर्ग से टकराने के बाद डूबने में वास्तव में कितना समय लगा था। इसके बजाय कि आप एक ही बार में पूरा उत्तर गेस करने की कोशिश करें, आप इसे छोटे हिस्सों में तोड़ देते हैं: "यह कब टकराया?" और "यह कब डूबा?" फिर आप उन दोनों उत्तरों को लेकर अंतिम परिणाम प्राप्त करने के लिए उन्हें मिला देते हैं।
लार्ज लैंग्वेज मॉडल्स (LLMs) "चेन ऑफ थॉट" (Chain of Thought) रीजनिंग का उपयोग करते समय बिल्कुल यही करते हैं। वे बड़े सवालों को छोटे चरणों में तोड़ देते हैं। हालाँकि, इस पेपर के लेखक तर्क देते हैं कि हालांकि हम सहज रूप से ऐसा करते हैं, लेकिन हमारे पास कोई ठोस, गणितीय नियम पुस्तिका नहीं है कि ये चरण आपस में कैसे जुड़ते हैं। यह एक बेहतरीन रेसिपी होने जैसा है लेकिन यह मापने का कोई तरीका नहीं है कि सामग्री वास्तव में एक-दूसरे के अनुकूल है या नहीं।
इसे ठीक करने के लिए, लेखक एक गणितीय उपकरण पेश करते हैं जिसे ओपेराड्स (Operads) कहा जाता है।
लेगो (Lego) सादृश्य: ओपेराड क्या है?
एक ओपेराड को लेगो निर्देशों के एक विशेष सेट के रूप में सोचें।
- मानक लेगो: आमतौर पर, आप एक ईंट को दूसरी ईंट पर लगाते हैं (एक अंदर, एक बाहर)।
- ओपेराड लेगो: ये विशेष ईंटें हैं जिनमें ऊपर की ओर कई छेद होते हैं और नीचे की ओर एक पेग (peg) होता है। आप अन्य ईंटों (या पूरी संरचनाओं) को उनके किसी भी छेद में लगा सकते हैं।
सवालों की दुनिया में:
- एक "प्रश्न टेम्पलेट" खाली स्थानों वाली एक ईंट है। उदाहरण के लिए: " [BLANK] के समय राष्ट्रपति कौन थे?"
- उप-प्रश्न का "उत्तर" एक अन्य ईंट है जिसे आप उस खाली स्थान में लगाते हैं।
- ओपेराड वह नियम पुस्तिका है जो कहती है: "इससे कोई फर्क नहीं पड़ता कि आप पहले पहले खाली स्थान में उत्तर भरते हैं, या दूसरे खाली स्थान में पहले; जब तक गणित सही है, अंतिम संरचना समान होनी चाहिए।"
"क्वेश्चन अलजेब्रा" (Question Algebra)
पेपर सुझाव देता है कि हमें प्रश्न पूछने वाले मॉडल (QA model) को केवल एक चैटबॉट के रूप में नहीं, बल्कि एक ऐसी मशीन के रूप में देखना चाहिए जो इन लेगो नियमों का पालन करती है।
- प्रश्न: ये खाली स्थानों वाले टेम्पलेट हैं (ओपेराड)।
- मॉडल: यह "अलजेब्रा" है। यह वह कार्यकर्ता है जो टेम्पलेट्स लेता है, खाली स्थानों को उत्तरों से भरता है, और अंतिम परिणाम देता है।
यदि कार्यकर्ता पूर्ण है, तो इससे कोई फर्क नहीं पड़ना चाहिए कि वे पहेली को कैसे जोड़ते हैं। चाहे वे पहले छोटे टुकड़ों को हल करें और फिर उन्हें मिलाएं, या टुकड़ों को किसी अलग क्रम में मिलाएं, अंतिम चित्र समान होना चाहिए।
समस्या: "ओपेराडिक असंगतता" (Operadic Inconsistency)
यहीं से यह दिलचस्प हो जाता है। लेखकों ने महसूस किया कि AI मॉडल अक्सर इन नियमों को तोड़ देते हैं। यदि आप उन्हें एक क्रम में सवाल पूछते हैं तो वे आपको एक उत्तर दे सकते हैं, और यदि आप उसी तार्किक चरणों को थोड़े अलग क्रम में पूछते हैं, तो वे एक अलग उत्तर दे सकते हैं।
वे इसे ओपेराडिक असंगतता (Operadic Inconsistency) कहते हैं।
"बेस बनाम एलेनोर" टेस्ट:
पेपर यह दिखाने के लिए एक विशिष्ट उदाहरण का उपयोग करता है। कल्पना कीजिए कि द्वितीय विश्व युद्ध के समाप्त होने के समय फर्स्ट लेडी कौन थीं, यह जानने के लिए प्रश्नों की एक श्रृंखला है।
- पथ A: पूछें "द्वितीय विश्व युद्ध कब समाप्त हुआ?" -> प्राप्त हुआ "1945" -> पूछें "1945 में राष्ट्रपति कौन थे?" -> प्राप्त हुआ "ट्रूमैन" -> पूछें "ट्रूमैन की पत्नी कौन थीं?" -> प्राप्त हुआ "बेस ट्रूमैन।"
- पथ B: सीधे पूछें "द्वितीय विश्व युद्ध के समय फर्स्ट लेडी कौन थीं?" (चरणों को छोड़ते हुए)। -> मॉडल "एलेनोर रूजवेल्ट" (जो प्रसिद्ध थीं, लेकिन 1945 में राष्ट्रपति की पत्नी नहीं थीं) का अनुमान लगा सकता है।
यदि मॉडल स्टेप-बाय-स्टेप पथ के लिए "बेस" देता है लेकिन सीधे पथ के लिए "एलेनोर" देता है, तो यह असंगत है। यह एक कैलकुलेटर जैसा है जो आपको "4" देता है यदि आप 2+2 करते हैं, लेकिन "5" देता है यदि आप 1+1+2 करते हैं।
यह क्यों मायने रखता है
पेपर एक नया तरीका प्रस्तावित करता है जिससे यह जांचा जा सके कि एक AI कितना विश्वसनीय है। केवल मॉडल से उत्तर दोहराने के लिए पूछने के बजाय (जो वर्तमान तरीकों में किया जाता है), हम यह जांच सकते हैं कि क्या मॉडल के उत्तर उन सभी अलग-अलग तरीकों में सुसंगत रहते हैं जिनसे सवाल को तोड़ा जा सकता है।
- दावा: लेखकों ने पाया कि जो मॉडल "ओपेराडिक रूप से सुसंगत" हैं (वे सवाल को तोड़ने के विभिन्न तरीकों के बावजूद एक ही उत्तर देते हैं), उनके सटीक होने की संभावना बहुत अधिक होती है।
- परिणाम: अपने साथी अध्ययन में (जिसका उल्लेख पेपर में किया गया है), उन्होंने 12 अलग-अलग AI मॉडल का परीक्षण किया। उन्होंने पाया कि इस विशिष्ट प्रकार की निरंतरता की जांच करना, वर्तमान मानक तरीकों की तुलना में सटीकता का बेहतर भविष्यवक्ता था।
सारांश
पेपर यह दावा नहीं करता है कि उसने एक नया AI बनाया है या सभी AI त्रुटियों को ठीक कर दिया है। इसके बजाय, यह देखने के लिए एक नया गणितीय लेंस प्रदान करता है कि AI कैसे सोचता है।
- यह प्रश्न विघटन (decomposition) को एक औपचारिक संरचना (ओपेराड्स) के रूप में मानता है।
- यह विश्वसनीयता के लिए एक नया परीक्षण परिभाषित करता है जिसे ओपेराडिक कंसिस्टेंसी कहा जाता है।
- यह दिखाता है कि यदि एक AI सवाल को तोड़ने के विभिन्न तरीकों के माध्यम से खुद से सहमत नहीं हो सकता है, तो उसके गलत उत्तर देने की संभावना अधिक है।
संक्षेप में: यदि आप एक पहेली को दो अलग-अलग तरीकों से एक ही तरह से हल नहीं कर सकते, तो संभवतः आप उसे हल करना जानते ही नहीं हैं। यह पेपर हमें यह साबित करने के लिए गणित देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।