Less Is More: Cognitive Load and the Single-Prompt Ceiling in LLM Mathematical Reasoning
यह शोध पत्र SAIR इक्वेशनल थ्योरीज प्रतियोगिता में औपचारिक गणितीय तर्क के लिए प्रॉम्प्ट इंजीनियरिंग का एक व्यवस्थित अध्ययन प्रस्तुत करता है, जो एक "सिंगल-प्रॉम्ट सीलिंग" को प्रकट करता है जहाँ गणितीय अनिश्चितता और मॉडल-विशिष्ट सीमाओं के कारण सटीकता लगभग 60-79% पर स्थिर हो जाती है, बावजूद इसके कि एक अनुकूलित 2,252-बाइट प्रॉम्प्ट के माध्यम से बेसलाइन की तुलना में 19.5 प्रतिशत अंक का सुधार प्राप्त किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े भ्रमित रोबोट को एक विशिष्ट प्रकार की तर्क पहेली (logic puzzle) हल करना सिखाने की कोशिश कर रहे हैं। पहेली यह है: "क्या नियम A हमेशा नियम B की ओर ले जाता है?"
रोबोट को "हाँ" (सत्य) या "नहीं" (असत्य) में उत्तर देना है।
- यदि उत्तर "नहीं" है, तो रोबोट को बस एक छोटा सा उदाहरण खोजना होगा जहाँ नियम A काम करता है लेकिन नियम B विफल हो जाता है। यह एक बांध में एक छोटी सी दरार खोजने जैसा है।
- यदि उत्तर "हाँ" है, तो उसे यह साबित करना होगा कि ऐसी कोई भी संभावित दुनिया मौजूद नहीं है जहाँ नियम A काम करे लेकिन नियम B विफल हो जाए। यह यह साबित करने जैसा है कि ब्रह्मांड में कहीं भी, यहाँ तक कि उन जगहों पर भी जिन्हें आप देख नहीं सकते, बांध में कोई दरार नहीं है।
यह शोध पत्र एक रिपोर्ट कार्ड है कि कैसे लेखकों ने इस पहेली को हल करने के लिए तीन अलग-अलग AI मॉडलों को "प्रॉम्प्ट इंजीनियरिंग" (निर्देश देने) की कोशिश की। उन्होंने एक वाक्य से लेकर 5 पन्नों के दस्तावेज़ तक, 40 से अधिक विभिन्न निर्देश नियमावलियों का पांच सप्ताह तक परीक्षण किया।
यहाँ उनकी खोजों की कहानी सरल भाषा में दी गई है।
1. "बहुत अधिक जानकारी" का जाल
लेखकों ने एक सामान्य धारणा से शुरुआत की: "अधिक निर्देश = बेहतर परिणाम।" उन्होंने सोचा कि यदि वे AI को उदाहरणों, नियमों और जटिल तर्क से भरी एक विशाल "चीट शीट" देंगे, तो AI अधिक स्मार्ट हो जाएगा।
वे गलत थे।
उन्होंने एक "सिंगल-प्रॉम्प्ट सीलिंग" (Single-Prompt Ceiling) की खोज की। कल्पना कीजिए कि AI का दिमाग एक बैकपैक (पीठ पर लटका थैला) है।
- यदि आप बैकपैक में एक छोटा, स्पष्ट नक्शा रखते हैं, तो AI उसे पढ़ सकता है और उत्तर ढूंढ सकता है।
- यदि आप बैकपैक में 50 अलग-अलग नक्शे, एक शब्दकोश और एक विश्वकोश ठूस देते हैं, तो AI अभिभूत (overwhelmed) हो जाता है। वह महत्वपूर्ण हिस्सों को अनदेखा करने लगता है, भ्रमित हो जाता है, और वास्तव में उसका प्रदर्शन बदतर हो जाता है।
सबसे जटिल प्रॉम्प्ट जिसे उन्होंने आजमाया (लगभग 5,000 वर्ण लंबा), सबसे खराब प्रदर्शन करने वाला था। सबसे अच्छे परिणाम उन प्रॉम्प्ट्स से मिले जो आश्चर्यजनक रूप से छोटे और केंद्रित थे।
2. "ऑपरेशन के क्रम" का आश्चर्य
सबसे बड़ी सफलता यह नहीं थी कि उन्होंने AI को क्या बताया, बल्कि यह थी कि उन्होंने उसे कब बताया।
AI की तर्क प्रक्रिया को एक सुरक्षा गार्ड की तरह समझें जो संदिग्धों की सूची की जाँच कर रहा है।
- पुराना तरीका (AN38): गार्ड ने पहले "बुरे लड़कों" (counterexamples) की एक लंबी सूची की जाँच की। यदि संदिग्ध बुरा आदमी लग रहा था, तो गार्ड ने "नहीं" कहा। यदि नहीं, तो गार्ड आगे बढ़ गया। यह ठीक-ठाक काम करता था, लेकिन गार्ड "हाँ" वाले मामलों को पहचानने के लिए बहुत जल्दी "नहीं" कह देता था।
- नया तरीका (AN45c): लेखकों ने गार्ड को बताया: "पहले, जाँच करें कि क्या यह व्यक्ति एक बच्चा है। यदि वे एक बच्चे हैं, तो वे बुरा आदमी नहीं हो सकते। तुरंत 'हाँ' कहें।" उस जाँच के बाद ही गार्ड ने बुरे लड़कों की सूची देखी।
निर्देशों के बिल्कुल ऊपर "बेबी चेक" (एक सरल गणितीय ट्रिक जिसे "ट्रिवियल मैग्मा चेक" कहा जाता है) को रखने से, AI ने "हाँ" वाले मामलों में गलतियाँ करना बंद कर दिया। यह एक शेफ को यह बताने जैसा था कि "खाना पकाना शुरू करने" से पहले "चेक करें कि ओवन बंद है या नहीं।" क्रम बदलने से सब कुछ बदल गया, सटीकता 71% से बढ़कर 79% हो गई।
3. "एक ही आकार सबके लिए उपयुक्त नहीं" की समस्या
यहाँ पेचीदा हिस्सा है। लेखकों ने पाया कि जो प्रॉम्प्ट पहेलियों के एक सेट पर पूरी तरह काम करता था, वह पहेलियों के थोड़े अलग सेट पर क्रैश हो गया।
- "Hard1" का जाल: उन्होंने एक बहुत ही विशेष प्रॉम्प्ट बनाया जो "नहीं" (असत्य) उत्तर खोजने में अद्भुत था क्योंकि परीक्षण के प्रश्न ज्यादातर "नहीं" उत्तरों वाले थे। इसने 78% सही उत्तर दिए।
- क्रैश: जब वे उसी प्रॉम्प्ट को "हाँ" और "नहीं" के संतुलित मिश्रण पर टेस्ट करने के लिए ले गए, तो यह बुरी तरह विफल हो गया। यह "हाँ" वाले सवालों के लिए भी "नहीं" कहना शुरू कर देता था।
यह एक कुत्ते को केवल तभी बैठने के लिए प्रशिक्षित करने जैसा है जब आप उसे ट्रीट (इनाम) दे रहे हों। यदि आप ट्रीट हटा लेते हैं, तो कुत्ता बैठना भूल जाता है। AI ने वास्तविक गणित के बजाय प्रश्नों के विशिष्ट "स्वाद" पर भरोसा करना सीख लिया था।
4. "सीलिंग" का वास्तविकता चेक
लेखक इसे "एम्पिरिकल सैचुरेशन रीजन" (Empirical Saturation Region) कहते हैं।
कल्पना कीजिए कि आप एक पाइप से बाल्टी भरने की कोशिश कर रहे हैं।
- शुरुआत में, अधिक पानी (अधिक निर्देश) डालने से बाल्टी जल्दी भरती है।
- लेकिन अंततः, बाल्टी भर जाती है। यदि आप पानी छिड़कना जारी रखते हैं, तो यह बस किनारों से बाहर छलक जाता है।
- AI के पास केवल एक टेक्स्ट प्रॉम्प्ट के साथ कितना "तर्क" करने की क्षमता है, इसकी एक सीमा है। चाहे निर्देश कितने भी चतुर क्यों न हों, AI लगभग 79% सटीकता पर एक दीवार से टकरा जाता है।
79% से ऊपर जाने के लिए, आप केवल एक बेहतर प्रॉम्प्ट लिखकर नहीं जा सकते। आपको निम्न कार्य करने होंगे:
- दिमाग को फाइन-ट्यून करना: AI को लाखों इन गणितीय समस्याओं पर शून्य से प्रशिक्षित करना।
- एक टीम का उपयोग करना: एक AI को "हाँ" के लिए जाँच करने दें और दूसरे को "नहीं" के लिए, फिर एक इंसान (या कंप्यूटर प्रोग्राम) को यह तय करने दें कि किस उत्तर पर भरोसा करना है।
5. बड़ा सबक: कम ही अधिक है (Less is More)
सबसे महत्वपूर्ण बात यह है जो सहज ज्ञान के विपरीत है।
AI की दुनिया में, हम अक्सर सोचते हैं कि हमें मॉडल को स्मार्ट बनाने के लिए अधिक डेटा, अधिक नियम और अधिक संदर्भ देने की आवश्यकता है। यह पेपर सिद्ध करता है कि जटिल गणित के लिए, सरलता की जीत होती है।
- जटिल प्रॉम्प्ट AI को भ्रमित करते हैं, जिससे वह भ्रमित (hallucinate) होने लगता है या नियमों को अनदेखा करने लगता है।
- सरल, अच्छी तरह व्यवस्थित प्रॉम्प्ट AI को उस गणित का उपयोग करने के लिए मार्गदर्शन करते हैं जो वह पहले से जानता है, बस सही क्रम में।
उपमा:
AI को एक प्रतिभाशाली लेकिन आसानी से विचलित होने वाले छात्र के रूप में सोचें।
- यदि आप उन्हें परीक्षा से पहले 50 पन्नों की पाठ्यपुस्तक पढ़ने के लिए देते हैं, तो वे विवरणों में खो जाएंगे और असफल हो जाएंगे।
- यदि आप उन्हें एक छोटा सा स्टिकी नोट देते हैं जिस पर लिखा है, "पहले जाँच करें कि क्या X सत्य है। यदि ऐसा है, तो रुकें और 'हाँ' कहें। अन्यथा, काउंटर-एग्जांपल (विपरीत उदाहरण) खोजें," तो वे परीक्षा में उत्कृष्ट प्रदर्शन करेंगे।
लेखकों ने AI को नया गणित नहीं सिखाया; उन्होंने बस उसे अपने ही विचारों से विचलित होने से रोका। अंत में, कम निर्देश, जो सही क्रम में दिए गए हों, हर बार अधिक निर्देशों से बेहतर साबित हुए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।