Analyzing LLM Instruction Optimization for Tabular Fact Verification
यह शोध पत्र सारणीबद्ध तथ्य सत्यापन (tabular fact verification) के लिए DSPy-आधारित निर्देश अनुकूलन (instruction optimization) का पहला व्यवस्थित मूल्यांकन प्रस्तुत करता है, जो यह प्रदर्शित करता है कि MiPROv2 और SIMBA जैसे ऑप्टिमाइज़र विभिन्न मॉडल पैमानों में विभिन्न प्रॉम्प्टिंग रणनीतियों (CoT और ReAct सहित) के प्रदर्शन को महत्वपूर्ण रूप से बढ़ाते हैं, जिसमें SIMBA विशेष रूप से संख्यात्मक तर्क (numerical reasoning) और टूल उपयोग दक्षता में सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, लेकिन कभी-कभी ज़रूरत से ज़्यादा नाटकीय होने वाला सहायक (एक लार्ज लैंग्वेज मॉडल या LLM) है। आपका लक्ष्य इस सहायक से यह जांचने के लिए कहना है कि क्या कोई कथन सत्य है या असत्य, और इसके लिए वह एक स्प्रेडशीट (डेटा की एक तालिका) का उपयोग करता है।
समस्या यह है कि बुद्धिमान सहायक भी भ्रमित हो सकते हैं। वे सरल प्रश्न पर बहुत अधिक सोच-विचार कर सकते हैं, मनगढ़ंत तथ्य बना सकते हैं, या गणित करने में संघर्ष कर सकते हैं।
यह शोध पत्र उस सहायक के लिए एक कोचिंग मैनुअल (प्रशिक्षण नियमावली) की तरह है। शोधकर्ताओं ने पूछा: "हम अपने सहायक को काम सही ढंग से करने में मदद करने के लिए सबसे अच्छे संभव निर्देश (प्रॉम्प्ट्स) कैसे लिखें, ताकि हमें पूरे सहायक को शून्य से फिर से प्रशिक्षित करने की आवश्यकता न पड़े?"
यहाँ उनके निष्कर्षों का विवरण रोज़मर्रा के उदाहरणों के साथ दिया गया है:
1. सवाल पूछने के चार तरीके
शोधकर्ताओं ने सहायक को काम करने के लिए चार अलग-अलग "शैलियों" का परीक्षण किया:
- प्रत्यक्ष भविष्यवाणी (Direct Prediction): "बस तालिका को देखो और मुझे हाँ या ना बताओ।" (जैसे किसी दोस्त से एक त्वरित अनुमान के लिए पूछना)।
- चेन-ऑफ-थॉट (CoT): "तालिका को देखो, अपनी चरण-दर-चरण सोच को लिखो, और फिर मुझे उत्तर बताओ।" (जैसे किसी छात्र से गणित के टेस्ट पर अपना काम दिखाने के लिए कहना)।
- ReAct (उपकरण का उपयोग करने वाला): "तालिका को देखो। यदि आपको गणित करने या किसी विशिष्ट संख्या को खोजने की आवश्यकता है, तो कैलकुलेटर (SQL टूल) का उपयोग करें। फिर मुझे उत्तर बताएं।" (जैसे एक जासूस जो आवर्धक लेंस और एक डेटाबेस का उपयोग करता है)।
- CodeAct (प्रोग्रामर): "केवल इसके बारे में बात न करें; तालिका का विश्लेषण करने और मुझे उत्तर देने के लिए एक कंप्यूटर प्रोग्राम (पायथन कोड) लिखें।" (जैसे एक कोडर को समस्या हल करने के लिए स्क्रिप्ट लिखने के लिए काम पर रखना)।
2. तीन कोच (ऑप्टिमाइज़र)
शोधकर्ताओं ने केवल निर्देशों का अनुमान नहीं लगाया; उन्होंने निर्देशों को बेहतर बनाने के लिए स्वचालित रूप से उन्हें फिर से लिखने के लिए तीन अलग-अलग "AI कोच" (जिन्हें ऑप्टिमाइज़र कहा जाता है) का उपयोग किया।
- COPRO: ट्रायल-एंड-एरर (प्रयास और त्रुटि) कोच। यह निर्देशों के कई विभिन्न संस्करणों को आज़माता है, देखता है कि कौन से सबसे अच्छा काम करते हैं, और विजेताओं को चुनता है।
- MiPROv2: करिकुलम (पाठ्यचर्या) कोच। यह प्रशिक्षण डेटा को देखता है, अच्छे उत्तरों के कुछ उदाहरण बनाता है, और फिर ऐसे निर्देश तैयार करता है जो मॉडल को उन उदाहरणों को संभालने के लिए सिखाते हैं।
- SIMBA: सेल्फ-रिफ्लेक्टिव (आत्म-चिंतनशील) कोच। यह देखता है कि मॉडल ने कहाँ गलतियाँ कीं, मॉडल से पूछता है "तुम यहाँ क्यों विफल हुए?", और फिर उस विशिष्ट गलती को अगली बार रोकने के लिए एक नया नियम लिखता है।
3. बड़ी खोजें
🏆 "अपना काम दिखाओ" रणनीति जीतती है (ज्यादातर मामलों में)
छोटे, तेज़ सहायकों के लिए, चेन-ऑफ-थॉट (CoT) विधि विजेता थी।
- उदाहरण: यह एक छात्र को गणित की समस्या देने जैसा है। यदि आप केवल कहते हैं "मुझे उत्तर दो," तो वे अनुमान लगा सकते हैं। यदि आप कहते हैं "पहले अपने चरण लिखो," तो उनके द्वारा गणित की मूर्खतापूर्ण गलती करने की संभावना बहुत कम हो जाती है।
- निष्कर्ष: MiPROv2 कोच मॉडल को "अपना काम दिखाने" का तरीका सिखाने में सबसे अच्छा था, जिससे निरंतर सुधार हुआ।
🛠️ उपकरण का उपयोग करने वाले को एक अच्छे मानचित्र की आवश्यकता होती है
ReAct एजेंट (जो टूल/कैलकुलेटर का उपयोग करता है) के लिए, परिणाम मिले-जुले थे।
- समस्या: अच्छे निर्देशों के बिना, एजेंट टूल का बहुत अधिक उपयोग करता था। वह "क्या 5, 3 से बड़ा है?" जैसे सरल प्रश्न के लिए भी कैलकुलेटर का उपयोग करने की कोशिश करता था, जो धीमा है और गलतियों की संभावना बढ़ाता है।
- समाधान: SIMBA कोच यहाँ नायक था। इसने एजेंट को "आलसी" (अच्छे अर्थ में) बनना सिखाया। इसने सीखा कि "रुको, मैं उत्तर यहीं तालिका में देख सकता हूँ, मुझे कैलकुलेटर चलाने की ज़रूरत नहीं है।"
- परिणाम: SIMBA ने अनावश्यक टूल कॉल्स को कम किया और एजेंट को बहुत सटीक बनाया, विशेष रूप से बड़े, स्मार्ट मॉडलों के मामले में।
🤖 बड़े दिमागों को बेहतर निर्देशों की आवश्यकता होती है
शोधकर्ताओं ने पाया कि बड़े मॉडलों (जैसे GPT-4o या बड़े Qwen मॉडल) को छोटे मॉडलों की तुलना में इन अनुकूलित निर्देशों से अधिक लाभ हुआ।
- उदाहरण: एक छोटा मॉडल एक बुद्धिमान बच्चे की तरह है जिसे बहुत सरल, सीधा निर्देश चाहिए। एक विशाल मॉडल एक जीनियस प्रोफेसर की तरह है; यदि आप उन्हें अस्पष्ट निर्देश देते हैं, तो वे बहुत अधिक सोच-विचार कर सकते हैं। लेकिन यदि आप उन्हें एक सटीक, विशेषज्ञ-स्तरीय निर्देश (SIMBA या MiPROv2 द्वारा अनुकूलित) देते हैं, तो वे उन समस्याओं को हल कर सकते हैं जो पहले असंभव थीं।
4. निर्देशों में क्या बदला?
जब शोधकर्ताओं ने "अनुकूलित" निर्देशों को देखा, तो उन्होंने पाया कि कोचों ने बहुत विशिष्ट, मानवीय नियमों को जोड़ा था:
- गणित के लिए: "हे, यदि दावा कहता है कि 'A, B से बड़ा है,' तो वास्तव में संख्याओं की जाँच करें। केवल अनुमान न लगाएं।"
- क्रम के लिए: "यदि दावा कहता है 'पहला, दूसरा, तीसरा,' तो सुनिश्चित करें कि तालिका वास्तव में उसी क्रम में सूचीबद्ध है।"
- उपकरणों के लिए: "यदि उत्तर स्पष्ट है, तो SQL टूल को कॉल करके समय बर्बाद न करें। बस तालिका को पढ़ें।"
मुख्य निष्कर्ष
यह शोध पत्र सिद्ध करता है कि आप सवाल कैसे पूछते हैं, यह मॉडल की बुद्धिमत्ता जितने ही महत्वपूर्ण है।
तालिका में तथ्यों को सत्यापित करने के लिए आपको हमेशा एक बहुत महंगे, विशाल कंप्यूटर की आवश्यकता नहीं होती है। कभी-कभी, आपको बस एक बेहतर कोच (एक ऑप्टिमाइज़र) की आवश्यकता होती है जो एक मानक मॉडल को स्पष्ट रूप से सोचना, अपने गणित की जाँच करना और यह जानना सिखा सके कि कब टूल का उपयोग नहीं करना है।
- छोटे मॉडल? एक अच्छे कोच के साथ "अपना काम दिखाएं" (CoT) पर टिके रहें।
- बड़े मॉडल? वे उपकरणों (ReAct) का उपयोग कर सकते हैं, लेकिन केवल तभी जब कोच उन्हें कुशल बनना और चीज़ों को बहुत जटिल न बनाना सिखाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।