तकनीकी सारांश: DECRIM के साथ LLM स्व-सुधार (Self-Correction)

समस्या विवरण

यद्यपि लार्ज लैंग्वेज मॉडल्स (LLMs) ने निर्देश पालन (instruction following) की प्रभावशाली क्षमताएं प्रदर्शित की हैं, हालिया अध्ययन संकेत देते हैं कि वे कई, एक साथ दिए गए बाधाओं (constraints) वाले निर्देशों (जैसे विशिष्ट टोन, लंबाई और "कोई हैशटैग नहीं" जैसे नकारात्मक बाधाएं) के साथ संघर्ष करते हैं। इस क्षमता के मूल्यांकन के लिए मौजूदा बेंचमार्क काफी हद तक सिंथेटिक डेटा पर निर्भर हैं, जो वास्तविक दुनिया के उपयोगकर्ता अनुरोधों की जटिलता, सूक्ष्मता और कृत्रिम कठिनाई को पकड़ने में विफल हो सकते हैं। इसके अलावा, वर्तमान स्व-सुधार दृष्टिकोण अक्सर बाधाओं की स्वतंत्रता (constraint independence) को मानते हैं या विशिष्ट प्रकार की बाधाओं पर ध्यान केंद्रित करते हैं, जिससे ओपन-एंडेड, बहु-बाधित (multi-constrained) परिदृश्यों के लिए उनकी प्रयोज्यता सीमित हो जाती है। इन जटिल निर्देशों के लिए विश्वसनीय, लागत प्रभावी मूल्यांकन विधियों में भी एक अंतर है, क्योंकि ओपन-एंडेड कार्यों के लिए नियम-आधारित मूल्यांकन अक्सर अव्यवहारिक होता है।

कार्यप्रणाली (Methodology)

1. REALINSTRUCT बेंचमार्क

सिंथेटिक डेटा पर निर्भरता को दूर करने के लिए, लेखक REALINSTRUCT पेश करते हैं, जो वास्तविक दुनिया के बहु-बाधित निर्देशों पर LLMs का मूल्यांकन करने के लिए डिज़ाइन किया गया पहला बेंचमार्क है।

• डेटा स्रोत: AI सहायकों के वास्तविक उपयोगकर्ता प्रश्नों (ShareGPT से प्राप्त) से लिया गया, जिन्हें बाधाओं वाले अंग्रेजी निर्देशों को बनाए रखने के लिए फ़िल्टर किया गया है।
• संरचना: प्रत्येक निर्देश को एक कार्य (मुख्य उद्देश्य), संदर्भ (Context), और सूक्ष्म बाधाओं (Constraints) की एक सूची में विभाजित किया गया है।
• पैमाना: टेस्ट सेट में 302 निर्देश और 1,055 बाधाएं हैं; वैलिडेशन सेट में 842 निर्देश और 2,500 बाधाएं हैं।
• मूल्यांकन प्रोटोकॉल: डेटा की ओपन-एंडेड प्रकृति के कारण, यह बेंचमार्क LLM-as-a-Judge दृष्टिकोण अपनाता है। बाधाओं का व्यक्तिगत रूप से मूल्यांकन किया जाता है, और परिणाम एक निर्देश-स्तरीय सटीकता मीट्रिक में एकत्रित किए जाते हैं।

2. LLM-as-a-Judge सत्यापन

लेखक बाधा संतुप्ति (constraint satisfaction) के मूल्यांकन के लिए LLMs के उपयोग की विश्वसनीयता की जांच करते हैं, जिसमें प्रोप्राइटरी मॉडल्स (GPT-4, GPT-4-Turbo, GPT-3.5-Turbo) और ओपन-सोर्स मॉडल्स (Mistral, Vicuna, Zephyr) की तुलना मानव एनोटेशन से की गई है।

• EvalJudge डेटासेट: 1,000 निर्देश-बाधा-प्रतिक्रिया ट्रिपल्स का एक टेस्ट सेट जिसमें मानव-सत्यापित ग्राउंड ट्रुथ लेबल हैं।
• रणनीतियाँ: विभिन्न अनुकूलन रणनीतियों का परीक्षण किया गया, जिसमें Chain-of-Thought (CoT) प्रॉम्प्टिंग के साथ In-Context Learning (ICL) और ओपन-सोर्स मॉडल्स के लिए कमजोर रूप से पर्यवेक्षित फाइन-ट्यूनिंग (weakly supervised fine-tuning) शामिल है।
• निष्कर्ष: CoT प्रॉम्प्टिंग के साथ GPT-4-Turbo सबसे लागत प्रभावी और विश्वसनीय मूल्यांकनकर्ता के रूप में उभरा, जो असंतुष्ट बाधाओं का पता लगाने में ओपन-सोर्स मॉडल्स की तुलना में काफी बेहतर प्रदर्शन करता है।

3. DECRIM पाइपलाइन (Decompose, Critique, and Refine)

ओपन-सोर्स और प्रोप्राइटरी मॉडल्स के बीच प्रदर्शन के अंतर को पाटने के लिए, लेखक DECRIM प्रस्तावित करते हैं, जो System 2 दृष्टिकोणों पर आधारित एक स्व-सुधार पाइपलाइन है। यह बाधा स्वतंत्रता के अनुमान के बिना काम करता है और चार पुनरावृत्तीय चरणों में संचालित होता है:

1. प्रारंभिक प्रतिक्रिया (Initial Response): LLM मूल निर्देश के लिए एक प्रतिक्रिया उत्पन्न करता है।
2. विभाजन (Decompose): एक डीकंपोजर मॉडल मूल निर्देश को पालन किए जाने वाले सूक्ष्म बाधाओं की एक सूची में तोड़ता है।
3. आलोचना (Critique): एक क्रिटिक मॉडल प्रत्येक बाधा के विरुद्ध प्रतिक्रिया का मूल्यांकन करता है। यदि सभी संतुष्ट हैं, तो प्रक्रिया समाप्त हो जाती है। यदि नहीं, तो क्रिटिक यह निर्दिष्ट करते हुए प्राकृतिक भाषा फीडबैक प्रदान करता है कि किन बाधाओं का उल्लंघन हुआ है।
4. परिष्करण (Refine): अंतर्निहित LLM फीडबैक, मूल निर्देश और पिछली प्रतिक्रिया का उपयोग करके एक बेहतर आउटपुट उत्पन्न करता है।

यह चक्र तब तक दोहराया जाता है जब तक कि बाधाएं पूरी न हो जाएं या अधिकतम पुनरावृत्ति संख्या ($N_{max}$) तक न पहुँच जाए।

मुख्य योगदान

1. REALINSTRUCT: एक नवीन बेंचमार्क जिसमें AI सहायकों के वास्तविक उपयोगकर्ता अनुरोध शामिल हैं, जो सिंथेटिक डेटासेट्स की तुलना में बहु-बाधित निर्देश पालन का अधिक यथार्थवादी मूल्यांकन प्रदान करता है।
2. DECRIM पाइपलाइन: एक स्व-सुधार ढांचा जो निर्देशों को विभाजित करता है, एक समर्पित क्रिटिक मॉडल के माध्यम से प्रतिक्रियाओं की आलोचना करता है, और आउटपुट को परिष्कृत करता है। यह बाधा स्वतंत्रता का अनुमान लगाए बिना काम करने वाला बाधाओं के लिए पहला System 2 दृष्टिकोण है।
3. LLM-as-a-Judge का व्यवस्थित विश्लेषण: बाधा संतुप्ति के लिए जज के रूप में ओपन-सोर्स और प्रोप्राइटरी मॉडल्स का पहला व्यवस्थित मूल्यांकन, जो GPT-4-Turbo को CoT के साथ मानव एनोटेशन के एक विश्वसनीय, लागत प्रभावी विकल्प के रूप में पहचानता है।

परिणाम

बेंचमार्क प्रदर्शन (REALINSTRUCT और IFEval)

• बेसलाइन सीमाएँ: यहाँ तक कि प्रोप्राइटरी GPT-4 मॉडल भी REALINSTRUCT पर 21% से अधिक निर्देशों में कम से कम एक बाधा को पूरा करने में विफल रहता है। ओपन-सोर्स मॉडल्स (जैसे Mistral 7B) आम तौर पर GPT-4 की तुलना में खराब प्रदर्शन करते हैं, हालांकि वे GPT-3.5 से बेहतर हैं।
• DECRIM प्रभावकारिता:
  • कमजोर फीडबैक (Weak Feedback): एक कमजोर रूप से पर्यवेक्षित Mistral को क्रिटिक के रूप में उपयोग करते हुए (बिना बाहरी डेटा के), DECRIM ने "Make sure" बेसलाइन की तुलना में REALINSTRUCT पर Mistral के निर्देश-स्तरीय प्रदर्शन में 7.3% और IFEval पर 8.0% का सुधार किया।
  • मजबूत फीडबैक (Strong Feedback): जब मजबूत फीडबैक (Oracle Critic या GPT-4) प्रदान किया गया, तो DECRIM के साथ ओपन-सोर्स LLMs ने दोनों बेंचमार्क पर GPT-4 को पीछे छोड़ दिया। विशेष रूप से, एक Oracle Critic के साथ, Mistral ने REALINSTRICT पर 93.7% निर्देश सटीकता (GPT-4 के 78.8% के मुकाबले) और IFEval पर 80.4% (GPT-4 के 79.3% के मुकाबले) प्राप्त की।
• स्व-सुधार की सीमाएँ: मानक स्व-परिष्करण (मॉडल को अपने स्वयं के क्रिटिक के रूप में उपयोग करना) से न्यूनतम लाभ या प्रदर्शन में गिरावट हुई, जो एक बाहरी या अलग क्रिटिक मॉडल की आवश्यकता को रेखांकित करता है।

मूल्यांकन विश्वसनीयता

• GPT-4-Turbo: CoT प्रॉम्प्टिंग के साथ, इसने GPT-4 की तुलना में मूल्यांकन लागत को 57% कम कर दिया जबकि Macro F1 में 7.0% और F1 Negative (उल्लंघन का पता लगाना) में 19.0% का सुधार किया।
• ओपन-सोर्स जज: वैनिला ओपन-सोर्स मॉडल अविश्वसनीय जज थे, जो अक्सर उदारता या रैंडम व्यवहार प्रदर्शित करते थे। हालाँकि, GPT-4 रीजनिंग ट्रेल्स पर कमजोर रूप से पर्यवेक्षित फाइन-ट्यूनिंग ने असंतुष्ट बाधाओं का पता लगाने की उनकी क्षमता में काफी सुधार किया।

महत्व और दावे

पेपर दावा करता है कि वास्तविक दुनिया के, बहु-बाधित निर्देशों का पालन करना अत्याधुनिक मॉडल्स के लिए एक महत्वपूर्ण चुनौती बना हुआ है, यहाँ तक कि GPT-4 भी अक्सर विफल रहता है। लेखक तर्क देते हैं कि DECRIM पाइपलाइन प्रतिक्रिया के निर्माण को मूल्यांकन और परिष्करण प्रक्रिया से अलग करके इसे प्रभावी ढंग से संबोधित करता है।

यह कार्य प्रदर्शित करता है कि:

1. वास्तविक दुनिया का डेटा भिन्न है: सिंथेटिक बेंचमार्क वास्तविक उपयोगकर्ता बाधाओं की चुनौतियों को पूरी तरह से नहीं पकड़ पाते हैं, जिसके लिए REALINSTRUCT जैसे बेंचमार्क की आवश्यकता है।
2. फीडबैक की गुणवत्ता सर्वोपरि है: स्व-सुधार की सफलता क्रिटिक के फीडबैक की गुणवत्ता पर बहुत अधिक निर्भर करती है। जबकि ओपन-सोर्स मॉडल स्व-सुधार करने में संघर्ष करते हैं, वे उच्च-गुणवत्ता वाले, बाहरी फीडबैक मिलने पर प्रोप्राइटरी मॉडल्स से बेहतर प्रदर्शन कर सकते हैं।
3. System 2 व्यवहार्यता: DECRIM दृष्टिकोण जटिल निर्देश पालन के लिए System 2 तकनीकों (विभाजन और पुनरावृत्तीय परिष्करण) की उपयोगिता को मान्य करता है, जो यह सुझाव देता है कि यदि मजबूत सुधार पाइपलाइनों से लैस हों, तो ओपन-सोर्स मॉडल प्रोप्राइटरी समकक्षों के प्रतिस्पर्धी हो सकते हैं।

लेखक निष्कर्ष निकालते हैं कि हालांकि DECRIM कम्प्यूटेशनल ओवरहेड पेश करता है, यह निर्देश-पालन क्षमताओं को बढ़ाने के लिए एक व्यवहार्य मार्ग प्रदान करता है, विशेष रूप से जब मजबूत फीडबैक तंत्र उपलब्ध हों। भविष्य के कार्य के रूप में पाइपलाइन घटकों को परिष्कृत करने और DECRIM को सेल्फ-कंसिस्टेंसी जैसे अन्य System 2 दृष्टिकोणों के साथ एकीकृत करने का सुझाव दिया गया है।