When Gradients Collide: Failure Modes of Multi-Objective Prompt Optimization for LLM Judges
यह शोध पत्र दो प्राथमिक विफलता मोडों—ऑप्टिमाइज़ेशन-टाइम ग्रेडिएंट डाइल्यूशन (optimization-time gradient dilution) और इन्फरेंस-टाइम इंस्ट्रक्शन इंटरफेरेंस (inference-time instruction interference)—की पहचान करता है, जो LLM जजों के लिए मल्टी-ऑब्जेक्टिव प्रॉम्प्ट ऑप्टिमाइज़ेशन में बाधा डालते हैं, यह प्रदर्शित करते हुए कि मौजूदा टेक्स्टुअल ग्रेडिएंट विधियाँ अक्सर कई मानदंडों को एक साथ संभालते समय प्रारंभिक प्रॉम्प्ट्स से बेहतर सुधार करने में विफल रहती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, लेकिन थोड़ा भ्रमित संपादक है (AI "जज")। आपका लक्ष्य इस संपादक को छात्र के निबंधों को ग्रेड करने के तरीके सिखाना है। लेकिन यहाँ एक पेंच है: आप केवल उसे व्याकरण (grammar) के लिए ही नहीं जांचना चाहते; बल्कि आप चाहते हैं कि वह रचनात्मकता (creativity), तर्क (logic) और स्पष्टता (clarity) को भी एक साथ जांचे।
यह पेपर एक रिपोर्ट कार्ड है कि क्या होता है जब आप इस संपादक को "टेक्स्टुअल ग्रेडिएंट्स" (Textual Gradients) नामक एक विशिष्ट विधि का उपयोग करके एक साथ चार काम करने के लिए सिखाने की कोशिश करते हैं।
सेटअप: "टेक्स्टुअल ग्रेडिएंट" विधि
सामान्यतः, यदि आप किसी गलती को ठीक करना चाहते हैं, तो आपको एक संख्या मिलती है (जैसे "आपका स्कोर 5 अंक कम हो गया") और आप उसके अनुसार सुधार करते हैं। लेकिन यह पेपर एक अलग दृष्टिकोण अपनाता है। संख्याओं के बजाय, AI लिखित फीडबैक देता है।
- प्रक्रिया: AI एक आलोचना लिखता है ("यह वाक्य भ्रमित करने वाला है"), फिर उस आलोचना को एक विशिष्ट निर्देश में बदलता है ("स्पष्टता के नियम को अधिक सख्त बनाएं"), और फिर शिक्षक के निर्देशों को फिर से लिखता है।
- समस्या: गणित में, आप विभिन्न दिशाओं को आसानी से जोड़ सकते हैं (जैसे "उत्तर की ओर जाएं" और "पूर्व की ओर जाएं") ताकि एक रास्ता मिल सके। लेकिन भाषा में, आप "व्याकरण ठीक करें" और "कहानी में सुधार करें" को बिना उलझाए आसानी से मिला नहीं सकते।
प्रयोग: "टीम मीटिंग" बनाम "निजी कोचिंग"
शोधकर्ताओं ने इस शिक्षण प्रक्रिया को व्यवस्थित करने के तरीके के पांच अलग-अलग परीक्षण किए। उन्होंने पूछा: क्या AI को सभी चार ग्रेडिंग मानदंडों (व्याकरण, रचनात्मकता, तर्क, स्पष्टता) को एक बड़ी ग्रुप मीटिंग में संभालना चाहिए, या इसे अलग-अलग निजी सत्रों में संभालना चाहिए?
उन्होंने हर संयोजन को आज़माया:
- अलग-अलग (Separate): AI व्याकरण के बारे में खुद से बात करता है, फिर रुक जाता है, फिर रचनात्मकता के बारे में बात करता है, आदि।
- संयुक्त (Combined): AI यह समझने की कोशिश करता है कि व्याकरण, रचनात्मकता, तर्क और स्पष्टता को एक ही बातचीत में कैसे ठीक किया जाए।
परिणाम: दो प्रमुख विफलता मोड (Failure Modes)
1. "फीका पड़ा हुआ सलाह" की समस्या (ऑप्टिमाइज़ेशन-टाइम ग्रेडिएंट डाइल्यूशन)
उपमा: कल्पना कीजिए कि एक शेफ एक ऐसी डिश के लिए रेसिपी लिखने की कोशिश कर रहा है जिसे एक ही समय में तीखा, मीठा, खट्टा और नमकीन होना चाहिए। यदि वे एक ही निर्देश देने की कोशिश करते हैं जैसे "स्वाद बेहतर बनाएं," तो वे अंततः एक अस्पष्ट, उबाऊ रेसिपी बना देंगे जो किसी विशिष्ट स्वाद को वास्तव में ठीक नहीं करती है।
पेपर ने क्या पाया:
जब AI ने एक बार में सभी चार ग्रेडिंग मानदंडों को प्रोसेस करने की कोशिश की, तो उसकी सलाह अविश्वसनीय रूप से सामान्य हो गई।
- विशिष्टता में गिरावट: जब AI एक समय में एक कार्य पर काम करता था, तो उसकी सलाह बहुत सटीक (9 में से 9) होती थी। जब उसने एक साथ चारों कार्यों को करने की कोशिश की, तो सलाह गिरकर 3.7/10 रह गई।
- परिणाम: सलाह इतनी फीकी हो गई कि वह बेकार थी। यह संपादक को यह कहने जैसा था कि, "बस और बेहतर प्रयास करो," बजाय इसके कि "वाक्यों के लंबे और अधूरे होने की समस्या को ठीक करो।" सिस्टम फंस गया और शुरुआती निर्देशों में सुधार नहीं कर सका।
2. "भीड़भाड़ वाला कमरा" की समस्या (इन्फरेंस-टाइम इंस्ट्रक्शन इंटरफेरेंस)
उपमा: कल्पना कीजिए कि आपके पास चार अलग-अलग कोच हैं। कोच A रक्षा (defense) खेलने के बारे में 10 पन्नों की नियमावली लिखता है। कोच B आक्रमण (offense) के बारे में 2 पन्नों का नोट लिखता है। कोच C स्कोरिंग के बारे में 1 पन्ने का नोट लिखता है। कोच D पासिंग के बारे में 3 पन्नों का नोट लिखता है।
यदि आप उन चारों नोट्स को एक बड़े निर्देश पत्र में चिपका देते हैं और खिलाड़ी को थमा देते हैं, तो खिलाड़ी भ्रमित हो जाता है। वे 90% समय 10 पन्नों की डिफेंस मैनुअल पढ़ने में बिता देते हैं और अन्य तीन नोट्स को अनदेखा कर देते हैं।
पेपर ने क्या पाया:
भले ही शोधकर्ताओं ने प्रत्येक व्यक्तिगत कार्य के लिए सर्वश्रेष्ठ संभव निर्देशों (सबसे अच्छे चुनिले गए निर्देशों) को लिया और उन्हें एक एकल प्रॉम्प्ट में जोड़ा, फिर भी प्रदर्शन मूल, सरल प्रॉम्प्ट की तुलना में बदतर हो गया।
- क्यों? विभिन्न कार्यों के लिए निर्देशों की लंबाई अलग-अलग बढ़ गई। AI का ध्यान सबसे लंबे, विस्तृत निर्देश की ओर खिंच गया, जिससे वह छोटे, महत्वपूर्ण निर्देशों को अनदेखा करने लगा।
- परिणाम: अलग-अलग अच्छे निर्देशों को मिलाने से एक बुरा, भ्रमित करने वाला निर्देश बन गया।
निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि इस विशिष्ट "टेक्स्टुअल ग्रेडिएंट" विधि का उपयोग करके एक साथ कई कार्यों के लिए AI जज को अनुकूलित (optimize) करना वर्तमान में त्रुटिपूर्ण है।
- यदि आप कार्यों को मिलाते हैं: तो सलाह बहुत अस्पष्ट हो जाती है जो मददगार नहीं होती (ग्रेडिएंट डाइल्यूशन)।
- यदि आप अंतिम निर्देशों को मिलाते हैं: तो AI टेक्स्ट की लंबाई से अभिभूत हो जाता है और निर्देशों के हिस्सों को अनदेखा कर देता है (इंस्ट्रक्शन इंटरफेरेंस)।
शोधकर्ताओं का सुझाव है कि जब तक हम यह ठीक नहीं कर लेते कि AI इन "ग्रुप मीटिंग्स" को कैसे संभालता है या अंतिम "निर्देश पत्र" को कैसे पढ़ता है, हम इस विधि का उपयोग मल्टी-टास्क AI जज बनाने के लिए विश्वसनीय रूप से नहीं कर सकते। हमें या तो प्रत्येक कार्य को अलग से मानना होगा या निर्देशों के विभिन्न "वॉल्यूम" को संतुलित करने का एक नया तरीका खोजना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।