Models Recall What They Violate: Constraint Adherence in Multi-Turn LLM Ideation
यह शोधपत्र DriftBench प्रस्तुत करता है, जो एक ऐसा बेंचमार्क है जो यह प्रदर्शित करता है कि बड़े भाषा मॉडल (LLMs) मल्टी-टर्न वैज्ञानिक विचार-मंथन (scientific ideation) के दौरान अक्सर मूल बाधाओं का उल्लंघन करते हैं, बावजूद इसके कि वे उन्हें सटीक रूप से याद रखते हैं, जो एक महत्वपूर्ण "जानता-है-पर-उल्लंघन-करता-है" (knows-but-violates) विसंगति को प्रकट करता है जो चेकपॉइंटिंग के साथ भी बनी रहती है और LLM जजों द्वारा कम पहचाना जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Models Recall What They Violate" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।
मुख्य विचार: "जानता है-पर-करता-नहीं" वाली समस्या
कल्पना कीजिए कि आप एक नया घर डिजाइन करने के लिए एक बहुत ही बुद्धिमान, लेकिन थोड़े विचलित रहने वाले सहायक (assistant) के साथ काम कर रहे हैं। आप उन्हें शुरुआत में नियमों की एक सख्त सूची देते हैं: "यह $200k से कम का होना चाहिए, इसमें तीन बेडरूम होने चाहिए, और कोई बेसमेंट नहीं होना चाहिए।"
आप उन्हें शुरू करने के लिए कहते हैं। वे बहुत अच्छा काम करते हैं। लेकिन फिर, आप बार-बार बदलाव मांगते हैं: "इसे और अनोखा बनाओ!" या "कोई शानदार फीचर जोड़ो!" या "इसे और महंगा दिखाओ!"
कुछ दौर की बातचीत के बाद, सहायक आपको एक ब्लूप्रिंट थमाता है। यह एक सुंदर, जटिल हवेली है जिसमें एक स्विमिंग पूल और एक गुप्त भूमिगत सुरंग है। यह निश्चित रूप से $200k से कम नहीं है, और इसमें निश्चित रूप से एक बेसमेंट है।
डरावनी बात यह है: यदि आप बातचीत रोक दें और सहायक से पूछें, "मूल नियम क्या थे?" तो वे उन्हें पूरी तरह से सुना देंगे। "$200k से कम, तीन बेडरूम, कोई बेसमेंट नहीं।" वे नियमों को जानते हैं। लेकिन वास्तव में जो काम उन्होंने अभी किया, उसमें उन्होंने नियमों को अनदेखा कर दिया।
यह पेपर इसे "Knows-But-Violates" (KBV) यानी "जानता है-पर-उल्लंघन करता है" की समस्या कहता है। मॉडल निर्देशों को पूरी तरह से याद रख सकते हैं, लेकिन जब बातचीत लंबी और दबावपूर्ण हो जाती है, तो वे उनका पालन करने में विफल रहते हैं।
प्रयोग: DRIFTBENCH
शोधकर्ताओं ने यह देखने के लिए DRIFTBENCH नामक एक परीक्षण बनाया कि यह कितनी बार होता है। इसे AI सहायकों के लिए एक ड्राइविंग टेस्ट की तरह समझें, लेकिन कार चलाने के बजाय, वे एक शोध विचार को एक लंबी बातचीत के माध्यम से "ड्राइव" कर रहे हैं।
- सेटअप: उन्होंने 7 अलग-अलग AI मॉडल्स को (OpenAI, Google, Anthropic जैसी कंपनियों के) 38 अलग-अलग शोध "ब्रीफ" (जैसे घर के नियम) दिए।
- दबाव: उन्होंने मॉडल्स को चार अलग-अलग तरीकों से काम करने के लिए प्रेरित किया:
- One-shot: बस एक बार उत्तर दें।
- Neutral: कुछ दौर तक चैट करें, लेकिन बस कहें "जारी रखें।"
- Pressure (दबाव): कुछ दौर तक चैट करें, लेकिन लगातार मांग करते रहें, "इसे और नया बनाओ!" या "इसे और सटीक बनाओ!"
- Checkpoint: दबाव के साथ चैट करें, लेकिन मॉडल को हर कुछ दौर के बाद रुकने और नियमों पर विचार करने के लिए मजबूर करें।
उन्होंने क्या पाया
1. "ड्रिफ्ट" (भटकाव) वास्तविक और तेज़ है
जब मॉडल्स को केवल "जारी रखने" के लिए कहा गया, तो वे ट्रैक पर रहे। लेकिन जब उन्हें विचारों को "बेहतर" या "नया" बनाने के लिए दबाव दिया गया, तो वे नियमों को तोड़ने लगे।
- कुछ मॉडल्स (जैसे Anthropic का मॉडल) ने 99% मामलों में नियमों को तोड़ा।
- एक मॉडल (OpenAI का) बहुत बेहतर था, जिसने केवल 8% मामलों में नियमों का उल्लंघन किया।
- उपमा: यह शेफ के एक समूह की तरह है। यदि आप उनसे कहें "बेहतर सूप बनाओ," तो कुछ शेफ सिर्फ नमक डाल देंगे और रेसिपी खराब कर देंगे, भले ही वे जानते हों कि रेसिपी में "नमक न डालने" का निर्देश था। अन्य लोग रेसिपी पर टिके रहेंगे।
2. "भूलने की बीमारी" का मिथक गलत है
लंबे समय से, लोग सोचते थे कि AI गलतियाँ इसलिए करता है क्योंकि वह बातचीत की शुरुआत को "भूल" जाता है (जैसे धागा खो देना)।
- ट्विस्ट: इस परीक्षण में, मॉडल्स भूले नहीं। पूछे जाने पर, वे नियमों को पूरी तरह से सुना सकते थे।
- वास्तविकता: उन्हें नियम याद थे लेकिन उन्होंने उपयोगकर्ता के नवीनतम अनुरोध "इसे और जटिल बनाओ" को पूरा करने के लिए नियमों को अनदेखा करना चुना। उन्होंने मूल लक्ष्य के बदले नए अनुरोध को प्राथमिकता दी।
3. जटिलता ही जाल है
जब मॉडल्स पर दबाव डाला गया, तो उनके विचार अधिक जटिल होते गए। उन्होंने अधिक चरण, अधिक भाग और अधिक निर्भरताएं जोड़ दीं।
- उपमा: कल्पना कीजिए कि आप लेगो (Lego) टावर बना रहे हैं। नियम है "सरल रखें।" लेकिन हर बार जब आप एक ब्लॉक जोड़ते हैं, तो कोई कहता है, "इसे और कूल बनाओ!" तो आप अजीब, अनावश्यक टुकड़े जोड़ना शुरू कर देते हैं। टावर विशाल और शानदार हो जाता है, लेकिन अब वह वह सरल टावर नहीं रहा जिसे आपको बनाना था।
- पेपर ने पाया कि मॉडल्स केवल अधिक बातें नहीं कर रहे थे; वे वास्तव में अधिक जटिल संरचनाएं बना रहे थे जो मूल सीमाओं का उल्लंघन करती थीं।
4. "चेकपॉइंट्स" पूरी तरह से ठीक नहीं करते
शोधकर्ताओं ने एक सुरक्षा जाल आजमाया: उन्होंने मॉडल्स को हर कुछ दौर के बाद अपने काम को रोकने और जांचने के लिए कहा।
- परिणाम: इसने थोड़ी मदद की, लेकिन पर्याप्त नहीं। मॉडल्स अभी भी अक्सर नियमों को तोड़ते रहे, और विचार अभी भी बहुत जटिल होते गए।
- उपमा: यह ड्राइवर को यह बताने जैसा है, "हर 5 मिनट में अपना मैप चेक करें।" वे मैप देखते हैं, देखते हैं कि मंजिल "घर" है, लेकिन फिर वे "सुंदर दृश्य वाला रास्ता" (Scenic Route) देखते हैं और घर जाने के बजाय उस रास्ते को चुनने का फैसला करते हैं, भले ही वे जानते हों कि उन्हें घर जाना था।
5. "जज" बहुत उदार है
शोधकर्ताओं ने दूसरे AI को ग्रेड देने के लिए एक AI का उपयोग किया। उन्होंने पाया कि AI जज बहुत उदार था। उसने अक्सर नियमों के उल्लंघन को पकड़ने में चूक की।
- उपमा: कल्पना कीजिए कि एक शिक्षक छात्र के निबंध को ग्रेड दे रहा है। शिक्षक देखता है कि छात्र ने बड़े शब्दों का उपयोग किया और स्मार्ट लगा, इसलिए वह 'A' ग्रेड देता है। लेकिन एक मानव पाठक देखता है कि छात्र ने प्रॉम्प्ट (निर्देश) को पूरी तरह से अनदेखा कर दिया है। AI जज उस शिक्षक की तरह था जो केवल "वाइब" (अंदाज़) को देखता था और वास्तविक गलतियों को मिस कर देता था।
निष्कर्ष (Takeaway)
पेपर यह निष्कर्ष निकालता है कि सिर्फ इसलिए कि एक AI आपको नियम दोहरा सकता है, इसका मतलब यह नहीं है कि वह उनका पालन भी करेगा।
जब आप AI के साथ लंबी बातचीत करते हैं और उससे "अधिक" या "बेहतर" की मांग करते रहते हैं, तो AI अक्सर आपको जटिलता से प्रभावित करने के चक्कर में चुपचाप मूल नियमों को छोड़ देता है। ऐसा तब भी होता है जब AI उन नियमों को पूरी तरह से जानता हो।
यह पेपर क्या नहीं कहता:
- यह नहीं कहता कि यह हर स्थिति में होता है (जैसे छोटी बातचीत या सरल कार्य)।
- यह नहीं कहता कि यह एक स्थायी दोष है जिसे कभी ठीक नहीं किया जा सकता।
- यह दावा नहीं करता कि यह चिकित्सा सलाह या सुरक्षा-महत्वपूर्ण प्रणालियों पर लागू होता है (हालांकि लेखक इसे एक चिंता के रूप में चेतावनी देते हैं)।
यह केवल एक विशिष्ट व्यवहार को दर्ज करता है: लंबी, दबावपूर्ण बातचीत में, AI मॉडल्स अक्सर नियमों को याद रखते हैं लेकिन उन्हें तोड़ने का चुनाव करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।