Did You Forget What I Asked? Prospective Memory Failures in Large Language Models

यहाँ अवनी मित्तल (माइक्रोसॉफ्ट) के शोध पत्र "Did You Forget What I Asked? Prospective Memory Failures in Large Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र लार्ज लैंग्वेज मॉडल्स (LLMs) की एक विशिष्ट विफलता मोड की जांच करता है: कठिन संज्ञानात्मक कार्यों (cognitive tasks) को एक साथ करते समय स्वरूपण निर्देशों (formatting instructions) को बनाए रखने में असमर्थता।

• घटना (The Phenomenon): उपयोगकर्ता अक्सर स्वरूपण बाधाओं (जैसे, "बड़े अक्षरों का उपयोग करें," "एक विशिष्ट वाक्यांश के साथ समाप्त करें," "कोमा का प्रयोग न करें") के साथ सारगर्भित अनुरोध (जैसे, गणित की समस्या हल करना, पाठ का सारांश बनाना) प्रदान करते हैं। जबकि LLMs अक्सर उच्च गुणवत्ता वाली सामग्री उत्पन्न करते हैं, वे भार (load) के तहत इन बाधाओं का उल्लंघन करते हैं।
• उपमा (The Analogy): लेखक इसे एक प्रोस्पेक्टिव मेमोरी (PM) विफलता के रूप में देखते हैं। संज्ञानात्मक मनोविज्ञान में, PM किसी विशिष्ट भविष्य के बिंदु पर एक स्थगित इरादे (deferred intention) को पूरा करने के लिए याद रखने की क्षमता है। शोध पत्र का अनुमान है कि LLMs मनुष्यों के समान एक "संज्ञानात्मक भार प्रभाव" (cognitive load effect) से पीड़ित होते हैं, जहाँ प्राथमिक कार्य के लिए आवश्यक ध्यान संबंधी संसाधन, स्वरूपण बाधा को बनाए रखने के लिए आवश्यक निगरानी प्रक्रिया को बाधित कर देते हैं।
• साहित्य में अंतराल (Gap in Literature): पिछला कार्य केवल निर्देश पालन या प्रतिकूल (adversarial) सेटिंग्स पर केंद्रित था। यह शोध पत्र विशेष रूप से समवर्ती कार्य जटिलता (concurrent task complexity) के कारण होने वाले गैर-प्रतिकूल विस्मरण (non-adversarial forgetting) को अलग करता है।

2. कार्यप्रणाली (Methodology)

अध्ययन एक नियंत्रित प्रयोगात्मक प्रतिमान (experimental paradigm) का उपयोग करता है जो विभिन्न कठिनाई स्तरों वाले बेंचमार्क कार्यों के साथ सत्यापन योग्य स्वरूपण बाधाओं को जोड़ता है।

• प्रयोगात्मक डिज़ाइन:
  • बाधाएं (Constraints): IFEval बेंचमार्क से 15 निर्देश प्रकार (जैसे, केस बाधाएं, टर्मिनल क्रियाएं, संरचनात्मक स्वरूपण, निषेध नियम)।
  • विक्षेप कार्य (Distraction Tasks): चार बेंचमार्क जो बढ़ते संज्ञानात्मक भार का प्रतिनिधित्व करते हैं:
    1. TriviaQA: तथ्यात्मक स्मरण (कम भार)।
    2. MMLU: बहुविकल्पीय तर्क (मध्यम भार)।
    3. GSM8K: बहु-चरणीय अंकगणित (उच्च भार)।
    4. CNN/DailyMail: दीर्घ-संदर्भ सारांश (लंबा भार)।
  • मॉडल्स: तीन अलग-अलग आर्किटेक्चर परिवार:
    • o4-mini: तर्क-विशेषज्ञ (Azure OpenAI)।
    • DeepSeek-V3.1: ओपन-वेट (Azure AI)।
    • Llama-3.3-70B-Instruct: निर्देश-ट्यून किया गया (Azure AI)।
• स्थितियाँ (Conditions):
  1. बेसलाइन (Baseline): केवल IFEval प्रॉम्प्ट।
  2. प्राकृतिक एम्बेडिंग (Natural Embedding): स्वरूपण बाधा को मूल प्रॉम्प्ट में शामिल किया जाता है, और एक तटस्थ संक्रमण (neutral transition) के माध्यम से एक बेंचमार्क कार्य जोड़ा जाता है।
  3. सैलियन्स-वर्धित (Salience-Enhanced/Reminder): बाधा को निकाला जाता है, उसे "IMPORTANT FORMATTING INSTRUCTION" के साथ प्रीफिक्स किया जाता है, और एक अनुवर्ती अनुस्मारक ("Remember to follow ALL...") जोड़ा जाता है।
  4. स्टैकिंग (Stacking): संचयी प्रभावों का परीक्षण करने के लिए कई बाधाओं (5 तक) को संयोजित किया जाता है।
• मूल्यांकन:
  • निश्चयात्मक चेकर (Deterministic Checkers): सभी मूल्यांकन कोड-आधारित चेकर का उपयोग करते हैं (कोई "LLM-as-a-judge" नहीं)।
  • मेट्रिक्स:
    • अनुपालन दर (Compliance Rate - CR): स्वरूपण चेकर को पास करने वाले प्रतिक्रियाओं का प्रतिशत।
    • विस्मरण डेल्टा ($\Delta$): $CR_{baseline} - CR_{task+constraint}$।
    • कार्य सटीकता (Task Accuracy): बेंचमार्क कार्यों के लिए मानक मेट्रिक्स (जैसे, GSM8K सटीकता)।

3. प्रमुख योगदान (Key Contributions)

1. प्रोस्पेक्टिव मेमोरी विफलता का परिमाणीकरण: यह शोध पत्र व्यवस्थित रूप से इस बात का परिमाणीकरण करता है कि कैसे समवर्ती कार्य भार निर्देश पालन को कम करता है, जिससे संज्ञानात्मक भार और स्वरूपण अनुपालन के बीच सीधा संबंध स्थापित होता है।
2. निर्देश प्रकार की संवेदनशीलता: यह पहचानता है कि टर्मिनल बाधाएं (जनरेशन के बिल्कुल अंत में आवश्यक क्रियाएं, जैसे "X के साथ समाप्त करें") सबसे अधिक असुरक्षित हैं, जबकि निषेध बाधाएं (जैसे "कोमा का प्रयोग न करें") मजबूत रहती हैं।
3. सैलियन्स शमन (Salience Mitigation): यह प्रदर्शित करता है कि एक सरल प्रॉम्प्ट इंजीनियरिंग तकनीक (स्पष्ट रूप से फ्रेमिंग + अनुवर्ती अनुस्मारक) खोए हुए अनुपालन को पुनः प्राप्त कर सकती है, जो अक्सर प्रदर्शन को 90–100% तक बहाल कर देती है।
4. द्विदिश हस्तक्षेप (Bidirectional Interference): अध्ययन सिद्ध करता है कि हस्तक्षेप दोतरफा है: स्वरूपण बाधाएं न केवल मॉडल को प्रारूप भूलने के लिए मजबूर करती हैं, बल्कि वे प्राथमिक कार्य की सटीकता को भी महत्वपूर्ण रूप से कम करती हैं।
5. स्टैकिंग भंगुरता (Stacking Fragility): यह प्रकट करता है कि जैसे-जैसे बाधाएं बढ़ती हैं, संयुक्त अनुपालन तेजी से गिरता है, और एक एकल सामान्य अनुस्मारक की प्रभावशीलता कम हो जाती है।

4. मुख्य परिणाम (Key Results)

A. भार के तहत व्यवस्थित विस्मरण

• 8,000+ प्रॉम्प्ट्स में, एक माध्यमिक कार्य जोड़ने पर अनुपालन में 2–21% की गिरावट आई।
• मॉडल संवेदनशीलता:
  • DeepSeek-V3.1: सबसे अधिक प्रभावित (औसत गिरावट $\Delta \approx 10.8\%$)।
  • o4-mini: मध्यम गिरावट ($\Delta \approx 6.3\%$)।
  • Llama-3.3-70B: सबसे अधिक सुदृढ़ ($\Delta \approx 3.2\%$)।
• कार्य की कठिनाई: गिरावट कार्य की जटिलता के साथ सह-संबंध रखती है। उदाहरण के लिए, 5 श्रृंखलाबद्ध (chained) GSM8K समस्याओं को जोड़ने से DeepSeek का अनुपालन 20.7% तक गिर गया।

B. निर्देश प्रकार के आधार पर संवेदनशीलता

• टर्मिनल बाधाएं (Terminal Constraints): सबसे गंभीर गिरावट का सामना किया।
  • एंड चेकर (जैसे, "End with 'Peace!'"): DeepSeek में 50% की गिरावट आई।
  • JSON फॉर्मेट: Llama में 50% की गिरावट आई।
• निषेध बाधाएं (Avoidance Constraints): लगभग सुरक्षित।
  • No Commas / Forbidden Words: गिरावट नगण्य (0–6%) रही।
• परिकल्पना: टर्मिनल बाधाओं के लिए एक "विलंबित क्रिया" (deferred action) की आवश्यकता होती है जिसे मॉडल कार्य की सामग्री के सैकड़ों टोकन उत्पन्न करने से पहले भूल जाता है, जिससे निर्देश का महत्व (salience) कम हो जाता है। निषेध बाधाओं की प्रत्येक टोकन के साथ निरंतर निगरानी की जाती है।

C. सैलियन्स की शक्ति (शमन)

• सैलियन्स-वर्धित (Salience-Enhanced) प्रारूप (स्पष्ट हेडर + अनुवर्ती अनुस्मारक) जोड़ने से लगभग सभी स्थितियों में अनुपालन 90–100% तक बहाल हो गया।
• कई मामलों में, अनुस्मारक-वर्धित प्रॉम्प्ट बेसलाइन (बिना कार्य वाले) की तुलना में बेहतर प्रदर्शन करता है, जो बताता है कि मानक प्रॉम्प्ट प्रारूप व्यवस्थित रूप से मॉडल की क्षमता को कम आंकते हैं।

D. द्विदिश हस्तक्षेप (Dual-Task Interference)

• स्वरूपण बाधाएं कार्य की सटीकता को कम करती हैं।
• महत्वपूर्ण निष्कर्ष: o4-mini के लिए, श्रृंखलाबद्ध GSM8K (3 समस्याएं) पर सटीकता, स्वरूपण बाधा सक्रिय होने पर 93% (केवल कार्य) से गिरकर 27% रह गई। यह सुझाव देता है कि रीजनिंग मॉडल गणितीय सटीकता की कीमत पर स्वरूपण अनुपालन के लिए अपना "रीजनिंग बजट" आवंटित करता है।
• सभी मॉडल्स के लिए MMLU सटीकता बाधाओं के सक्रिय होने पर 17–23% गिर गई।

E. स्टैकिंग और स्केलिंग

• संयुक्त अनुपालन (Joint Compliance): जब कई बाधाओं को जोड़ा गया (N=5), तो संयुक्त अनुपालन नाटकीय रूप से गिर गया:
  • o4-mini: 47.5% (N=1 पर 99% से नीचे)।
  • DeepSeek: 61.7%।
  • Llama: 83.3% (सबसे अधिक लचीला)।
• अनुस्मारक विश्वसनीयता: भारी स्टैकिंग के तहत, एक एकल सामान्य अनुस्मारक अविश्वसनीय हो जाता है, कभी-कभी अनुस्मारक न होने की तुलना में अनुपालन को वास्तव में कम कर देता है।

5. महत्व और निहितार्थ (Significance and Implications)

• सैद्धांतिक: यह कार्य मान्य करता है कि LLMs मानव प्रोस्पेक्टिव मेमोरी विफलताओं के समान संज्ञानात्मक घटनाओं को प्रदर्शित करते हैं, विशेष रूप से "निगरानी विफलता" (monitoring failure) पथ जहाँ चल रहे कार्य पर ध्यान देने से विलंबित इरादा दब जाता है।
• डेवलपर्स के लिए व्यावहारिक दिशानिर्देश:
  1. हमेशा अनुस्मारक का उपयोग करें: जब जटिल कार्यों के साथ स्वरूपण को मिलाया जाता है, तो निर्देश को स्पष्ट रूप से फ्रेम करें और एक अनुवर्ती अनुस्मारक जोड़ें।
  2. टर्मिनल बाधाओं से सावधान रहें: ये उच्च जोखिम वाले हैं; इन्हें अलग-अलग प्रॉम्प्ट में तोड़ने या संरचनात्मक बाधाओं का उपयोग करने पर विचार करें।
  3. सटीकता हानि के लिए बजट बनाएं: स्वरूपण आवश्यकताओं को जोड़ने से कार्य प्रदर्शन कम हो जाएगा, विशेष रूप से रीजनिंग-भारी मॉडल्स में।
  4. स्टैकिंग से बचें: एक ही प्रॉम्प्ट में कई जटिल बाधाओं पर भरोसा न करें; उन्हें अलग-अलग टर्न में विभाजित करें या प्रति-बाधा अनुस्मारक का उपयोग करें।
• भविष्य की दिशाएं: लेखक सुझाव देते हैं कि इंस्ट्रक्शन ट्यूनिंग को उच्च संज्ञानात्मक भार के तहत अनुपालन के लिए विशेष रूप से पुरस्कृत किया जाना चाहिए और भविष्य के शोध को उन आंतरिक प्रतिनिधित्व प्रतिस्पर्धा (hidden state dominance) की जांच करनी चाहिए जो इन विफलताओं का कारण बनती है।

निष्कर्ष

शोध पत्र यह निष्कर्ष निकालता है कि LLMs केवल संदर्भ विंडो सीमाओं के कारण निर्देश नहीं "भूलते", बल्कि वे जनरेशन के दौरान प्रतिनिधित्व प्रतिस्पर्धा (representational competition) से पीड़ित होते हैं। एक निर्देश का "सैलियन्स" स्थिर नहीं होता है; यह मॉडल द्वारा जटिल सामग्री को प्रोसेस करने के साथ घटता जाता है। LLMs को संज्ञानात्मक मनोविज्ञान के लेंस के माध्यम से देखकर, लेखक इन विफलताओं को कम करने के लिए कार्रवाई योग्य रणनीतियाँ और निर्देश पालन और कार्य प्रदर्शन के बीच के ट्रेड-ऑफ की गहरी समझ प्रदान करते हैं।