← नवीनतम पेपर
💬 प्राकृतिक भाषा प्रसंस्करण

The Silent Cost of Conversation History in LLM Reasoning

यह शोध पत्र प्रदर्शित करता है कि मल्टी-टर्न एलएलएम (LLM) इंटरैक्शन में बातचीत के इतिहास को संचित करना समय के साथ तर्क की सटीकता को महत्वपूर्ण रूप से कम कर देता है, एक ऐसी गिरावट जिसे मानक निरंतरता और सुसंगतता मेट्रिक्स समय रहते पहचानने में विफल रहते हैं, जिससे बाहरी टास्क स्टेट मैनेजमेंट और क्रॉस-सेशन मॉनिटरिंग की आवश्यकता अनिवार्य हो जाती है।

मूल लेखक: Ali Şenol

प्रकाशित 2026-11-17✓ Author reviewed ⓘ
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Ali Şenol

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखक ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

आधुनिक डिजिटल दुनिया में, आर्टिफिशियल इंटेलिजेंस अक्सर एक अथक सहायक के रूप में कार्य करता है, जो दर्जनों आदान-प्रदान तक चलने वाली बातचीत को बनाए रखता है। कल्पना कीजिए कि एक लॉजिस्टिक्स मैनेजर एक कंप्यूटर से गोदाम में इन्वेंट्री को ट्रैक करने के लिए कह रहा है, या एक वित्तीय योजनाकार नए बिलों के आने पर बजट को अपडेट कर रहा है। कंप्यूटर अपने पिछले हर संदेश को याद रखता है, जिससे वह वर्तमान प्रश्न को समझने के लिए बातचीत का एक लंबा इतिहास बनाता है। यह बढ़ता हुआ रिकॉर्ड मशीन को बेहतर ढंग से तर्क करने में मदद करने के लिए बनाया गया है, जो मानव और कंप्यूटर के बीच एक साझा नोटबुक की तरह कार्य करता है। हालाँकि, इस दृष्टिकोण में एक छिपा हुआ खतरा है। जैसे-जैसे बातचीत लंबी होती जाती है, कंप्यूटर को न केवल नए प्रश्न को, बल्कि अपने स्वयं के पिछले उत्तरों को भी प्रोसेस करना पड़ता है, जिनमें गलतियाँ हो सकती हैं। यदि मशीन शुरुआत में कोई त्रुटि करती है, तो वह उस गलत विचार में फंस सकती है, और बिना किसी भ्रम के संकेत दिखाए, पूरी बातचीत के दौरान उस गलती को लगातार दोहराती रहती है। इसका परिणाम एक ऐसा सिस्टम होता है जो आत्मविश्वासी और सुसंगत लगता है लेकिन मौलिक रूप से गलत होता है, और क्योंकि त्रुटियाँ सुसंगत होती हैं, इसलिए यह विफलता उपयोगकर्ता के लिए अदृश्य बनी रह सकती है।

शोधकर्ताओं ने यह मापने के लिए प्रयास किया कि यह बढ़ता हुआ बातचीत का इतिहास कंप्यूटर की समस्याओं को सही ढंग से हल करने की क्षमता को वास्तव में कितना नुकसान पहुँचाता है। उन्होंने इसे दो अलग-अलग प्रकार के प्रयोगों के माध्यम से परीक्षण किया। पहले में, उन्होंने गणित की समस्याओं का एक सेट लिया और जानकारी को छोटे टुकड़ों में विभाजित किया, जिसे एक-एक करके प्रकट किया गया। उन्होंने कंप्यूटर को एक ही समस्या को दो तरीकों से हल करने के लिए कहा: एक बार अपने पिछले उत्तरों के पूर्ण रिकॉर्ड के साथ, और एक बार एक 'क्लीन स्लेट' (स्वच्छ पटल) के साथ जिसमें केवल नई जानकारी दिखाई गई थी। परिणाम स्पष्ट और सुसंगत थे। जब कंप्यूटर को अपने पिछले उत्तरों को अपनी स्मृति में रखने की अनुमति दी गई, तो इसकी सफलता दर काफी गिर गई। परीक्षण किए गए एक मॉडल के लिए, अंतिम उत्तर सही होने की संभावना लगभग तीस प्रतिशत अंकों से गिर गई। दूसरे के लिए, यह लगभग इक्कीस अंक गिर गई। कंप्यूटर केवल भ्रमित नहीं हो रहा था; वह वास्तव में उसी इतिहास द्वारा बाधित हो रहा था जिसका उपयोग उसे मदद करने के लिए करना चाहिए था।

दूसरे प्रयोग ने इस विचार को चरम पर पहुँचा दिया, जिसमें सौ चरणों तक चलने वाली बातचीत का अनुकरण किया गया। यह एक लंबा, जटिल कार्य था जहाँ कंप्यूटर को समय के साथ बजट या इन्वेंट्री में होने वाले परिवर्तनों को ट्रैक करना था। शोधकर्ताओं ने सावधानीपूर्वक यह सुनिश्चित किया कि पूरी बातचीत के दौरान प्रश्नों की कठिनाई समान रहे, ताकि वे सुनिश्चित कर सकें कि प्रदर्शन में गिरावट बातचीत की लंबाई के कारण है न कि कठिन प्रश्नों के कारण। उन्होंने पाया कि कंप्यूटर की सटीकता तेजी से ढह गई। केवल बीस चरणों के भीतर, सही उत्तर देने की क्षमता लगभग साठ प्रतिशत से गिरकर दस प्रतिशत रह गई। मशीन लगभग हर प्रश्न में विफल हो रही थी, भले ही प्रश्न स्वयं कठिन नहीं हुए थे। यह पतन इसलिए हुआ क्योंकि कंप्यूटर अपने पिछले उत्तरों की नींव पर अपने नए उत्तर बना रहा था, जिससे सुसंगत लेकिन गलत तर्क की एक श्रृंखला बन रही थी।

महत्वपूर्ण रूप से, शोधकर्ताओं ने इस विफलता को होने से पहले पकड़ने के तरीके की भी तलाश की। एक वास्तविक दुनिया के सिस्टम में, आप हमेशा पहले से सही उत्तर नहीं जान सकते, इसलिए आपको एक चेतावनी संकेत की आवश्यकता होती है जो आपको बताता है कि कंप्यूटर अपने मार्ग से भटक रहा है। उन्होंने कंप्यूटर की सोच की गुणवत्ता को मापने के कई मानक तरीकों का परीक्षण किया, जैसे कि यह जांचना कि क्या उसके उत्तर एक-दूसरे के अनुरूप थे या क्या उसका तर्क सुचारू रूप से प्रवाहित हो रहा था। उन्हें उम्मीद थी कि जैसे-जैसे कंप्यूटर विफल होने लगेगा, ये गुणवत्ता स्कोर गिर जाएंगे, जो एक अलार्म बजाएंगे। इसके विपरीत, उन्होंने पाया कि जैसे-जैसे सटीकता गिरी, निरंतरता और तार्किक प्रवाह के माप वास्तव में उच्च रहे या उनमें सुधार हुआ। कंप्यूटर अधिक हठपूर्वक सुसंगत हो गया। उसके उत्तर एक-दूसरे के साथ पूरी तरह से सुसंगत थे, बस पूरी तरह से गलत थे। समस्या को पहचानने वाले सामान्य उपकरण पूरी तरह से शांत थे, जो इस बात का कोई संकेत नहीं दे रहे थे कि सिस्टम विफल हो रहा है।

अध्ययन ने यह भी परीक्षण किया कि क्या व्यवहार में परिवर्तन का पता लगाने के लिए डिज़ाइन किए गए विशेष कंप्यूटर प्रोग्राम इस समस्या को पकड़ सकते हैं। ये प्रोग्राम डेटा के लिए 'स्मोक डिटेक्टर' (धुआं पहचानने वाले यंत्र) की तरह हैं, जो अचानक आए बदलावों को देखते हैं जो संकेत देते हैं कि कुछ गलत है। हालाँकि, शोधकर्ताओं ने पाया कि ये डिटेक्टर उपयोगी होने के लिए बहुत धीमे थे। जब तक डिटेक्टरों ने अंततः अलार्म बजाया, तब तक कंप्यूटर काफी समय से विफल हो चुका था। प्रदर्शन में गिरावट बातचीत के बहुत शुरुआती चरण में शुरू हो गई थी, इसलिए डिटेक्टर सामान्य व्यवहार की तुलना के लिए एक आधार रेखा (बेसलाइन) स्थापित नहीं कर सके। यहाँ तक कि जब शोधकर्ताओं ने एक साथ कई बातचीत को देखकर इसे ठीक करने का प्रयास किया, तब भी चेतावनी संकेत कमजोर और अविश्वसनीय रहे। एकमात्र तरीका जो काम आया, वह था बातचीत के इतिहास को पूरी तरह से हटा देना। कंप्यूटर को उसका लंबा ट्रांसक्रिप्ट खिलाने के बजाय, शोधकर्ताओं ने उसे वर्तमान स्थिति का एक संक्षिप्त, सत्यापित सारांश दिया, जो एक अलग, विश्वसनीय प्रणाली द्वारा लिखा गया था। जब उन्होंने ऐसा किया, तो कंप्यूटर की सटीकता पूरे सौ-चरणों की बातचीत के दौरान उच्च और स्थिर रही, जिससे यह सिद्ध हुआ कि समस्या स्वयं इतिहास थी, न कि कार्य।

निष्कर्ष बताते हैं कि किसी भी ऐसे सिस्टम के लिए जो जटिल, दीर्घकालिक कार्यों को प्रबंधित करने के लिए आर्टिफिशियल इंटेलिजेंस पर निर्भर है, बातचीत का पूर्ण ट्रांसक्रिप्ट रखना एक जोखिम है। मशीन अपने गलतियों को याद करके स्मार्ट नहीं होती; वह उनमें फंस जाती है। शोधकर्ता निष्कर्ष निकालते हैं कि सबसे अच्छा दृष्टिकोण यह है कि कार्य की स्थिति (स्टेट), जैसे कि बजट कुल या इन्वेंट्री गणना, को बातचीत के बाहर एक अलग, सत्यापित रिकॉर्ड में रखा जाए। इस रिकॉर्ड को हर नए प्रश्न के लिए कंप्यूटर को ताज़ा रूप में भेजा जाना चाहिए, बजाय इसके कि कंप्यूटर अपनी त्रुटिपूर्ण स्मृति से स्थिति का पुनर्निर्माण करे। हालाँकि कंप्यूटर की लंबी बातचीत बनाए रखने की क्षमता प्रभावशाली है, यह अध्ययन दिखाता है कि गंभीर तर्क कार्यों के लिए, कम इतिहास अक्सर अधिक सटीक होता है। चेतावनी प्रणालियों की चुप्पी एक सख्त अनुस्मारक है कि एक सुसंगत, प्रवाहमयी उत्तर हमेशा एक सही उत्तर नहीं होता है, और कि आर्टिफिशियल इंटेलिजेंस की दुनिया में, सबसे विश्वसनीय स्मृति कभी-कभी वही होती है जो अतीत को भूल जाती है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →