Large Language Models and Book Summarization: Reading or Remembering, Which Is Better?
यह शोध पत्र प्रयोगात्मक रूप से इस बात का मूल्यांकन करता है कि क्या लार्ज लैंग्वेज मॉडल्स (Large Language Models) प्रसिद्ध पुस्तकों का सारांश अपने आंतरिक प्रशिक्षण ज्ञान का उपयोग करके बेहतर तरीके से बनाते हैं या पूर्ण पाठ (full text) को प्रोसेस करके, जो यह प्रकट करता है कि जबकि पूर्ण-पाठ तक पहुँच आम तौर पर अधिक विस्तृत सारांश प्रदान करती है, आंतरिक ज्ञान कभी-कभी इससे बेहतर प्रदर्शन कर सकता है, जिससे दीर्घ-संदर्भ सारांश (long-context summarization) की विश्वसनीयता को चुनौती मिलती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप किसी प्रसिद्ध उपन्यास, जैसे हैरी पॉटर या द ग्रेट गैट्सबी के लिए एक बुक रिपोर्ट लिखने की कोशिश कर रहे हैं। आपके पास इसे करने के दो तरीके हैं:
- "मेमोरी" (याददाश्त) विधि: आप अपनी आँखें बंद करते हैं, पूरी तरह से उस पर निर्भर करते हैं जो आपको सालों पहले किताब पढ़ने से याद है, और शून्य से सारांश लिखते हैं।
- "रीडिंग" (पढ़ने) विधि: आप वास्तविक पुस्तक के साथ बैठते हैं, उसे शुरू से अंत तक पढ़ते हैं, और अभी जो आप पन्ने पर देख रहे हैं उसके आधार पर सारांश लिखते हैं।
लंबे समय तक, हमने यह माना कि विधि 2 (रीडिंग) हमेशा बेहतर होगी। आखिरकार, तथ्य आपके सामने सही मौजूद हैं, इसलिए आप कुछ भी भूल नहीं सकते या मनगढ़ंत बातें नहीं बना सकते, है ना?
यह शोध पत्र एक बहुत ही दिलचस्प सवाल पूछता है: क्या आर्टिफिशियल इंटेलिजेंस (AI) के लिए वास्तव में ऐसा ही है?
प्रयोग: AI बनाम किताबों की अलमारी
शोधकर्ताओं ने 25 प्रसिद्ध पुस्तकें (जैसे ड्रैकुला, प्राइड एंड प्रेजुडिस, और द डिवाइन कॉमेडी) लीं और दो सुपर-स्मार्ट AI मॉडलों (GPT-4.1 और Gemini-2.5) को उनका सारांश लिखने के लिए कहा।
उन्होंने AI का परीक्षण दो परिदृश्यों में किया:
- परिदृश्य A (याद करना): उन्होंने AI को कहा, "इस पुस्तक का सारांश दें," लेकिन उन्हें टेक्स्ट (पाठ) नहीं दिया। AI को अपने आंतरिक "मस्तिष्क" (उस डेटा पर जो उसने प्रशिक्षण के दौरान सीखा है) पर निर्भर रहना था।
- परिदृश्य B (पढ़ना): उन्होंने AI को उस पूरी पुस्तक का टेक्स्ट दिया (जो बहुत बड़ा है, कभी-कभी पाँच लाख शब्दों का) और कहा, "इस टेक्स्ट का सारांश दें, अपनी मेमोरी का उपयोग न करें।"
फिर उन्होंने AIs को एक-दूसरे के काम का मूल्यांकन करने के लिए कहा ताकि यह देखा जा सके कि कौन सा सारांश बेहतर है।
बड़ा आश्चर्य: कभी-कभी, मेमोरी जीत जाती है!
यहाँ मोड़ आता: ज्यादातर पुस्तकों के लिए, "रीडिंग" वास्तव में बेहतर थी। जब AI के पास पूरा टेक्स्ट था, तो वह अधिक विस्तृत और सटीक सारांश दे सका।
हालाँकि, कुछ विशिष्ट पुस्तकों के लिए, AI ने तब बेहतर काम किया जब उसने अपनी मेमोरी पर भरोसा किया बजाय इसके कि वह पूरी किताब पढ़ने की कोशिश करता।
इसे इस तरह सोचिए:
- "रीडिंग" की समस्या (बीच में खो जाना - The Lost in the Middle): कल्पना कीजिए कि आप एक ही बैठक में 1,000 पन्नों का उपन्यास पढ़ने की कोशिश कर रहे हैं। जब तक आप पन्ना 900 तक पहुँचते हैं, हो सकता है कि आप पन्ना 50 के विवरण भूल गए हों। AI के साथ भी ऐसी ही समस्या है। भले ही उसके पास एक "विशाल मस्तिष्क" (एक बड़ा कॉन्टेक्स्ट विंडो) हो, जब आप उसे एक विशाल पुस्तक खिलाते हैं, तो वह कभी-कभी भ्रमित हो जाता है, शुरुआत को भूल जाता है, या बीच में खो जाता है। यह एक 'फायरहोज़' (पानी की तेज़ धार) से पीने की कोशिश करने जैसा है; एक साथ बहुत अधिक जानकारी होने पर चीजें बिखर सकती हैं।
- "मेमोरी" का लाभ: कुछ जटिल या काव्यमय पुस्तकों (जैसे यूलिसिस या द डिवाइन कॉमेडी) के लिए, AI के आंतरिक प्रशिक्षण डेटा ने कहानी को पहले ही पूरी तरह से "पचा" लिया था। वह बिना अभिभूत हुए मुख्य बिंदुओं, पात्रों और अंत को जानता था। इन मामलों में, AI का "अंतर्ज्ञान" (मेमोरी) पूरे टेक्स्ट को पढ़ने के उसके प्रयास की तुलना में वास्तव में अधिक सटीक था।
निर्णय: रीडिंग बनाम रिमेंबरिंग
शोध पत्र निष्कर्ष निकालता है कि जबकि पूर्ण टेक्स्ट होना आमतौर पर सबसे सुरक्षित दांव है, यह हमेशा सबसे अच्छा नहीं होता।
- सरल, सीधी कहानियों के लिए: किताब पढ़ना बेहतर है।
- बहुत लंबी, जटिल या काव्यमय कहानियों के लिए: AI की आंतरिक मेमोरी कभी-कभी पूरी किताब को एक साथ प्रोसेस करने की उसकी क्षमता से बेहतर प्रदर्शन कर सकती है।
यह क्यों मायने रखता है?
यह हमें AI के उपयोग के बारे में एक चेतावनी देता। हम अक्सर मानते हैं कि यदि हम बस AI को "अधिक डेटा" (पूरी किताब) दे दें, तो वह बेहतर काम करेगा। यह अध्ययन दिखाता है कि अधिक डेटा हमेशा बेहतर नहीं होता। कभी-कभी, AI टेक्स्ट की मात्रा से अभिभूत हो जाता है और ऐसी गलतियाँ करता है जो वह नहीं करता अगर वह केवल उस पर भरोसा करता जो वह पहले से जानता था।
संक्षेप में: AI के लिए, कभी-कभी उसकी मेमोरी पर भरोसा करना बेहतर होता है बजाय इसके कि उसे पूरी किताब पढ़ने के लिए मजबूर किया जाए, खासकर यदि वह एक विशाल, जटिल उत्कृष्ट कृति (मास्टरपीस) है। यह पता चला है कि कुछ कार्यों के लिए, याद रखना वास्तव में पढ़ने से बेहतर है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।