The Hallucination Snowball: Modeling Error Propagation as State Transitions in Multi-Agent LLM Pipelines
यह शोध पत्र "हैलुसिनेशन स्नोबॉल" (hallucination snowball) मॉडल को प्रस्तुत करता है ताकि यह प्रदर्शित किया जा सके कि मल्टी-एजेंट एलएलएम (LLM) पाइपलाइनों में त्रुटियाँ कैसे रूपांतरित होती हैं और चरणों के माध्यम से आगे बढ़ते हुए और अधिक अप्राप्य बनती जाती हैं, जो यह सिद्ध करता है कि हैलुसिनेशन के बने रहने को कम करने के लिए शुरुआती चरण का सत्यापन, पाइपलाइन के अंत में की जाने वाली जाँच की तुलना में काफी अधिक प्रभावी है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, जटिल कार्यों से निपटने के लिए एक नया आर्किटेक्चर उभरा है: मल्टी-एजेंट पाइपलाइन। एक विशेषज्ञ श्रमिकों की एक टीम की कल्पना करें, जिनमें से प्रत्येक का एक विशिष्ट कार्य है, जो एक ही दस्तावेज़ को एक लाइन में आगे बढ़ाते हैं। एक एजेंट किसी विषय पर शोध कर सकता है, अगला निष्कर्षों का विश्लेषण कर सकता है, तीसरा एक वृत्तांत लिख सकता है, और चौथा अंतिम मसौदे की समीक्षा कर सकता है। वित्तीय रिपोर्टिंग से लेकर चिकित्सा सारांश तक सब कुछ संभालने के लिए प्रमुख फ्रेमवर्क द्वारा उपयोग किया जाने वाला यह दृष्टिकोण एक सरल धारणा पर निर्भर करता है: प्रत्येक कार्यकर्ता अपने से पहले वाले के आउटपुट पर भरोसा करता है। उन्हें केवल वही टेक्स्ट प्राप्त होता है जो उन्हें सौंपा गया है, बिना मूल स्रोत दस्तावेजों तक पहुंच के या उन तथ्यों को सत्यापित करने के तरीके के जो उन्हें सौंपे गए हैं। हालांकि यह विश्वास की श्रृंखला परिष्कृत वर्कफ़्लो की अनुमति देती है, यह एक छिपी हुई भेद्यता भी पैदा करती है। यदि पहला कार्यकर्ता कोई गलती करता है, तो वह त्रुटि केवल वहीं नहीं रुक जाती; वह नीचे की ओर यात्रा करती है, अपना रूप बदलती है और हर हस्तांतरण के साथ पहचानना कठिन होती जाती है।
शोधकर्ताओं ने लंबे समय से इन गलतियों को पकड़ने के लिए बेहतर डिटेक्टर बनाने पर ध्यान केंद्रित किया है, यह मानते हुए कि यदि एक आर्टिफिशियल इंटेलिजेंस पर्याप्त स्मार्ट है, तो वह कहानी में झूठ पकड़ सकता है। हालांकि, एक नया अध्ययन इस धारणा को चुनौती देता है, जो यह प्रकट करता है कि समस्या बुद्धिमत्ता की कमी नहीं है, बल्कि उस तरीके में एक संरचनात्मक दोष है जिससे सूचना चलती है। शोधकर्ताओं ने, वित्तीय विश्लेषण के लिए डिज़ाइन किए गए चार-एजेंट सिस्टम के साथ काम करते हुए, प्रदर्शित किया कि श्रृंखला के बिल्कुल शुरुआत में डाला गया एक गलत तथ्य एक ऐसे रूपांतरण से गुजरता है जो इसे अंत तक पहुँचते-पहुँचते लगभग पकड़ने के लिए असंभव बना देता है। वे इस घटना को "हैलुसिनेशन स्नोबॉल" (hallucination snowball) कहते हैं। जिस तरह एक ढलान से लुढ़कता हुआ छोटा स्नोबॉल अधिक बर्फ इकट्ठा करता है और उसे रोकना कठिन हो जाता है, वैसे ही एक कच्चे नंबर में छोटी सी त्रुटि गणनाओं में लिपटी जाती है, फिर एक कहानी में बुनी जाती है, और अंत में एक आत्मविश्वासी निष्कर्ष के रूप में स्वीकृत की जाती है। प्रत्येक चरण के साथ, तथ्य को गलत साबित करने की क्षमता व्यवस्थित रूप से नष्ट हो जाती है।
इस प्रक्रिया को समझने के लिए, टीम ने चार एजेंटों की पाइपलाइन का उपयोग करके एक नियंत्रित प्रयोग स्थापित किया: एक शोधकर्ता, एक विश्लेषक, एक लेखक और एक समीक्षक। उन्होंने वास्तविक वित्तीय डेटा का एक सेट लिया और जानबूझकर शोधकर्ता के आउटपुट में गलत नंबर डाले, जैसे कि किसी कंपनी के 'कॉस्ट ऑफ गुड्स सोल्ड' को वास्तविक 71.2 बिलियन कर दिया। फिर उन्होंने देखा कि वह झूठ सिस्टम के माध्यम से कैसे यात्रा करता है। पहले चरण में, वह गलत नंबर एक कच्चा तथ्य था, जिसे मूल रिकॉर्ड के विरुद्ध आसानी से जांचा जा सकता था। दूसरे चरण तक, विश्लेषक ने इस गलत नंबर का उपयोग साल-दर-साल प्रतिशत वृद्धि की गणना करने के लिए किया, जिससे वह झूठ एक व्युत्पन्न गणना (derived computation) में बदल गया। तीसरे चरण तक, लेखक ने इस गणना को पेशेवर गद्य के एक पैराग्राफ में बुन लिया, जिसमें यह समझाया गया कि कंपनी को "महत्वपूर्ण लागत संबंधी बाधाओं" (significant cost headwinds) का सामना क्यों करना पड़ा। अंत में, समीक्षक ने, केवल पॉलिश किए गए टेक्स्ट को देखते हुए और मूल दस्तावेजों तक पहुंच न होने के बावजूद, रिपोर्ट को तर्कसंगत और सुदृढ़ मानकर अनुमोदित कर दिया।
परिणाम चौंकाने वाले थे। जब शोधकर्ताओं ने परीक्षण किया कि एक शक्तिशाली AI मॉडल प्रत्येक चरण में झूठ को कितनी अच्छी तरह पकड़ सकता है, तो डिटेक्शन रेट नाटकीय रूप से गिर गया। बिल्कुल शुरुआत में, मॉडल ने 72 प्रतिशत त्रुटियों को पकड़ा। लेकिन जब तक वह त्रुटि अंतिम समीक्षक तक पहुँची, डिटेक्शन रेट गिरकर केवल 50 प्रतिशत से थोड़ा ऊपर रह गया। डाले गए झूठों में से एक-पाँच में से एक से अधिक पूरे प्रोसेस में पूरी तरह से बिना पकड़े गए बच गए, और अंतिम रिपोर्ट में सत्य के रूप में दर्ज हो गए। अध्ययन ने दिखाया कि यह गिरावट यादृच्छिक (random) नहीं थी; यह तब सबसे तीव्र हुई जब कच्चे नंबर को गणना में बदला गया, और फिर जब उस गणना को एक कहानी में बदला गया। जब तक त्रुटि एक वृत्तांत का हिस्सा बनी, वह संरचनात्मक रूप से अदृश्य हो गई। यहाँ तक कि परीक्षण किए गए सबसे उन्नत AI मॉडल भी, जो शुरुआत में लगभग 90 प्रतिशत त्रुटियों को पकड़ सकते थे, इस संरचनात्मक सीमा को पार नहीं कर सके। जब उन्हें पाइपलाइन के माध्यम से प्रोजेक्ट किया गया, तो उनकी त्रुटि पकड़ने की क्षमता उस सीमा तक गिर गई जहाँ लगभग आधे झूठ अभी भी बच निकलते।
शोधकर्ताओं ने एक सामान्य समाधान का भी परीक्षण किया: अंतिम आउटपुट के लिए त्रुटियों की जाँच करना। उन्होंने पाया कि काम को सत्यापित करने के लिए लाइन के अंत तक प्रतीक्षा करना लगभग बेकार है। क्योंकि मूल तथ्यों को रूपांतरित और टेक्स्ट में दफन कर दिया गया था, अंतिम जांच केवल शेष त्रुटियों के एक बहुत छोटे हिस्से को ही पकड़ सकती थी, जो बिना किसी जांच के मुकाबले लगभग कोई सुधार नहीं दे पाती थी। अध्ययन का तर्क है कि जांच का समय (timing) उपयोग किए गए टूल की गुणवत्ता से कहीं अधिक महत्वपूर्ण है। जब शोधकर्ताओं ने एजेंटों के बीच प्रत्येक हैंडऑफ पॉइंट पर एक सरल, स्वचालित जांच लगाई, तो परिणाम पूरी तरह बदल गए। त्रुटि को तब पकड़कर जब वह अभी भी एक कच्चा नंबर था, इससे पहले कि उसे गणना या कहानी में बदला जाता, उन्होंने जीवित बचे झूठों की संख्या लगभग 60 प्रतिशत से घटाकर केवल 16 प्रतिशत कर दी। यह हस्तक्षेप इतना प्रभावी था कि पहले हैंडऑफ पर एक एकल जांच ने सभी त्रुटियों के तीन-चौथाई को पकड़ लिया, जिससे सिद्ध हुआ कि सत्यापन जितना जल्दी होता है, वह उतना ही शक्तिशाली होता है।
हालांकि, इस दृष्टिकोण की एक लागत भी है। जब सिस्टम शुरुआत में त्रुटियों को आक्रामक रूप से फ़िल्टर करता है, तो अंतिम रिपोर्टों में कभी-कभी ऐसे अंतराल आ जाते हैं जहाँ नंबर होने चाहिए थे, क्योंकि डाउनस्ट्रीम एजेंट हमेशा सही मूल्यों को पूरी तरह से भरने में सक्षम नहीं थे। इससे रिपोर्ट के आंतरिक निरंतरता स्कोर (internal consistency score) में थोड़ी गिरावट आई, जिससे वे थोड़े कम पॉलिश किए हुए प्रतीत हुए। फिर भी, शोधकर्ता इस बात पर जोर देते हैं कि एक ऐसी रिपोर्ट जो प्रवाहपूर्ण है लेकिन मनगढ़ंत नंबरों पर आधारित है, वह एक ऐसी रिपोर्ट की तुलना में बहुत कम मूल्यवान है जो थोड़ी कच्ची है लेकिन तथ्यात्मक रूप से सटीक है। अध्ययन का निष्कर्ष है कि इस समस्या का समाधान लाइन के अंत में बेहतर डिटेक्टर बनाना नहीं है, बल्कि शुरुआत में गेट लगाना है। सूचना को रूपांतरित करने से पहले उसे सत्यापित करके, हम स्नोबॉल को गति पकड़ने से पहले ही रोक सकते हैं, यह सुनिश्चित करते हुए कि अंतिम आउटपुट अनियंत्रित त्रुटियों के बजाय सत्य की नींव पर बना हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।