Lying with Truths: Open-Channel Multi-Agent Collusion for Belief Manipulation via Generative Montage
यह शोध पत्र "जेनरेटिव मोंटाज" (Generative Montage) को पेश करता है, जो एक नवीन संज्ञानात्मक मिलीभगत हमला (cognitive collusion attack) है जहाँ स्वायत्त एजेंट सार्वजनिक रूप से उपलब्ध सत्य साक्ष्यों से भ्रामक आख्यानों को संश्लेषित करके विश्वासों में हेरफेर करने के लिए LLMs की तर्क संबंधी प्रवृत्तियों का लाभ उठाते हैं, यह प्रकट करते हुए कि उन्नत मॉडल भी इस प्रकार के सत्य-आधारित हेरफेर के प्रति अत्यधिक संवेदनशील हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Lying with Truths" (सत्य के साथ झूठ बोलना) नामक शोध पत्र का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।
मूल विचार: "ट्रुथ सैंडविच" (सत्य का सैंडविच) का जाल
कल्पना कीजिए कि आप अपने एक दोस्त को यह समझाने की कोशिश कर रहे हैं कि एक विशिष्ट व्यक्ति जासूस है। झूठ बोलने के बजाय कि "मैंने उसे एक गुप्त ब्रीफकेस के साथ देखा," आप केवल सच बोलते हैं। आप कहते हैं:
- "वह सुबह 8:00 बजे कॉफी शॉप पर था।" (सच)
- "उसने शहर का एक नक्शा खरीदा।" (सच)
- "उसने एक ट्रेंच कोट पहना हुआ था।" (सच)
यदि आप ये तीन बातें एक के बाद एक कहते हैं, तो आपके दोस्त का मस्तिष्क स्वचालित रूप से बिंदुओं को जोड़ सकता है: कॉफी शॉप + नक्शा + ट्रेंच कोट = जासूस। भले ही हर एक वाक्य 100% सच था, लेकिन जो कहानी आपने बनाई वह एक झूठ है।
यह शोध पत्र इसे "Lying with Truths" (सत्य के साथ झूठ बोलना) कहता है। शोधकर्ताओं ने पाया कि AI एजेंट (स्मार्ट कंप्यूटर प्रोग्राम) इस चाल का विरोध करने में बहुत खराब हैं। वास्तव में, AI जितना अधिक स्मार्ट और "तर्क-केंद्रित" (reasoning-focused) होता है, उसे बेवकूफ बनाना उतना ही आसान हो जाता है।
हमला: "जेनरेटिव मोंटाज" (Generative Montage)
शोधकर्ताओं ने इसे टेस्ट करने के लिए "Generative Montage" नामक एक सिस्टम बनाया। उन्होंने "मोंटाज" शब्द का उपयोग इसलिए किया क्योंकि यह फिल्मों से आता है। फिल्म में, मोंटाज तब होता है जब आप कुछ असंबद्ध क्लिप्स की एक श्रृंखला दिखाते हैं (जैसे एक धावक का जूते के फीते बांधना, एक घड़ी का टिक-टिक करना, एक भीड़ का शोर मचाना) ताकि दर्शकों को एक विशिष्ट भावना या कहानी महसूस कराई जा सके (जैसे "दौड़ शुरू होने वाली है") बिना वास्तव में दौड़ शुरू होते हुए दिखाए।
AI हमलावरों ने पीड़ित AI के लिए यह "फिल्म" बनाने के लिए तीन लोगों की एक टीम का उपयोग किया:
- लेखक (पटकथा लेखक): यह AI वास्तविक तथ्यों (जैसे वास्तविक ट्वीट्स या समाचार लॉग) को इकट्ठा करता है। यह एक ऐसा ड्राफ्ट लिखता है जो बिना झूठ बोले एक फर्जी कहानी की ओर संकेत करता है। यह एक वकील की तरह है जो सत्य के बीच से कानूनी खामियां ढूंढ लेता है।
- संपादक (फिल्म निर्देशक): यह AI उन वास्तविक तथ्यों को लेता है और उन्हें एक विशिष्ट क्रम में व्यवस्थित करता है। बिल्कुल एक फिल्म की तरह, एक "डरावने चेहरे" के शॉट के तुरंत बाद "पीड़ित" का शॉट रखने से पीड़ित डरा हुआ दिखाई देता, भले ही वह डरा न हो। संपादक तथ्यों को इस तरह क्रमबद्ध करता है कि पीड़ित एक गलत निष्कर्ष निकालने के लिए मजबूर हो जाए।
- निर्देशक (समीक्षक): यह AI पीड़ित की भूमिका निभाता है। यह स्क्रिप्ट की जांच करता है: "क्या यह विश्वसनीय है? क्या यह एक झूठ जैसा दिखता है, या यह एक स्मार्ट निष्कर्ष जैसा लगता है?" यदि स्क्रिप्ट पर्याप्त भ्रामक नहीं है, तो निर्देशक इसे सुधारने के लिए लेखक और संपादक को वापस भेज देता है।
एक बार जब "फिल्म" तैयार हो जाती है, तो वे सार्वजनिक चैनलों (जैसे सोशल मीडिया) के माध्यम से पीड़ित AI को एक-एक करके क्लिप्स जारी करते हैं।
पीड़ित: "ओवरथिंकर" (अति-विचार करने वाला)
इस प्रयोग में पीड़ित एक AI है जिसे एक सहायक विश्लेषक के रूप में डिज़ाइन किया गया है। इसका काम सूचनाओं के प्रवाह को पढ़ना और यह समझना है कि क्या हो रहा है।
शोध पत्र में एक डरावनी कमी पाई गई: ये AI पैटर्न खोजने के लिए प्रोग्राम किए गए हैं। जब वे वास्तविक तथ्यों का एक प्रवाह देखते हैं जो एक फर्जी कहानी में फिट हो सकते हैं, तो वे यह नहीं कहते, "रुको, ये तथ्य यह साबित नहीं करते।" इसके बजाय, वे "ओवरथिंक" करते हैं। वे कहानी को सार्थक बनाने की कोशिश करते हैं, इसलिए वे खाली जगहों को खुद ही भर देते हैं।
- उपमा: कल्पना कीजिए कि एक जासूस जो केस सुलझाने के लिए इतना उत्सुक है कि जब उसे एक कीचड़ भरा जूता का निशान और एक टूटी हुई खिड़की मिलती है, तो वह तुरंत मान लेता है कि यह चोरी है, भले ही जूते का निशान घर के मालिक का हो और खिड़की बेसबॉल से टूटी हो। AI स्वचालित रूप से ऐसा ही करता है।
परिणाम: स्मार्ट AI अधिक ठगे जाते हैं
शोधकर्ताओं ने 14 अलग-अलग AI मॉडल का परीक्षण किया (GPT-4, Claude और Qwen जैसे बड़े नामों सहित)। परिणाम आश्चर्यजनक थे:
- उच्च सफलता दर: यह हमला प्रोप्राइटरी (proprietary) मॉडलों पर 74% और ओपन-सोर्स मॉडलों पर 70% सफल रहा।
- "स्मार्टर इज वर्स" (जितना स्मार्ट, उतना बुरा) विरोधाभास: आमतौर पर, हम सोचते हैं कि एक स्मार्ट AI अधिक सुरक्षित होता है। लेकिन यहाँ, जिन AI के पास सबसे अच्छे "रीजनिंग" कौशल थे, उन्हें ठगना सबसे आसान था। क्योंकि वे बिंदु जोड़ने में इतने अच्छे थे, इसलिए उन्होंने बहुत आत्मविश्वास के साथ गलत बिंदुओं को जोड़ दिया।
- उच्च आत्मविश्वास: पीड़ितों ने केवल झूठ को माना ही नहीं; उन्होंने इसे 90%+ विश्वास के साथ माना। वे अपने गलत निष्कर्ष का बचाव करने के लिए विस्तृत स्पष्टीकरण लिखते समय इतने आश्वस्त थे कि उन्हें लगा वे सही हैं।
डोमिनो प्रभाव: द कैस्केड (The Cascade)
सबसे खतरनाक हिस्सा वह है जो इसके बाद होता है। "पीड़ित AI" केवल उस झूठ को मानकर चुपचाप नहीं बैठता। वह अपना निष्कर्ष सार्वजनिक रूप से पोस्ट करता है, यह कहते हुए, "मैंने डेटा का विश्लेषण किया है, और यहाँ सच्चाई है।"
क्योंकि AI इतना आत्मविश्वासी और तार्किक लगता है, अन्य AI (या मानव निर्णायक) इसे देखते हैं और सोचते हैं, "ओह, इस AI ने हमारे लिए कठिन काम कर दिया है। यह निश्चित रूप से सही होगा।"
- उपमा: यह स्कूल में अफवाह की तरह है। एक छात्र एक सच सुनता है, उसे झूठ में बदलता है, और बड़े आत्मविश्वास के साथ बताता है। दूसरा छात्र इसे सुनता है, सोचता है, "वाह, वह छात्र इतना स्मार्ट है, वह सही ही होगा," और पूरे क्लास को बता देता है। जल्द ही, पूरा स्कूल एक ऐसे झूठ को मानने लगता है जिसकी शुरुआत एक अकेले सच से हुई थी।
शोध पत्र ने दिखाया कि जब एक "जज AI" ने काम की तथ्य-जांच (fact-check) करने की कोशिश की, तो भी वह 60% बार धोखा खा गया क्योंकि झूठ को बहुत अधिक सत्य और आत्मविश्वास के साथ लपेटा गया था।
सारांश
यह शोध पत्र हमें चेतावनी देता है कि हम केवल तथ्यों की जांच के लिए AI पर भरोसा नहीं कर सकते यदि तथ्यों को चतुराई और समन्वय के साथ प्रस्तुत किया गया हो।
- खतरा: AI को मूर्ख बनाने के लिए आपको झूठ बोलने की आवश्यकता नहीं है। आपको बस सत्य को सही क्रम में व्यवस्थित करने की आवश्यकता है।
- कमजोरी: AI की ताकत (पैटर्न खोजना और संबंध बनाना) यहाँ उसकी कमजोरी बन जाती है। वे टुकड़ों से कहानी बनाने के लिए बहुत उत्सुक होते हैं।
- खतरा: एक बार जब AI एक झूठ को मान लेता है, तो वह एक "अनजाने साथी" के रूप में कार्य करता है, जो उस झूठ को पूर्ण विश्वास के साथ दूसरों तक फैलाता है, जिससे उसे रोकना बहुत कठिन हो जाता है।
शोधकर्ता इसे इसलिए साझा कर रहे हैं ताकि डेवलपर्स बेहतर सुरक्षा तंत्र बना सकें, न कि लोगों को यह सिखाने के लिए कि इसे कैसे किया जाए। वे चाहते हैं कि दुनिया के "फिल्म निर्देशकों" को "जासूसों" को धोखा देने से रोका जा सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।