The Collective Turing Test: Large Language Models Can Generate Realistic Multi-User Discussions
यह अध्ययन प्रदर्शित करता है कि बड़े भाषा मॉडल (लार्ज लैंग्वेज मॉडल्स) बहु-उपयोगकर्ता सोशल मीडिया संवाद इतने यथार्थवादी रूप से उत्पन्न कर सकते हैं कि वे मानव पाठकों को धोखा दे सकें, जैसा कि इस तथ्य से प्रमाणित होता है कि प्रतिभागियों ने 39% बार एआई-जनित सामग्री को मानव-लिखित पोस्ट समझ लिया।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक चहल-पहल वाले कॉफी शॉप में कदम रखते हैं जहाँ लोग अलग-अलग मेजों पर गपशप कर रहे हैं। अचानक, आपका ध्यान दो मेजों पर जाता है जो बिल्कुल एक जैसी दिखती हैं: लोगों की संख्या समान है, कॉफी के कप भी समान हैं, और बॉडी लैंग्वेज भी वैसी ही है। लेकिन यहाँ एक ट्विस्ट है: एक मेज असली इंसानों से भरी है, और दूसरी मेज अविश्वसनीय रूप से उन्नत रोबोटों से भरी है जो बिल्कुल इंसानों की तरह व्यवहार करने की कोशिश कर रहे हैं।
आपका काम क्या है? थोड़ी देर बैठें, सुनें, और अंदाज़ा लगाएं कि कौन सी मेज असली है।
यह मूल रूप से वही है जो इस शोध पत्र में शोधकर्ताओं ने किया, लेकिन कॉफी शॉप के बजाय, उन्होंने Reddit (एक विशाल ऑनलाइन फोरम) का उपयोग किया, और रोबोट के बजाय, उन्होंने GPT-4o और Llama 3 जैसे Large Language Models (LLMs) का उपयोग किया। उन्होंने इसे "कलेक्टिव ट्यूरिंग टेस्ट" (Collective Turing Test) नाम दिया।
यहाँ उनके निष्कर्षों का सरल विवरण दिया गया है:
1. सेटअप: द ग्रेट इम्पोस्टर गेम (छलावा खेल)
शोधकर्ताओं ने Reddit से वास्तविक बातचीत ली। फिर, उन्होंने दो AI मॉडलों से उसी विषय पर नई बातचीत लिखने के लिए कहा, और कोशिश की कि वे वास्तविक बातचीत की लंबाई और शैली से मेल खा सकें।
इसके बाद उन्होंने इन बातचीत के जोड़ों (एक असली, एक नकली) को 200 से अधिक मानव स्वयंसेवकों को दिखाया। स्वयंसेवकों को चुनना था: "इसे किसने लिखा था—इंसान ने?"
2. बड़ा सरप्राइज: AI डरावने रूप से कुशल होते जा रहे हैं
आप उम्मीद कर सकते हैं कि इंसान रोबोटों को आसानी से पहचान लेंगे। आखिर, AI अक्सर बहुत विनम्र या रोबोटिक होता है, है ना?
अब ऐसा नहीं है।
- परिणाम: इंसान 39% बार गलत साबित हुए।
- इसका मतलब क्या है: लगभग 10 में से 4 मामलों में, AI की बातचीत इतनी वास्तविक थी कि लोगों को लगा कि वे असली इंसानों द्वारा लिखी गई थी।
- "ट्यूरिंग" थ्रेशोल्ड: क्लासिक ट्यूरिंग टेस्ट में, यदि कोई मशीन इंसान को 30% से अधिक समय तक मूर्ख बना सकती है, तो इसे एक सफलता माना जाता है। इन AI ने केवल इसे पास ही नहीं किया; बल्कि इन्होंने इसे पूरी तरह से ध्वस्त कर दिया।
3. दावेदार: GPT-4o बनाम Llama 3
शोधकर्ताओं ने इस परीक्षण के लिए दो अलग-अलग "दिमागों" का उपयोग किया:
- GPT-4o: पॉलिश किया हुआ, कॉर्पोरेट, "सुरक्षित" सहायक। यह एक अच्छी तरह से कपड़े पहने हुए टूर गाइड की तरह है जो कभी अपशब्द नहीं बोलता और हमेशा सटीक व्याकरण देता है।
- Llama 3: एक अधिक ओपन-सोर्स मॉडल जिसे इंटरनेट के एक बड़े हिस्से पर प्रशिक्षित किया गया है, जिसमें फोरम भी शामिल हैं। यह एक साधारण व्यक्ति की तरह है जो बार में बैठा हो।
किसने "सबसे अधिक मानवीय" (Most Human) का पुरस्कार जीता?
आश्चर्यजनक रूप से, Llama 3 को पहचानना GPT-4o की तुलना में अधिक कठिन था।
- क्यों? GPT-4o बहुत परफेक्ट है। यह बहुत विनम्र और संरचित है। हालाँकि, Llama 3 थोड़ा अधिक "अव्यवस्थित" और अनौपचारिक लगा, जो ठीक वैसा ही है जैसा लोग वास्तव में Reddit पर बात करते हैं। यह अधिक स्वाभाविक लगा, जैसे कोई वास्तविक व्यक्ति अपने फोन पर टाइप कर रहा हो।
4. क्या लंबाई मायने रखती है? (द "लॉन्ग स्टोरी शॉर्ट" टेस्ट)
शोधकर्ता यह जानना चाहते थे: यदि बातचीत बहुत लंबी है, तो क्या AI को झूठ पकड़ना आसान होगा?
- सिद्धांत: लंबी बातचीत AI को गलती करने, थक जाने या कुछ अजीब कहने के अधिक अवसर देती है।
- वास्तविकता: यह इतना सरल नहीं था।
- बहुत छोटी बातचीत का निर्णय लेना कठिन था।
- मध्यम लंबाई की बातचीत (लगभग 8 कमेंट्स) में इंसान सही ढंग से निर्णय लेने में सबसे सक्षम थे।
- ट्विस्ट: जब बातचीत बहुत लंबी (16 कमेंट्स) हो गई, तो इंसान थक गए और भ्रमित हो गए, और उनकी AI को पहचानने की क्षमता गिरकर रैंडम अनुमान लगाने के स्तर पर आ गई। ऐसा लगता है कि यदि AI लंबे समय तक अपना अभिनय जारी रख सकता है, तो इंसान अंततः सुस्त पड़ जाते हैं।
5. इंसानों ने नकली को कैसे पकड़ा?
जब इंसानों ने AI को पकड़ा, तो किस चीज़ ने उन्हें पकड़वाया? उन्होंने तीन मुख्य चीजों पर ध्यान दिया:
- शैली (सबसे बड़ा सुराग): AI बहुत विनम्र, बहुत औपचारिक था और इसमें स्लैंग या टाइपिंग की गलतियों का अभाव था। वास्तविक Reddit उपयोगकर्ता अपशब्द बोलते हैं, इमोजी का उपयोग करते हैं, मजाक करते हैं, और कभी-कभी खराब व्याकरण के साथ टाइप करते हैं। AI "बहुत साफ-सुथरा" था।
- सामग्री (Content): AI में व्यक्तिगत कहानियों की कमी थी। वास्तविक इंसान कहते हैं, "पिछले हफ्ते मेरे साथ ऐसा हुआ था!" AI केवल सामान्य तथ्य देता है।
- सहमति: AI उपयोगकर्ता एक-दूसरे से बहुत अधिक सहमत होते थे। इंटरनेट की वास्तविक बहसें अस्त-व्यस्त होती हैं; AI की बातचीत एक विनम्र, नकली सहमति का घेरा महसूस होती थी।
हमें इसकी परवाह क्यों करनी चाहिए?
यह शोध पत्र एक मिला-जुला संदेश भेजता है:
🟢 अच्छी खबर:
शोधकर्ता अब इन AI "अभिनेताओं" का उपयोग सोशल मीडिया को सिम्युलेट करने के लिए कर सकते हैं। यह सुरक्षा नीतियों का परीक्षण करने के लिए बेहतरीन है। उदाहरण के लिए, नफरत भरे भाषण को रोकने के लिए एक नई सुविधा रोल आउट करने से पहले, हम इसे AI इंसानों के एक सिम्युलेटेड समुदाय पर टेस्ट कर सकते हैं ताकि यह देखा जा सके कि यह काम करता है या नहीं, बिना वास्तविक लोगों को जोखिम में डाले।
🔴 बुरी खबर:
यदि AI इंसानों को 40% समय तक मूर्ख बना सकता है, तो इसका मतलब है कि बुरे तत्व इसका उपयोग "AI Swarms" (AI झुंडों) को बनाने के लिए कर सकते हैं। कल्पना कीजिए, बॉट्स का एक समूह असली लोगों के रूप में नाटक करने के लिए, फर्जी बहस शुरू करने, गलत सूचना फैलाने, या किसी नकली उत्पाद को लोकप्रिय दिखाने के लिए इस्तेमाल किया जा रहा है। चूंकि वे बहुत वास्तविक लगते हैं, इसलिए हमारे लिए असली और नकली के बीच अंतर करना बहुत कठिन होगा।
निष्कर्ष (The Bottom Line)
हम उस बिंदु पर पहुँच गए हैं जहाँ कंप्यूटर इंसानों की तरह बात कर सकते हैं जैसे इंसान आपस में बात करते हैं। वे अभी भी पूर्ण नहीं हैं (वे अभी भी बहुत विनम्र हैं और उनमें व्यक्तिगत कहानियों की कमी है), लेकिन वे डराने वाले रूप से कुशल हो रहे हैं। अगली बार जब आप किसी गरमागरम कमेंट सेक्शन को पढ़ें, तो आपको दोबारा जांच लेनी चाहिए: क्या वह एक वास्तविक व्यक्ति है, या सिर्फ एक बहुत ही प्रभावशाली रोबोट?
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।