DS@GT ARC at Touché: Large Language Models for Retrieval-Augmented Debate
यह शोध पत्र टचे (Touché) 2025 के लिए DS@GT ARC टीम की रिट्रीवल-ऑगमेंटेड डिबेट प्रणाली को प्रस्तुत करता है, जो प्रतिक्रिया निर्माण और मूल्यांकन के लिए छह फ्रंटियर LLMs का उपयोग करती है और यह प्रकट करती है कि यद्यपि मल्टी-LLM मूल्यांकनकर्ता मजबूत आंतरिक सहमति प्रदर्शित करते हैं, यह आम सहमति आधिकारिक प्रदर्शन, विशेष रूप से 'क्वालिटी' (Quality) मैक्सिम के संबंध में, विश्वसनीय रूप से भविष्यवाणी करने में विफल रहती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर केवल बातचीत नहीं करते, बल्कि वास्तव में बहस करते हैं। यह कन्वर्सेशनल एआई (Conversational AI) का खेल का मैदान है, जो विज्ञान की एक ऐसी शाखा है जहाँ मशीनें बातचीत करना, किसी बिंदु पर बहस करना, या यहाँ तक कि एक वकील की भूमिका निभाना सीखती हैं। लेकिन यहाँ पेचीदा हिस्सा यह है: हमें कैसे पता चलेगा कि एक कंप्यूटर अच्छी तरह से बहस कर रहा है? मानव दुनिया में, हमारे पास अच्छी बातचीत के नियम हैं, जैसे स्पष्ट होना, सच बोलना, और बहुत अधिक या बहुत कम न बोलना। जिस शोध पत्र को आप पढ़ने जा रहे हैं, उसमें शोधकर्ता इन नियमों के एक प्रसिद्ध समूह का उपयोग करते हैं जिसे ग्राइसियन मैक्सिम्स (Gricean Maxims) कहा जाता है (इन्हें "विनम्र और प्रभावी बातचीत के नियम" समझें)। वे रिट्रीवल-ऑगमेंटेड जनरेशन (Retrieval-Augmented Generation) का भी उपयोग करते हैं, जो एक फैंसी तरीका है यह कहने का कि "कंप्यूटर बोलने से पहले तथ्यों को एक लाइब्रेरी में खोजता है" ताकि वह केवल मनगढ़ंत बातें न करे। सबसे बड़ा सवाल जो हर कोई पूछ रहा है वह यह है: यदि हम कई सुपर-स्मार्ट एआई कंप्यूटरों से एक-दूसरे के तर्कों को ग्रेड करने के लिए कहें, तो क्या वे सहमत होंगे? और यदि वे सभी सहमत होते हैं, तो क्या इसका मतलब है कि तर्क वास्तव में अच्छा है?
जॉर्जिया टेक की एक टीम (DS@GT) द्वारा लिखा गया यह पेपर एक हालिया प्रतियोगिता टौचे 2025 (Touché 2025) में गहराई से उतरता है, जहाँ लक्ष्य एक रोबोट डिबेटर बनाना था। टीम ने एक ऐसा सिस्टम बनाया जो बहस के जवाब देने और उन्हें ग्रेड करने के लिए छह अलग-अलग "सुपर-ब्रेन" (लार्ज लैंग्वेज मॉडल्स) का उपयोग करता है। उन्होंने पाया कि ये सुपर-ब्रेन वास्तव में बेहतरीन तर्क उत्पन्न करने में सक्षम हैं, विशेष रूप से तब जब वे पहले तथ्यों को खोज सकते हैं। हालाँकि, असली आश्चर्य तब आया जब उन्होंने इन एआई ब्रेंस को जज के रूप में इस्तेमाल करने की कोशिश की। शोधकर्ताओं ने पाया कि हालांकि एआई जज अक्सर एक-दूसरे से सहमत होते हैं, लेकिन उनका यह समझौता एक जाल है। यह एक ही घर में पले-बढ़े जुड़वा बच्चों से एक टेस्ट को ग्रेड करने के लिए पूछने जैसा है; वे एक ही स्कोर दे सकते हैं क्योंकि वे एक ही तरह से सोचते हैं, इसलिए नहीं कि वे वस्तुनिष्ठ रूप से सही हैं।
टीम ने सिमुलेशन चलाए जहाँ उनके एआई डिबेटर इस विषय पर बहस करते थे कि क्या पृथ्वी चपटी है। उन्होंने पाया कि एआई जज कुछ नियमों (जैसे प्रासंगिकता) के प्रति बहुत सख्त थे लेकिन अन्य (जैसे विनम्रता) पर आश्चर्यजनक रूप से उदार थे। सबसे चौंकाने वाली खोज क्वालिटी (गुणवत्ता) के बारे में थी। एआई जज अक्सर इस बात पर सहमत होते थे कि एक तर्क "उच्च गुणवत्ता" का है और उसे उच्च स्कोर देते थे, लेकिन जब मानव आयोजकों ने आधिकारिक उत्तरों की जाँच की, तो एआई अक्सर गलत निकला। एआई जज उन तर्कों से धोखा खा गए जो सुनने में प्रभावशाली लगते थे लेकिन वास्तव में तथ्यात्मक रूप से कमजोर थे। पेपर सुझाव देता है कि सिर्फ इसलिए कि कई एआई मॉडल एक स्कोर पर सहमत होते हैं, इसका मतलब यह नहीं है कि वह स्कोर विश्वसनीय है, खासकर जब यह जाँचने की बात आती है कि तथ्य कितने सत्य हैं। संक्षेप में, एआई जज यह पहचानने में माहिर हैं कि एक वाक्य अच्छी तरह से लिखा गया है या नहीं, लेकिन वे यह पहचानने में सक्षम नहीं हैं कि वाक्य वास्तव में सत्य है या नहीं, और वे गलत कारणों से एक-दूसरे से सहमत होते हैं।
रोबोट डिबेटर्स की कहानी
शोधकर्ताओं ने एक बहस के लिए एक डिजिटल अरी (arena) तैयार की। एक तरफ, एक सिम्युलेटेड मानव उपयोगकर्ता दावा कर रहा था। दूसरी ओर, DS@GT टीम के एआई सिस्टम को प्रतिक्रिया देनी थी। लेकिन यह केवल एक चैट नहीं थी; यह एक रिट्रीवल-ऑगमेंटेड डिबेट थी। बोलने से पहले, एआई को एक डिजिटल लाइब्रेरी (तर्कों का डेटाबेस) में जाने और अपने बिंदु का समर्थन करने के लिए शीर्ष दस साक्ष्य निकालने के लिए मजबूर किया गया था। यह "RAG" वाला हिस्सा है: एआई केवल अनुमान नहीं लगा सकता था; उसे सबूत पेश करने ही थे।
टीम ने तीन कंपनियों—OpenAI, Google, और Anthropic—से छह अलग-अलग "फ्रंटियर" मॉडल्स का उपयोग किया। उन्होंने उन्हें gpt-4.1, gemini-2.5-pro, और claude-opus-4 जैसे नाम दिए। इन मॉडल्स को एक विशिष्ट कार्य दिया गया था: उपयोगकर्ता के तर्क पर प्रतिक्रिया उत्पन्न करना। टीम ने फिर इन प्रतिक्रियाओं को लिया और उन्हीं मॉडल्स (और अन्यों) से जज के रूप में कार्य करने को कहा। जजों को चार नियमों के आधार पर स्कोर करना था:
- क्वांटिटी (मात्रा): क्या उन्होंने पर्याप्त कहा, लेकिन बहुत अधिक नहीं?
- क्वालिटी (गुणवत्ता): क्या यह सत्य और साक्ष्यों द्वारा समर्थित था?
- रिलेशन (संबंध): क्या यह विषय पर केंद्रित रहा?
- मैनर (तरीका): क्या यह स्पष्ट और विनम्र था?
"जुड़वा" समस्या
यहीं से कहानी दिलचस्प हो जाती है। शोधकर्ता जानना चाहते थे: "यदि ये सभी एआई जज एक ही स्कोर देते हैं, तो क्या हम उस स्कोर पर भरोसा कर सकते हैं?" उन्होंने 100 अलग-अलग बहस के विषयों और हजारों टर्नों को शामिल करते हुए एक विशाल सिमुलेशन चलाया।
सबसे पहले, उन्होंने देखा कि एआई मॉडल्स ने डिबेटर के रूप में कैसा प्रदर्शन किया। परिणाम प्रभावशाली थे। जिन मॉडल्स ने "पहले तथ्य खोजने" की रणनीति का उपयोग किया, उन्होंने बहुत अच्छा प्रदर्शन किया। उदाहरण के लिए, gpt-4.1 मॉडल बातचीत के नियमों का पालन करने के लिए औसतन 0.70 का स्कोर प्राप्त करने में सफल रहा, जो प्रतियोगिता में सबसे अधिक में से एक था। इसने दिखाया कि एआई को लाइब्रेरी तक पहुँच देना उसे बेहतर बहस करने में मदद करता है।
लेकिन फिर, उन्होंने एआई मॉडल्स को जज के रूप में देखा। उन्होंने पूछा: "क्या ये जज एक-दूसरे से सहमत हैं?" उत्तर स्पष्ट रूप से हाँ था, लेकिन एक शर्त के साथ। एक ही कंपनी के जज (जैसे Google के दो मॉडल या Anthropic के दो मॉडल) लगभग पूरी तरह से एक-दूसरे से सहमत थे। उदाहरण के लिए, दोनों Anthropic जजों का सभी नियमों में 0.844 का सहसंबंध (correlation) था। यह दो जुड़वा बच्चों द्वारा एक पहेली को पूरा करने और यह कहने जैसा है कि, "हम दोनों सोचते हैं कि आकाश नीला है," इसलिए नहीं कि उन्होंने आकाश को देखा, बल्कि इसलिए क्योंकि उनका मस्तिष्क एक ही तरह से काम करता है।
शोधकर्ताओं ने महसूस किया कि यह उच्च सहमति भ्रामक थी। उन्होंने एआई जजों के स्कोर की तुलना मानव आयोजकों द्वारा दिए गए आधिकारिक स्कोर से की। परिणाम एक बेमेल (mismatch) थे।
- क्वांटिटी और रिलेशन के लिए, एआई जजों की सहमति मानव स्कोर के काफी करीब थी।
- लेकिन क्वालिटी के लिए, अंतर बहुत बड़ा था। एआई जजों ने प्रतिक्रियाओं को शानदार माना (उच्च स्कोर दिया), लेकिन मानव आयोजकों ने उन्हें बहुत कम स्कोर दिया। आधिकारिक परिणामों में,
gpt-4.1का क्वालिटी स्कोर केवल 0.17 था, जिसका अर्थ है कि यह अधिकांश समय तथ्यात्मक रूप से सही तर्क देने में विफल रहा। फिर भी, एआई जजों ने इसे उच्च अंक दिए थे।
"वीक सुपरविजन" प्रयोग
टीम ने इस समस्या को ठीक करने की कोशिश की। उन्होंने सोचा, "क्या होगा अगर हम कुछ 'कमजोर' जजों को शामिल करें?" उन्होंने कुछ छोटे, ओपन-सोर्स मॉडल्स (जैसे SINAI नामक दूसरी टीम द्वारा उपयोग किए गए LLaMA-8B मॉडल्स) और कुछ सरल कंप्यूटर नियमों (जैसे शब्द की लंबाई गिनना) को जोड़ा ताकि वे "जुड़वा" सहमति को तोड़ सकें।
उन्होंने सभी अलग-अलग विचारों को संयोजित करने के लिए वीक सुपरविजन (weak supervision) नामक एक सांख्यिकीय तकनीक का उपयोग किया। उन्हें उम्मीद थी कि अलग तरह से सोचने वाले जजों को जोड़कर, वे अधिक सटीक स्कोर प्राप्त कर सकेंगे।
- जब उन्होंने कमजोर जजों को जोड़ा, तो रैंकिंग थोड़ी बदल गई।
- हालाँकि, एआई जजों के "सर्वसम्मति" और मानव "आधिकारिक स्कोर" के बीच सहसंबंध कम ही रहा। क्वालिटी मेट्रिक के लिए, सहसंबंध (विस्तारित पूल के साथ) केवल 0.224 (डिपेंडेंसी-अवेयर मॉडल के साथ 0.286) था।
इसका अर्थ यह है कि भले ही उन्होंने चीजों को मिलाने की कोशिश की, एआई जज अभी भी विश्वसनीय रूप से यह अनुमान नहीं लगा सके कि मानव क्या सोचेंगे कि एक "अच्छा" तर्क है। यह दर्शाता है कि एआई जज शैली (क्या वाक्य सुचारू है? क्या यह विनम्र है?) को पहचानने में बहुत अच्छे हैं, लेकिन सार (क्या तथ्य सत्य है?) को पहचानने में खराब हैं।
मुख्य निष्कर्ष
पेपर उन लोगों के लिए एक चेतावनी के साथ समाप्त होता है जो एआई डिबेटर बना रहे हैं। सिर्फ इसलिए कि सुपर-स्मार्ट एआई मॉडल्स का एक समूह इस बात पर सहमत है कि एक तर्क "अच्छा" है, इसका मतलब यह नहीं है। वे केवल इसलिए सहमत हो सकते हैं क्योंकि उन्हें समान डेटा पर प्रशिक्षित किया गया है और वे समान पूर्वाग्रह साझा करते हैं। यह क्वालिटी के मामले में विशेष रूप से सच है। एआई मॉडल्स को एक ऐसे जवाब से धोखा दिया जा सकता है जो आत्मविश्वास से भरा और सुव्यवस्थित लगता है, लेकिन वास्तव में झूठ या मनगढ़ंत तथ्यों से भरा होता है।
लेखक सुझाव देते हैं कि भविष्य में, हम केवल एआई पर एआई को ग्रेड करने के लिए निर्भर नहीं रह सकते। हमें अधिक विशिष्ट होना होगा। एआई से "क्या यह एक अच्छा तर्क है?" पूछने के बजाय, हमें अलग-अलग पूछना चाहिए, "क्या यह तथ्य सत्य है?" और "क्या यह साक्ष्य वास्तविक है?" जब तक हम ऐसा नहीं कर सकते, तब तक एआई जजों की "सर्वसम्मति" एक कमरे में लोगों के एक साथ सिर हिलाने जैसा है—वे सभी गलत हो सकते हैं, और वे सभी एक ही कारण से गलत हो सकते हैं। पेपर यह दावा नहीं करता है कि उसने इसे हल कर लिया है, लेकिन यह इस समस्या पर एक उज्ज्वल प्रकाश डालता है, जो हमें दिखाता है कि विश्वसनीय एआई बहस का मार्ग केवल एआई से खुद को ग्रेड करने के लिए कहने से कहीं अधिक कठिन है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।