Hallucinations on the Board: Tool-Augmented Evaluation of LLM Chess Commentary
यह शोध पत्र ACT-Eval प्रस्तुत करता है, जो एक टूल-संवर्धित मूल्यांकन ढांचा है जो तथ्यात्मक शुद्धता और रणनीतिक कवरेज का आकलन करने के लिए शतरंज की कमेंट्री को परमाणु दावों (atomic claims) में विभाजित करता है, जिससे यह पता चलता है कि हालांकि टूल एकीकरण बड़े भाषा मॉडलों में मतिभ्रम (hallucinations) को कम करता है, फिर भी प्रोप्रायटरी और ओपन-वेट दोनों मॉडलों में विशेषज्ञ-स्तरीय रणनीतिक स्पष्टीकरण के बीच महत्वपूर्ण अंतराल बने हुए हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को शतरंज का खेल खेलना सिखाने की कोशिश कर रहे हैं। आपके पास दो शक्तिशाली उपकरण उपलब्ध हैं। पहला, एक "सुपर-इंजन" है, जो एक ऐसी मशीन है जो प्रति सेकंड लाखों चालें गणना कर सकती है और किसी भी स्थिति के लिए गणितीय रूप से सटीक चाल जानती है। यह एक प्रतिभाशाली गणितज्ञ की तरह है जो किसी पहेली को तुरंत हल कर सकता है लेकिन केवल ठंडे, कठोर अंकों में बात करता है। दूसरा, एक "स्टोरीटेलर" (कथावाचक) है, जो एक लार्ज लैंग्वेज मॉडल (LLM) है। यह एक ऐसा रोबोट है जो इंसानों द्वारा समझी जाने वाली भाषा में लिखने, बोलने और समझाने में अविश्वसनीय रूप से कुशल है। यह युद्ध के बारे में एक रोमांचक कहानी सुना सकता है, लेकिन यह कभी-कभी मनगढ़ंत बातें बनाता है क्योंकि यह वास्तव में शतरंज के बोर्ड को "देखता" नहीं है; यह बस उन शब्दों का अनुमान लगाता है जो आमतौर पर एक साथ आते हैं।
बड़ा सवाल जो वैज्ञानिक पूछ रहे हैं वह यह है: क्या हम इन दोनों को मिला सकते हैं? क्या हम स्टोरीटेलर को सुपर-इंजन के दिमाग का उपयोग करके एक ऐसी कमेंट्री लिखने की अनुमति दे सकते हैं जो रोमांचक भी हो और 100% सत्य भी? समस्या यह है कि स्टोरीटलर अक्सर "भ्रम" (hallucinations) पैदा करता है—यह आत्मविश्वास के साथ उन खानों पर मोहरों का वर्णन करता है जहाँ वे मौजूद ही नहीं हैं या ऐसी चालों का आविष्कार करता है जो अवैध हैं। अब तक, इन झूठों को पकड़ना हमारे लिए कठिन रहा है। यदि आप एक रोबोट से दूसरे रोबोट की कहानी को ग्रेड करने के लिए कहते हैं, तो ग्रेड करने वाला रोबोट केवल शानदार शब्दों से धोखा खा सकता है, और तथ्यात्मक गलतियों को पूरी तरह से अनदेखा कर सकता है। यह एक ऐसे छात्र से शतरंज के खेल के बारे में कहानी को ग्रेड करने के लिए कहने जैसा है जिसे शतरंज के नियम नहीं पता; वह शानदार लेखन के लिए "A" ग्रेड दे सकता है भले ही छात्र ने एक घोड़े (knight) को पक्षी की तरह उड़ते हुए वर्णित किया हो।
"हैलुसिनेशन्स ऑन द बोर्ड" (Hallucinations on the Board) शीर्षक वाला यह शोध पत्र इन AI कथावाचकों को परखने का एक नया तरीका पेश करता है जिसे ACT-Eval कहा जाता है। शोधकर्ताओं ने एक ऐसी प्रणाली बनाई है जो एक सख्त रेफरी की तरह एक चेकलिस्ट के साथ काम करती है। केवल कहानी को पढ़ने और स्कोर देने के बजाय, ACT-Eval कमेंट्री को छोटे, व्यक्तिगत तथ्यों में तोड़ देता है—जैसे "रानी E4 वर्ग पर है" या "यह चाल शह और मात (checkmate) की धमकी देती है।" फिर, यह प्रत्येक छोटे तथ्य को सत्यापित करने के लिए सुपर-इंजन को भेजता है कि क्या वह वास्तव में बोर्ड पर सच है। यदि कहानी कहती है कि एक मोहरा एक वर्ग पर हमला कर रहा है, तो सिस्टम बोर्ड की जांच करता है कि क्या वह वास्तव में वहां है। यदि कहानी एक महत्वपूर्ण रणनीतिक विचार को छोड़ देती है जिसे एक मानव विशेषज्ञ पहचान लेगा, तो सिस्टम उसे भी चिह्नित कर देता है।
परिणाम थोड़े चौंकाने वाले हैं। शोधकर्ताओं ने पाया कि यहाँ तक कि सबसे स्मार्ट AI मॉडल भी, यदि उन्हें सुपर-इंजन की मदद के बिना अपने हाल पर छोड़ दिया जाए, तो वे तथ्यों को आश्चर्यजनक रूप से गलत बताते हैं। उदाहरण के लिए, एक शीर्ष-स्तरीय मॉडल ने लगभग 22% दावों में तथ्यात्मक गलतियाँ कीं, जबकि छोटे मॉडलों ने 40% से अधिक समय तक गलतियाँ कीं। वे आत्मविश्वास के साथ कह देते थे कि एक मोहरा उस स्थान पर है जहाँ वह नहीं था, या एक खतरे का वर्णन करते थे जो अस्तित्व में ही नहीं था। हालाँकि, जब शोधकर्ताओं ने इन मॉडलों को लिखने से पहले अपने तथ्यों की जाँच करने के लिए सुपर-इंजन टूल्स तक पहुँच दी, तो त्रुटि दर काफी कम हो गई। मॉडल सच्चाई बताने में बहुत बेहतर हो गए।
लेकिन इसमें एक पेच है। जबकि इन उपकरणों ने मॉडलों को तथ्यों के बारे में झूठ बोलने से रोकने में मदद की, लेकिन उन्होंने अनिवार्य रूप से मॉडलों को खेल की "कहानी" समझने में बेहतर नहीं बनाया। इन टूल्स के साथ भी, AI मॉडल अक्सर उन गहरी, चतुर रणनीतिक अवधारणाओं को चूक जाते थे जिन्हें एक मानव ग्रैंडमास्टर पहचान लेगा। वे आपको बता सकते थे कि मोहरे सही जगह पर थे, लेकिन वे यह समझाने में संघर्ष करते थे कि वह चाल इतनी शानदार क्यों थी, ताकि वह पूर्ण लगे। यह शोध पत्र सुझाव देता है कि जबकि हम AI की तथ्यों को जाँचने की क्षमता को ठीक कर सकते हैं, इसे एक चाल के पीछे के "क्यों" को वास्तव में समझने के लिए सिखाना अभी भी एक बहुत कठिन चुनौती है। अध्ययन निष्कर्ष निकालता है कि हमें AI जो कहता है उस पर भरोसा करने के लिए इन टूल-असिस्टेड चेकर्स की आवश्यकता है, लेकिन हमें उनसे अभी मानव विशेषज्ञों को बदलने की उम्मीद नहीं करनी चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।