Beyond Gold Standards: Epistemic Ensemble of LLM Judges for Formal Mathematical Reasoning

गणित की दुनिया में, उन विचारों का वर्णन करने के लिए उपयोग की जाने वाली मानवीय भाषा और कंप्यूटर द्वारा सत्यापन के लिए आवश्यक कठोर, सटीक भाषा के बीच एक निरंतर विभाजन बना रहता है। गणितज्ञ स्वाभाविक भाषा में प्रमाण लिखते हैं, जो सूक्ष्मता और संदर्भ से भरी होती है, जबकि कंप्यूटर को औपचारिक कथनों की आवश्यकता होती है जिनमें अस्पष्टता के लिए कोई स्थान नहीं होता। इस अंतर को पाटना 'ऑटोफॉर्मलाइजेशन' (autoformalization) नामक एक कार्य है, जहाँ कृत्रिम बुद्धिमत्ता (AI) एक मानवीय गणितीय विचार को कंप्यूटर द्वारा जांचे जा सकने वाले कोड जैसे प्रारूप में अनुवाद करने का प्रयास करती है। वर्षों से, यह आशा रही है कि मशीनें न केवल इन अनुवादों को कर सकेंगी, बल्कि अपने काम का स्वयं मूल्यांकन भी कर सकेंगी, जिससे एक स्वचालित रेफरी के रूप में यह सुनिश्चित किया जा सके कि गणित सही है। हालाँकि, इस कार्य की जाँच करना एक कठिन बाधा बना हुआ है। जबकि कंप्यूटर आसानी से पहचान सकते हैं कि कोड की कोई पंक्ति व्याकरणिक रूप से त्रुटिपूर्ण है, वे यह समझने में संघर्ष करते हैं कि क्या अनुवादित विचार वास्तव में मूल मानवीय विचार के समान अर्थ रखता है। मानव विशेषज्ञ यह कर सकते हैं, लेकिन यह प्रक्रिया धीमी, महंगी और जटिल है, और जैसे-जैसे गणितीय समस्याएँ अधिक जटिल होती जाती हैं, इसे बड़े पैमाने पर लागू करना कठिन हो जाता है।

एक नया अध्ययन इस चुनौती का समाधान करते हुए कृत्रिम बुद्धिमत्ता के लिए एक बेहतर 'जज' (न्यायाधीश) बनने का प्रस्ताव देता है। एक एकल बड़े लैंग्वेज मॉडल से किसी अनुवादित गणितीय समस्या पर त्वरित, समग्र ग्रेड देने के बजाय, शोधकर्ताओं ने एक ऐसी प्रणाली विकसित की है जो मूल्यांकन को विशिष्ट, प्रबंधनीय भागों में विभाजित करती है। उन्होंने पाया कि जब AI को विशिष्ट गुणों को देखने के लिए निर्देशित किया जाता है—जैसे कि क्या तार्किक संरचना सुरक्षित रही, क्या गणितीय वस्तुएं सुसंगत थीं, और क्या अंतिम कोड संक्षिप्त था—तो यह एक एकल, व्यापक राय देने की तुलना में बहुत अधिक विश्वसनीय और सटीक मूल्यांकन प्रदान करता है। अध्ययन यह प्रदर्शित करता है कि यह विस्तृत, बहु-चरणीय दृष्टिकोण यहाँ तक कि छोटी और कम शक्तिशाली AI मॉडलों को भी उन बड़े, अधिक जटिल मॉडलों से बेहतर प्रदर्शन करने की अनुमति देता है जो मोटे, सामान्य निर्णयों पर निर्भर करते हैं। मूल्यांकन को स्पष्ट मानदंडों के एक सेट में व्यवस्थित करके, शोधकर्ताओं ने एक स्केलेबल विधि तैयार की है जो हमें एक ऐसे भविष्य के करीब लाती है जहाँ मशीनें बिना निरंतर मानवीय देखरेख के अपने स्वयं के गणितीय तर्क को विश्वसनीय रूप से सत्यापित कर सकेंगी।

समस्या का मूल कारण इन अनुवादों का मूल्यांकन करने का वर्तमान तरीका है। पारंपरिक रूप से, यदि कंप्यूटर 'थ्योरम प्रूवर' का उपयोग करके किसी कथन को सत्य सिद्ध नहीं कर पाता है, तो अनुवाद को विफल माना जाता है। यह बाइनरी पास-ऑर-फेल (pass-or-fail) प्रणाली सभी त्रुटियों के साथ एक जैसा व्यवहार करती है, चाहे वह एक छोटी सी टाइपिंग की गलती हो या गणित की मौलिक गलतफहमी। यह कोई अंतर्दृष्टि नहीं देता कि क्या गलत हुआ या अनुवाद कितना सही होने के करीब था। इसे ठीक करने के लिए, शोधकर्ताओं ने एक ऐसा ढांचा पेश किया जो मूल्यांकन को एक एकल स्कोर के बजाय विशिष्ट विशेषताओं की एक चेकलिस्ट की तरह मानता है। उन्होंने अनुवाद को परखने के लिए चार मुख्य स्तंभ परिभाषित किए: तार्किक संरक्षण (logical preservation), जो यह जाँचता है कि क्या मूल तर्क के चरणों को बरकरार रखा गया है; गणितीय सुसंगतता (mathematical consistency), जो यह सुनिश्चित करता है कि संख्याएँ और संचालन समझ में आने योग्य हैं; औपचारिक गुणवत्ता (formal quality), जो यह देखता है कि कोड कितना स्वच्छ और पठनीय है; और औपचारिक वैधता (formal validity), जो पुष्टि करता है कि कोड कंप्यूटर भाषा के सख्त व्याकरणिक नियमों का पालन करता है।

इस विचार का परीक्षण करने के लिए, टीम ने एक प्रयोग स्थापित किया जहाँ उन्होंने विभिन्न कृत्रिम बुद्धिमत्ता मॉडलों को जज के रूप में कार्य करने के लिए कहा। उन्होंने दो अलग-अलग दृष्टिकोणों की तुलना की। पहले में, एक मॉडल से एक अनुवाद को देखने और उसे एक एकल समग्र स्कोर देने के लिए कहा गया, ठीक वैसे ही जैसे एक शिक्षक निबंध को एक एकल ग्रेड के साथ ग्रेड देता है। दूसरे दृष्टिकोण में, उसी मॉडल से ऊपर वर्णित विशिष्ट स्तंभों के विरुद्ध अनुवाद का मूल्यांकन करने के लिए कहा गया, जिसमें तर्क, सुसंगतता, गुणवत्ता और वैधता के लिए अलग-अलग स्कोर दिए गए। इन व्यक्तिगत स्कोरों को फिर एक अंतिम मूल्यांकन बनाने के लिए जोड़ा गया। शोधकर्ताओं ने दो प्रसिद्ध स्रोतों से गणितीय समस्याओं का एक डेटासेट उपयोग किया, जिसमें मानव-लिखित अनुवाद और विभिन्न AI मॉडलों द्वारा उत्पन्न अनुवाद दोनों शामिल थे। इसके बाद उन्होंने मानव विशेषज्ञों द्वारा दिए गए रैंकिंग के विरुद्ध AI जजों द्वारा बनाई गई रैंकिंग की तुलना की।

परिणाम चौंकाने वाले थे। वह दृष्टिकोण जिसने विस्तृत, बहु-भाग मूल्यांकन का उपयोग किया, उसने एकल-स्कोर पद्धति की तुलना में लगातार बेहतर प्रदर्शन किया। जब AI जजों को अनुवाद के विशिष्ट परमाणु गुणों (atomic properties) को देखने के लिए निर्देशित किया गया, तो उनकी अनुवादों की रैंकिंग मानव विशेषज्ञों की रैंकिंग से बहुत अधिक मेल खाती थी। कई मामलों में, सूक्ष्म-स्तरीय दृष्टिकोण ने यहाँ तक कि छोटे, कम गणनात्मक रूप से महंगे AI मॉडलों को उन बड़े, अधिक शक्तिशाली मॉडलों से बेहतर प्रदर्शन करने की अनुमति दी जो मोटे, एकल-स्कोर पद्धति का उपयोग कर रहे थे। यह सुझाव देता है कि निर्णय लेने वाले के 'मस्तिष्क' के आकार से अधिक मूल्यांकन प्रक्रिया की संरचना मायने रखती है। कार्य को विभाजित करके, मॉडल उन विशिष्ट संकेतों पर ध्यान केंद्रित कर सके जिन्हें वे व्यापक, व्यापक मूल्यांकन में अनदेखा कर सकते थे।

अध्ययन ने यह भी देखा कि उनके AI जज और मानव विशेषज्ञ सोचने के तरीके में कैसे भिन्न थे। त्रुटिपूर्ण अनुवादों का मूल्यांकन करते समय, मानव विशेषज्ञ अनुवाद के विभिन्न पहलुओं को अलग-अलग मुद्दों के रूप में देखते थे; तर्क की समस्या का मतलब यह नहीं था कि कोड खराब तरीके से लिखा गया था। हालाँकि, AI मॉडलों ने अक्सर इन पहलुओं को आपस में जोड़ने की प्रवृत्ति दिखाई, जहाँ एक क्षेत्र में गलती का दूसरे के निर्णय पर प्रभाव पड़ता प्रतीत होता था। सूचना को संसाधित करने के इस अंतर के बावजूद, विस्तृत मूल्यांकन पद्धति ने AI मॉडलों को मानव निर्णय के साथ उनके अंतिम निष्कर्षों को संरेखित करने में मदद की। शोधकर्ताओं ने पाया कि AI जज यह पहचानने में विशेष रूप रूप से कुशल थे कि कब एक अनुवाद व्याकरणिक रूप से वैध लेकिन अर्थ संबंधी (semantic) रूप से गलत था, जो गणितीय तर्क के लिए एक महत्वपूर्ण अंतर है।

सबसे व्यावहारिक निष्कर्षों में से एक यह था कि यह विस्तृत विधि कुशल है। क्योंकि मूल्यांकन को छोटे कार्यों में विभाजित किया गया है, इसलिए अच्छे परिणाम प्राप्त करने के लिए इसे सबसे विशाल और महंगे AI मॉडलों की आवश्यकता नहीं है। शोधकर्ताओं ने दिखाया कि एक छोटा मॉडल, जब इस विशिष्ट सेट ऑफ मानदंडों द्वारा निर्देशित होता है, तो वह बहुत बड़े मॉडलों के बराबर परिणाम प्राप्त कर सकता है। यह महत्वपूर्ण है क्योंकि इसका अर्थ है कि गणितीय तर्क का उच्च-गुणवत्ता वाला मूल्यांकन सुलभ और किफायती हो सकता है, न कि केवल उन लोगों तक सीमित जो सबसे शक्तिशाली कंप्यूटिंग संसाधनों तक पहुँच रखते हैं। यह प्रणाली स्थिर भी सिद्ध हुई; यहाँ तक कि जब AI मॉडलों को उनकी आंतरिक यादृच्छिकता (randomness) में मामूली बदलावों के साथ कई बार चलाया गया, तब भी अंतिम स्कोर सुसंगत रहे, जो सुझाव देता है कि यह विधि मजबूत है।

अंततः, यह कार्य स्वचालित गणितीय तर्क के क्षेत्र में आगे बढ़ने का एक नया मार्ग प्रदान करता है। यह इस विचार से दूर जाता है कि एक एकल, अखंड AI जज सबसे अच्छा समाधान है और इसके बजाय एक अधिक संरचित, समूह-आधारित (ensemble) दृष्टिकोण को अपनाता है। एक अच्छे अनुवाद के लिए स्पष्ट, व्याख्या योग्य मानदंड परिभाषित करके, शोधकर्ताओं ने एक ऐसी प्रणाली बनाई है जो न केवल अधिक सटीक है, बल्कि अधिक पारदर्शी भी है। हम देख सकते हैं कि एक अनुवाद को उच्च या निम्न रेटिंग क्यों दी गई, बजाय इसके कि हमें केवल एक 'ब्लैक-बॉक्स' स्कोर प्राप्त हो। यह स्पष्टता स्वचालित प्रणालियों में विश्वास बनाने और गणितज्ञों एवं कंप्यूटर वैज्ञानिकों को तेजी से जटिल समस्याओं को हल करने में मदद करने के लिए आवश्यक है। अध्ययन बताता है कि मशीन तर्क के मूल्यांकन का भविष्य जजों को बड़ा बनाने में नहीं, बल्कि उनके द्वारा पूछे जाने वाले प्रश्नों को अधिक सटीक बनाने में निहित है।