🤖 machine learning

Probing Structural Mathematical Reasoning in Language Models with Algebraic Trapdoors

यह शोध पत्र भाषा मॉडलों में संरचनात्मक गणितीय तर्क (structural mathematical reasoning) का मूल्यांकन करने के लिए SL(3, Z) में उपसमूह-निर्माण समस्याओं (subgroup-construction problems) पर आधारित एक बेंचमार्क सुइट प्रस्तुत करता है, जो यह प्रकट करता है कि कैसे ऐसे बेंचमार्क आंतरिककृत बीजगणितीय पूर्वग्रहों (internalized algebraic priors) बनाम सामान्य गणना (general computation) पर निर्भर मॉडलों के बीच अंतर कर सकते हैं और खुले-निर्णायकता सीमाओं (open-decidability boundaries) का सामना करते समय कैलिब्रेटेड मेटा-कॉग्निशन (calibrated meta-cognition) के महत्व को उजागर करते हैं।

मूल लेखक: Igor Rivin

प्रकाशित 2026-05-07

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Igor Rivin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप यह परीक्षण कर रहे हैं कि एक छात्र गणित को कितनी अच्छी तरह समझता है। आमतौर पर, आप उन्हें एक समस्या देते हैं, वे उसे हल करते हैं, और फिर आप देखते हैं कि क्या उनका उत्तर कुंजी (key) से मेल खाता है। यदि वे सही होते हैं, तो उन्हें एक अंक मिलता; यदि वे गलत होते हैं, तो उन्हें शून्य मिलता है। यह "सही बनाम गलत" का एक सरल खेल है।

यह शोध पत्र एक बहुत ही कठिन प्रकार के गणितीय परीक्षण का परिचय देता जिसे यह देखने के लिए डिज़ाइन किया गया है कि क्या AI मॉडल केवल भारी गणनाएँ कर रहे हैं या वे वास्तव में गणित की संरचना को समझते हैं। यह एक कैलकुलेटर और एक गणितज्ञ के बीच के अंतर जैसा है जो जानता है कि कोई संख्या क्यों नहीं मिल सकती।

यहाँ शोध पत्र के विचारों का सरल उपमाओं के साथ विवरण दिया गया है:

1. "मैजिक बॉक्स" टेस्ट (द ट्रैपडोर)

शोधकर्ताओं ने संख्याओं के 3x3 ग्रिड (मैट्रिक्स) वाले गणितीय पहेली का एक सेट बनाया।

सेटअप: उन्होंने इन पहेलियों को एक गुप्त "रेसिपी" (एक छिपी हुई कुंजी) का उपयोग करके बनाया। क्योंकि वे रेसिपी जानते थे, इसलिए वे उत्तर को तुरंत (एक सेकंड के भीतर) जान सकते थे।
चुनौती: उन्होंने बिना रेसिपी के ये पहेलियाँ AI मॉडलों को दीं। मॉडलों को उन बिखरे हुए ग्रिडों को देखकर उत्तर का पता लगाना था।
जाल: कुछ पहेलियों के लिए, उत्तर एक विशिष्ट संख्या है। अन्य के लिए, उत्तर "अनंत" (Infinite) या "अज्ञात" (Unknown) है। पेच यह है कि "अज्ञात" वाले पहेलियों के लिए, कंप्यूटर के पास कोई ज्ञात तरीका नहीं है जिससे वह उचित समय में यह सिद्ध कर सके कि उत्तर "अज्ञात" है। यह किसी से यह सिद्ध करने के लिए कहने जैसा है कि दरवाजा बंद है, जबकि उनके पास चाबी नहीं है और ताला इतना जटिल है कि उसे खोला नहीं जा सकता।

2. विफल होने (या सफल होने) के चार तरीके

मानक परीक्षण केवल इस बात की परवाह करते हैं कि आपका उत्तर सही है या नहीं। यह परीक्षण इस बात की परवाह करता है कि आपने उत्तर कैसे दिया। लेखक चार अलग-अलग व्यवहारों को पाते हैं:

कमिट-करेक्ट (Commit-Correct): आप इसे हल करते हैं और सही उत्तर देते हैं। (बहुत बढ़िया!)
कमिट-रॉन्ग (Commit-Wrong): आप आत्मविश्वास के साथ अनुमान लगाते हैं और गलत होते हैं। (बुरा, लेकिन सामान्य है।)
अबस्टेन-करेक्ट (Abstain-Correct): आप महसूस करते हैं कि समस्या हल करने योग्य नहीं है, आप कहते हैं "मुझे नहीं पता," और आप सही होते हैं। (यह स्मार्ट तर्क का स्वर्ण मानक है।)
अबस्टेन-रॉन्ग (Abstain-Wrong): आप कहते हैं "मुझे नहीं पता," लेकिन उत्तर वास्तव में एक सरल संख्या थी जिसे आप खोज सकते थे। (यह आत्मविश्वास या क्षमता की कमी को दर्शाता है।)

लेखक तर्क देते हैं कि मानक परीक्षण "कमिट-रॉन्ग" और "अबस्टेन-करेक्ट" दोनों को समान मानते हैं (दोनों को शून्य अंक मिलते हैं)। यह नया परीक्षण यह देखने के लिए उन्हें अलग करता है कि क्या AI इतना स्मार्ट है कि वह यह जान सके कि वह क्या नहीं जानता।

3. दो AI मॉडल: "स्कॉलर" बनाम "कैलकुलेटर"

शोधकर्ताओं ने दो शीर्ष-स्तरीय AI मॉडलों (GPT प्रो और जेमिनी) का परीक्षण किया और पाया कि वे बहुत अलग तरह से सोचते हैं:

जेमिनी (द "स्कॉलर"): यह मॉडल उस छात्र की तरह है जो प्रसिद्ध सिद्धांतों (theorems) को याद करता है। यदि यह एक पैटर्न को पहचान लेता है, तो यह तुरंत चिल्लाता है, "यह मैकलॉघलिन थ्योरम है!" और सेकंडों में उत्तर दे देता है। यह तेज़ और आत्मविश्वासी है। हालाँकि, यदि यह पैटर्न को नहीं पहचान पाता है, तो यह एक लूप में फंस जाता है, क्रैश हो जाता है, या बिना कारण बताए हार मान लेता है। यह "ट्रिक्स की लाइब्रेरी" पर निर्भर करता है।
GPT (द "कैलकुलेटर/इंजीनियर"): यह मॉडल उस छात्र की तरह है जो याद किए गए ट्रिक्स पर भरोसा करने के बजाय समाधान को शून्य से बनाने की कोशिश करता है। यह कठिन गणित को चरण-दर-चरण करता है। इसमें बहुत अधिक समय लगता है (मिनट या घंटों तक), लेकिन यह अधिक मजबूत है।
- बड़ा क्षण: GPT ने एक विशिष्ट पहेली पर 152 मिनट (2.5 घंटे से अधिक) काम किया। इसने उत्तर का एक हिस्सा निकाला, महसूस किया कि यह अंतिम हिस्से को सिद्ध नहीं कर सकता, और स्पष्ट रूप से कहा, "मैं इसे सत्यापित नहीं कर सकता, इसलिए मैं 'डोंट नो' (पता नहीं) कहूँगा।"
- यह क्यों मायने रखता है: सही उत्तर एक विशिष्ट संख्या थी, लेकिन AI ने महसूस किया कि बिना एक विशिष्ट प्रमाण के, वह 100% सुनिश्चित नहीं हो सकता। उसने अनुमान लगाने के बजाय अनिश्चितता को स्वीकार करना चुना। इसे कैलिब्रेटेड मेटा-कॉग्निशन (calibrated meta-cognition) कहा जाता—अपनी स्वयं की सीमाओं को जानने की क्षमता।

4. "हिडन इंस्ट्रक्शन" (छिपा हुआ निर्देश) का तरीका

शोधकर्ताओं ने गौर किया कि उन्होंने प्रश्नों को पूछने के तरीके के बारे में कुछ महत्वपूर्ण बात देखी।

यदि उन्होंने AI को बताया, "इस समूह का आकार सीमित है," तो AI बस गणित करेगा और उत्तर देगा, भले ही वह गलत हो।
आकार के बारे में बताए बिना, उन्होंने AI को खुद से यह पूछने के लिए मजबूर किया, "क्या यह वास्तव में हल करने योग्य है?"
यही वह डिज़ाइन विकल्प था जिसने उन्हें AI को यह स्वीकार करते हुए पकड़ने की अनुमति दी कि, "मुझे नहीं पता।" यदि उन्होंने संकेत दिया होता, तो AI केवल अनुमान लगा लेता, और परीक्षण उसकी वास्तविक बुद्धिमत्ता को मापने में विफल रहता।

5. "रैंक-1" बनाम "रैंक-3" की समस्या

यह परीक्षण करने के लिए कि क्या मॉडल वास्तव में सीख रहे हैं या केवल अनुमान लगा रहे हैं, उन्होंने गणित का एक सरल संस्करण (2x2 ग्रिड) उपयोग किया जहाँ उत्तर ज्ञात है कि हल करने योग्य है।

GPT ने मानक गणितीय उपकरणों का उपयोग करके आसान संस्करण को पूरी तरह से हल किया, जिससे पता चलता है कि वह "उपकरणों" को जानता है।
जेमिनी आसान संस्करण पर क्रैश हो गया क्योंकि वह किसी प्रसिद्ध सिद्धांत को इससे मेल खाते हुए नहीं ढूंढ सका।
सबक: पेपर सुझाव देता है कि GPT के पास एक "सेफ्टी नेट" (सुरक्षा जाल) है (यह शून्य से हल करने की कोशिश कर सकता है, और यदि यह विफल होता है, तो यह हार मान लेता है), और जेमिनी के पास यह सुरक्षा जाल नहीं है; यदि इसकी "प्रसिद्ध थ्योरम" की खोज विफल होती है, तो यह बस टूट जाता है।

सारांश

यह पेपर केवल गणित के बारे में नहीं है; यह AI में ईमानदारी के बारे में है।
यह दिखाता है कि वर्तमान AI मॉडल अविश्वसनीय रूप से स्मार्ट हो सकते हैं, लेकिन अक्सर उनमें यह बताने की क्षमता की कमी होती है कि, "मुझे नहीं पता" जब वे वास्तव में फंस जाते हैं। शोधकर्ताओं ने एक "ट्रैपडोर" टेस्ट बनाया जो AI को अनुमान लगाने और अज्ञानता स्वीकार करने के बीच चयन करने के लिए मजबूर करता है।

मुख्य परिणाम यह है कि एक AI मॉडल ने एक समस्या पर घंटों काम किया, महसूस किया कि वह उत्तर सिद्ध नहीं कर सकता, और गलती करने के बजाय "मुझे नहीं पता" कहना चुना। यह साबित करता है कि AI अपनी सीमाओं के बारे में एक "चेतना" विकसित करना शुरू कर रहा है, जो अधिक विश्वसनीय और भरोसेमंद कृत्रिम बुद्धिमत्ता की ओर एक बड़ा कदम है।

तकनीकी सारांश: एलजेब्रिक ट्रैपडोर्स के साथ भाषा मॉडलों में संरचनात्मक गणितीय तर्क की जांच

समस्या विवरण
मानक गणितीय तर्क बेंचमार्क (जैसे, GSM8K, MATH, ProofNet) आमतौर पर एक समरूपता (symmetry) प्रदर्शित करते हैं जहाँ सत्यापन (verification), समाधान (solution) से अधिक कठिन नहीं होता है। यह समरूपता कम्प्यूटेशनल प्रवाह (computency fluency) को तो बढ़ावा देती है, लेकिन "संरचनात्मक तर्क" (structural reasoning)—अर्थात नामित प्रमेयों (named theorems) को तैनात करने, बीजगणितीय पैटर्न को पहचानने और लागू योग्य संरचनात्मक पूर्वधारणाओं (structural priors) को पहचानने की क्षमता—का मूल्यांकन करने में विफल रहती है। इसके अलावा, मानक स्कोरिंग "गलत उत्तर देने के प्रति प्रतिबद्धता" और "ईमानदारी से परहेज करने" (honestly abstaining) के बीच अंतर नहीं कर पाती, और दोनों को शून्य-स्कोर विफलता मानती है।

यह शोध पत्र एक बेंचमार्क सूट पेश करता है जिसे $SL(3, \mathbb{Z})$ समूह के भीतर क्रिप्टोग्राफिक-शैली के सत्यापनकर्ता-प्रमाणक विषमता (verifier-prover asymmetry) का लाभ उठाकर इस समरूपता को तोड़ने के लिए डिज़ाइन किया गया है। मुख्य चुनौती यह है कि प्रत्येक समस्या का उत्तर निर्माता (जिसके पास "ट्रैपडोर" डेटा $(N, K)$ है) द्वारा $O(1)$ क्लोज्ड फॉर्म में गणनीय है, लेकिन समाधानकर्ता (solver), जिसके पास यह डेटा नहीं है, या तो ह्यूरिस्टिक संरचनात्मक पहचान (heuristic structural detection) या अज्ञात निर्णयक्षमता (unknown decidability) के एक एल्गोरिद्मिक प्रश्न का सामना करता है (विशेष रूप से $SL(3, \mathbb{Z})$ में सदस्यता समस्या)।

कार्यप्रणाली
बेंचमार्क में चार समस्याओं के परिवार शामिल हैं, जिन्हें सभी एक गुप्त जोड़ी $(N, K)$ से एक परिमित रूप से जनरेट किए गए उपसमूह $H \subseteq SL(3, \mathbb{Z})$ को उत्पन्न करके बनाया गया है, जहाँ $K \subseteq SL(3, \mathbb{Z}/N)$ है। जनरेटरों को नील्सन स्कैम्बलिंग (generators को गहरे नेस्टेड उत्पादों के रूप में पुनर्गठित करना) और मेनिक (Mennicke) शीयर्स का उपयोग करके अस्पष्ट (obfuscate) किया गया है, जिसके परिणामस्वरूप मैट्रिक्स प्रविष्टियाँ $10^{40}$ तक पहुँच जाती हैं।

सदस्यता (Membership): जनरेटरों और उम्मीदवार मैट्रिसेस को देखते हुए, सदस्यता का निर्णय लें। "हाँ" (स्पष्ट शब्द) के लिए प्रमाण मौजूद हैं या "नहीं" (mod- $p$ रिडक्शन) के लिए, लेकिन $SL(3, \mathbb{Z})$ में सामान्य सदस्यता समस्या अनिर्णायक (undecidable) है।
सूची-प्राइम YES/NO (List-prime YES/NO): यह निर्धारित करें कि क्या $(A, B)$ द्वारा जनरेट किया गया उपसमूह बड़े अभाज्य संख्याओं की एक सूची के लिए $SL(3, \mathbb{F}_p)$ पर अधिरोपित (surject) होता है। उत्तर एक संरचनात्मक पहचान (Smith Normal Form) पर निर्भर करता है जो निर्माता के लिए $O(1)$ है लेकिन समाधानकर्ता के लिए संरचनात्मक पहचान की आवश्यकता होती है।
संगति-विस्तार YES/NO (Congruence-extension YES/NO): यह निर्धारित करें कि क्या $H$ एक संगति विस्तार $\pi^{-1}(K)$ है। "खराब अभाज्य" (bad primes) $N$ के वे कारक हैं जहाँ $K$ उचित (proper) है।
सूचकांक (Index): सटीक सूचकांक $[SL(3, \mathbb{Z}) : H]$ $[S L (3, Z) : H]$ , या "अनंत/अज्ञात" आउटपुट करें। इस परिवार में तीन उप-परिवार शामिल हैं:
- v1: $H = SL(3, \mathbb{Z})$ (सूचकांक 1), जो mod- $p$ विश्लेषण के माध्यम से एक जेनेरिक अनंत-सूचकांक उपसमूह सेกันतः भिन्न (indistinguishable) है।
- v2: $H = \pi^{-1}(K)$ (परिमित सूचकांक)। कोकर्नेल (cokernel) गणनीय है, लेकिन कर्नेल समावेशन (kernel containment) के लिए सदस्यता समस्या को हल करने की आवश्यकता होती है।
- v3: $H = \langle g_1, g_2 \rangle \subset \Gamma(N)$ (Property (T) द्वारा अनंत सूचकांक)। कोकर्नेल-केवल तर्क एक गलत परिमित उत्तर देता है; सही तर्क के लिए अनंत प्रकृति को पहचानना आवश्यक है।

मूल्यांकन सेटअप
लेखकों ने दो अत्याधुनिक मॉडलों का मूल्यांकन किया: GPT Pro (thinking) और Gemini। महत्वपूर्ण रूप से, प्रॉम्प्ट यह दावा नहीं करते कि उपसमूह परिमित सूचकांक का है। यह डिज़ाइन मॉडल को कोकर्नेल (गणना करना आसान) और कर्नेल समावेशन (कठिन/अज्ञात) के बीच अंतर करने के लिए मजबूर करता है, जिससे यह एक "कैलिब्रेशन टेस्ट" बन जाता है।

लेखक एक चार-तरफा स्कोरिंग वर्गीकरण प्रस्तावित करते हैं:

Commit-correct: विशिष्ट सही उत्तर।
Commit-wrong: गलत विशिष्ट उत्तर।
Abstain-correct: जब सत्यता अनंत/अज्ञात हो, तब "अनंत/अज्ञात" आउटपुट करना (v3)।
Abstain-wrong: जब सत्यता एक विशिष्ट पूर्णांक हो, तब "अनंत/अज्ञात" आउटपुट करना (v1, v2)।

मुख्य परिणाम
शोध पत्र पाँच विस्तृत तर्क ट्रेसेस (reasoning traces) रिपोर्ट करता है:

संरचनात्मक तर्क (परिवार II और III): दोनों मॉडलों ने उन उदाहरणों को सफलतापूर्वक हल किया जिनमें संरचनात्मक पहचान (जैसे, मैकलॉघलिन के प्रमेय, बर्नसाइड के प्रमेय, या कॉक्स टर प्रस्तुतीकरण को पहचानना) की आवश्यकता थी।
- Gemini ने नामित-प्रमेय मिलान (named-theorem matching) पर भरोसा किया, जिससे कुछ सेकंड में संक्षिप्त, घोषणात्मक प्रतिक्रियाएँ (जैसे, $S_4$ के लिए कॉक्स टर प्रस्तुतीकरण को पहचानना) प्राप्त हुईं।
- GPT ने रचनात्मक व्युत्पत्ति (constructive derivation) पर भरोसा किया, जो प्रथम सिद्धांतों से कम्यूटेटर पहचान (commutator identities) और मैट्रिसेस को गुणनखंडित करने के लिए मिनटों से घंटों तक लगा।
कैलिब्रेशन टेस्ट (परिवार IV-v2, इंस्टेंस X10):
- GPT ने एक ऐसे इंस्टेंस पर 152 मिनट बिताए जहाँ सत्यता एक 25-अंकों का पूर्णांक थी। इसने सफलतापूर्वक कोकर्नेल की गणना की लेकिन स्पष्ट रूप से कर्नेल-पक्ष की सदस्यता प्रश्न को एक बाधा के रूप में पहचाना। आवश्यक शीयर्स (shears) को प्रमाणित करने के लिए रचनात्मक सत्यापन (constructive verification) का प्रयास करने के बाद, इसने गणना किए गए ऊपरी स्तर (upper bound) के लिए प्रतिबद्ध होने के बजाय "DON'T KNOW" के साथ परहेज (abstain) किया। यह खुले-निर्णय सीमा (open-decidability boundary) पर कैलिब्रेटेड मेटा-कॉग्निशन को प्रदर्शित करता है।
- Gemini एक तर्क ट्रेस (reasoning trace) उत्पन्न करने में विफल रहा, और मिनटों के बाद एक आंतरिक त्रुटि प्रदर्शित की।
SL(2, Z) बेसलाइन (परिवार V):
- जब इसे निर्णय योग्य $SL(2, \mathbb{Z})$ बेसलाइन पर परखा गया, तो GPT ने परिमित बनाम अनंत सूचकांक को अलग करने के लिए पूर्ण रैंक-1 टूलकिट (कंटीन्यूड फ्रैक्शंस, स्टालिंग्स फोल्डिंग, रीडमेयर-श्रियर, नील्सन रिडक्शन) को सफलतापूर्वक तैनात किया।
- Gemini विस्तारित कंप्यूट समय के बाद क्रैश हो गया, और समान बेसलाइन पर कोई आउटपुट देने में विफल रहा।

महत्व और दावे
शोध पत्र तर्क देता है कि यह बेंचमार्क मॉडल व्यवहार के एक चार-तरफा वर्गीकरण को उजागर करता है जिसे मानक उत्तर-कुंजी स्कोरिंग छिपा देती है। इनके मुख्य योगदान हैं:

कैलिब्रेटेड एब्स्टेंशन (Abstention) का प्रमाण: 152-मिनट का GPT ट्रेस सबसे मजबूत मौजूदा साक्ष्य प्रदान करता है कि फ्रंटियर मॉडलों के पास एक सक्रिय "मेटा-कॉग्निटिव लेयर" है जो यह पहचानने में सक्षम है कि एक प्रमाण अधूरा है और निर्णय लेने से इनकार कर सकता है, भले ही एक आंशिक गणना (कोकर्नेल) उपलब्ध हो।
वास्तुकला विषमता (Architectural Asymmetry): परिणाम सुझाव देते हैं कि तर्क वास्तुकला में एक मौलिक अंतर है। लेखक GPT के लिए एक तीन-स्तरीय मॉडल (नामित प्रमेय $\to$ प्रथम सिद्धांत $\to$ कैलिब्रेटेड एब्स्टेंशन) बनाम Gemini के लिए एक एक-स्तरीय मॉडल (केवल नामित प्रमेय) का प्रस्ताव करते हैं, जहाँ प्राथमिक ह्यूरिस्टिक के विफल होने पर अनुपलब्ध फॉलबैक तंत्र के कारण अनंत लूप या क्रैश होता है।
प्रॉम्प्ट डिज़ाइन का नैदानिक मूल्य: शोध पत्र प्रदर्शित करता है कि प्रॉम्प्ट में "परिमित-सूचकांक" के वादे को छोड़ देना एक महत्वपूर्ण डिज़ाइन विकल्प है। इसके बिना, कर्नेल/कोकर्नेल विषमता मॉडल को निर्णयक्षमता की सीमा का सामना करने के लिए मजबूर करती है, जिससे "परहेज" (abstention) एक मापने योग्य और सार्थक व्यवहार बन जाता है न कि केवल एक विफलता।
कम्प्यूटेशनल प्रवाह से परे: यह बेंचमार्क मॉडलों के बीच अंतर करता है जो बड़े-पूर्णांक अंकगणित कर सकते हैं और जो संरचनात्मक पूर्वधारणाओं (Aschbacher क्लासेस, प्रॉपर्टी (T), संगति उपसमूह गुण) को तैनात कर सकते हैं और एल्गोरिद्मिक सीमाओं को पहचान सकते हैं।

लेखक निष्कर्ष निकालते हैं कि यह बेंचमार्क सफलतापूर्वक "नामित प्रमेय जानने" को "सुंदर फॉलबैक मशीनरी रखने" से अलग करता है, जो यह प्रकट करता है कि हालांकि वर्तमान मॉडल संरचनात्मक तर्क कर सकते हैं, लेकिन उच्च रैंक के लिए एल्गोरिद्मिक रणनीतियों (जैसे नील्सन-ग्राफ खोज) को सामान्यीकृत करने की उनकी क्षमता अभी भी जांच का एक विशिष्ट क्षेत्र बनी हुई है।