🤖 machine learning

On the Limits of Interpretable Machine Learning in Quintic Root Classification

यह अध्ययन प्रदर्शित करता है कि जबकि न्यूरल नेटवर्क कच्चे गुणांकों (raw coefficients) से पंचम घात वाले बहुपद के मूल विन्यासों (quintic polynomial root configurations) को वर्गीकृत करने में उच्च भविष्य कहनेवाला सटीकता प्राप्त करते हैं, वे स्वायत्त रूप से मानव-व्याख्या योग्य गणितीय नियमों को पुनः प्राप्त करने में विफल रहते हैं, जो यह प्रकट करता है कि ऐसे संरचित डोमेन में वास्तविक व्याख्यात्मकता के लिए शुद्ध डेटा-संचालित ज्यामितीय सन्निकटन के बजाय स्पष्ट संरचनात्मक प्रेरणात्मक पूर्वाग्रह (explicit structural inductive bias) की आवश्यकता होती है।

मूल लेखक: Rohan Thomas, Majid Bani-Yaghoub

प्रकाशित 2026-03-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Rohan Thomas, Majid Bani-Yaghoub

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं: क्या एक कंप्यूटर, केवल संख्याओं के ढेर को देखकर, उन गुप्त गणितीय नियमों को समझ सकता है जो उन्हें नियंत्रित करते हैं?

इस शोध पत्र के लेखकों ने इस परीक्षण के लिए एक विशिष्ट पहेली तैयार की। उन्होंने क्विंटिक पॉलिनॉमियल्स (quintic polynomials) को चुना (वे समीकरण जिनमें उच्चतम घात 5 होती है, जैसे $x^5 + \dots$ )।

यहाँ एक पेच है: सरल समीकरणों (जैसे वर्ग या घन) के लिए, गणितज्ञों ने सदियों पहले ही "गुप्त सूत्र" खोज लिए थे। लेकिन क्विंटिक समीकरणों के लिए, कोई सामान्य सूत्र जिसे मनुष्य कभी खोज सके, मौजूद नहीं है। यह एक गणितीय गतिरोध है। यह इसे एक आदर्श परीक्षण बनाता है: यदि एक कंप्यूटर बिना सूत्र बताए यहाँ नियमों को सीख लेता है, तो यह "आर्टिफिशियल इंटेलिजेंस" में एक बड़ी सफलता होगी।

प्रयोग: "ब्लैक बॉक्स" बनाम "रूल बुक"

शोधकर्ताओं ने दो प्रकार के AI को एक-दूसरे के विरुद्ध खड़ा किया:

"ब्लैक बॉक्स" (न्यूरल नेटवर्क): इसे एक अत्यंत बुद्धिमान लेकिन रहस्यमय प्रशिक्षु के रूप में सोचें। यह संख्याओं को देखकर उत्तर का बहुत सटीक अनुमान लगा सकता है, लेकिन यह अपने तर्क को अपने दिमाग के भीतर ही रखता है। आप यह नहीं देख सकते कि इसने निर्णय कैसे लिया।
"रूल बुक" (डिसीजन ट्री): यह एक पारदर्शी, तार्किक छात्र है। यह "यदि यह, तो वह" जैसे सरल नियमों का उपयोग करके निर्णय लेता है। यदि यह उत्तर सीख जाता है, तो आप इसके नोटबुक को पढ़कर इसकी तर्कशक्ति को समझ सकते हैं।

सेटअप:
उन्होंने दोनों छात्रों को कच्चे नंबर (समीकरणों के गुणांक) दिए और उन्हें समीकरणों को उनके वास्तविक मूलों (real roots/solutions) की संख्या के आधार पर वर्गीकृत करने के लिए कहा।

परिणाम: दो छात्रों की कहानी

1. ब्लैक बॉक्स (न्यूरल नेटवर्क) ने आश्चर्यजनक रूप से अच्छा प्रदर्शन किया।
इसने केवल कच्चे नंबरों को देखकर लगभग 84% उत्तर सही दिए। इसने एक पैटर्न सीखा, लेकिन यह एक "धुंधला" (fuzzy) पैटर्न था। यह एक ऐसे शेफ की तरह था जो सूप चखकर कह सकता है, "इसमें नमक की कमी है," बिना यह जाने कि नमक का सटीक रासायनिक सूत्र क्या है।

2. रूल बुक (डिसीजन ट्री) संघर्ष करता रहा।
बिना किसी मदद के, इस छात्र ने केवल 60% सही उत्तर दिए। यह आँखों पर पट्टी बांधकर भूलभुलैया में रास्ता खोजने जैसा था। यह रास्ता नहीं खोज सका क्योंकि कच्चे नंबर बहुत अव्यवस्थित और जटिल थे जिन्हें सरल "If/Then" नियम संभाल नहीं सके।

अंतराल:
रहस्यमय ब्लैक बॉक्स जीत रहा था, लेकिन हम देख नहीं पा रहे थे कि वह क्यों जीत रहा था। पारदर्शी रूल बुक ईमानदार थी लेकिन असफल रही।

मोड़: "जादुई सामग्री"

इसके बाद शोधकर्ताओं ने नॉलेज डिस्टिलेशन (Knowledge Distillation) नामक एक तकनीक आजमाई। उन्होंने "बुद्धिमान" ब्लैक बॉक्स को लिया, उसके उत्तरों को देखा, और फिर "रूल बुक" छात्र को उन उत्तरों की नकल करना सिखाने की कोशिश की।

लेकिन असली बात यह है: रूल बुक अभी भी इसे खुद से नहीं समझ पा रही थी। इसे एक संकेत की आवश्यकता थी।

शोधकर्ताओं ने रूल बुक को एक विशिष्ट, मानव-निर्मित विशेषता दी जिसे Crit8 कहा गया।

उपमा: कल्पना कीजिए कि आप यह अनुमान लगाने की कोशिश कर रहे हैं कि रोलरकोस्टर कितनी बार जमीन के नीचे जाता है। कच्चे नंबर केवल ट्रैक के ब्लूप्रिंट हैं। "Crit8" विशेषता एक इंसान द्वारा इशारा करने जैसा है, "ऊंचाइयों और गहराइयों को देखो! गिनो कि ट्रैक क्षितिज रेखा को कितनी बार पार करता है।"

एक बार जब रूल बुक को यह विशिष्ट संकेत (क्रिटिकल पॉइंट्स पर साइन परिवर्तन गिनना) दिया गया, तो वह अचानक एक जीनियस बन गया। इसने ब्लैक बॉक्स की 84% सटीकता के बराबर प्रदर्शन किया और सबसे महत्वपूर्ण बात यह है कि इसने एक सरल, मानव-पठनीय नियम लिखा:

"यदि साइन परिवर्तन 1.5 से अधिक बार होते हैं, तो 5 वास्तविक मूल (roots) हैं। यदि कम हैं, तो कम हैं।"

बड़ी खोज: सन्निकटन बनाम सत्य

इस शोध पत्र की सबसे महत्वपूर्ण खोज यह है कि कंप्यूटर वास्तव में क्या सीख रहा था।

ब्लैक बॉक्स ने "जादुई सामग्री" (गणितीय नियम) को नहीं सीखा। इसके बजाय, इसने एक ज्यामितीय सन्निकटन (geometric approximation) सीखा।
- उपमा: कल्पना कीजिए कि आप एक पूर्ण वृत्त बनाने की कोशिश कर रहे हैं। ब्लैक बॉक्स एक ऐसे रोबोट की तरह है जो वृत्त जैसा दिखने के लिए हजारों छोटी सीधी रेखाएं खींचता है। यदि आप ड्राइंग के करीब रहते हैं, तो यह बहुत अच्छा काम करता है, लेकिन यदि आप ज़ूम आउट करते हैं या स्केल बदलते हैं, तो रेखाएं फिट नहीं बैठतीं। इसने डेटा के आधार पर एक "आकार" सीखा, न कि अंतर्निहित नियम को।
रूल बुक (संकेत मिलने के बाद) ने सिंबोलिक इनवेरिएंट (symbolic invariant) को सीखा।
- उपमा: यह वृत्त के सूत्र ( $x^2 + y^2 = r^2$ ) को जानने जैसा है। वृत्त चाहे कितना भी बड़ा या छोटा हो, या आप उसे कहीं भी रखें, नियम हमेशा सत्य रहता है।

निष्कर्ष: AI को एक मानव मार्गदर्शक की आवश्यकता है

शोध पत्र एक वास्तविकता की चेतावनी के साथ समाप्त होता है:

AI अनुमान लगाने में बहुत अच्छा है, लेकिन यह अपने आप में "नया गणित खोजने" में बहुत खराब है।

भले ही न्यूरल नेटवर्क ने 84% बार सही उत्तर दिए, लेकिन इसने नियम नहीं खोजा। इसने केवल उस विशिष्ट डेटा का एक जटिल मानचित्र बनाया जिस पर इसे प्रशिक्षित किया गया था। एक मानव-पठनीय नियम प्राप्त करने के लिए, एक इंसान को हस्तक्षेप करना पड़ा, यह समझना पड़ा कि "जादुई सामग्री" (Crit8) क्या थी, और उसे कंप्यूटर को देना पड़ा।

सरल शब्दों में:
यदि आप चाहते हैं कि AI भौतिकी या गणित का नया नियम खोजे, तो आप केवल कच्चे डेटा को उसके सामने फेंककर इंतजार नहीं कर सकते। AI केवल डेटा के आकार को याद कर लेगा। आपको अभी भी एक इंसान की आवश्यकता है जो "लेंस" या "संकेत" प्रदान करे ताकि AI अंतर्निहित संरचना को देख सके। कंप्यूटर द्वारा स्वायत्त रूप से अगली महान गणित की पाठ्यपुस्तक लिखने का सपना अभी बहुत दूर है।

यहाँ रोहन थॉमस और मजीद बानी-याघूब के शोध पत्र "On the Limits of Interpretable Machine Learning in Quintic Root Classification" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

केंद्रीय शोध प्रश्न यह है कि क्या मशीन लर्निंग (ML) मॉडल मानव-निर्मित इनवेरियंट्स (invariants) या प्रतीकात्मक मार्गदर्शन (symbolic guidance) के बिना, कच्चे संख्यात्मक डेटा से स्वायत्त रूप से व्याख्या योग्य (interpretable), विविक्त गणितीय नियमों (discrete mathematical rules) की खोज कर सकते हैं।

बेंचमार्क: लेखक क्विंटिक बहुपदों (quintic polynomials) (डिग्री 5) के वास्तविक-मूल (real-root) विन्यास के वर्गीकरण का उपयोग करते हैं।
चुनौती: जबकि डिग्री 2, 3 और 4 के बहुपदों के लिए ज्ञात बीजगणितीय विविक्तक (algebraic discriminants - प्रतीकात्मक सूत्र) होते हैं जो मूल के प्रकार निर्धारित करते हैं, एबेल-रफिनी प्रमेय (Abel-Ruffini theorem) यह सिद्ध करता है कि क्विंटिक बहुपदों के लिए रेडिकल्स (radicals) में कोई सामान्य समाधान मौजूद नहीं है।
लक्ष्य: यह निर्धारित करना कि क्या ML मॉडल केवल कच्चे गुणांकों (coefficients) से सार्थक गणितीय इनवेरियंट्स (जैसे कि विविक्तक/discriminant) को "पुनः खोज" (rediscover) सकते हैं, या वे केवल निर्णय सीमा (decision boundary) के निरंतर, डेटा-निर्भर ज्यामितीय सन्निकटन (geometric approximations) सीख रहे हैं।

2. कार्यप्रणाली (Methodology)

प्रयोगात्मक सेटअप (Experimental Setup)

डेटासेट: $[-10, 10]$ से समान रूप से नमूना लिए गए गुणांकों के साथ निर्मित 40,000 क्विंटिक बहुपद।
वर्ग (Classes): वास्तविक मूलों की संख्या के आधार पर तीन वर्ग: 5 वास्तविक मूल (वर्ग 0), 3 वास्तविक मूल (वर्ग 1), और 1 वास्तविक मूल (वर्ग 2)।
ग्राउंड ट्रुथ (Ground Truth): मूलों की गणना NumPy के आइजनवैल्यू (eigenvalue) विधि का उपयोग करके $10^{-10}$ की दहलीज (threshold) के साथ की गई।
मूल्यांकन: 20 स्वतंत्र सीड्स (seeds) के माध्यम से 5-फोल्ड स्ट्रैटिफाइड क्रॉस-वैलिडेशन। मेट्रिक्स को मीन $\pm$ 95% कॉन्फिडेंस इंटरवल (बैलेंस्ड एक्यूरेसी) के रूप में रिपोर्ट किया गया।

मूल्यांकित मॉडल (Models Evaluated)

एक विविध मॉडलों का परीक्षण किया गया, जिसमें शामिल हैं:

व्याख्या योग्य (Interpretable): डिसीजन ट्री (CART), लॉजिस्टिक रिग्रेशन, सिम्बोलिक रिग्रेशन (PySR)।
ब्लैक-बॉक्स/एन्सेम्बल (Black-box/Ensemble): सपोर्ट वेक्टर मशीन (SVM), रैंडम फॉरेस्ट, ग्रेडिएंट बूस्टिंग, XGBoost, न्यूरल नेटवर्क (MLP)।

फीचर इंजीनियरिंग रणनीति (Feature Engineering Strategy)

स्वायत्त खोज की सीमाओं का परीक्षण करने के लिए, लेखकों ने तुलना की:

कच्चे गुणांक (Raw Coefficients): केवल बहुपद गुणांक ( $a_0$ से $a_5$ तक)।
इंजीनियर किए गए फीचर्स (Engineered Features): शास्त्रीय बहुपद सिद्धांत से प्राप्त 63 फीचर्स, जिनमें शामिल हैं:
- स्टर्म सीक्वेंस (Sturm Sequences): विशिष्ट बिंदुओं पर चिह्न परिवर्तन।
- डेकार्ट्स नियम (Descartes' Rule): गुणांकों में चिह्न परिवर्तन।
- न्यूटन के योग (Newton's Sums): मूलों के पावर सम (power sums)।
- क्रिटिकल पॉइंट्स (Critical Points): डेरिवेटिव $p'(x)$ के मूल और इन बिंदुओं पर $p(x)$ के चिह्न परिवर्तन (विशेष रूप से Crit8 नामक फीचर)।
- हाइब्रिड सिम्बोलिक (Hybrid Symbolic): ट्सिरनहॉस इनवेरियंट्स (Tschirnhaus invariants) और बीजगणितीय संयोजन।

नॉलेज डिस्टिलेशन प्रोटोकॉल (Knowledge Distillation Protocol)

न्यूरल नेटवर्क (NN) की व्याख्या करने के लिए, लेखकों ने एक डिस्टिलेशन फ्रेमवर्क का उपयोग किया:

डेटा पर एक NN को प्रशिक्षित किया।
प्रशिक्षण सेट पर भविष्यवाणियाँ (सॉफ्ट लेबल) उत्पन्न करने के लिए NN का उपयोग किया।
इन भविष्यवाणियों की नकल करने के लिए एक डिसीजन ट्री को प्रशिक्षित किया।
"नियमों" को निकालने के लिए पेड़ की संरचना और फीचर महत्व (SHAP के माध्यम से) का विश्लेषण किया।

3. मुख्य परिणाम (Key Results)

A. निम्न डिग्री (2–4) पर सत्यापन

सिम्बोलिक रिग्रेशन: द्विघात (quadratics) के लिए विविक्तक नियम की सफलतापूर्वक खोज की (97.3% सटीकता), लेकिन डिग्री 3, 4 और 5 के लिए व्याख्या योग्य नियम खोजने में विफल रहा, जो एक "जटिलता ढलान" (Complexity Cliff) दर्शाता है।
व्याख्या योग्य मॉडल: जब उन्हें सही बीजगणितीय इनवेरियंट्स (जैसे विविक्तक अनुपात) प्रदान किए गए, तो डिसीजन ट्री ने डिग्री 2–4 पर 100% सटीकता प्राप्त की, जो सिद्ध करता है कि पद्धति काम करती है जब गणितीय संरचना ज्ञात हो।

B. क्विंटिक वर्गीकरण (डिग्री 5)

कच्चे गुणांक प्रदर्शन:
- न्यूरल नेटवर्क: केवल कच्चे गुणांकों का उपयोग करके मजबूत प्रदर्शन (84.3% ± 0.9%) किया।
- डिसीजन ट्री: काफी खराब प्रदर्शन किया (59.9% ± 0.9%), जो 33% रैंडम गेसिंग बेसलाइन से मुश्किल से ऊपर था।
- अंतराल (Gap): जब कोई फीचर इंजीनियर नहीं किया गया, तो ब्लैक-बॉक्स और व्याख्या योग्य मॉडलों के बीच 24.4 प्रतिशत अंक का अंतर मौजूद है।
फीचर इंजीनियरिंग (Crit8) का प्रभाव:
- जब Crit8 फीचर (क्रमित क्रिटिकल पॉइंट्स पर बहुपद मानों के अनुक्रम में चिह्न परिवर्तन की संख्या) जोड़ा गया:
  - डिसीजन ट्री उछलकर 84.2% ± 1.2% पर पहुँच गया, जो NN के प्रदर्शन के बराबर है।
  - न्यूरल नेटवर्क मामूली रूप से सुधरा और 89.9% तक पहुँचा।
- डिस्टिलेशन: डिस्टिल्ड डिसीजन ट्री ने NN की सफलतापूर्वक नकल की (98.9% फिडेलिटी)। SHAP विश्लेषण ने खुलासा किया कि Crit8 ने 97.5% निर्णय संरचना का प्रतिनिधित्व किया।
- निकाला गया नियम: ट्री ने एक सरल थ्रेशोल्ड नियम सीखा:
  - Crit8 $\le$ 0.5 $\rightarrow$ 1 वास्तविक मूल।
  - 0.5 < Crit8 $\le$ 1.5 $\rightarrow$ 3 वास्तविक मूल।
  - Crit8 > 1.5 $\rightarrow$ 5 वास्तविक मूल।

C. मजबूती और सामान्यीकरण (Robustness and Generalization - स्ट्रेस टेस्ट)

आउट-ऑफ-डिस्ट्रीब्यूशन (OOD): जब गुणांकों को प्रशिक्षण सीमाओं से 10 $\times$ बढ़ाया गया, तो इनवेरिएंट डिसीजन ट्री (सटीक बीजगणितीय नियमों का उपयोग करके) ने 100% सटीकता बनाए रखी। न्यूरल नेटवर्क महत्वपूर्ण रूप से गिर गया (उदाहरण के लिए, क्वार्टिक्स के लिए 95.4% से गिरकर 83.1% हो गया)।
डेटा दक्षता: इनवेरिएंट मॉडल ने ~50–100 नमूनों के साथ लगभग पूर्ण सटीकता प्राप्त की। न्यूरल नेटवर्क को हजारों नमूनों की आवश्यकता थी और वे स्थिर (plateau) नहीं हुए, जो यह सुझाव देता है कि वे प्रतीकात्मक कानूनों के बजाय जटिल ज्यामितीय सन्निकटन सीख रहे हैं।
शोर के प्रति मजबूती (Noise Robustness): दोनों मॉडल गॉसियन शोर (Gaussian noise) के तहत समान रूप से खराब हुए, जो यह दर्शाता है कि कठिनाई मॉडल आर्किटेक्चर में नहीं, बल्कि बहुपद मूलों के गुणांक शोर के प्रति अंतर्निहित संवेदनशीलता में है।

4. मुख्य योगदान (Key Contributions)

"इंटरप्रिटेबिलिटी गैप" का प्रदर्शन: सिद्ध किया कि जबकि ML जटिल गणितीय समस्याओं (क्विंटिक्स) पर कच्चे डेटा का उपयोग करके उच्च भविष्य कहनेवाला सटीकता प्राप्त कर सकता है, यह स्वायत्त रूप से अंतर्निहित विविक्त प्रतीकात्मक नियमों (discrete symbolic rules) को पुनः प्राप्त नहीं करता है।
फीचर की आवश्यकता का परिमाणीकरण: दिखाया कि एक मानव-निर्मित फीचर (Crit8) ब्लैक-बॉक्स और व्याख्या योग्य मॉडलों के बीच के प्रदर्शन अंतराल को पाट देता है, जो 97.5% संरचना की व्याख्या करता है।
ज्यामितीय बनाम प्रतीकात्मक लर्निंग के बीच अंतर: OOD और डेटा दक्षता परीक्षणों के माध्यम से प्रमाण दिया कि न्यूरल नेटवर्क निरंतर, डेटा-निर्भर ज्यामितीय सन्निकटन सीखते हैं, जबकि वास्तविक गणितीय इनवेरियंट्स स्केल-इनवेरिएंट और विविक्त (discrete) होते हैं।
बेंचमार्किंग फ्रेमवर्क: गणितीय डोमेन में ML व्याख्यात्मकता का परीक्षण करने के लिए एक कठोर प्रोटोकॉल स्थापित किया, जो केवल पैटर्न पहचान से आगे बढ़कर नियम निष्कर्षण (rule extraction) तक जाता है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

यह शोध पत्र निष्कर्ष निकालता है कि कच्चे डेटा से व्याख्या योग्य गणितीय नियमों की स्वायत्त खोज अभी भी एक खुला चुनौती है।

निहितार्थ: उच्च भविष्य कहनेवाला सटीकता व्याख्यात्मकता के बराबर नहीं है। न्यूरल नेटवर्क जटिल गणितीय सीमाओं का अनुमान लगा सकते हैं लेकिन इस ज्ञान को ज्यामितीय रूप से संग्रहीत करते हैं, जिससे मानवीय हस्तक्षेप (फीचर इंजीनियरिंग) के बिना इसे स्पष्ट मानव-पठनीय तर्क के रूप में प्राप्त करना असंभव हो जाता है।
भविष्य की दिशा: गणित में वास्तविक "AI for Science" प्राप्त करने के लिए, भविष्य के सिस्टमों को ऐसे इंडक्टिव बायस (inductive biases) की आवश्यकता होगी जो शुद्ध डेटा-संचालित सन्निकटन के बजाय स्पष्ट रूप से प्रतीकात्मक संरचनाओं (जैसे न्यूरो-सिम्बोलिक दृष्टिकोण, इक्विवेरिएंट नेटवर्क, या उन्नत सिम्बोलिक रिग्रेशन) को प्राथमिकता देते हों।

संक्षेप में, यह अध्ययन सुझाव देता है कि संरचित गणितीय डोमेन में, व्याख्यात्मकता के लिए स्पष्ट संरचनात्मक पूर्वाग्रह (structural bias) की आवश्यकता होती है, न कि केवल अधिक डेटा या बड़े मॉडलों की।