🤖 machine learning

Likelihood scoring for continuations of mathematical text: a self-supervised benchmark with tests for shortcut vulnerabilities

यह शोध पत्र एक स्व-पर्यवेक्षित (self-supervised) बेंचमार्क प्रस्तुत करता है जो यह मूल्यांकन करता है कि क्या गणितीय पाठ के निरंतरता के मॉडल-जनित पूर्वानुमान, केवल संदर्भ-आधारित नियंत्रणों की तुलना में संभावना स्कोर (likelihood scores) में सुधार करते हैं, जो प्रभावी रूप से मॉडल की क्षमताओं और तर्क संबंधी प्रयासों को अलग करता है तथा स्कोरिंग तंत्रों में संभावित शॉर्टकट कमजोरियों की पहचान करता है।

मूल लेखक: Daniel Ranard

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Daniel Ranard

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही जटिल, तकनीकी कहानी के अंत का अनुमान लगाने की कोशिश कर रहे हैं जो एक प्रतिभाशाली गणितज्ञ द्वारा लिखी गई है। कहानी अजीब प्रतीकों और समीकरणों से भरी है। आप कहानी की शुरुआत देख सकते हैं, लेकिन अंतिम कुछ वाक्य एक पर्दे के पीछे छिपे हुए हैं।

यह शोध पत्र इस बात का परिचय देता है कि यह कैसे परीक्षण किया जाए कि क्या एक कंप्यूटर वास्तव में कहानी के बारे में "सोच" रहा है या केवल यादृच्छिक रूप से अनुमान लगा रहा है। यह यह सब बिना किसी मानव शिक्षक के उत्तरों को ग्रेड दिए किए कर सकता है।

यह परीक्षण कैसे काम करता है, इसे सरल भागों में यहाँ दिया गया है:

1. सेटअप: "पर्दा" खेल (The "Curtain" Game)

शोधकर्ता एक वास्तविक वैज्ञानिक शोध पत्र लेते हैं और एक गणितीय समीकरण के अंत को काट देते हैं।

संदर्भ (X): कंप्यूटर कटने से पहले की पूरी चीज़ देखता है।
छिपा हुआ अंत (Y): यह वह हिस्सा है जिसका हमें अनुमान लगाना है। यह "उत्तर कुंजी" है।
पूर्वानुमान (Z): जिस कंप्यूटर का परीक्षण किया जा रहा है, उससे आगे क्या होने वाला है, इसके बारे में एक "संकेत" या "पूर्वानुमान" लिखने के लिए कहा जाता है। यह ऐसा है जैसे कंप्यूटर फुसफुसाता है, "मुझे लगता है कि अगला भाग कुछ ऐसा होगा..."

2. जज: "प्रोबेबिलिटी मीटर" (The "Probability Meter")

एक इंसान द्वारा पूर्वानुमान को पढ़कर यह कहने के बजाय कि "अच्छा काम किया" या "बुरा काम किया", शोधकर्ता एक दूसरे कंप्यूटर प्रोग्राम का उपयोग जज (Judge) के रूप में करते हैं।

जज छिपे हुए अंत (Y) को देखता है और पूछता है: "इस बात की कितनी संभावना है कि यह वास्तविक अंत है?"
जज यह दो बार करता है:
1. संकेत के बिना: केवल कहानी को देखते हुए।
2. संकेत के साथ: कहानी और कंप्यूटर के पूर्वानुमान (Z) दोनों को देखते हुए।
यदि कंप्यूटर का पूर्वानुमान स्मार्ट है और वास्तव में जज को छिपे हुए अंत को समझने में मदद करता है, तो जज कहेगा, "आह, अब यह अंत बहुत अधिक समझ में आने योग्य है!" स्कोर बढ़ जाता है। स्कोर में इस वृद्धि को "लाइक्लीहुड लिफ्ट" (Likelihood Lift) कहा जाता है।

3. जाल: "कॉन्टेक्स्ट स्टफर" (The "Context Stuffer")

शोधकर्ताओं को एक चाल का डर था। क्या होगा यदि कंप्यूटर वास्तव में भविष्य की भविष्यवाणी नहीं करता है, बल्कि केवल कहानी के पिछले कुछ वाक्यों को "हिंट" बॉक्स में कॉपी और पेस्ट कर देता है?

कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है। समस्या को हल करने के बजाय, वह प्रश्न को ही उत्तर पत्र पर वापस कॉपी कर देता है।
इस पकड़ने के लिए, शोधकर्ताओं ने एक कंट्रोल ग्रुप (Control Group) बनाया। उन्होंने कंप्यूटर को मजबूर किया कि वह अपने "हिंट" स्पेस का उपयोग कहानी के हालिया इतिहास को पेस्ट करने के लिए करे, न कि भविष्यवाणी करने के लिए।
परीक्षण: यदि कंप्यूटर का वास्तविक पूर्वानुमान केवल हालिया इतिहास को पेस्ट करने की तुलना में उच्च स्कोर करता है, तो इसका मतलब है कि कंप्यूटर वास्तव में कुछ तर्क (reasoning) कर रहा है, न कि केवल नकल कर रहा है।

4. परिणाम: कौन पास हुआ?

शोधकर्ताओं ने कई अलग-अलग AI मॉडल (जैसे GPT-5.5, Opus 4.7, और एक छोटा "nano" संस्करण) का परीक्षण किया।

बड़े विजेता: अधिक स्मार्ट, शक्तिशाली मॉडल (जैसे GPT-5.5) ऐसे पूर्वानुमान लिखने में सक्षम थे जो केवल इतिहास पेस्ट करने की तुलना में जज की समझ में काफी अधिक मदद करते थे। यहाँ तक कि जब शोधकर्ताओं ने जज को बहुत सख्त बनाया (उसे पेस्ट किए गए इतिहास को पसंद करने के लिए प्रशिक्षित किया), तब भी स्मार्ट मॉडल जीत गए।
हारने वाले: छोटे, कमजोर मॉडल (जैसे GPT-5.4 nano) "पेस्ट किए गए इतिहास" की चाल को नहीं हरा सके। उनके पूर्वानुमानों ने जज को हालिया टेक्स्ट को फिर से पढ़ने की तुलना में छिपे हुए अंत को समझने में कोई बेहतर मदद नहीं की।
"रीज़निंग" कारक: उन्होंने यह भी परीक्षण किया कि क्या AI को "अधिक गहराई से सोचने" (अधिक कंप्यूटिंग पावर का उपयोग करने) के लिए कहने से मदद मिलती है। उन्होंने पाया कि जब AI को अधिक तर्क (reasoning) करने के लिए कहा गया, तो वह गणित की भविष्यवाणी करने में बेहतर हो गया, ठीक वैसे ही जैसे एक मानव छात्र जो समस्या को हल करने के लिए अधिक समय लेता है, बेहतर ग्रेड प्राप्त करता है।

5. यह क्यों महत्वपूर्ण है (शोध पत्र के अनुसार)

शोध पत्र का दावा है कि यह गणित और विज्ञान में AI तर्क (reasoning) को परीक्षण करने का एक नया, स्वचालित तरीका है।

किसी मानव शिक्षक की आवश्यकता नहीं: आपको हर एक गणित की समस्या को ग्रेड देने के लिए प्रोफेसर की आवश्यकता नहीं है। "प्रोबेबिलिटी मीटर" स्वचालित रूप से ग्रेडिंग करता है।
चीटिंग पकड़ना: यह शोधकर्ताओं को यह देखने में मदद करता है कि क्या एक AI वास्तव में समस्या को हल कर रहा है या केवल एक "शॉर्टकट" (जैसे प्रश्न को कॉपी करना) ढूंढ रहा है ताकि उच्च स्कोर प्राप्त किया जा सके।
एक नया बेंचमार्क: यह वास्तविक, हालिया वैज्ञानिक शोध पत्रों का उपयोग करके एक मानक परीक्षण बनाता है ताकि यह देखा जा सके कि कौन से AI मॉडल वास्तव में तकनीकी कार्यों में स्मार्ट हो रहे हैं।

संक्षेप में: शोध पत्र ने एक ऐसा खेल बनाया है जहाँ AI मॉडल गणित के समीकरण के अगले भाग का अनुमान लगाने की कोशिश करते हैं। यदि उनका अनुमान जज को हालिया टेक्स्ट को फिर से पढ़ने की तुलना में उत्तर को समझने में बेहतर मदद करता है, तो AI पास हो जाता है। सबसे स्मार्ट मॉडल पास हुए; कमजोर मॉडल विफल रहे, जिससे यह साबित होता है कि यह परीक्षण एक स्मार्ट विचारक और एक नकलची के बीच अंतर कर सकता है।

तकनीकी सारांश: गणितीय पाठ के निरंतरता (Continuations) के लिए संभावना स्कोरिंग (Likelihood Scoring)

समस्या विवरण
तकनीकी तर्क (technical reasoning) पर भाषा मॉडलों का मूल्यांकन करना चुनौतीपूर्ण है क्योंकि तकनीकी निरंतरताएं (जैसे, व्युत्पन्न, प्रमाण, समीकरण) अक्सर कई समान रूप से वैध रूपों में हो सकती हैं, जिससे आइटम-दर-आइटम निर्णय शोरपूर्ण (noisy) हो जाता है। इसके विपरीत, कच्चे पाठ (raw text) पर मानक नेक्स्ट-टोकन प्रेडिक्शन सतह-स्तर के मॉडलिंग (सिंटैक्स, नोटेशन) को पुरस्कृत करता है बजाय गहरे तर्क के। एक ऐसा स्वचालित रूप से जनरेट किया गया बेंचमार्क बनाने की आवश्यकता है जो इन दोनों ध्रुवों के बीच स्थित हो: जो पर्याप्त रूप से प्रचुर हो ताकि नवीकरणीय (renewable) हो सके, फिर भी इतना संवेदनशील हो कि मानव लेबल या भंगुर सत्यापन योग्य उत्तरों (जैसे प्रतियोगिता गणित) पर निर्भर किए बिना तर्क क्षमताओं का पता लगा सके। इसके अलावा, यह चिंता भी है कि 'वेरिफिएबल रिवार्ड्स के साथ रीइन्फोर्समेंट लर्निंग' (RLVR) में उपयोग किए जाने वाले रिवॉर्ड सिग्नल मॉडलों द्वारा शॉर्टकट (जैसे, कॉन्टेक्स्ट स्टफिंग) का लाभ उठाने के लिए "हैक" किए जा सकते हैं, बजाय वास्तविक पूर्वानुमान उत्पन्न करने के।

कार्यप्रणाली (Methodology)
यह शोध पत्र इक्वेशन-सफिक्स प्रेडिक्शन (equation-suffix prediction) पर आधारित एक स्थिर बेंचमार्क पेश करता है।

कार्य सेटअप (Task Setup): एक प्रेडिक्टर मॉडल को दृश्य संदर्भ $X$ (पूर्ववर्ती पेपर टेक्स्ट) और एक प्रदर्शित समीकरण का प्रीफिक्स दिया जाता है। इसे समीकरण को पूरा करने के लिए एक सहायक स्ट्रिंग $Z$ (एक पूर्वानुमान) उत्पन्न करना होता है।
स्कोरिंग तंत्र (Scoring Mechanism): एक अलग, स्थिर ऑटो-रिग्रेसिव लैंग्वेज मॉडल (द "स्कोरर", $J$ $J$ ) वास्तविक छिपे हुए निरंतरता $Y$ $Y$ के लिए नेक्स्ट-टोकन संभावना (likelihood) निर्धारित करता है। मुख्य मीट्रिक लाइक्लीहुड लिफ्ट ( $\Delta_J$ $Δ_{J}$ ) है, जिसे $Y$ $Y$ के औसत लॉग-लाइक्लीहुड में होने वाली वृद्धि के रूप में परिभाषित किया गया है जब स्कोरर $Z$ $Z$ पर आधारित होता है बनाम जब वह केवल $X$ $X$ (या एक कंट्रोल स्ट्रिंग) पर आधारित होता है।
- सूत्र: $\Delta_J(X, Z, Y) = \frac{1}{T} \log p_J(Y | X, Z) - \frac{1}{T} \log p_J(Y | X)$ ।
सॉफ्टन किया गया मीट्रिक (Softened Metric): दुर्लभ, विनाशकारी टोकन बेमेल (जो LaTeX/TeX में सामान्य है) को स्कोर पर हावी होने से रोकने के लिए, लेखक clipLL2 का उपयोग करते हैं। यह औसत करने से पहले प्रति-टोकन लॉग-लाइक्लीहुड को $-2$ से नीचे क्लिप करता है, यह सुनिश्चित करते हुए कि एक पूर्वानुमान उपयोगी बना रहे भले ही वह कुछ स्थानीय त्रुटियां करता हो, बशर्ते कि वह स्कोरर को बाद में रिकवर करने में मदद करे।
कंट्रोल्स और स्ट्रेस टेस्ट (Controls and Stress Tests):
- सेम-बजट कॉन्टेक्स्ट कंट्रोल ( $C_B$ ): पूर्वानुमान $Z$ को समीकरण से ठीक पहले के कच्चे स्रोत टेक्स्ट से बदल दिया जाता है, जिसमें समान कैरेक्टर बजट का उपयोग किया जाता है। यह परीक्षण करता है कि क्या सिग्नल भविष्यवाणी से आता है या केवल अधिक संदर्भ प्रदान करने से।
- कॉन्टेक्स्ट-ओनली SFT कंट्रोल: स्कोरर को एक "कॉन्टेक्स्ट-ओनली" रूट (कोई पूर्वानुमान नहीं) पर फाइन-ट्यून (LoRA के माध्यम से) किया जाता है और फिर होल्ड-आउट पेपर्स पर मूल्यांकन किया जाता है। यह परीक्षण करता है कि क्या एक प्रेडिक्टर स्कैफोल्ड प्राइमिंग के माध्यम से स्कोरर के वेट्स का लाभ उठा सकता है बजाय सूचना प्रसारित करने के।
- ट्रू-सफिक्स अपर बाउंड (True-Suffix Upper Bound): एक सैद्धांतिक सीमा जहाँ $Z$ में शाब्दिक रूप से छिपा हुआ सफिक्स $Y$ शामिल है।

प्रमुख योगदान (Key Contributions)

स्वचालित बेंचमार्क: 138 हालिया arXiv पेपर्स (quant-ph, hep-th, math-ph) से 1,363 इक्वेशन-सफिक्स कट्स का एक डेटासेट, जिसे बिना किसी "अनुकूल" समीकरणों के मानव चयन के स्वचालित रूप से जनरेट किया गया है।
क्रॉस-मॉडल मूल्यांकन: यह प्रदर्शित करता है कि यह बेंचमार्क फिक्स्ड स्कोरर्स (Qwen3-8B और Kimi K2.6) का उपयोग करके मॉडल परिवारों (GPT-5.5, Opus 4.7, GPT-5.4 nano) और रीजनिंग-एफर्ट सेटिंग्स (high, medium, low, none) के बीच अंतर कर सकता है।
शॉर्टकट भेद्यता ऑडिट (Shortcut Vulnerability Audit): यह परीक्षण करने के लिए एक कठोर ढांचा प्रदान करता है कि क्या संभावना-आधारित रिवार्ड्स गैर-पूर्वानुमान रणनीतियों के प्रति संवेदनशील हैं। शोध पत्र दिखाता है कि जबकि मजबूत मॉडल (GPT-5.5) एक फाइन-ट्यून किए गए कॉन्टेक्स्ट-ओनली कंट्रोल से बच जाते हैं, कमजोर मॉडल (GPT-5.4 nano) नहीं, जो यह सुझाव देता है कि सिग्नल मजबूत मॉडलों के लिए वास्तविक है लेकिन कमजोरों के लिए संभावित रूप से शोषण योग्य या गैर-मौजूद है।
मीट्रिक विश्लेषण: रॉ लॉग-लाइक्लीहुड के मुकाबले सॉफ्टन किए गए स्कोरिंग रूल्स (clipLL2) के उपयोग को मान्य करता है, यह दिखाते हुए कि रॉ मीट्रिक्स उन विनाशकारी टोकन त्रुटियों द्वारा हावी होते हैं जो अन्यथा सही तर्क की उपयोगिता को अस्पष्ट कर देते हैं।

परिणाम (Results)

मॉडल विभेदन (Model Differentiation): इक्वेशन-सफिक्स बेंचमार्क पर, GPT-5.5 (हाई रीजनिंग) के पूर्वानुमान लगातार उच्चतम लाइक्लीहुड लिफ्ट प्राप्त करते हैं, उसके बाद Opus 4.7, और फिर GPT-5.4 nano। यह क्रम दोनों Qwen और Kimi स्कोरर्स पर बना रहता है।
रीजनिंग एफर्ट (Reasoning Effort): मॉडल परिवारों के भीतर, उच्च रीजनिंग-एफर्ट सेटिंग्स (जैसे, GPT-5.5 high > medium > low > none) आम तौर पर उच्च लिफ्ट प्रदान करती हैं, जो एक मोनोटोन ग्रेडिएंट प्रदर्शित करती हैं। हालांकि, आसन्न कंट्रास्ट (जैसे, high बनाम medium) कभी-कभी शोरपूर्ण होते हैं और हमेशा प्रति-आइटम सांख्यिकीय रूप से महत्वपूर्ण नहीं होते हैं, जो कई उदाहरणों पर सांख्यिकीय एकत्रीकरण की आवश्यकता को पुख्ता करते हैं।
कंट्रोल प्रदर्शन (Control Performance):
- सभी प्रेडिक्टर सेटिंग्स सेम-बजट कॉन्टेक्स्ट कंट्रोल को हरा देती हैं।
- GPT-5.5 के पूर्वानुमान कॉन्टेक्ट-ओनली SFT कंट्रोल (सबसे मजबूत स्टैटिक कंट्रोल) पर सकारात्मक लिफ्ट बनाए रखते हैं, जो इंगित करता है कि वे छिपे हुए सफिक्स के बारे में वास्तविक जानकारी प्रसारित करते हैं।
- GPT-5.4 nano के पूर्वानुमान कॉन्टेक्ट-ओनली SFT कंट्रोल को हराने में विफल रहते हैं, जो यह सुझाव देता है कि उनका सिग्नल इस स्ट्रेस टेस्ट के तहत कॉन्टेक्स्ट-स्टफिंग शॉर्टकट से अविभेद्य हो सकता है।
लंबे निरंतरताएं (Longer Continuations): लंबे मिश्रित प्रोज़/TeX निरंतरताओं वाले कठिन शासन (regime) में, लिफ्ट सकारात्मक रहती है लेकिन अधिक शोरपूर्ण और स्कोरर के डिज़ाइन और लक्ष्य की लंबाई के प्रति संवेदनशील होती है। यहाँ रीजनिंग-एफर्ट ग्रेडिएंट इक्वेशन सफिक्स की तुलना में कम मजबूत है।

महत्व और दावे (Significance and Claims)
यह शोध पत्र इस कार्य को एक स्थिर बेंचमार्क और एक नैदानिक उपकरण (diagnostic tool) के रूप में प्रस्तुत करता है, न कि सफल RL प्रशिक्षण के प्रदर्शन के रूप में। इसका प्राथमिक महत्व है:

लाइक्लीहुड रिवार्ड्स की व्यवहार्यता: यह इस परिकल्पना का समर्थन करता है कि तकनीकी निरंतरता पर लाइक्लीहुड लिफ्ट एक सघन, रेफरेंस-ग्राउंडेड रिवॉर्ड सिग्नल के रूप में कार्य कर सकता है जो मॉडल क्षमता और तर्क प्रयास के साथ सहसंबंध रखता है।
सुरक्षा और मजबूती: यह RLVR लूप में तैनात करने से पहले रिवॉर्ड सिग्नल्स को मजबूत स्टैटिक कंट्रोल्स (जैसे, SFT-आधारित कॉन्टेक्स्ट शॉर्टकट्स) के विरुद्ध ऑडिट करने की आवश्यकता पर प्रकाश डालता है। तथ्य यह है कि GPT-5.5 इन कंट्रोल्स से बच जाता है जबकि GPT-5.4 nano नहीं, यह सुझाव देता है कि सभी "लाइक्लीहुड लिफ्ट" समान नहीं हैं; कुछ मॉडल-विशिष्ट विचित्रताओं या शॉर्टकट्स के आर्टिफैक्ट हो सकते हैं।
मेथडोलॉजिकल मिडिल ग्राउंड: यह भंगुर "LLM-as-a-judge" रूब्रिक्स (जो स्टाइल बायस के प्रति संवेदनशील हैं) और सरल स्ट्रिंग समानता (जो तकनीकी पाठ के लिए बहुत कठोर है) के बीच एक मध्य मार्ग प्रदान करता है, जो ऑटो-रिग्रेसिव मॉडल्स की संभाव्य प्रकृति का लाभ उठाते हुए केवल शाब्दिक शुद्धता के बजाय पूर्वानुमान की उपयोगिता का मूल्यांकन करता है।

लेखक स्पष्ट रूप से कहते हैं कि वे यहाँ सुदृढीकरण शिक्षण (reinforcement learning) नहीं कर रहे हैं; लक्ष्य सिग्नल के गुणों को मान्य करना और संभावित कमजोरियों (शॉर्टकट शोषण) की पहचान करना है जिन्हें इस सिग्नल को पोस्ट-ट्रेनिंग ऑप्टिमाइज़ेशन के लिए उपयोग करने से पहले संबोधित करने की आवश्यकता होगी।

1. सेटअप: "पर्दा" खेल (The "Curtain" Game)

2. जज: "प्रोबेबिलिटी मीटर" (The "Probability Meter")

3. जाल: "कॉन्टेक्स्ट स्टफर" (The "Context Stuffer")

4. परिणाम: कौन पास हुआ?

5. यह क्यों महत्वपूर्ण है (शोध पत्र के अनुसार)

इसी तरह के और पेपर