🤖 machine learning

Finite Certificates for In-Context Determinacy and a Threshold Theory of Emergence in Language Models

यह शोधपत्र एक मॉडल-सैद्धांतिक ढांचे का प्रस्ताव करता है जो संदर्भ-सशर्त निश्चितता (context-conditioned determinacy) की स्थितियों और भाषा मॉडलों में थ्रेशोल्ड उद्भव (threshold emergence) की प्रकृति को गणितीय रूप से अभिलक्षणित करने के लिए बेंचमार्क लेबल के स्थान पर परिमित अर्थ संबंधी प्रमाणों (finite semantic certificates) को प्रतिस्थापित करता है, जिससे स्कोरिंग आर्टिफैक्ट्स से वास्तविक अर्थ संबंधी संक्रमणों को अलग करने के लिए परिभाषित घटनाओं पर एक बूलियन संभाव्यता माप (Boolean probability measure) स्थापित किया जा सके।

मूल लेखक: Faruk Alpay, Hamdi Alakkad

प्रकाशित 2026-06-09

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Faruk Alpay, Hamdi Alakkad

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक बड़े भाषा मॉडल (जैसे कि चैटबॉट्स को चलाने वाले मॉडल) की कल्पना एक कमरे में बैठे एक बहुत ही परिष्कृत, लेकिन थोड़े रहस्यमय ओरेकल (oracle) के रूप में करें। आप उसे एक प्रॉम्प्ट (उदाहरणों के साथ एक प्रश्न) देते हैं, और वह आपको उत्तर देता है। आमतौर पर, हम केवल इस बात को देखते हैं कि उत्तर सही है या गलत। लेकिन यह शोध पत्र एक गहरा प्रश्न पूछता है: उत्तर सही क्यों है? क्या यह इसलिए है क्योंकि आपके द्वारा दिए गए उदाहरणों ने उत्तर को उस तरह से देने के लिए मजबूर किया, या मॉडल बस अनुमान लगा रहा है और किस्मत से सही हो गया है?

लेखक इसे एक जासूसी कहानी की तरह देखते हैं जहाँ वे "सर्टिफिकेट्स" (प्रमाणपत्रों) की तलाश कर रहे हैं—छोटे, अकाट्य सबूत जो यह साबित करते हैं कि आपके द्वारा दिए गए सुरागों के आधार पर मॉडल को वह उत्तर देना ही था।

यहाँ तीन मुख्य रहस्य हैं जिन्हें यह शोध पत्र सुलझाता है, जिन्हें सरल भाषा में समझाया गया है:

1. "फोर्सिंग" (Forcing) पहेली (उदाहरण कब उत्तर को लॉक कर देते हैं?)

कल्पना कीजिए कि आप एक रोबोट को एक गुप्त कोड (एक "फाइनाइट फील्ड") का उपयोग करके गणित की समस्याएं हल करना सिखा रहे हैं। आप उसे कुछ उदाहरण दिखाते हैं: "2 + 2 = 4," "3 + 3 = 6।"

प्रश्न: आपको कितने उदाहरण दिखाने होंगे कि रोबोट एक नए प्रश्न के लिए कोई अन्य उत्तर न दे सके?
खोज: लेखकों को एक गणितीय "लॉक" मिला। यदि आपका नया प्रश्न आपके दिए गए उदाहरणों के समान पैटर्न में फिट बैठता है (जैसे किसी विशिष्ट आकार में चाबी का फिट होना), तो उत्तर फोर्स्ड (forced) है। रोबलेट के पास कोई विकल्प नहीं है।
सावधानी: उन्होंने यह भी सिद्ध किया कि उत्तर को मजबूर करने के लिए आवश्यक उदाहरणों का सबसे छोटा सेट खोजना कंप्यूटर के लिए अविश्वसनीय रूप से कठिन है (एक समस्या जिसे "NP-complete" कहा जाता है)। यह एक रहस्य को सुलझाने के लिए आवश्यक सुरागों की न्यूनतम संख्या खोजने जैसा है; कभी-कभी, आपको लगभग हर संभावित संयोजन की जांच करनी पड़ती है।

2. "मैजिक जंप" (Magic Jump) भ्रम (स्कोर अचानक क्यों बढ़ जाते हैं?)

आपने शायद ऐसे ग्राफ देखे होंगे जहाँ AI का प्रदर्शन लंबे समय तक सोता हुआ दिखता है, और फिर अचानक वह "जाग" जाता है और एक उच्च स्कोर पर कूद जाता है। लोग अक्सर इसे "इमर्जेंस" (emergence) कहते हैं—जैसे कि AI ने अचानक कोई नई सुपरपावर सीख ली हो।

खोज: लेखक कहते हैं, "रुकिए। वह उछाल एक ऑप्टिकल इल्यूजन (दृष्टि भ्रम) हो सकता है।"
उपमा: कल्पना कीजिए कि आप किसी व्यक्ति की ऊंचाई माप रहे हैं। यदि आप एक ऐसा रूलर (पैमाना) उपयोग करते हैं जिसमें केवल 5 फीट और 6 फीट के निशान हैं, और व्यक्ति 5'9" से बढ़कर 5'11" हो जाता है, तो आपका रूलर एक दिन उसे "5 फीट" दिखाएगा और अगले दिन "6 फीट"। यह एक विशाल उछाल जैसा दिखता है, लेकिन वास्तव में वह धीरे-धीरे बढ़ा है।
वास्तविकता: यह शोध पत्र सिद्ध करता है कि AI बेंचमार्क में ये "जंप" अक्सर इसलिए होते हैं क्योंकि टेस्ट बहुत सख्त है (जैसे बड़े अंतराल वाला रूलर)। AI की वास्तविक समझ (उसका "कॉन्फिडेंस") सुचारू रूप से और निरंतर बढ़ रही है। "जंप" केवल एक थ्रेशोल्ड (सीमा) को पार करना है, न कि AI के मस्तिष्क में अचानक आया कोई जादुई परिवर्तन। वे इसे "एंटी-मिराज थ्योरम" (Anti-Mirage Theorem) कहते हैं: उछाल माप का एक trick है, न कि AI के दिमाग में कोई जादुई संक्रमण।

3. "कॉन्टेक्स्ट स्विच" (Context Switch) (अधिक टेक्स्ट जोड़ने से चीजें कभी-कभी क्यों टूट जाती हैं?)

आमतौर पर, हम सोचते हैं कि प्रॉम्प्ट में अधिक निर्देश जोड़ने से केवल अधिक नियम जुड़ते हैं। लेकिन कभी-कभी, एक नया वाक्य जोड़ने से मॉडल पिछले नियम को भूल जाता है या अपना मन बदल लेता है।

खोज: लेखक इसे एक "पसंदीदा" (preference) प्रणाली का उपयोग करके समझाते हैं। एक जज की कल्पना करें जिसके पास उन संभावित दुनियाओं की सूची है जिनमें वह हो सकता है। आपका प्रॉम्प्ट जज को बताता है कि कौन सी दुनियाएं अनुमत हैं।
तंत्र: जब आप एक नया निर्देश जोड़ते हैं, तो यह केवल एक नियम नहीं जोड़ता; यह दुनियाओं को री-रैंक (re-rank) भी कर सकता है। एक दुनिया जो पहले "सर्वश्रेष्ठ" विकल्प थी, उसे पदাবন दी जा सकती है, और एक अलग दुनिया नया पसंदीदा बन सकती है। यह समझाता है कि क्यों टेक्स्ट जोड़ने से कभी-कभी पुराने निष्कर्ष मिट सकते हैं। यह एक सरल "जोड़ना" नहीं है; यह एक "पुनः चयन" (re-selection) है।

बड़ी तस्वीर: AI का परीक्षण करने का एक नया तरीका

यह शोध पत्र AI व्यवहार को सत्यापित करने का एक नया तरीका प्रस्तावित करता है जो केवल अंतिम उत्तर देखने पर निर्भर नहीं है। इसके बजाय, यह AI से उस सर्टिफिकेट (प्रमाण) को उत्पन्न करने के लिए कहता है कि उसने वह उत्तर क्यों दिया।

प्रयोग: उन्होंने वास्तविक AI मॉडलों के एक पैनल पर इसका परीक्षण किया। उन्होंने उन्हें ऐसी पहेलियाँ दीं जहाँ उत्तर या तो गणित द्वारा "फोर्स्ड" था या "अनिर्धारित" (underdetermined - जो कुछ भी हो सकता था) था।
परिणाम: मॉडल सही उत्तर देने में अच्छे थे जब गणित ने उसे मजबूर किया। लेकिन जब परीक्षण के लिए एक विशिष्ट "थ्रेशोल्ड क्रॉसिंग" (जैसे बहु-भाग वाले प्रश्न पर सटीक स्कोर प्राप्त करना) की आवश्यकता थी, तो मॉडलों ने प्रदर्शन में "जंप" दिखाया। सबसे मजबूत मॉडल ने सब कुछ सही किया; कमजोर मॉडलों ने लगभग कुछ भी नहीं पाया। इसने "ऑप्टिकल इल्यूजन" सिद्धांत की पुष्टि की: अंतर्निहित क्षमता सुचारू रूप से बढ़ रही थी, लेकिन सख्त परीक्षण ने इसे कौशल के अचानक विस्फोट के रूप में दिखाया।

सारांश

यह शोध पत्र AI में सत्य का पता लगाने के लिए एक टूलकिट है। यह हमें बताता है:

कब एक उत्तर वास्तव में उदाहरणों द्वारा फोर्स्ड है (और कब यह केवल एक अनुमान है)।
क्यों अचानक टेस्ट स्कोर में उछाल अक्सर केवल माप के तरीके हैं, न कि जादुई सफलताएँ।
कैसे यह सिद्ध करें कि एक AI का व्यवहार सुसंगत है, गणितीय "रसीदों" का उपयोग करके, न कि केवल यह उम्मीद करके कि वह सही उत्तर देगा।

यह "क्या यह काम करता है?" से हटकर "क्या आप सिद्ध कर सकते हैं कि यह क्यों काम करता है?" की ओर एक कदम है।

तकनीकी सारांश: इन-कॉन्टेक्स्ट डिटरमिनसी के लिए परिमित प्रमाण पत्र और इमर्जेंस का एक थ्रेशोल्ड सिद्धांत

समस्या विवरण (Problem Statement)

यह शोध पत्र लार्ज लैंग्वेज मॉडल्स (LLMs) के मूल्यांकन में एक मौलिक सत्यापन अंतराल (verification gap) को संबोधित करता है। अनुभवजन्य मूल्यांकन (empirical evaluation) वितरणों, सटीकता और थ्रेशोल्ड स्कोर पर निर्भर करते हैं, जो अक्सर तीन अलग-अलग घटनाओं को मिला देते हैं:

एक मॉडल द्वारा सही आउटपुट को उच्च संभाव्यता देना, बिना इसके कि संदर्भ (context) उसे अर्थपूर्ण रूप से अनिवार्य (entail) करता हो।
एक प्रॉम्प्ट द्वारा डिफ़ॉल्ट को ओवरराइड करना, बिना कोई मोनोटोोनिक एक्सिओम (monotone axiom) जोड़े।
एक बेंचमार्क स्कोर का अचानक उछलना, जो एक विच्छिन्न ऑब्जर्वेशन मैप (discontinuous observation map) के कारण हो सकता है, भले ही अंतर्निहित सिमेंटिक कॉन्फिडेंस धीरे-धीरे बदल रहा हो।

लेखकों का तर्क है कि मौजूदा सिद्धांत (जैसे, लेटेंट बेयसियन इन्फरेंस, मैकेनिस्टिक सर्किट अध्ययन) एक सामान्य सिमेंटिक लक्ष्य प्रदान नहीं करते—एक ऐसा तर्क जहाँ व्यवहार एक सूत्र (formula) हो, संदर्भ एक अपडेट हो, और स्केल ट्रेंड्स को सीमित प्रतिबद्धताओं (limiting commitments) के विरुद्ध परखा जाए। यह शोध पत्र बेंचमार्क लेबल को परिमित सिमेंटिक सर्टिफिकेट्स (finite semantic certificates) से बदलने का प्रयास करता है ताकि कठोरता से यह परिभाषित किया जा सके कि कब एक संदर्भ एक उत्तर को मजबूर करता है (डिटरमिनेंसी) और कब एक बेंचमार्क जंप एक वास्तविक सिमेंटिक ट्रांजिशन बनाम एक मेट्रिक आर्टिफैक्ट (metric artifact) है (इमर्जेंस)।

कार्यप्रणाली (Methodology)

लेखक प्री-ट्रेन्ड LLMs को भौतिक ट्रांसफॉर्मर्स के रूप में नहीं, बल्कि सिमेंटिक प्रेजेंटेशन्स (semantic presentations) के रूप में मॉडल करते हैं: स्केल $\lambda$ पर एक टुपल $G_\lambda = (L, K_\lambda, \mu_\lambda, C_\lambda, U_\lambda, D_\lambda)$ ।

$K_\lambda$ : प्रथम-क्रम संरचनाओं (first-order structures) का एक वर्ग जो लेटेंट टास्क या हाइपोथीसिस का प्रतिनिधित्व करता है।
$\mu_\lambda$ : परिभाषित घटनाओं (definable events) पर एक संभाव्यता माप (probability measure - सिमेंटिक कॉन्फिडेंस)।
$U_\lambda$ : एक कॉन्टेक्स्ट अपडेट नियम (प्रेफरेंशियल या पोस्टीरियर रिस्ट्रिक्शन)।
$D_\lambda$ : संरचनाओं को आउटपुट्स में मैप करने वाला एक डिकोडिंग कर्नेल।

विश्लेषण दो समानांतर ट्रैक्स में आगे बढ़ता है:

लॉजिकल/मॉडल-थ्योरेटिकल: कॉम्पैक्टनेस, स्टोन स्पेस और कीस्लर मेजर्स (Keisler measures) का उपयोग करके, परिभाषित घटनाओं पर एक फिनाइटली एडिटिव प्रोबेबिलिटी के रूप में सिमेंटिक कॉन्फिडेंस को परिभाषित करना।
अल्जेब्रिक/कॉम्बिनेटोरियल: डिटरमिनेंसी और सर्टिफिकेट कॉम्प्लेक्सिटी के सटीक मानदंड प्राप्त करने के लिए फाइनाइट-फील्ड लीनियर टास्क फैमिली का विश्लेषण करना।

मुख्य योगदान (Key Contributions)

1. परिमित डिटरमिनेंसी और आइडेंटिफिकेशन कर्व्स (Finite Determinacy and Identification Curves)

फाइनाइट-फील्ड लीनियर टास्क फैमिली के लिए, यह शोध पत्र सटीक स्थितियाँ स्थापित करता है कि कब एक क्वेरी एक संदर्भ द्वारा मजबूर (forced) की जाती है:

रो-स्पेस मानदंड (Row-Space Criterion): एक क्वेरी $q$ तब मजबूर होती है जब और केवल जब वह उदाहरण डिज़ाइन मैट्रिक्स $A_n$ के रो-स्पेस में स्थित हो।
रेसिड्यूअल हाइपोथीसिस काउंट: शेष लेटेंट पैरामीटर्स की संख्या $|F|^{d - \text{rank}(A_n)}$ है।
आइडेंटिफिकेशन कर्व्स: $n$ रैंडम उदाहरणों के बाद पूर्ण सिमेंटिक आइडेंटिफिकेशन की संभावना $Id(n) = \prod_{i=0}^{d-1} (1 - Q^{i-n})$ द्वारा दी गई है।
कॉम्प्लेक्सिटी: सबसे छोटे फोर्सिंग सब-कॉन्टेक्स्ट को निकालना NP-complete सिद्ध हुआ है, जो एक पेयर-सेपरेटर हिटिंग समस्या में बदल जाता है।

2. इमर्जेंस का थ्रेशोल्ड सिद्धांत (Threshold Theory of Emergence)

यह शोध पत्र "इमर्जेंस" (बेंचमार्क स्कोर में उछाल) को "सिमेंटिक डिस्कंटिन्युटी" से अलग करता है:

एंटी-मिराज थ्योरम (Anti-Mirage Theorem): एक थ्रेशोल्डेड मेट्रिक (जैसे, सटीक मिलान) में उछाल, अंतर्निहित सिमेंटिक कॉन्फिडेंस में विच्छिन्नता (discontinuity) का संकेत नहीं देता है। यह पूरी तरह से स्कोरिंग मैप की विच्छिन्नता से उत्पन्न हो सकता है।
क्रॉसिंग-स्केल बाउंड: लेटेंट कमिटमेंट्स के लिए कन्वर्जेंस रेट $1 - s_\lambda \le a\lambda^{-\alpha}$ के साथ, वह स्केल $\lambda_\tau$ जिस पर एक प्रॉपर्टी थ्रेशोल्ड $\tau$ के ऊपर दृश्यमान होती है, $\lambda_\tau = (a/(1-\tau))^{1/\alpha}$ द्वारा सीमित है।
कंजंक्शन इफेक्ट: मल्टी-फील्ड सटीक-मिलान मेट्रिक्स (जिसके लिए $k$ क्षेत्रों का सही होना आवश्यक है) के लिए, स्पष्ट उछाल तीव्र हो जाता है, और क्रॉसिंग स्केल $k^{1/\alpha}$ के कारक से बढ़ जाता है।

3. कीस्लर मेजर के रूप में सिमेंटिक कॉन्फिडेंस (Semantic Confidence as a Keisler Measure)

लेखक टाइप स्पेस पर सिमेंटिक कॉन्फिडेंस $s_{\lambda,c}(\phi)$ को एक कीस्लर मेजर (Keisler measure) के रूप में औपचारिक रूप देते हैं:

मेजर-वन फॉर्मूला एक उचित फ़िल्टर (proper filter) बनाते हैं (एक अल्ट्राफिल्टर यदि स्थिति निर्णायक है)।
प्रतिनिधित्व 'डेफिनिशनल एक्सपेंशन' के तहत अपरिवर्तित रहता है, यह सुनिश्चित करता है कि सिमेंटिक प्रतिबद्धताएं नोटेशनल चॉइस पर निर्भर नहीं हैं।
प्रॉम्प्ट एक्सटेंशन को एक प्रेफरेंशियल अपडेट के रूप में मॉडल किया गया है, जो नॉन-मोनोटोनिसिटी की व्याख्या करता है: एक प्रॉम्प्ट जोड़ने से पसंदीदा मॉडल्स का सेट बदल सकता है, जिससे पूर्ववर्ती परिणामों को हटाया जा सकता है।

4. सत्यापन और फाल्सिफिकेशन प्रोटोकॉल (Verification and Falsification Protocols)

शोध पत्र एक क्लोज्ड-लूप सत्यापन प्रणाली प्रस्तावित करता है जो साउंड, ऑरेकल-फ्री चेकर्स (sound, oracle-free checkers) का उपयोग करती है:

चेकर्स संदर्भ उत्तरों (reference answers) का उल्लेख किए बिना सर्टिफिकेट्स (जैसे, रो-स्पेस कॉम्बिनेशन, क्रॉसिंग-स्केल कंप्यूटेशन) को सत्यापित करते हैं।
एक "एवर्सिव रिफाइनमेंट शेड्यूल" (aversive refinement schedule) एक जनरेटर को चेकर के डायरेक्शनल फीडबैक पर कार्य करके सुधार करने की अनुमति देता है, जो प्रमाणित रूप से मेट्रिक-आर्टिफैक्ट थ्रेशोल्ड्स को मिटाता है जबकि वास्तविक अरिथमेटिक गैप्स को सुरक्षित रखता है।

परिणाम (Results)

सैद्धांतिक परिणाम (Theoretical Results)

कॉम्पैक्टनेस: किसी भी संपत्ति (property) जो एक अनंत संदर्भ स्ट्रीम द्वारा अनिवार्य (entailed) की जाती है, उसका एक परिमित सर्टिफिकेट होता है (थ्योरम 4.7, 7.1)।
सटीक लीनियर आइडेंटिफिकेशन: फाइनाइट फील्ड्स में, डिटरमिनेंसी सख्ती से मैट्रिक्स रैंक द्वारा शासित होती है। शोध पत्र पूर्ण आइडेंटिफिकेशन और क्वेरी-लोकल डिटरमिनेशन की संभावना के लिए क्लोज्ड-फॉर्म एक्सप्रेशन प्रदान करता है।
इमर्जेंस एक आर्टिफैक्ट के रूप में: सैद्धांतिक सीमाएँ सिद्ध करती हैं कि बेंचमार्क में "इमर्जेंट" उछाल पूरी तरह से स्मूथ कॉन्फिडेंस कन्वर्जेंस और विच्छिन्न स्कोरिंग फंक्शन्स के बीच की परस्पर क्रिया से समझाया जा सकता है (थ्योरम 6.8, प्रोपोज़िशन 6.10)।

अनुभवजन्य सत्यापन (प्रशिक्षित मॉडल) (Empirical Validation - Trained Models)

लेखकों ने तीन परिवारों में नौ समकालीन लैंग्वेज मॉडल्स (कमजोर से मध्यम क्षमता तक) के पैनल पर एक डिटर्मिनिस्टिक सर्टिफिकेट-एमिशन बेंचमार्क चलाया:

DET (रो-स्पेस डिटरमिनेंसी): मॉडल्स को यह पहचानना होगा कि क्या कोई क्वेरी मजबूर (forced) है और एक गवाह (witness) प्रदान करना होगा।
THR (थ्रेशोल्ड क्रॉसिंग): मॉडल्स को सटीक स्केल की गणना करनी होगी जहाँ एक स्मूथ फंक्शन थ्रेशोल्ड को पार करता है।
PRS (प्रॉम्प्ट प्रिजर्वेशन): मॉडल्स को यह निर्णय लेना होगा कि क्या एक नया प्रॉम्प्ट पिछले परिणामों को सुरक्षित रखता है।

निष्कर्ष:

ग्रेडेड बनाम सटीक: ग्रेडेड कॉन्फिडेंस (सही क्षेत्रों का अंश) मॉडल पैनल में सुचारू रूप से बढ़ा। सटीक स्कोर (सभी क्षेत्र सही) शून्य के करीब रहे जब तक कि एक मजबूत मॉडल (Qwen3 14B) ने थ्रेशोल्ड को पार नहीं किया, और फिर पूर्ण सफलता की ओर उछल गया।
एंटी-मिराज पुष्टि: यह व्यवहार प्रोपोज़िशन 6.10 के सैद्धांतिक पूर्वानुमान से पूरी तरह मेल खाता था: THR क्षमता का "इमर्जेंस" कंजंक्शन ( $k=2$ ) का एक मेट्रिक आर्टिफैक्ट था, न कि अंतर्निहित क्षमता में विच्छिन्नता।
सर्टिफिकेट प्रोडक्शन: सबसे मजबूत मॉडल ने आवश्यक परिमित गवाहों (जैसे, रो-स्पेस कॉम्बिनेशन, कंटेनमेंट चेक) को सफलतापूर्वक उत्पादित किया, जो दर्शाता है कि सैद्धांतिक सर्टिफिकेट प्रशिक्षित सिस्टमों की पहुंच के भीतर हैं।

महत्व और दावे (Significance and Claims)

शोध पत्र दावा करता है कि यह LLM व्यवहार के लिए एक मॉडल-थ्योरेटिकल भाषा प्रदान करता है जो मैकेनिस्टिक सर्किट विश्लेषण या शुद्ध सांख्यिकीय स्केलिंग लॉ से भिन्न है। इसका महत्व यहाँ है:

सिमेंटिक्स को मेट्रिक्स से अलग करना: यह सिद्ध करता है कि बेंचमार्क जंप आवश्यक रूप से नई सिमेंटिक क्षमताओं का प्रमाण नहीं हैं; वे ऑब्जर्वेशन मैप्स के आर्टिफैक्ट हो सकते हैं।
सर्टिफिकेट को परिभाषित करना: यह "सटीकता" से आगे बढ़कर यह परिभाषित करता है कि क्या मतलब है कि एक संदर्भ एक उत्तर को मजबूर करता है, और इसके लिए सटीक कॉम्बिनेटोरियल और अल्जेब्रिक मानदंड प्रदान करता है।
फाल्सिफिएबिलिटी (Falsifiability): यह यह परीक्षण करने के लिए विशिष्ट, जांच योग्य प्रोटोकॉल (जैसे, प्रेडिक्शन 1: रो-स्पेस डिटरमिनेंसी; प्रेडिक्शन 2: निरंतर प्रॉक्सी की स्मूथनेस) प्रदान करता है कि क्या मॉडल का व्यवहार प्रस्तावित सिमेंटिक रिप्रेजेंटेशन के अनुरूप है।

लेखक स्पष्ट रूप से कहते हैं कि उनका निर्माण कंडीशनल और एक्सटर्नल (conditional and external) है: यह दावा नहीं करता कि ट्रांसफॉर्मर्स शाब्दिक रूप से फर्स्ट-ऑर्डर मॉडल्स को धारण करते हैं, बल्कि यह कि यदि व्यवहार को एक मेजर्ड मॉडल क्लास द्वारा दर्शाया जाता है, तो डिटरमिनेंसी, प्रॉम्प्ट स्टेबिलिटी और इमर्जेंस पर उनके व्युत्पन्न सिद्धांत अवश्य लागू होंगे। प्रशिक्षित मॉडल्स के साथ कोई विसंगति, रिप्रेजेंटेशन को गलत सिद्ध करेगी, अंतर्निहित तर्क या बीजगणित को नहीं।