🤖 AI

TRACE: Toulmin-based Reasoning Assessment through Constructive Elements for LLM CoT Evaluation

यह शोध पत्र TRACE को प्रस्तुत करता है, जो एक नवीन मूल्यांकन मीट्रिक है जो टुलमिन के तर्क सिद्धांत (Toulmin's argumentation theory) और फ्लेवेल के मेटाकॉग्निटिव फ्रेमवर्क (Flavell's metacognitive framework) को एकीकृत करके लार्ज लैंग्वेज मॉडल्स की चेन-ऑफ-थॉट रीजनिंग की संरचनात्मक गुणवत्ता का आकलन करता है, और बेंचमार्क सटीकता के साथ मजबूत सहसंबंध तथा सुदृढीकरण शिक्षण (reinforcement learning) रिवॉर्ड सिग्नल के रूप में प्रभावशीलता प्रदर्शित करता है।

मूल लेखक: Yundong Kim, Heyoung Yang

प्रकाशित 2026-05-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yundong Kim, Heyoung Yang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जटिल गणितीय समस्या हल करने के लिए एक छात्र को काम पर रख रहे हैं। अतीत में, शिक्षक (और AI मूल्यांकनकर्ता) केवल कागज पर लिखे गए अंतिम उत्तर को देखते थे। यदि उत्तर "42" था, तो छात्र को 'A' ग्रेड मिलता था। यदि वह "43" होता, तो उसे 'F' मिलता। उन्हें इस बात की परवाह नहीं थी कि छात्र वहां तक कैसे पहुँचा। उन्हें यह नहीं पता था कि छात्र वास्तव में गणित को समझ रहा था, या उसने केवल अनुमान लगाया था, या उसने एक सुंदर, तार्किक कहानी लिखी थी जो गलती से गलत नंबर तक पहुँच गई।

यही वर्तमान लार्ज लैंग्वेज मॉडल्स (LLMs) के साथ समस्या है। हम जानते हैं कि वे बेहतरीन उत्तर दे सकते हैं, लेकिन हमारे पास यह जांचने का कोई अच्छा तरीका नहीं है कि उनकी "सोचने की प्रक्रिया" (जिसे चेन-ऑफ-थॉट कहा जाता है) वास्तव में तार्किक है या केवल आत्मविश्वास से भरी हुई बकवास है।

मिलिए TRACE से। TRACE को एक शिक्षक के रूप में न सोचें जो केवल अंतिम उत्तर को ग्रेड देता है, बल्कि एक जासूस के रूप में देखें जो छात्र के रफ पेपर (स्क्रैच पेपर) की जांच कर रहा है।

जासूस का टूलकिट: दो पुराने सिद्धांत

लेखकों ने TRACE को मानव मनोविज्ञान और तर्क के दो क्लासिक विचारों को जोड़कर बनाया है:

टुलमिन का तर्क (The Skeleton - ढांचा): कल्पना कीजिए कि एक इमारत है। उसे एक नींव (साक्ष्य/Evidence), एक संरचना (तर्क/Reasoning), और एक छत (दावा/Claim) की आवश्यकता होती है। TRACE यह जांचता है कि क्या AI वास्तव में एक घर बना रहा है या केवल यादृच्छिक ईंटें जमा कर रहा है। यह विशिष्ट भागों की तलाश करता है:
- दावा (Claim): उत्तर।
- साक्ष्य (Evidence): तथ्य।
- वॉरेंट (Warrant): तथ्यों को उत्तर से जोड़ने वाला पुल।
- बैकिंग (Backing): पुल के लिए अतिरिक्त समर्थन।
- खंडन (Rebuttal): प्रति-तर्कों को संबोधित करना।
फ्लेवेल का मेटाकॉग्निशन (The Brain's Monitor - मस्तिष्क का मॉनिटर): यह AI की "आंतरिक आवाज" है। यह वह हिस्सा है जो कहता है, "रुको, क्या यह समझ में आ रहा है?" या "मुझे इस कदम के बारे में यकीन नहीं है।" TRACE इन आत्म-जांच के क्षणों की तलाश करता है।

TRACE कैसे काम करता है: "ट्रैफिक लाइट" प्रणाली

TRACE सिस्टम AI की लंबी, विस्तृत सोचने की प्रक्रिया को वाक्य-दर-वाक्य तोड़ देता है। यह एक स्मार्ट क्लासिफायर (एक छोटा AI जिसे इन पैटर्न को पहचानने के लिए प्रशिक्षित किया गया है) का उपयोग करता है ताकि प्रत्येक वाक्य को "साक्ष्य", "दावा", या "आत्म-संदेह" जैसे लेबल के साथ टैग किया जा सके।

फिर, यह वाक्यों के बीच के प्रवाह (flow) को देखता है, एक ट्रैफिक कंट्रोलर की तरह:

ग्रीन लाइट (अच्छे ट्रांज़िशन): "साक्ष्य" से "दावा" की ओर बढ़ना एक सुगम हाईवे की तरह है। तर्क आगे की ओर बढ़ता है।
रेड लाइट (बुरे ट्रांज़िशन): "आत्म-संदेह" से "अधिक आत्म-संदेह" की ओर बढ़ना एक ट्रैफिक जाम में फंसी कार की तरह है, जो पहिये घुमा रही है। यह दर्शाता है कि AI भ्रमित है या बिना समस्या सुलझाए हिचकिचा रहा है।

सिस्टम एक TRACE स्कोर की गणना करता है। एक उच्च स्कोर का अर्थ है कि AI ने एक ठोस नींव के साथ एक तार्किक घर बनाया है और छत तक जाने का एक स्पष्ट रास्ता है। कम स्कोर का अर्थ है कि घर डगमगा रहा है, या AI केवल पहिये घुमा रहा है।

उन्होंने क्या पाया

शोधकर्ताओं ने 7 अलग-अलग AI मॉडल्स पर 26,000 प्रश्नों का परीक्षण किया। यहाँ उनकी खोजें दी गई हैं:

तर्क सफलता से जुड़ा है: एक उच्च TRACE स्कोर और सही उत्तर मिलने के बीच एक बहुत मजबूत संबंध (0.74 का सहसंबंध) है। मूल रूप से, जब एक AI तार्किक रूप से सोचता है, तो वह आमतौर पर सही उत्तर प्राप्त करता है। जब वह भाग्य या याददाश्त के बल पर सही उत्तर प्राप्त करता है लेकिन उसकी सोचने की प्रक्रिया अव्यवस्थित होती है, तो TRACE उसे कम स्कोर देता है।
शब्द गणना से बेहतर: AI को आंकने के पुराने तरीके देखते थे कि उत्तर कितना लंबा था (अधिक शब्द = बेहतर?) या शब्द कितने "भ्रमित" लग रहे थे। TRACE ने इन तरीकों को आसानी से हरा दिया। यह इस बारे में नहीं है कि आप कितना बोलते हैं; यह इस बारे में है कि आप कैसे बोलते हैं।
AI को बेहतर सोचना सिखाना: सबसे रोमांचक हिस्सा TRACE को एक "इनाम" के रूप में उपयोग करके AI को प्रशिक्षित करना है। कल्पना कीजिए कि आप एक कुत्ते को प्रशिक्षित कर रहे हैं। यदि आप उसे केवल तभी ट्रीट देते हैं जब वह फ्रिसबी पकड़ता है, तो वह केवल भाग्य आजमाने के लिए गोल-गोल घूम सकता है। लेकिन यदि आप उसे हर बार ट्रीट देते हैं जब वह सही दिशा में दौड़ता है (भले ही वह फ्रिसबी को मिस कर दे), तो वह सही व्यवहार सीखता है।
- जब उन्होंने केवल "सही उत्तर" वाले इनामों के साथ एक AI को प्रशिक्षित किया, तो उसमें थोड़ा सुधार हुआ।
- जब उन्होंने "TRACE स्कोर" (अच्छे तर्क को पुरस्कृत करना) को प्रशिक्षण में जोड़ा, तो AI काफी स्मार्ट हो गया, और गणित की समस्याओं पर उसके प्रदर्शन में लगभग 10% का सुधार हुआ।

सीमाएं (The "But...")

लेखक ईमानदार हैं कि TRACE कहाँ विफल हो सकता है:

"परफेक्टली गलत" घर: TRACE यह जांचता है कि संरचना कितनी मजबूत है, न कि ईंटें असली हैं या नहीं। एक AI गलत तथ्य (जैसे, "सभी पक्षी उड़ सकते हैं। पेंगुइन पक्षी हैं। इसलिए, पेंगुइन उड़ सकते हैं।") के आधार पर एक पूरी तरह से तार्किक तर्क बना सकता है। तर्क एकदम सही है, लेकिन आधार गलत है। TRACE इसे उच्च स्कोर देगा, भले ही उत्तर गलत हो।
"लकी गेस" वाला घर: कभी-कभी, एक AI अनुमान लगाकर या तथ्य याद करके सही उत्तर प्राप्त कर सकता है, लेकिन उसकी सोचने की प्रक्रिया अव्यवस्थित और हिचकिचाहट भरी हो सकती है। TRACE इसे कम स्कोर देगा, भले ही उत्तर सही हो।

निचोड़ (The Bottom Line)

TRACE एक नया उपकरण है जो हमें AI के मस्तिष्क के भीतर झांकने की अनुमति देता है। यह केवल यह नहीं पूछता, "क्या आपने इसे सही किया?" बल्कि यह पूछता है, "क्या आपने इसके बारे में सही तरीके से सोचा?" अच्छी सोच संरचनाओं को पुरस्कृत करके, हम AI मॉडल्स को अधिक विश्वसनीय बना सकते हैं और उन्हें सही उत्तर पाने से पहले ही भ्रमित (hallucinate) होने की संभावना को कम कर सकते हैं।

तकनीकी सारांश: TRACE – रचनात्मक तत्वों के माध्यम से टुलमिन-आधारित तर्क मूल्यांकन

1. समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) की तर्क करने की क्षमताओं का मूल्यांकन करना एक महत्वपूर्ण चुनौती बनी हुई है, विशेष रूप से ओपन-एंडेड आउटपुट के लिए जहाँ ग्राउंड ट्रुथ (ground truth) अनुपस्थित होता है। वर्तमान मूल्यांकन प्रतिमान मुख्य रूप से परिणाम-आधारित मेट्रिक्स (जैसे, सटीक मिलान सटीकता) या सतही सांख्यिकी (जैसे, टोकन लंबाई, परप्लेक्सिटी, लेक्सिकल डाइवर्सिटी) पर निर्भर करते हैं। ये दृष्टिकोण तर्क प्रक्रिया को एक "ब्लैक बॉक्स" के रूप में देखते हैं, जिससे यह निदान करने में विफलता मिलती है कि मॉडल किसी निष्कर्ष तक कैसे पहुँचता है। हालाँकि "LLM-as-a-judge" विधियाँ उभरी हैं, वे अक्सर अपारदर्शी निर्णय लेने वाली प्रक्रियाओं वाले सापेक्ष मूल्यांकनकर्ता के रूप में कार्य करती हैं और तार्किक सुदृढ़ता के बजाय शैलीगत प्राथमिकताओं (जैसे, शब्दबंध या वर्बोसिटी) के प्रति पक्षपाती हो सकती हैं। एक ऐसे संदर्भ-मुक्त (reference-free), प्रक्रिया-आधारित मेट्रिक की महत्वपूर्ण आवश्यकता है जो बिना किसी ग्राउंड-ट्रुथ लेबल या महंगे वेरीफायर मॉडल्स के, चेन-ऑफ-थॉट (CoT) तर्क की संरचनात्मक अखंडता और तार्किक प्रवाह को परिमाणित कर सके।

2. कार्यप्रणाली

यह शोध पत्र TRACE (Toulmin-based Reasoning Assessment through Constructive Elements) प्रस्तावित करता है, जो तर्क ब्लॉकों के तर्कसंगत ढांचे और मेटाकॉग्निटिव प्रवाह का विश्लेषण करके CoT गुणवत्ता का मूल्यांकन करता है। यह कार्यप्रणाली दो प्राथमिक चरणों में संचालित होती है:

A. वाक्य-स्तरीय लेबलिंग (TRACE-DeBERTa)

फ्रेमवर्क पहले spaCy का उपयोग करके तर्क ब्लॉकों को वाक्यों में विभाजित करता है। प्रत्येक वाक्य को फिर TRACE-DeBERTa द्वारा वर्गीकृत किया जाता है, जो एक फाइन-ट्यून्ड DeBERTa-v3-base मॉडल है, ताकि "रचनात्मक तत्वों" (Constructive Elements) की पहचान की जा सके। यह वर्गीकरण दो सैद्धांतिक ढांचों पर आधारित है:

टुलमिन का तर्क मॉडल (Toulmin's Argumentation Model): संरचनात्मक घटकों की पहचान करना जैसे दावा (Claim), डेटा/साक्ष्य (Data/Evidence), वारंट (Warrant), बैकिंग (Backing), क्वालीफायर (Qualifier), और खंडन (Rebuttal)।
फ्लेवेल का मेटाकॉग्निशन सिद्धांत (Flavell's Metacognition Theory): स्व-नियामक घटकों की पहचान करना जैसे निगरानी (Monitoring) (स्व-जाँच) और मूल्यांकन (Evaluation) (सत्यता का निर्णय)।

मॉडल एक मल्टी-लेबल क्लासिफिकेशन हेड का उपयोग करता है, जो आठ विशिष्ट लेबल के लिए कॉन्फिडेंस स्कोर आउटपुट करता है। प्रत्येक तत्व की उपस्थिति निर्धारित करने के लिए 0.5 का थ्रेशोल्ड लागू किया जाता है।

B. ट्रेस स्कोर निष्कर्षण (Trace Score Extraction)

एक बार जब एक तर्क ब्लॉक को लेबल सेट के अनुक्रम में बदल दिया जाता है, तो TRACE दो घटकों के आधार पर एक मिश्रित स्कोर की गणना करता है:

स्टेट वैलिडिटी ( $V_{state}$ ): यह मेट्रिक व्यक्तिगत तर्क चरणों की तार्किक सुदृढ़ता का आकलन करता है। यह एक लेबल सेट और "अनुमत अवस्थाओं" (Allowed States - टुलमिन के घटकों के वैध संयोजन) के बीच जेकार्ड समानता (Jaccard similarity) की गणना करता है। अस्पष्ट या संरचनात्मक रूप से कमजोर संयोजनों (जैसे, अलग-थलग Monitoring या अत्यधिक Qualifiers) वाले वाक्यों को कम वैधता स्कोर प्राप्त होता है।
ट्रांजिशन कोहेरेंस ( $C_{trans}$ ): यह मेट्रिक आसन्न चरणों के बीच तार्किक प्रवाह का मूल्यांकन करता है। फ्रेमवर्क अच्छे ट्रांजिशन (जैसे, Data $\to$ Claim, Warrant $\to$ Claim) को परिभाषित करता है जो मजबूत तार्किक प्रगति का संकेत देते हैं, और बुरे ट्रांजिशन (जैसे, Monitoring $\leftrightarrow$ Monitoring, Qualifier $\leftrightarrow$ Qualifier) को परिभाषित करता है जो संज्ञानात्मक ठहराव या चक्रीय अनिश्चितता का संकेत देते हैं। स्कोर को कुल ट्रांजिशन के सापेक्ष अच्छे ट्रांजिशन के घनत्व के आधार पर सामान्यीकृत (normalize) किया जाता है।

अंतिम TRACE स्कोर एक भारित योग (weighted sum) है:
$\text{TRACE} = \alpha \cdot V_{state} + (1 - \alpha) \cdot C_{trans}$
जहाँ $\alpha = 0.7$ को स्टेट वैलिडिटी को सौंपा गया है, जो वैश्विक प्रवाह के ऊपर स्थानीय संरचनात्मक अखंडता को प्राथमिकता देता है।

3. प्रमुख योगदान

एक नवीन संदर्भ-मुक्त मेट्रिक: TRACE एक ऐसी विधि पेश करता है जो बिना ग्राउंड-ट्रुथ पर्यवेक्षण के तर्क की गुणवत्ता का मूल्यांकन करती है, जो इसके बजाय तर्क और मेटाकॉग्निशन के स्थापित सिद्धांतों पर निर्भर करती है।
तर्क और मेटाकॉग्निशन का एकीकरण: टुलमिन के संरचनात्मक ढांचे को फ्लेवेल के मेटाकॉग्निटिव ढांचे के साथ जोड़कर, TRACE तर्क के तार्किक निर्माण और मॉडल के स्व-नियामक व्यवहार दोनों को कैप्चर करता है।
हल्का और व्याख्या योग्य (Lightweight and Interpretable): "LLM-as-a-judge" दृष्टिकोणों के विपरीत, जिन्हें भारी इन्फरेंस की आवश्यकता होती है, TRACE एक हल्के क्लासिफायर (184M पैरामीटर्स) और नियम-आधारित स्कोरिंग का उपयोग करता है, जो विशिष्ट संरचनात्मक दोषों (जैसे, बुरे ट्रांजिशन) को सटीक रूप से दर्शाकर उच्च व्याख्यात्मकता प्रदान करता है।
रिवॉर्ड सिग्नल के रूप में अनुभवजन्य सत्यापन: शोध पत्र प्रदर्शित करता है कि TRACE सुदृढीकरण लर्निंग (Reinforcement Learning - RL) में एक प्रभावी रिवॉर्ड सिग्नल के रूप में कार्य कर सकता है, जो मॉडल्स को संरचनात्मक रूप से सुदृढ़ तर्क प्रक्रियाओं की ओर निर्देशित करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने 7 LLMs और 39 बेंचमार्क (MMLU, GPQA, GSM8K, और AIME सहित) पर 26.3K तर्क नमूनों के माध्यम से तीन अलग-अलग प्रयोगों के माध्यम से TRACE को सत्यापित किया।

सटीकता के साथ सहसंबंध (Correlation with Accuracy): TRACE का बेंचमार्क सटीकता के साथ एक मजबूत पियर्सन सहसंबंध ( $r = 0.741$ ) है, जो सतह-स्तर के बेसलाइन जैसे टोकन लेंथ ( $r = -0.147$ ), परप्लेक्सिटी ( $r = 0.221$ ), और MTLD ( $r = -0.207$ ) को काफी पीछे छोड़ देता है। यह सहसंबंध विभिन्न मॉडल परिवारों और व्यक्तिगत मॉडल्स में लगातार बना रहता है।
LLM जजों के साथ संरेखण: Arena-Hard-v2.0 बेंचमार्क में, गणित श्रेणी में GPT-4.1 के निर्णयों के साथ TRACE ने 64.37% सहमति दर प्राप्त की, जो ह्यूरिस्टिक बेसलाइन से बेहतर है। हालांकि, रचनात्मक लेखन कार्यों में प्रदर्शन कम था, जो मेट्रिक के तर्कपूर्ण संरचना पर केंद्रित होने के अनुरूप है।
सुदृढीकरण लर्निंग उपयोगिता: GSM8K पर GRPO फाइन-ट्यूनिंग में रिवॉर्ड सिग्नल के रूप में उपयोग किए जाने पर, "TRACE + Accuracy + Length" कॉन्फ़िगरेशन ने बेस मॉडल की तुलना में 9.9% सुधार और "Accuracy + Length" बेसलाइन की तुलना में 6.83% सुधार दिया। यह सुझाव देता है कि तर्क की लंबाई को नियंत्रित करते हुए भी, संरचनात्मक सामंजस्य के लिए अनुकूलन करने से बेहतर सामान्यीकरण होता है।
डोमेन संवेदनशीलता: सही और गलत उत्तरों के बीच TRACE स्कोर का अंतर तर्क-गहन डोमेन (प्राकृतिक विज्ञान, गणित) में सबसे अधिक स्पष्ट था और ज्ञान-प्राप्ति (knowledge-retrieval) डोमेन (व्यवसाय, कानून) में कम था, जो मेट्रिक की तर्कपूर्ण संरचना के प्रति संवेदनशीलता को दर्शाता है।

5. महत्व और सीमाएं

शोध पत्र का तर्क है कि तार्किक रूप से सुदृढ़ तर्क उच्च-गुणवत्ता वाले उत्तरों की ओर ले जाता है। TRACE एक पूरक मेट्रिक के रूप में कार्य करता है जो मूल्यांकन के फोकस को "मॉडल क्या निष्कर्ष निकालता है" से बदलकर "यह अपने तर्क का निर्माण कैसे करता है" पर ले जाता है। संज्ञानात्मक ठहराव (बुरे ट्रांजिशन) या कमजोर तर्क इकाइयों जैसे संरचनात्मक दोषों की पहचान करके, TRACE व्याख्यात्मक AI और अधिक मजबूत मॉडल संरेखण (alignment) के लिए एक मार्ग प्रशस्त करता है।

हालाँकि, लेखक स्पष्ट रूप से फ्रेमवर्क की सीमाओं को स्वीकार करते हैं:

तथ्यात्मक शुद्धता बनाम संरचनात्मक वैधता: TRACE संरचना का मूल्यांकन करता है, तथ्यों का नहीं। यह फाल्स पॉजिटिव (गलत आधारों पर आधारित प्रवाहपूर्ण तर्क के लिए उच्च स्कोर) और फाल्स नेगेटिव (हिचकिचाहट या रटे-रटाए तर्क से प्राप्त सही उत्तरों के लिए कम स्कोर) उत्पन्न कर सकता है।
डोमेन प्रयोज्यता: मेट्रिक तर्क-गहन कार्यों में सबसे प्रभावी है और तथ्यात्मक रिकॉल, कोड जनरेशन, या ओपन-एंडेड नैरेटिव द्वारा संचालित कार्यों के लिए कम विश्वसनीय है।
इनपुट मजबूती (Input Robustness): वर्तमान पाइपलाइन मिश्रित-फॉर्मेट इनपुट (जैसे, कोड ब्लॉक्स, LaTeX) के प्रति सीमित मजबूती रखती है, जो वाक्य विभाजन और वर्गीकरण को प्रभावित कर सकता है।

लेखक निष्कर्ष निकालते हैं कि हालांकि TRACE का उद्देश्य मौजूदा मूल्यांकन विधियों को बदलना नहीं है, लेकिन यह तर्क सिद्धांत (argumentation theory) में LLM विश्लेषण को स्थापित करने के लिए एक आशाजनक दिशा प्रदान करता है ताकि व्याख्यात्मकता और तर्क की गुणवत्ता को बढ़ाया जा सके।