💬 NLP

Pair2Score: Pairwise-to-Absolute Transfer for LLM-Based Essay Scoring

यह शोध पत्र Pair2Score को प्रस्तुत करता है, जो एक पैरामीटर-कुशल दो-चरणीय ढांचा है जो LLaMA अनुकूलन के माध्यम से युग्मवार तुलनाओं (pairwise comparisons) को पूर्ण निबंध स्कोरिंग में स्थानांतरित करता है, और यह प्रदर्शित करता है कि विशिष्ट स्थानांतरण कॉन्फ़िगरेशन और सीमित युग्मवार प्रशिक्षण चरण, केवल पूर्ण-आधारित बेसलाइन की तुलना में स्कोरिंग सटीकता में महत्वपूर्ण सुधार करते हैं।

मूल लेखक: İbrahim Rıza Hallaç, Hasan Oğul

प्रकाशित 2026-05-05

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: İbrahim Rıza Hallaç, Hasan Oğul

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शिक्षक हैं जिसे सैकड़ों छात्रों के निबंधों को ग्रेड करना है। आपको प्रत्येक निबंध को एक विशिष्ट संख्या देनी होगी, जैसे व्याकरण के लिए "10 में से 7" या शब्दावली के लिए "10 में से 8"। इसे एब्सोल्यूट स्कोरिंग (absolute scoring) कहा जाता है। यह कठिन है क्योंकि "7" एक अस्पष्ट अवधारणा है; अलग-अलग शिक्षक इस बात पर असहमत हो सकते हैं कि वास्तव में एक "7" कैसा दिखता है।

हालाँकि, एक शिक्षक के लिए दो निबंधों को अगल-बगल रखकर यह कहना बहुत आसान है, "निबंध A निश्चित रूप से निबंध B से बेहतर है।" यह पेयरवाइज कंपैरिजन (pairwise comparison) है।

यह शोध पत्र Pair2Score नामक एक नई विधि पेश करता है। Pair2Score को एक AI (विशेष रूप से एक लार्ज लैंग्वेज मॉडल जिसे LLaMA कहा जाता है) के लिए एक दो-चरणीय प्रशिक्षण कार्यक्रम के रूप में सोचें, ताकि वह पहले आसान "A, B से बेहतर है" वाले खेल का अभ्यास करके उन पेचीदा "10 में से 7" वाले स्कोर देने के लिए सीख सके।

यह प्रक्रिया कैसे काम करती है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

दो-चरणीय प्रशिक्षण शिविर (The Two-Stage Training Camp)

चरण 1: "स्वाद परीक्षण" (Pairwise Ranking)
कल्पना कीजिए कि आप एक खाद्य समीक्षक (food critic) को प्रशिक्षित कर रहे हैं। उन्हें तुरंत एक बर्गर को "10 में से 7" रेटिंग देने के लिए कहने के बजाय, आप उन्हें दो बर्गर दिखाते हैं और पूछते हैं, "कौन सा बेहतर स्वाद वाला है?"

AI निबंधों के जोड़ों को देखता है।
यह अंतर पहचानना सीखता है: "इस निबंध का व्याकरण उस दूसरे निबंध से बेहतर है।"
यह अभी सटीक संख्या की चिंता नहीं करता; यह केवल गुणवत्ता की दिशा सीखता है।
ट्विस्ट: शोधकर्ताओं ने पाया कि आपको समीक्षक को हजारों तुलनाओं के लिए लंबे समय तक प्रशिक्षित करने की आवश्यकता नहीं है। वास्तव में, एक बहुत छोटा "स्वाद परीक्षण" सत्र (प्रशिक्षण का केवल एक दौर) अक्सर लंबे, थकाऊ सत्र से बेहतर होता है। यह AI को एक त्वरित "आहा!" क्षण देने जैसा है कि अच्छी लेखन कला क्या होती है, न कि इसे हफ्तों तक ड्रिल कराना।

चरण 2: "अंतिम परीक्षा" (Absolute Scoring)
अब, AI चरण 1 के ज्ञान को लेता है और व्यक्तिगत निबंधों को वास्तविक संख्याएँ (1 से 5) देने का प्रयास करता है।

शोधकर्ताओं ने चरण 1 से ज्ञान को चरण 2 में स्थानांतरित करने के दो तरीके आजमाए:
1. वॉर्म-स्टार्ट (Warm-Start): कल्पना कीजिए कि AI एक छात्र है जिसने "स्वाद परीक्षण" कक्षा पूरी कर ली है। "अंतिम परीक्षा" के लिए, वे पहली कक्षा के अपने नोट्स और मानसिक अवस्था को शुरुआती बिंदु के रूप में रखते हैं। उन्हें बस "बेहतर/बदतर" को "10 में से 7" में अनुवाद करना सीखना है।
2. फ्यूजन (Fusion): कल्पना कीजिए कि छात्र परीक्षा कक्ष में एक 'चीट शीट' (स्वाद परीक्षण का सारांश) लेकर जाता है। वह निबंध को देखता है, अपनी चीट शीट को देखता है, और दोनों सूचनाओं को मिलाकर स्कोर देता है।

उन्हें क्या पता चला?

शोधकर्ताओं ने इसे तीन विशिष्ट कौशलों पर परखा: व्याकरण (Grammar), शब्दावली (Vocabulary) और वाक्य संरचना (Syntax)। उन्होंने परिणामों की पुष्टि के लिए प्रयोग को कई बार चलाया ताकि यह सुनिश्चित हो सके कि परिणाम केवल भाग्य का खेल नहीं हैं।

यहाँ मुख्य निष्कर्ष दिए गए हैं, जिन्हें रोजमर्रा की भाषा में अनुवादित किया गया है:

शॉर्टकट काम करता है: "स्वाद परीक्षण" (पेयरवाइज कंपैरिजन) को वार्म-अप के रूप में उपयोग करने से AI को शून्य से संख्याएँ सीखने की तुलना में बेहतर अंतिम स्कोर देने में मदद मिली।
कम ही अधिक है (कभी-कभी): सबसे आश्चर्यजनक निष्कर्ष समय के बारे में था। AI को निबंधों की तुलना करने के लिए लंबे समय तक प्रशिक्षित करने से ज्यादा मदद नहीं मिली। वास्तव में, तुलनात्मक प्रशिक्षण को केवल एक पास (एक एपोक/epoch) के बाद रोक देना अक्सर अच्छे परिणाम प्राप्त करने का सबसे विश्वसनीय तरीका था। यह सुझाव देता है कि AI को केवल एक दिशा में एक त्वरित "धक्का" (nudge) देने की आवश्यकता थी, न कि गहराई से अध्ययन कराने की।
यह केवल तुलना करने में अच्छा होने के बारे में नहीं है: आप सोच सकते हैं कि, "यदि AI निबंधों की तुलना करने में चैंपियन है, तो वह स्कोर देने में भी बेहतरीन होगा।" शोध पत्र कहता है कि नहीं। एक AI निबंधों की तुलना करने में चैंपियन हो सकता है लेकिन फिर भी अच्छे पूर्ण स्कोर देने में विफल हो सकता है। ज्ञान को स्थानांतरित करने की विधि (Warm-Start बनाम Fusion) तुलना प्रशिक्षण की गुणवत्ता जितनी ही महत्वपूर्ण थी।
कोई जादुई समाधान नहीं (No Magic Bullet): ऐसा कोई एक एकल "परफेक्ट" सेटिंग नहीं था जो हर निबंध प्रकार के लिए काम करे। कभी-कभी "फ्यूजन" विधि सबसे अच्छा काम करती थी, तो कभी "वॉर्म-स्टार्ट" ने। यह विशिष्ट गुण (व्याकरण बनाम शब्दावली) और निबंधों के विशिष्ट बैच पर निर्भर करता है।

निचोड़ (The Bottom Line)

यह शोध पत्र तर्क देता है कि यदि आप किसी AI को एक विशिष्ट संख्या के साथ निबंधों को ग्रेड करने के लिए सिखाना चाहते हैं, तो आपको तुरंत संख्याएं उस पर नहीं थोपनी चाहिए। इसके बजाय, उसे पहले निबंधों की तुलना करने का अभ्यास करने दें।

हालाँकि, बहुत अधिक अभ्यास न करें। तुलना करने पर एक त्वरित, केंद्रित सत्र ही AI को सही "अंतर्ज्ञान" (intuition) देने के लिए पर्याप्त है। एक बार जब उसके पास यह अंतर्ज्ञान आ जाता है, तो आप उसे अंतिम संख्याएँ असाइन करना सिखा सकते हैं, और वह तुलना देखे बिना करने की तुलना में बेहतर काम करेगा।

महत्वपूर्ण नोट: लेखक बहुत सावधानी से कहते हैं कि यह निबंध ग्रेडिंग पर एक विशिष्ट प्रयोग है। वे यह दावा नहीं कर रहे हैं कि यह चिकित्सा निदान, कानूनी निर्णय या अन्य क्षेत्रों में भी काम करता है। वे केवल यह दिखा रहे हैं कि निबंध ग्रेडिंग के लिए, यह विशिष्ट दो-चरणीय "तुलना फिर स्कोर" विधि बेहतर परिणाम प्राप्त करने का एक आशाजनक तरीका है।

तकनीकी सारांश: Pair2Score

समस्या विवरण (Problem Statement)

कई मूल्यांकन अनुप्रयोगों, विशेष रूप से स्वचालित निबंध स्कोरिंग (Automated Essay Scoring - AES), को पूर्ण भविष्यवाणियों (जैसे, एक रूब्रिक के आधार पर निबंध को एक विशिष्ट स्कोर प्रदान करना) की आवश्यकता होती है। हालाँकि, पूर्ण लेबल एकत्र करना संसाधन-गहन हो सकता है, जबकि जोड़ेदार तुलनाएँ (यह निर्धारित करना कि दो निबंधों में से कौन सा बेहतर है) प्राप्त करना आसान है और उनमें मजबूत स्थानीय जानकारी हो सकती है।

इस शोध पत्र द्वारा संबोधित केंद्रीय शोध प्रश्न यह है: क्या युग्म-आधारित शिक्षण (pairwise learning), रूब्रिक-संरेखित पूर्ण निबंध स्कोरिंग के लिए एक प्रभावी मध्यवर्ती उद्देश्य के रूप में कार्य कर सकता है? विशेष रूप से, लेखक यह जांचते हैं कि कैसे एक तुलनात्मक मॉडल से, जो दस्तावेज़ों के जोड़ों पर प्रशिक्षित है, ज्ञान को बड़े भाषा मॉडल (LLMs) का उपयोग करके एक डाउनस्ट्रीम पूर्ण स्कोरर (absolute scorer) में स्थानांतरित किया जा सकता है।

कार्यप्रणाली: Pair2Score ढांचा (Methodology: Pair2Score Framework)

लेखक Pair2Score का प्रस्ताव करते हैं, जो पैरामीटर-कुशल LLM अनुकूलन (LoRA) का उपयोग करके युग्म-आधारित तुलनाओं को पूर्ण स्कोरिंग में स्थानांतरित करने के लिए डिज़ाइन किया गया एक दो-चरणीय शिक्षण ढांचा है। यह ढांचा एक Meta LLaMA-3.2-1B बैकबोन का उपयोग करता है और इस प्रकार कार्य करता है:

चरण 1: दिशात्मक सियामी रैंकिंग (Directional Siamese Ranking - सापेक्ष उद्देश्य)

वास्तुकला (Architecture): एक साझा LLaMA+LoRA बैकबोन वाला एक सियामी सेटअप दो दस्तावेज़ों ( $a$ और $b$ ) को प्रोसेस करता है।
उद्देश्य: मॉडल एक दिशात्मक प्राथमिकता सीखता है। यह पोल्ड हिडन रिप्रेजेंटेशन (pooled hidden representations) से स्केलर उपयोगिता (scalar utilities) $s(h_a)$ और $s(h_b)$ की गणना करने के लिए एक बायस-मुक्त लीनियर यूटिलिटी हेड का उपयोग करता है। तुलना लॉगिट को $\Delta(a, b) = s(h_a) - s(h_b)$ के रूप में परिभाषित किया गया है।
प्रतिबंध (Constraint): डिज़ाइन प्रति-सममिति (antisymmetry) ( $\Delta(b, a) = -\Delta(a, b)$ ) को लागू करता है, जो इनपुट क्रम की परवाह किए बिना सुसंगत प्राथमिकता सुनिश्चित करता है।
हानि (Loss): मॉडल को पेयरवाइज लॉजिस्टिक लॉस का उपयोग करके प्रशिक्षित किया जाता है ताकि उन जोड़ों के लिए $\Delta(a, b) > 0$ को अधिकतम किया जा सके जहाँ दस्तावेज़ $a$ का पूर्ण गुण लेबल (trait label) $b$ से अधिक होता है।
आउटपुट: यह चरण एक प्रशिक्षित LoRA एडॉप्टर और, वैकल्पिक रूप से, पोल्ड एम्बेडिंग्स (pooled embeddings) उत्पन्न करता है।

चरण 2: स्थानांतरण के साथ पूर्ण स्कोरिंग (Absolute Scoring with Transfer - पूर्ण उद्देश्य)

लक्ष्य: एक पूर्ण रि्रेसर (absolute regressor) को सीधे गुणों (जैसे व्याकरण, शब्दावली, वाक्य संरचना) के स्कोर की भविष्यवाणी करने के लिए प्रशिक्षित करना, जो L1 लॉस को ऑप्टिमाइज़ करता है और क्वाड्रेटिक वेटेड कप्पा (QWK) के साथ मूल्यांकन करता है।
स्थानांतरण तंत्र (Transfer Mechanisms): लेखक तीन कॉन्फ़िगरेशन की तुलना करते हैं:
1. बेसलाइन (केवल-पूर्ण): एक नया LoRA एडॉप्टर जो पूर्ण लेबल पर शून्य से प्रशिक्षित किया गया है।
2. वार्म-स्टार्ट (Warm-start): पूर्ण स्कोरर को चरण 1 के LoRA एडॉप्टर वेट्स के साथ इनिशियलाइज़ किया जाता है (पेयरवाइज हेड को हटा दिया जाता है)।
3. एम्बेडिंग फ्यूजन (Embedding Fusion): वार्म-स्टार्ट इनिशियलाइजेशन के अलावा, चरण 1 की प्री-कंप्यूटेड एम्बेडिंग्स को रिग्रेशन हेड से पहले वर्तमान पोल्ड रिप्रेजेंटेशन के साथ जोड़ा जाता है।
चर (Variables): अध्ययन पेयर-सेट आकार (छोटा बनाम बड़ा) और पेयरवाइज-चरण अवधि (मानक मल्टी-एपॉक बनाम एकल एपॉक) को परिवर्तित करता है।

प्रयोगात्मक प्रोटोकॉल (Experimental Protocol)

डेटासेट: फीडबैक प्राइज इंग्लिश लैंग्वेज लर्निंग (ELLIPSE कॉर्पस) डेटासेट, जो तीन गुणों पर केंद्रित है: व्याकरण, शब्दावली और वाक्य संरचना।
मूल्यांकन: एक पांच-फोल्ड क्रॉस-वैलिडेशन प्रोटोकॉल जहाँ होल्ड-आउट फोल्ड और रैंडम सीड को सह-रोटेट (co-rotated) किया जाता है (जैसे, फोल्ड A सीड 42 का उपयोग करता है, फोल्ड B सीड 48 का उपयोग करता है)। यह सुनिश्चित करता है कि स्टोकेस्टिसिटी (stochasticity) मापी गई साक्ष्य का हिस्सा है न कि औसत निकाली गई चीज़।
मेट्रिक्स: प्राथमिक मेट्रिक टेस्ट QWK है।

मुख्य योगदान (Key Contributions)

डिज़ाइन स्पेस फॉर्मूलेशन: पेपर सापेक्ष-से-पूर्ण स्कोरिंग स्थानांतरण को एक डिज़ाइन स्पेस के रूप में फ्रेम करता है जो तीन अक्षों द्वारा परिभाषित है: मध्यवर्ती उद्देश्य, स्थानांतरण तंत्र, और डाउनस्ट्रीम लक्ष्य। यह एक विशिष्ट पथ (युग्म वरीयता $\to$ वार्म-स्टार्ट/फ्यूजन $\to$ पूर्ण रिग्रेशन) को स्थापित करता है।
स्थानांतरण पर अनुभवजन्य निष्कर्ष: 15 फोल्ड-स्तर के मूल्यांकनों (3 गुण $\times$ 5 फोल्ड) में, लेखक पाते हैं कि केवल युग्म रैंकिंग की गुणवत्ता यह भविष्यवाणी नहीं करती कि स्थानांतरण से पूर्ण स्कोरिंग में सुधार होगा या नहीं। इसके बजाय, स्थानांतरण तंत्र का चुनाव और युग्म चरण की अवधि महत्वपूर्ण है।
अवधि संवेदनशीलता (Duration Sensitivity): युग्म-चरण अवधि के संबंध में एक स्पष्ट पैटर्न उभरता है: युग्म प्रशिक्षण का एक एकल एपॉक अधिक विश्वसनीय रूप से स्थानांतरित होता है तुलनात्मक रूप से विस्तारित प्रशिक्षण के। यह सुझाव देता है कि युग्म चरण मुख्य रूप से एक प्रभावी प्रारंभिक इनिशियलाइजेशन के रूप में कार्य करता है, न कि एक लंबे रैंकिंग अनुकूलन चरण के रूप में।
सहसंबंध का अभाव: अध्ययन चरण 1 की पेयरवाइज सटीकता और चरण 2 के पूर्ण स्कोरिंग प्रदर्शन के बीच एक कमजोर सहसंबंध प्रदर्शित करता है, जो इंगित करता कि डाउनस्ट्रीम सफलता चरण 1 के मार्जिनल गेन्स के बजाय स्थानांतरण कॉन्फ़िगरेशन और फोल्ड/सीड विविधताओं पर अधिक निर्भर करती है।

परिणाम (Results)

प्रदर्शन: सबसे अच्छा प्रदर्शन करने वाले ट्रांसफर वेरिएंट ने तीनों गुणों (व्याकरण, शब्दावली, वाक्य संरचना) के लिए बेसलाइन (केवल-पूर्ण) की तुलना में QWK में सुधार किया।
निरंतरता: सभी रन के लिए कोई एक कॉन्फ़िगरेशन हावी नहीं रहा। हालाँकि, जब प्रत्येक गुण-फोल्ड मूल्यांकन के लिए सर्वश्रेष्ठ ट्रांसफर वेरिएंट का चयन किया गया, तो पेयरवाइज ट्रांसफर ने 15 में से 11 मामलों में बेसलाइन को पछाड़ दिया, जिसका औसत $\Delta$ QWK +0.012 था।
कॉन्फ़िगरेशन प्रभाव:
- अवधि: "एक-एपॉक" वाला पेयरवाइज सेटिंग अधिकांश कॉन्फ़िगरेशन में "मानक" (मल्टी-एपॉक) सेटिंग की तुलना में लगातार बेहतर या उसके बराबर रही।
- पेयर-सेट आकार: जोड़ों की संख्या बढ़ाने से (~3k से ~6k तक) कोई निरंतर लाभ नहीं मिला।
- स्थानांतरण तंत्र: वार्म-स्टार्ट और एम्बेडिंग फ्यूजन दोनों ने लाभ दिखाया, लेकिन विशिष्ट "विजेता" गुण और फोल्ड के अनुसार भिन्न था।

महत्व और दावे (Significance and Claims)

यह पेपर विनम्रता से दावा करता है कि Pair2Score यह प्रदर्शित करता है कि तुलनात्मक पर्यवेक्षण (comparative supervision) एक उपयोगी मध्यवर्ती चरण हो सकता है, लेकिन केवल तभी जब स्थानांतरण पथ को सावधानीपूर्वक कॉन्फ़िगर किया जाए।

लेखक इस बात पर जोर देते हैं कि लाभ स्वचालित नहीं है; केवल एक युग्म चरण जोड़ने से सुधार की गारंटी नहीं मिलती है। मुख्य अंतर्दृष्टि यह है कि युग्म चरण मुख्य रूप से प्रारंभिक इनिशियलाइजेशन के माध्यम से योगदान देता है (पूर्ण स्कोरर के लिए एक बेहतर शुरुआती बिंदु प्रदान करना) न कि कई एपॉक्स के दौरान रैंकिंग ज्ञान के संचय के माध्यम से।

यह कार्य सापेक्ष-से-पूर्ण स्थानांतरण को एक अलग मॉडलिंग प्रश्न के रूप में स्थापित करता है जहाँ मध्यवर्ती उद्देश्य, स्थानांतरण पथ और डाउनस्ट्रीम लक्ष्य को एक साथ विचार किया जाना चाहिए। लेखक अपनी सीमाओं को स्वीकार करते हुए कहते हैं कि उनका मूल्यांकन व्यापक डिज़ाइन स्पेस के माध्यम से केवल एक पथ (विशेष रूप से AES सेटिंग में वार्म-स्टार्ट/फ्यूजन के साथ युग्म वरीयता) को कवर करता है और अन्य मध्यवर्ती उद्देश्यों, बैकबोन और मूल्यांकन वर्कफ़्लो के लिए और अधिक सत्यापन की आवश्यकता है।