The Order Matters: Sequential Fine-Tuning of LLaMA for Coherent Automated Essay Scoring

तकनीकी सारांश: क्रम का महत्व: सुसंगत स्वचालित निबंध मूल्यांकन के लिए LLaMA का क्रमिक फाइन-ट्यूनिंग (Sequential Fine-Tuning)

समस्या विवरण
स्वचालित निबंध मूल्यांकन (Automated Essay Scoring - AES) प्रणालियाँ निबंध के भीतर विमर्श तत्वों (discourse elements) की परस्पर निर्भर प्रकृति को मॉडल करने में एक गंभीर चुनौती का सामना करती हैं। पारंपरिक दृष्टिकोण अक्सर निबंध के घटकों जैसे कि लीड (lead), स्थिति (position), दावा (claim), साक्ष्य (evidence), और निष्कर्ष (conclusion) को अलग-थलग मान लेते हैं। यह विखंडन तर्कपूर्ण लेखन में निहित तार्किक प्रवाह और पदानुतम निर्भरताओं (hierarchical dependencies) को पकड़ने में विफल रहता है (जैसे कि यह कि एक स्थिति की स्पष्टता एक दावे की मजबूती को कैसे प्रभावित करती है)। फलस्वरूप, मौजूदा मॉडल सुसंगतता (coherence), विविध लेखन शैलियों में सामान्यीकरण, और एकीकृत घटकों के विश्वसनीय मूल्यांकन में संघर्ष करते हैं। इसके अलावा, जबकि लार्ज लैंग्वेज मॉडल्स (LLMs) क्षमता प्रदान करते हैं, इस बारे में समझ की कमी है कि क्या विशेष रूप से कार्य-निर्भरता (task dependencies) को मॉडल किए जाने पर छोटे, कुशलतापूर्वक फाइन-ट्यून किए गए मॉडल विशाल, सामान्य-उद्देश्य वाले बेसलाइन मॉडल से बेहतर प्रदर्शन कर सकते हैं।

कार्यप्रणाली (Methodology)
यह अध्ययन AES के लिए LLaMA-3.1-8B के फाइन-ट्यूनिंग पर प्रशिक्षण पाठ्यक्रमों (training curricula) के प्रभाव की जांच करता है। लेखक PERSUADE 2.0 कॉर्पस का उपयोग करते हैं, जो 25,000 से अधिक तर्कपूर्ण निबंधों का एक डेटासेट है जिसे पांच विशिष्ट विमर्श घटकों के रूप में एनोटेट किया गया है: लीड (Lead), स्थिति (Position), दावा (Claim), साक्ष्य (Evidence), और निष्कर्ष (Conclusion)।

मॉडल को कुशलतापूर्वक अनुकूलित करने के लिए, लेखक लो-रैंक अडैप्टेशन (LoRA) के साथ 4-बिट क्वांटाइजेशन (NF4) का उपयोग करते हैं, जिससे पूर्व-प्रशिक्षित ज्ञान को सुरक्षित रखते हुए एकल A100 GPU पर प्रशिक्षण संभव हो पाता है। मुख्य प्रयोगात्मक डिजाइन शून्य-शॉट (zero-shot) LLaMA-70B बेसलाइन के विरुद्ध तीन अलग-अलग प्रशिक्षण पाठ्यक्रमों की तुलना करता है:

1. स्वतंत्र फाइन-ट्यूनिंग (Independent Fine-Tuning): पांच अलग-अलग मॉडल प्रशिक्षित किए गए, जिनमें से प्रत्येक एक विशिष्ट विमर्श घटक के लिए समर्पित है और कार्य-विशिष्ट LoRA एडेप्टर का उपयोग करता है। यह साझा प्रतिनिधित्व (shared representations) के मूल्य का आकलन करने के लिए एक बेसलाइन के रूप में कार्य करता है।
2. यादृच्छिक (बहु-कार्य) फाइन-ट्यूनिंग (Randomized/Multi-Task Fine-Tuning): एक ही मॉडल को सभी पांच घटक डेटासेट्स के मिश्रित और बिखरे हुए मिश्रण पर एक साथ प्रशिक्षित किया जाता है। यह दृष्टिकोण कार्यों को स्वतंत्र और समान रूप से वितरित (independent and identically distributed) मानता है, और अनुक्रमिक संरचना की अनदेखी करता है।
3. क्रमिक (पाठ्यक्रम) फाइन-ट्यूनिंग (Sequential/Curriculum Fine-Tuning): यह प्राथमिक प्रस्तावित विधि है। एक ही मॉडल को निबंध लेखन के प्राकृतिक तार्किक क्रम का पालन करते हुए क्रमिक रूप से फाइन-ट्यून किया जाता है: लीड $\rightarrow$ स्थिति $\rightarrow$ दावा $\rightarrow$ साक्ष्य $\rightarrow$ निष्कर्ष। एक चरण से सीखे गए पैरामीटर अगले चरण के लिए प्रारंभिक बिंदु (initialization) के रूप में कार्य करते हैं, जिसका उद्देश्य आधारभूत घटकों से ज्ञान का लाभ उठाकर जटिल प्रतिनिधित्व बनाना है।

मुख्य परिणाम
PERSUADE 2.0 टेस्ट सेट पर प्रयोगों से पता चलता है कि प्रशिक्षण पाठ्यक्रम की संरचना मॉडल के प्रदर्शन को महत्वपूर्ण रूप से प्रभावित करती है:

• क्रमिक शिक्षण की श्रेष्ठता (Superiority of Sequential Learning): क्रमिक (Sequential) पाठ्यक्रम ने सबसे मजबूत समग्र परिणाम दिए। इसने तीन में से पांच घटकों पर उच्चतम F1 स्कोर प्राप्त किया: दावा (40%), साक्ष्य (65%), और निष्कर्ष (87%)। विशेष रूप से, इसने निष्कर्ष कार्य पर 85% की सटीकता प्राप्त की।
• कार्य अन्योन्याश्रयता (Task Interdependence): क्रमिक मॉडल ने स्वतंत्र मॉडलों की तुलना में काफी बेहतर प्रदर्शन किया, विशेष रूप से निष्कर्ष कार्य पर (स्वतंत्र के 12% F1 बनाम 87% F1)। यह सुझाव देता है कि एकीकृत घटकों के मूल्यांकन के लिए उन संदर्भगत प्रतिनिधित्वों की आवश्यकता होती है जो निबंध के पिछले अनुभागों से सूचित हों, जिसे पृथक प्रशिक्षण पकड़ने में विफल रहता है।
• यादृच्छिक शिक्षण की असंगतता (Inconsistency of Randomized Learning): हालांकि यादृच्छिक दृष्टिकोण ने स्थिति (Position) स्कोरिंग में सुधार किया (57% F1), लेकिन यह लीड (Lead) घटक पर खराब प्रदर्शन किया (7% F1), जो यह दर्शाता है कि विमर्श संरचना के अनुरूप न होने वाला असंरचित बहु-कार्य शिक्षण कम मजबूत होता है।
• छोटे बनाम बड़े मॉडल (Small vs. Large Models): एक संक्षिप्त, कार्य-अनुकूलित LLaMA-8B (Sequential) मॉडल ने संदर्भ-निर्भर कार्यों पर बहुत बड़े, शून्य-शॉट LLaMA-70B बेसलाइन को पछाड़ दिया। विशेष रूप से, 8B मॉडल ने साक्ष्य (65% बनाम 49% F1) और निष्कर्ष (87% बनाम 60% F1) पर 70B बेसलाइन से बेहतर प्रदर्शन किया, बावजूद इसके कि 70B मॉडल की क्षमता श्रेष्ठ थी।

महत्व और दावे
यह शोध पत्र दावा करता है कि फाइन-ट्यूनिंग में "क्रम मायने रखता है", यह तर्क देते हुए कि कार्य की अंतर्निहित संरचना के अनुरूप पाठ्यक्रम डिजाइन एक शक्तिशाली इंडक्टिव बायस (inductive bias) के रूप में कार्य करता है। लेखक तर्क देते हैं कि:

1. पाठ्यक्रम डिजाइन महत्वपूर्ण है: क्रमिक फाइन-ट्यूनिंग के माध्यम से कार्य निर्भरताओं को मॉडल करना AES प्रदर्शन में विशेष रूप से सुधार करता है, खासकर उन एकीकृत घटकों के लिए जहाँ तार्किक प्रवाह आवश्यक है।
2. दक्षता और प्रतिस्पर्धात्मकता: छोटे, कार्य-अनुकूलित मॉडल काफी बड़े LLMs के साथ प्रतिस्पर्धा कर सकते हैं, और यदि प्रशिक्षण रणनीति कार्य की पदानुक्रमित प्रकृति के अनुरूप है, तो उन्हें पछाड़ भी सकते हैं। यह संसाधन-गहन प्रोप्रायटरी API पर निर्भर रहने के बिना, स्केलेबल शैक्षिक मूल्यांकन के लिए एक व्यावहारिक और लागत प्रभावी मार्ग प्रदान करता है।
3. सामान्यीकरण (Generalizability): अलग-थलग घटकों के स्कोरिंग से हटकर, प्रस्तावित दृष्टिकोण असंगत फीडबैक की समस्या को संबोधित करता है, जो छात्र लेखन का मूल्यांकन करने के लिए एक अधिक मजबूत ढांचा प्रदान करता है जो निबंध अनुभागों के बीच तार्किक संबंधों को दर्शाता है।

लेखक निष्कर्ष निकालते हैं कि NLP में संरचित भविष्यवाणी (structured prediction) कार्यों के लिए, मॉडल को क्या सिखाया जा रहा है जितना ही यह महत्वपूर्ण है कि उसे कैसे सिखाया जा रहा है (पाठ्यक्रम), जो अधिक मजबूत और कुशल प्रतिनिधित्व को सक्षम बनाता है।