Do We Still Need Fine Tuning? Turkish Sentiment Analysis in the Era of Large Language Model

तकनीकी सारांश: क्या हमें अभी भी फाइन-ट्यूनिंग की आवश्यकता है? बड़े भाषा मॉडलों (LLMs) के युग में तुर्की भावना विश्लेषण (Turkish Sentiment Analysis)

समस्या विवरण
यह अध्ययन इस बात की जांच करता है कि क्या बड़े भाषा मॉडलों (LLMs) के युग में तुर्की भावना विश्लेषण के लिए सुपरवाइज्ड फाइन-ट्यूनिंग (supervised fine-tuning) अभी भी आवश्यक है। जबकि निर्देश-अनुसरण करने वाले LLMs ज़ीरो-शॉट (zero-shot) और फ्यू-शॉट (few-shot) क्षमताएं प्रदान करते हैं, सूक्ष्म-स्तरीय भावना कार्यों—विशेष रूप से उन कार्यों के लिए जिनमें तीन-वर्गों का अंतर (सकारात्मक, नकारात्मक और तटस्थ) आवश्यक है—पर उनकी विश्वसनीयता अनिश्चित बनी हुई है। यह शोध तुर्की NLP संसाधनों में एक कमी को संबोधित करता है, जहाँ पिछले कार्यों ने सुपरवाइज्ड और BERT-आधारित मॉडलों की प्रभावकारिता स्थापित की है, लेकिन वास्तविक, बहु-वर्गीय ई-कॉमर्स समीक्षाओं पर प्रॉम्प्टेड LLMs के प्रदर्शन की व्यवस्थित रूप से तुलना नहीं की गई है। पहचाना गया एक केंद्रीय चुनौतीपूर्ण कारक "तटस्थ" (neutral) वर्ग है, जिसमें अक्सर तथ्यात्मक विवरण, कमजोर मूल्यांकनता, या मिश्रित प्रभाव शामिल होते हैं, जो इसे द्वि-ध्रुवीयता (binary polarities) की तुलना में वर्गीकृत करने में कठिन बनाता है।

कार्यप्रणाली (Methodology)
लेखकों ने 6,367 तुर्की ई-कॉमर्स समीक्षाओं के एक डेटासेट का उपयोग करके एक नियंत्रित तुलनात्मक अध्ययन किया, जिन्हें तीन भावना श्रेणियों में एनोटेट किया गया था: नकारात्मक (0), तटस्थ (1), और सकारात्मक (2)। डेटासेट को 80% प्रशिक्षण और 20% परीक्षण (1,274 उदाहरण) में विभाजित किया गया था।

प्रायोगिक सेटअप ने एक ही परीक्षण विभाजन पर तीन अलग-अलग दृष्टिकोणों का मूल्यांकन किया:

1. शास्त्रीय मशीन लर्निंग (Classical Machine Learning): लॉजिस्टिक रिग्रेशन, सपोर्ट वेक्टर मशीन (SVM), रैंडम फॉरेस्ट, और नैव बेयस (Naive Bayes), जो TF-IDF फीचर्स (अधिकतम 5,000 फीचर्स) का उपयोग करते हैं।
2. सुपरवाइज्ड फाइन-ट्यून्ड मॉडल (Supervised Fine-Tuned Models): प्रीट्रेंड ट्रांसफार्मर मॉडल जिनमें BERTurk (32k और 128k Cased) और तुर्की ELECTRA शामिल हैं, जिन्हें $2\times10^{-5}$ लर्निंग रेट, 5 इपोक (epochs), और 32 बैच साइज के साथ फाइन-ट्यून किया गया था।
3. प्रॉम्प्टेड लार्ज लैंग्वेज मॉडल्स (Prompted Large Language Models): सात सामान्य-उद्देश्य वाले LLMs (Gemma2:9B, Gemma3:27B, GPT-OSS:20B, Llama 3.1:8B, Magibu:11B, और Qwen3:32B) जिनका मूल्यांकन एक मानकीकृत प्रॉम्प्ट और निश्चित डिकोडिंग पैरामीटर्स (तापमान 0.1, top_p 1) का उपयोग करके ज़ीरो-शॉट सेटिंग में किया गया था।

प्रदर्शन को सटीकता (accuracy), प्रिसिजन (precision), रिकॉल (recall), और F1-स्कोर का उपयोग करके मापा गया। अध्ययन में तटस्थता की कठिनाई को अलग करने के लिए एक बाइनरी पुन: विश्लेषण (तटस्थ उदाहरणों को छोड़कर) भी शामिल किया गया।

मुख्य परिणाम

• कुल प्रदर्शन: फाइन-ट्यून किए गए BERTurk मॉडलों ने उच्चतम प्रदर्शन प्राप्त किया। BERTurk Cased 128k ने 0.837 की सटीकता और 0.834 का वेटेड F1 प्राप्त किया। इसने सर्वश्रेष्ठ प्रॉम्प्टेड LLM, Qwen3:32B (0.737 सटीकता) को लगभग 6.4 प्रतिशत अंक से पीछे छोड़ दिया, जो सबसे मजबूत LLM बेसलाइन की तुलना में त्रुटियों में ~28% की कमी को दर्शाता है।
• तटस्थ वर्ग की चुनौती: त्रुटि का प्राथमिक स्रोत तटस्थ वर्ग (परीक्षण सेट का 22.6%) था। जबकि BERTurk मॉडलों ने लगभग 0.60 के न्यूट्रल रिकॉल स्कोर प्राप्त किए, अधिकांश LLMs संघर्ष करते दिखे (उदाहरण के लिए, Qwen3:32B 0.312 पर, Llama 3.1:8B 0.160 पर)।
• ध्रुवीकरण की प्रवृत्ति (Polarization Tendency): कई LLMs ने तटस्थ वर्ग को ध्रुवीकृत श्रेणियों में समाहित करने की ओर एक मजबूत झुकाव दिखाया। उदाहरण के लिए, Llama 3.1:8B ने ग्राउंड-ट्रुथ न्यूट्रल उदाहरणों के 70.1% को सकारात्मक वर्ग में मैप किया, और Magibu:11B ने 60.8% को सकारात्मक में मैप किया।
• बाइनरी बनाम टेनरी प्रदर्शन: जब न्यूट्रल उदाहरणों को हटाकर एक बाइनरी कार्य बनाया गया, तो LLM का प्रदर्शन नाटकीय रूप से सुधर गया (उदाहरण के लिए, Qwen3:32B की सटीकता बढ़कर 0.908 हो गई)। इसके विपरीत, फाइन-ट्यून्ड BERTurk मॉडल ने अधिक मामूली वृद्धि दिखाई (0.837 से 0.904)। यह सुझाव देता है कि फाइन-ट्यून्ड मॉडल स्वाभाविक रूप से टेनरी निर्णय संरचना (ternary decision structure) को एनकोड करते हैं, जबकि LLMs मोटे ध्रुवीय संकेतों (coarse polarity cues) पर अधिक निर्भर करते हैं जो केवल तभी पर्याप्त होते हैं जब न्यूट्रल सीमा को हटा दिया जाता है।

मुख्य योगदान

1. अनुभवजन्य बेंचमार्क (Empirical Benchmark): यह अध्ययन विशेष रूप से तुर्की तीन-वर्ग भावना विश्लेषण के लिए शास्त्रीय, फाइन-ट्यून्ड और प्रॉम्प्टेड दृष्टिकोणों का एक कठोर तुलना प्रदान करता है, जो यह रेखांकित करता है कि इस विशिष्ट डोमेन में सुपरवाइज्ड फाइन-ट्यूनिंग अभी भी श्रेष्ठ है।
2. न्यूट्रल क्लास का नैदानिक मूल्य (Diagnostic Value): पेपर यह प्रदर्शित करता है कि तटस्थ वर्ग मॉडल की सक्षमता के लिए एक महत्वपूर्ण "तनाव परीक्षण" (stress test) के रूप में कार्य करता है। बाइनरी कार्यों पर उच्च प्रदर्शन मॉडल की सूक्ष्म, गैर-ध्रुवीकृत भावनाओं को पहचानने की अक्षमता को छिपा सकता है।
3. पद्धतिगत अंतर्दृष्टि (Methodological Insight): लेखक तर्क देते हैं कि केवल सकारात्मक-नकारात्मक अंतरों पर निर्भर रहने वाले मूल्यांकन लेबल स्पेस के सबसे व्याख्यात्मक भागों पर विफलताओं को छिपाकर प्रॉम्प्टेड LLMs की सक्षमता को बढ़ा-चढ़ाकर दिखा सकते हैं।

महत्व और दावे
पेपर का दावा है कि तटस्थ श्रेणी वाले वास्तविक तुर्की भावना वर्गीकरण के लिए, सुपरवाइज्ड फाइन-ट्यूनिंग वर्तमान में सामान्य-उद्देश्य वाले LLMs के ज़ीरो-शॉट प्रॉम्प्टिंग की तुलना में अधिक प्रभावी है। लेखक यह तर्क देते हैं कि फाइन-ट्यून किए गए मॉडलों का लाभ केवल कच्ची सटीकता में नहीं है, बल्कि विशिष्ट एनोटेशन योजना के साथ संरेखित होने और कार्य की पूर्ण टेनरी संरचना को बनाए रखने की उनकी क्षमता में निहित है।

निष्कर्ष बताते हैं कि जबकि LLMs मोटे ध्रुवीयता का पता लगाने में प्रतिस्पर्धी हैं, वे तटस्थ समीक्षाओं को ध्रुवीकृत श्रेणियों में समाहित करके तीन-वर्ग सेटिंग्स में काफी कमज़ोर हो जाते हैं। फलस्वरूप, अध्ययन यह निष्कर्ष निकालता है कि वास्तविक सेटिंग्स में जहाँ एनोटेशन की सूक्ष्मता में तटस्थ वर्ग शामिल है, वहां मजबूत प्रदर्शन प्राप्त करने के लिए विशेष फाइन-ट्यूनिंग आवश्यक बनी हुई है, और भावना विश्लेषण प्रणालियों के वैध मूल्यांकन के लिए तटस्थ वर्ग का समावेश अत्यंत महत्वपूर्ण है।