💬 NLP

Fine-Tuning Improves Information Conveyance in Language Models

यह शोध पत्र कैनोपी एंट्रॉपी ( $\mathrm{CE}^\star$ ) प्रस्तुत करता है, जो एक नवीन मीट्रिक है जो आउटपुट की लंबाई को ध्यान में रखता है ताकि यह प्रकट किया जा सके कि फाइन-ट्यूनिंग न केवल भाषा मॉडलों में अनिश्चितता को कम करती है, बल्कि सूचना संप्रेषण और अर्थ संबंधी विविधता को बढ़ाने के लिए इसे मौलिक रूप से पुनर्गठित भी करती है।

मूल लेखक: Yuwei Cheng, Weiyi Tian, Haifeng Xu

प्रकाशित 2026-06-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuwei Cheng, Weiyi Tian, Haifeng Xu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ एक सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करते हुए पेपर का स्पष्टीकरण दिया गया है।

बड़ी तस्वीर: क्यों "फाइन-ट्यूनिंग" (Fine-Tuning) AI के सोचने के तरीके को बदल देती है

एक लार्ज लैंग्वेज मॉडल (LLM) की कल्पना एक बहुत ही प्रतिभाशाली लेकिन थोड़े अस्त-व्यस्त कहानीकार के रूप में करें। विशिष्ट निर्देश देने से पहले (जिसे फाइन-ट्यूनिंग कहा जाता है), यह कहानीकार इधर-उधर की बातें कर सकता है, खुद को दोहरा सकता है, या बहुत जल्दी चुप हो सकता है। उसके दिमाग में बहुत अधिक "अनिश्चितता" (uncertainty) होती है—उसे समझ नहीं आता कि आगे क्या कहना है, कितनी देर तक बोलना है, या उसे कब रुक जाना चाहिए।

कई लोगों का मानना था कि जब हम इन मॉडल्स को अधिक सहायक बनाने के लिए उन्हें फाइन-ट्यून करते हैं, तो हम वास्तव में उनकी रचनात्मकता को "बंद" कर रहे होते हैं, जिससे वे उबाऊ और रोबोटिक बन जाते हैं। यह पेपर तर्क देता है कि यह पूरी तरह सच नहीं है। इसके बजाय, फाइन-ट्यूनिंग केवल शोर को शांत नहीं करती; यह शोर को पुनर्गठित (reorganize) करके कुछ बहुत अधिक उपयोगी बनाती है।

इसे साबित करने के लिए, लेखकों ने यह मापने का एक नया तरीका बनाया कि जब AI लिखता है, तो उसके पास कितनी "जगह" (space) होती है। वे इसे कैनोपी एंट्रॉपी (Canopy Entropy) कहते हैं।

नया टूल: "ट्री कैनोपी" (पेड़ की छतरी) का उदाहरण

AI की लेखन प्रक्रिया की कल्पना एक बीज (आपके प्रॉम्प्ट) से बढ़ते एक विशाल पेड़ के रूप में करें।

शाखाएँ (चौड़ाई): हर कदम पर, AI को अगला शब्द चुनना होता है। कभी उसके पास 100 विकल्प होते हैं (चौड़ी शाखाएँ), और कभी केवल 2 (पतली शाखाएँ)।
ऊंचाई (गहराई): AI को यह भी तय करना होता है कि कब रुकना है। क्या वह एक छोटा वाक्य लिखेगा या पूरा उपन्यास?

पिछले अध्ययनों ने केवल पेड़ की चौड़ाई (उसके पास कितने शब्द चुनने के विकल्प थे) को देखा। उन्होंने निष्कर्ष निकाला कि फाइन-ट्यूनिंग पेड़ को संकरा (कम विविध) बना देती है।

समस्या: उन्होंने ऊंचाई को अनदेखा कर दिया। फाइन-ट्यून्ड मॉडल अक्सर लंबी कहानियाँ लिखते हैं। यदि आप केवल यह देखते हैं कि कितनी शाखाएँ हैं, लेकिन यह भूल जाते हैं कि पेड़ कितना ऊँचा बढ़ता है, तो आप पूरी तस्वीर को नहीं देख पाते।

समाधान (कैनोपी एंट्रॉपी): लेखक पूरे कैनोपी (छतरी) को देखने का प्रस्ताव देते हैं—पेड़ के कुल आयतन (volume) को देखना, जिसमें यह दोनों शामिल हैं कि शाखाएँ कितनी चौड़ी हैं और पेड़ कितना गहरा बढ़ता है।

निष्कर्ष: जब वे पूरे पेड़ को मापते हैं, तो वे पाते हैं कि फाइन-ट्यूनिंग केवल पेड़ को सिकोड़ती नहीं है। यह इसके आकार को बदल देती है। पेड़ के निचले हिस्से में कम शाखाएँ हो सकती हैं, लेकिन यह बहुत ऊँचा और अधिक स्थिरता के साथ बढ़ता है।

मुख्य खोज 1: "लंबा होना बेहतर है" वाला बदलाव

लेखकों ने AI कितनी देर तक बोलता है और हर नए शब्द कितना दिलचस्प है के बीच एक दिलचस्प संबंध की खोज की। वे इसे लेंथ-एंट्रॉपी कोरिलेशन (Length-Entropy Correlation) कहते हैं।

"बेस" मॉडल (फाइन-ट्यूनिंग से पहले): एक ऐसे छात्र की कल्पना करें जो बहुत उत्साह के साथ कहानी शुरू करता है लेकिन जल्दी ही विचारों की कमी महसूस करने लगता है।
- शुरुआती शब्द: बहुत रचनात्मक और आश्चर्यजनक।
- बाद के शब्द: उबाऊ, दोहराव वाले और अनुमान लगाने योग्य।
- पैटर्न: जैसे-जैसे कहानी लंबी होती है, यह कम दिलचस्प होती जाती है। कोरिलेशन नेगेटिव (negative) है। छात्र केवल जगह भरने के लिए बड़बड़ा रहा है।
"फाइन-ट्यून्ड" मॉडल (फाइन-ट्यूनिंग के बाद): एक पेशेवर पत्रकार की कल्पना करें।
- शुरुआती शब्द: स्पष्ट और सीधा।
- बाद के शब्द: अभी भी सूचनात्मक, नए विवरण, तथ्य या कथानक जोड़ते हुए।
- पैटर्न: जैसे-जैसे कहानी लंबी होती है, यह दिलचस्प बनी रहती है। कोरिलेशन पॉजिटिव (positive) हो जाता है। छात्र वास्तव में पूरे समय मूल्य जोड़ रहा है।

इसका क्या मतलब है: फाइन-ट्यूनिंग मॉडल को यह सिखाती है कि "लंबा होना" का मतलब "दोहराव" नहीं है। यह मॉडल को सिखाती है कि लंबे जवाबों में भी सूचना का घनत्व (information density) उच्च बना रहे।

मुख्य खोज 2: "भ्रम" को "अर्थ" में बदलना

लेखकों ने देखा कि AI की आंतरिक "अनिश्चितता" (वह क्या कहे इसके बारे में उसकी उलझन) कैसे सिमेंटिक डाइवर्सिटी (semantic diversity) (अंतिम आउटपुट में अलग-अलग अर्थ या विचार) में बदल जाती है।

उदाहरण: अनिश्चितता को कच्चे क्ले (मिट्टी) के ढेर के रूप में सोचें।
- बेस मॉडल्स: उनके पास बहुत सारा क्ले (उच्च अनिश्चितता) होता है, लेकिन वे अक्सर केवल एक बिखरा हुआ ढेर ही बनाते हैं। वे क्ले को अलग, उपयोगी आकृतियों में ढालना नहीं जानते।
- फाइन-ट्यून्ड मॉडल्स: उनके पास कुल मिलाकर कम क्ले (कम अनिश्चितता) होता है, लेकिन वे कुशल मूर्तिकार हैं। वे उस कम मात्रा में मौजूद क्ले को लेकर उसे अलग, अर्थपूर्ण मूर्तियों का आकार देते हैं।

परिणाम: पेपर ने पाया कि फाइन-ट्यूनिंग मॉडल अपनी आंतरिक अनिश्चितता को वास्तविक, अर्थपूर्ण विविधता में बदलने में तीन गुना अधिक कुशल है। भले ही मॉडल यह जानने के बारे में "कम भ्रमित" हो कि क्या कहना है, लेकिन जो चीजें वह कहता है वे अर्थ के मामले में एक-दूसरे से बहुत अलग और विशिष्ट होती हैं।

निष्कर्षों का सारांश

यह केवल सिकुड़ने के बारे में नहीं है: फाइन-ट्यूनिंग केवल AI को कम विविध नहीं बनाती। यह इस बात को बदल देती है कि विविधता का वितरण कैसे होता है।
लंबाई मायने रखती है: पिछले अध्ययन धोखा खा गए थे क्योंकि फाइन-ट्यून्ड मॉडल लंबे लिखते हैं। जब आप लंबाई को ध्यान में रखते हैं, तो आप देखते हैं कि फाइन-ट्यून्ड मॉडल बेस मॉडल्स की तुलना में बहुत लंबे समय तक दिलचस्प बने रहते हैं।
दक्षता (Efficiency): फाइन-ट्यून्ड मॉडल अपनी "सोचने की प्रक्रिया" को "उपयोगी विविधता" में बदलने में बेहतर होते हैं। वे केवल बड़बड़ाते नहीं हैं; वे विस्तार से समझाते हैं।

निचोड़: फाइन-ट्यूनिंग एक रचनात्मक AI को एक उबाऊ रोबोट में नहीं बदलती। यह एक अस्त-व्यस्त कलाकार को एक व्यवस्थित कहानीकार में बदल देती है जिसे पता होता है कि कब तक बोलना है और बातचीत को शुरू से अंत तक दिलचस्प कैसे बनाए रखना है।

तकनीकी सारांश: फाइन-ट्यूनिंग भाषा मॉडलों में सूचना संप्रेषण (Information Conveyance) में सुधार करती है

समस्या विवरण (Problem Statement)

मौजूदा साहित्य यह तर्क देता है कि फाइन-ट्यूनिंग (जिसमें इंस्ट्रक्शन ट्यूनिंग और अलाइनमेंट शामिल है) लार्ज लैंग्वेज मॉडल्स (LLMs) की विविधता (diversity) और अनिश्चितता (uncertainty) को कम करती है, जिससे वे अधिक नियतात्मक (deterministic) हो जाते हैं। हालाँकि, यह शोध पत्र इन पूर्व विश्लेषणों में एक महत्वपूर्ण सीमा की पहचान करता है: वे काफी हद तक आउटपुट लंबाई (output length) को नियंत्रित करने में विफल रहते हैं। लंबाई विविधता मापन में एक प्रमुख भ्रमित कारक (confounder) है; टाइप-टोकन अनुपात या n-ग्राम विविधता जैसे मेट्रिक्स टेक्स्ट की लंबाई से प्रभावित होते हैं, जो अक्सर छोटी प्रतिक्रियाओं को कृत्रिम रूप से विविध दिखाते हैं। इसके अलावा, पूर्व कार्य विविधता को एक स्थिर गुण मानते हैं, यह विश्लेषण करने में विफल रहते हैं कि जनरेशन प्रक्षेपवक्र (generation trajectories) के साथ अनिश्चितता कैसे विकसित होती है या विभिन्न आउटपुट लंबाई में इसे कैसे आवंटित किया जाता है। फलस्वरूप, यह स्पष्ट नहीं है कि क्या फाइन-ट्यूनिंग केवल विविधता को दबाती है या इसे अधिक सूचनात्मक, अर्थपूर्ण जनरेशन बनाने के लिए पुनर्गठित करती है।

कार्यप्रणाली (Methodology)

कैनोपी एंट्रॉपी ( $CE^\star$ )

इन कमियों को दूर करने के लिए, लेखक कैनोपी एंट्रॉपी ( $CE^\star$ ) प्रस्तावित करते हैं, जो एक सूचना-सैद्धांतिक माप है जो भाषा जनरेशन को एक 'ट्री' (tree) परिप्रेक्ष्य से देखता है।

अवधारणा: "कैनोपी" उन सभी संभावित पूर्ण रोलआउट्स (पत्तियों/leaves) के सेट का प्रतिनिधित्व करती है जो मॉडल के पास उपलब्ध हैं। $CE^\star$ स्थानीय ब्रांचिंग चौड़ाई (टोकन-स्तर की अनिश्चितता) और प्रक्षेपवक्र गहराई (रुकने के समय की परिवर्तनशीलता) को संयुक्त रूप से ध्यान में रखकर इस जनरेशन स्पेस के प्रभावी आयतन (volume) को मापता है।
औपचारिक परिभाषा: $CE^\star$ को जनरेशन प्रक्षेपवक्रों के दौरान स्थानीय एंट्रॉपी के अपेक्षित योग के रूप में परिभाषित किया गया है:
$CE^\star := \mathbb{E}\left[\sum_{t=1}^{N(x)} \tilde{H}(g_t | x)\right]$
जहाँ $N(x)$ रैंडम स्टॉपिंग टाइम (लंबाई) है, $g_t$ जनरेशन हिस्ट्री है, और $\tilde{H}$ अगले टोकन (EOS टोकन सहित) की स्थानीय एंट्रॉपी है।
सैद्धांतिक समानता: लेखक सिद्ध करते हैं कि $CE^\star$ जनरेशन प्रक्रिया की कुल शैनन एंट्रॉपी (Shannon entropy) के बिल्कुल बराबर है:
$CE^\star = H(N, Y_{1:N} | X)$
यह कुल अनिश्चितता को लंबाई अनिश्चितता $H(N|X)$ (रुकने के समय की पूर्वानुमेयता) और सामग्री अनिश्चितता $H(Y_{1:N}|N, X)$ (एक निश्चित लंबाई के लिए अनुक्रमों की विविधता) में विभाजित करता है।

व्युत्पन्न मेट्रिक्स (Derived Metrics)

$CE^\star$ को व्याख्या योग्य बनाने के लिए, दो सामान्यीकृत संस्करण पेश किए गए हैं:

जनरेशन परप्लेक्सिटी (GenPPL): $CE^\star$ का एक टोकन-स्तरीय सामान्यीकरण, जो एक विशिष्ट टोकन की विविधता को दर्शाता है।
ब्रांचिंग फैक्टर (BF): एक प्रक्षेपवक्र-स्तरीय सामान्यीकरण (एंट्रॉपी दर की अपेक्षा), जो एक विशिष्ट प्रक्षेपवक्र की विविधता को दर्शाता है।

लंबाई–एंट्रॉपी सहसंबंध ( $\rho(N, r_N)$ )

लेखक यह अध्ययन करने के लिए कि अनिश्चितता जनरेशन की लंबाई के साथ कैसे विकसित होती है, एक नया मेट्रिक पेश करते हैं: आउटपुट लंबाई $N$ और एंट्रॉपी दर $r_N$ (प्रति-टोकन सामग्री अनिश्चितता) के बीच सहसंबंध।

परिभाषा: $\rho(N, r_N)$ यह मापता है कि क्या लंबे जनरेशन अधिक सूचनात्मक बने रहते हैं (सकारात्मक सहसंबंध) या तेजी से निरर्थक/पूर्वानुमेय (negative correlation) हो जाते हैं।
महत्व: यह मेट्रिक लंबाई के भ्रमित प्रभाव को संबोधित करता है, वास्तविक सूचना लाभ और लंबे टेक्स्ट में सांख्यिकीय आर्टिफैक्ट्स के बीच अंतर करता है।

अनुमान (Estimation)

चूंकि सभी रोलआउट्स के घातीय स्थान (exponential space) पर $CE^\star$ की गणना करना अव्यवहार्य है, इसलिए लेखक मोंटे कार्लो एस्टिमेटर्स (Monte Carlo estimators) विकसित करते हैं। वे घटते ट्रंकेशन बायस (जैसे-जैसे अधिकतम लंबाई $T_{max} \to \infty$ होती है) और मध्यम ट्रंकेशन लंबाई के तहत इन एस्टिमेटर्स की निरंतरता (consistency) स्थापित करते हैं। एरर बाउंड्स मोंटे कार्लो सैंपलिंग एरर और ट्रंकेशन बायस में विभाजित हैं।

मुख्य परिणाम (Key Results)

लेखकों ने चार कार्यों (गणित, कोडिंग, वाक्य पूर्णता, कहानी लेखन) में तीन मॉडल परिवारों (LLaMA-3.1-8B, Qwen3-8B, Gemma-3-12B) का मूल्यांकन किया, जिसमें बेस मॉडल्स की तुलना उनके इंस्ट्रक्शन-ट्यून्ड वेरिएंट्स से की गई।

सामान्यीकृत अनिश्चितता में कमी:
फाइन-ट्यूनिंग लगभग सभी मॉडल्स और कार्यों में टोकन-स्तरीय (GenPly) और प्रक्षेपवक्र-स्तरीय (BF) सामान्यीकृत अनिश्चितता को लगातार कम करती है। कमी का परिमाण कार्य के आधार पर काफी भिन्न होता है (जैसे, Qwen के लिए गणित में ~5% बनाम वाक्य पूर्णता के लिए ~80%), जो सुझाव देता है कि अलाइनमेंट जनरेशन स्पेस को संकुचित करता है लेकिन यह कार्य संरचना के आधार पर विषम (heterogeneous) होता है।
कुल अनिश्चितता ( $CE^\star$ ) पर कार्य-निर्भर प्रभाव:
- संरचित कार्यों में (गणित, कोडिंग, वाक्य पूर्णता), फाइन-ट्यूनिंग के बाद $CE^\star$ काफी कम हो जाता है, क्योंकि वैध जनरेशन स्पेस को सही प्रक्षेपवर्याों के एक छोटे सेट तक सीमित कर दिया जाता है।
- ओपन-एंडेड कार्यों में (कहानी लेखन), $CE^\star$ बढ़ सकता है। फाइन-ट्यून्ड मॉडल लंबे, अधिक विस्तृत अनुक्रम उत्पन्न करते हैं। हालांकि स्थानीय ब्रांचिंग विविधता कम हो जाती है, प्रक्षेपवक्र गहराई (रुकने के समय की अनिश्चितता) में वृद्धि गणितीय रूप से स्थानीय एंट्रॉपी में कमी की भरपाई कर सकती है, जिससे कुल जनरेशन स्पेस का आयतन बढ़ जाता है।
लंबाई–एंट्रॉपी सहसंबंध में बदलाव:
एक महत्वपूर्ण निष्कर्ष यह है कि फाइन-ट्यूनिंग व्यवस्थित रूप से सहसंबंध $\rho(N, r_N)$ को नकारात्मक से सकारात्मक में बदल देती है।
- बेस मॉडल्स: नकारात्मक सहसंबंध प्रदर्शित करते हैं; लंबे आउटपुट में एंट्रॉपी दर कम होने की प्रवृत्ति होती है, जिसका अर्थ है कि बाद के टोकन निरर्थक होते हैं।
- फाइन-ट्यून्ड मॉडल्स: सकारात्मक सहसंबंध प्रदर्शित करते हैं; लंबे जनरेशन उच्च एंट्रॉपी दर बनाए रखते हैं, जो यह दर्शाता है कि अतिरिक्त टोकन सूचनात्मक बने रहते हैं न कि दोहराव में ढल जाते हैं।
सिमेंटिक विविधता में दक्षता:
बीटा मिक्स-इफेक्ट्स रिग्रेशन फ्रेमवर्क का उपयोग करते हुए, लेखकों ने पाया कि जबकि फाइन-ट्यूनिंग एक निश्चित एंट्रॉपी दर पर बेसलाइन सिमेंटिक विविधता को कम करती है, यह सिमेंटिक विविधता की संवेदनशीलता को लगभग तीन गुना कर देती है। इसका तात्पर्य है कि अलाइन्ड मॉडल्स टोकन-स्तरीय अनिश्चितता का अधिक कुशलता से उपयोग करते हैं, और इसे बेस मॉडल्स की तुलना में अधिक प्रभावी ढंग से सार्थक सिमेंटिक भिन्नता में परिवर्तित करते हैं।

महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि प्रचलित दृष्टिकोण—कि फाइन-ट्यूनिंग केवल विविधता को कम करती है—अधूरा है। इसके बजाय, परिणाम दर्शाते हैं कि फाइन-ट्यूनिंग अनिश्चितता को मौलिक रूप से पुनर्गठित करती है।

केवल कमी नहीं, बल्कि पुनर्गठन: फाइन-ट्यूनिंग केवल जनरेशन स्पेस को छोटा नहीं करती; यह इस बात को पुनर्गठित करती कि अनिश्चितता को जनरेशन प्रक्षेपवर्याओं में कैसे आवंटित किया जाए।
सूचना दक्षता: अलाइन्ड मॉडल्स ऐसे आउटपुट उत्पन्न करते हैं जो अधिक व्यवस्थित और अर्थपूर्ण होते हैं। वे लंबे प्रक्षेपवर्याओं में सूचना घनत्व (information density) बनाए रखते हैं, जिससे वे बेस मॉडल्स में देखे जाने वाले "कम्प्लीशन ट्रैप्स" और दोहराव से बचते हैं।
कार्यप्रणाली संबंधी योगदान: $CE^\star$ और लंबाई-एंट्रॉपी सहसंबंध को पेश करके, यह शोध पत्र जनरेशन विविधता के मूल्यांकन के लिए एक सिद्धांतवादी, लंबाई-जागरूक ढांचा प्रदान करता है जो पिछले मेट्रिक्स में मौजूद आउटपुट लंबाई के भ्रमित प्रभावों को दूर करता है।

लेखक निष्कर्ष निकालते हैं कि फाइन-ट्यूनिंग भाषा मॉडलों के सूचना संप्रेषण (information conveyance) में सुधार करती है, जिससे वे अनिश्चितता को सिमेंटिक रूप से विविध और कार्य-उपयुक्त जनरेशन में बदलने में अधिक प्रभावी बनते हैं।