💬 NLP

Controlling Distributional Bias in Multi-Round LLM Generation via KL-Optimized Fine-Tuning

यह शोध पत्र एक नवीन फाइन-ट्यूनिंग फ्रेमवर्क प्रस्तावित करता है जो स्टीयरिंग टोकन कैलिब्रेशन को हाइब्रिड केएल-डाइवर्जेंस (KL-divergence) और कानमैन-ट्वर्स्की (Kahneman-Tversky) अनुकूलन उद्देश्य के साथ जोड़ता है ताकि बड़े भाषा मॉडलों (LLMs) के आउटपुट वितरणों को कई राउंड में प्रभावी ढंग से नियंत्रित और संरेखित किया जा सके, जो लिंग, नस्ल और भावना जैसे गुणों के संबंध में सांख्यिकीय रूप से प्रतिनिधि सामग्री उत्पन्न करने में मौजूदा विधियों की सीमाओं को संबोधित करता है।

मूल लेखक: Yanbei Jiang, Amr Keleg, Ryandito Diandaru, Jey Han Lau, Lea Frermann, Biaoyan Fang, Fajri Koto

प्रकाशित 2026-04-08

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC0 1.0

मूल लेखक: Yanbei Jiang, Amr Keleg, Ryandito Diandaru, Jey Han Lau, Lea Frermann, Biaoyan Fang, Fajri Koto

मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही प्रतिभाशाली, लेकिन थोड़ी जिद्दी कहानीकार है जिसका नाम "LLM" है। आप इस कहानीकार से एक विशिष्ट नौकरी, जैसे कि "यूके में एक नर्स" के बारे में 100 लघु कथाएँ लिखने के लिए कहते हैं।

समस्या: जिद्दी कहानीकार
वास्तविक दुनिया में, नर्सिंग में पुरुष और महिला दोनों शामिल होते हैं। लेकिन यदि आप अपने LLM कहानीकार को 100 कहानियाँ स्वतंत्र रूप से लिखने के लिए कहते हैं, तो वह अनजाने में 90 कहानियाँ महिला नर्सों के बारे में और केवल 10 कहानियाँ पुरुष नर्सों के बारे में लिख सकता है। ऐसा इसलिए नहीं है कि मॉडल "बुरा" है; बल्कि इसलिए है क्योंकि इसने इंटरनेट से सीखा है कि "नर्स" का अर्थ आमतौर पर "महिला" होता है।

यदि आप इसे फिर से "निर्माण श्रमिकों" (Construction Workers) के बारे में 100 कहानियाँ लिखने के लिए कहते हैं, तो यह 99 कहानियाँ पुरुषों के बारे में और 1 महिला के बारे में लिख सकता है, भले ही आप एक संतुलित मिश्रण चाहते थे।

समस्या यह है कि वर्तमान AI मॉडल एक अच्छी कहानी लिखने में तो बहुत माहिर हैं, लेकिन कई कहानियाँ सुनाने के जब बात आती है, तो वे बड़ी तस्वीर (big picture) को संभालने में बहुत खराब हैं। वे एक ही "रट" (rut) में फंस जाते हैं, वास्तविक दुनिया की विविधता या आपके द्वारा निर्धारित किसी विशिष्ट लक्ष्य को दर्शाने के बजाय, बार-बार एक ही तरह के रूढ़िवादी विचारों (stereotypes) को दोहराते रहते हैं।

समाधान: "ट्रैफिक पुलिस" और "संपादक"
शोधकर्ताओं ने इस समस्या को ठीक करने के लिए एक चतुर दो-भाग वाली प्रशिक्षण विधि विकसित की है। इसे AI को एक नया सेट उपकरण देने के रूप में समझें: एक ट्रैफिक पुलिस (Traffic Cop) और एक सख्त संपादक (Strict Editor)।

1. ट्रैफिक पुलिस (Steering Tokens और KL Loss)

सबसे पहले, वे AI को सिखाते हैं कि कहानी लिखना शुरू करने से पहले एक विशेष "गुप्त कोड" या ट्रैफिक पुलिस टोकन का उपयोग कैसे किया जाए।

यह कैसे काम करता है: एक नर्स के बारे में कहानी लिखने से पहले, AI को एक टोकन चुनना होगा। मान लीजिए कि यह "पुरुष" के लिए टोकन "A" या "महिला" के लिए टोकन "B" चुनता है।
लक्ष्य: शोधकर्ता AI को इस तरह प्रशिक्षित करते हैं कि यदि आप 70% पुरुष नर्स और 30% महिला नर्स चाहते हैं, तो ट्रैफिक पुलिस 100 में से 70 बार टोकन "A" और 30 बार टोकन "B" चुने।
उपमा: एक कैसीनो डीलर की कल्पना करें। यदि आप चाहते हैं कि कार्डों का वितरण एक विशिष्ट अनुपात में हो (जैसे, 70% लाल, 30% काला), तो डीलर (ट्रैफिक पुलिस) को ठीक उसी तरह कार्ड बांटने के लिए प्रशिक्षित किया जाता है, चाहे खिलाड़ी आमतौर पर क्या उम्मीद करते हों।

2. सख्त संपादक (Semantic Alignment और KTO)

यहाँ पेचीदा हिस्सा आता है। सिर्फ इसलिए कि AI ने "पुरुष" टोकन नहीं चुना है, इसका मतलब यह नहीं है कि उसके बाद जो कहानी वह लिखेगा वह वास्तव में एक पुरुष के बारे में होगी। हो सकता है कि वह गलती से टोकन चुन ले और फिर भी एक महिला के बारे में कहानी लिख दे।

सुधार: वे एक "सख्त संपादक" (KTO नामक तकनीक का उपयोग करके) जोड़ते हैं। यह संपादक जाँच करता है: "क्या आपने 'पुरुष' टोकन चुना? बहुत बढ़िया! अब, क्या आपके द्वारा लिखी गई कहानी वास्तव में एक पुरुष का वर्णन करती है?"
लक्ष्य: यदि AI "पुरुष" चुनता है लेकिन एक महिला के बारे में लिखता है, तो संपादक उसे एक बड़ा "F" (दंड) देता है। यदि AI "पुरुष" चुनता है और एक पुरुष के बारे में लिखता है, तो उसे "A" (पुरस्कार) मिलता है।
उपमा: एक शेफ के बारे में सोचें जिसे एक "तीखा" व्यंजन बनाने के लिए कहा गया है। ट्रैफिक पुलिस यह सुनिश्चित करती है कि वह 50% बार "तीखा" लेबल चुने। सख्त संपादक भोजन को चखता है ताकि यह सुनिश्चित हो सके कि वह वास्तव में तीखा है। यदि शेफ लेबल चुनता है लेकिन एक सादा सूप परोसता है, तो संपादक उसे वापस रसोई में भेज देता है।

परिणाम: एक पूरी तरह से संतुलित मेनू
ट्रैफिक पुलिस (जो विकल्पों की आवृत्ति को नियंत्रित करता है) और सख्त संपादक (जो यह सुनिश्चित करता है कि सामग्री चुनाव से मेल खाती है) को मिलाकर, शोधकर्ताओं ने एक ऐसा AI बनाया जो:

वास्तविकता को दर्शाता है: यदि आप वास्तविक दुनिया के आंकड़ों के लिए कहते हैं (जैसे, "अमेरिकी जनगणना के आंकड़ों के आधार पर निर्माण श्रमिकों के बारे में कहानियाँ लिखें"), तो AI सटीक नंबरों के साथ मेल खाने वाला मिश्रण तैयार करेगा।
निष्पक्षता लागू करता है: यदि आप एक पूरी तरह से संतुलित मिश्रण (50/50) चाहते हैं ताकि पूर्वाग्रह से बचा जा सके, तो AI यह भी कर सकता है, भले ही वास्तविक दुनिया संतुलित न हो।

यह क्यों महत्वपूर्ण है
पहले, यदि आप चाहते थे कि AI कई पीढ़ियों में निष्पक्ष या सांख्यिकीय रूप से सटीक रहे, तो आपको केवल बेहतर होने की उम्मीद करनी पड़ती थी या इसे जटिल प्रॉम्प्ट के माध्यम से चकमा देने की कोशिश करनी पड़ती थी (जो आमतौर पर विफल हो जाते थे)। यह नई विधि AI को एक डायल (dial) देने के समान है जिसे आप घुमाकर आउटपुट में पुरुषों, महिलाओं या विभिन्न भावनाओं के सटीक प्रतिशत को सेट कर सकते हैं, बिना उसकी एक अच्छी कहानी बताने की क्षमता को तोड़े।

यह एक अराजक भीड़ से "विविध होने" के लिए कहने (जिसका परिणाम आमतौर पर एक गड़बड़ी होती है) और एक पेशेवर इवेंट प्लानर को नियुक्त करने के बीच का अंतर है, जो जानता है कि पार्टी को परफेक्ट बनाने के लिए प्रत्येक प्रकार के कितने लोगों को आमंत्रित करना है।

यहाँ शोध पत्र "Controlling Distributional Bias in Multi-Round LLM Generation via KL-Optimized Fine-Tuning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यद्यपि लार्ज लैंग्वेज मॉडल्स (LLMs) स्वाभाविक रूप से संभाव्य (probabilistic) होते हैं, मानक मूल्यांकन विधियाँ आमतौर पर निश्चित ग्राउंड ट्रुथ के विरुद्ध सिंगल-राउंड इन्फरेंस (single-round inference) पर ध्यान केंद्रित करती हैं। यह शोध पत्र एक महत्वपूर्ण अंतर की पहचान करता है: मल्टी-राउंड जनरेशन में डिस्ट्रीब्यूशनल बायस (Distributional Bias)।

समस्या: जब किसी LLM को एक ही निर्देश (जैसे, "एक नर्स के बारे में कहानी लिखें") के साथ बार-बार (जैसे, 100 बार) प्रॉम्प्ट किया जाता है, तो कुल आउटपुट डिस्ट्रीब्यूशन अक्सर इच्छित टार्गेट डिस्ट्रीब्यूशन (जैसे, वास्तविक दुनिया के आंकड़े या एक यूनिफॉर्म डिस्ट्रीब्यूशन) से काफी विचलित हो जाता है।
परिणाम: मौजूदा मॉडल और मानक अलाइनमेंट तकनीकें (जैसे, प्रॉम्प्ट इंजीनियरिंग या डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन) इन समग्र डिस्ट्रीब्यूशन को विश्वसनीय रूप से नियंत्रित करने में विफल रहती हैं। वे "मोड-सीकिंग" (mode-seeking) की ओर प्रवृत्त होते हैं, यानी वे एक विविध डिस्ट्रीब्यूशन बनाए रखने के बजाय एक एकल रूढ़िवादी (stereotypical) प्रतिक्रिया पर केंद्रित हो जाते हैं।
लक्ष्य: एक ऐसा फ्रेमवर्क विकसित करना जो LLMs को कई स्वतंत्र परीक्षणों (independent trials) में ऐसे आउटपुट उत्पन्न करने की अनुमति दे जो एक उपयोगकर्ता-निर्धारित टार्गेट डिस्ट्रीब्यूशन (जैसे, निर्माण श्रमिकों के लिए 96% पुरुष/4% महिला, या शैक्षिक सामग्री के लिए 50/50) का सख्ती से पालन करते हों, जबकि अर्थ संबंधी गुणवत्ता (semantic quality) को भी बनाए रखें।

2. कार्यप्रणाली (Methodology)

लेखक एक नवीन फाइन-ट्यूनिंग फ्रेमवर्क प्रस्तावित करते हैं जो एक हाइब्रिड ऑब्जेक्टिव फंक्शन का उपयोग करके स्टीयरिंग टोकन कैलिब्रेशन (Steering Token Calibration) को सिमेंटिक अलाइनमेंट (Semantic Alignment) के साथ जोड़ता है।

A. मुख्य घटक (Core Components)

स्टीयरिंग टोकन्स ( $S$ ):
- मॉडल के वोकैबुलरी में स्टीयरिंग टोकन्स (जैसे, $\tau_1, \tau_2$ ) का एक सेट जोड़ा जाता है, जिनमें से प्रत्येक एक विशिष्ट विशेषता (जैसे, "पुरुष", "महिला") से अनूठे रूप से संबंधित होता है।
- ये टोकन्स रिस्पॉन्स के पूर्ववर्ती (precursors) के रूप में कार्य करते हैं, जो विशिष्ट विशेषता पर जनरेशन को स्पष्ट रूप से कंडिशन (condition) करते हैं।
दो-चरणीय अनुकूलन रणनीति (Two-Stage Optimization Strategy):
ट्रेनिंग ऑब्जेक्टिव दो अलग-अलग लॉस फंक्शन्स को जोड़ता है:
- KL कैलिब्रेशन लॉस ( $L_{KL}$ ):
  - उद्देश्य: मॉडल की एक विशिष्ट स्टीयरिंग टोकन उत्पन्न करने की संभावना को टार्गेट डिस्ट्रीब्यूशन $P^*$ के अनुरूप बनाने के लिए मजबूर करना।
  - तंत्र: टार्गेट डिस्ट्रीब्यूशन और प्रॉम्प्ट के तुरंत बाद मॉडल द्वारा अनुमानित स्टीयरिंग टोकन्स की प्रोबेबिलिटी के बीच कुलबैक-लीब्लर (KL) डाइवर्जेंस को कम करता है।
  - प्रभाव: एक "मैक्रो-कंट्रोलर" के रूप में कार्य करता है जो यह सुनिश्चित करता है कि सांख्यिकीय इरादा टार्गेट के अनुरूप हो।
- KTO के माध्यम से सिमेंटिक अलाइनमेंट ( $L_{KTO}$ ):
  - उद्देश्य: यह सुनिश्चित करना कि स्टीयरिंग टोकन के बाद उत्पन्न टेक्स्ट उस टोकन के साथ अर्थपूर्ण रूप से सुसंगत (semantically consistent) हो।
  - तंत्र: यह कानमैन-ट्वर्स्की ऑप्टिमाइजेशन (KTO) का उपयोग करता है। मानक DPO के विपरीत, जो जोड़ों (pairs) की तुलना करता है, KTO व्यक्तिगत उदाहरणों के लिए एक वैल्यू फंक्शन को परिभाषित करता है कि क्या वे वांछनीय या अवांछनीय हैं।
  - कार्यान्वयन:
    - वांछनीय ( $y_w$ ): सीक्वेंस $[\tau_{target}; \text{consistent response}]$ ।
    - अवांछनीय ( $y_l$ ): सीक्वेंस $[\tau_{reject}; \text{inconsistent response}]$ ।
  - प्रभाव: एक "माइक्रो-कंट्रोलर" के रूप में कार्य करता है जो यह सुनिश्चित करता है कि उत्पन्न टेक्स्ट तार्किक रूप से चुने गए स्टीयरिंग टोकन का अनुसरण करे।
- कुल ऑब्जेक्टिव (Total Objective): $L_{total} = L_{KTO} + L_{KL}$

B. डेटा निर्माण (Data Construction)

बेस डेटासेट: प्रति निर्देश $N$ रिस्पॉन्स जेनरेट किए गए, जिन्हें स्पष्ट रूप से टार्गेट डिस्ट्रीब्यूशन $P^*$ से मेल खाने के लिए नियंत्रित किया गया।
प्रेफरेंस पेयर्स (Preference Pairs): इन्हें $(x, y_w, y_l)$ जोड़ों में बदला गया। स्वीकृत रिस्पॉन्स ( $y_w$ ) में सही स्टीरलिंग टोकन को रिस्पॉन्स से पहले लगाया गया है। अस्वीकृत रिस्पॉन्स ( $y_l$ ) में एक नेगेटिव स्टीरलिंग टोकन (शेष एट्रिब्यूट्स में से यूनिफॉर्मली सैंपल किया गया) को जेनरेटेड रिस्पॉन्स के साथ जोड़ा गया है, जो एक कंट्रास्टिव सिग्नल प्रदान करता है।

C. इन्फरेंस रणनीति (Inference Strategy)

एक दो-चरणीय जनरेशन प्रक्रिया का उपयोग किया जाता है:

टोकन सैंपलिंग: मॉडल के प्रोबेबिलिटी डिस्ट्रीब्यूशन से एक स्टीयरिंग टोकन $\hat{\tau}$ को सैंपल करें (जिसे $P^*$ से मेल खाने के लिए कैलिब्रेट किया गया है)।
रिस्पॉन्स जनरेशन: प्रॉम्प्ट में $\hat{\tau}$ को जोड़ें और शेष रिस्पॉन्स को ऑटो-रिग्रेसिव तरीके से जेनरेट करें।

3. मुख्य योगदान (Key Contributions)

समस्या का निरूपण: मल्टी-राउंड LLM जनरेशन में डिस्ट्रीब्यूशनल बायस का व्यवस्थित रूप से विश्लेषण और समाधान करने वाला पहला कार्य, जो इसे सिंगल-राउंड कंसिस्टेंसी या मानक डीबायसिंग से अलग करता है।
नवीन फ्रेमवर्क: एक हाइब्रिड फाइन-ट्यूनिंग विधि का परिचय जो KL डाइवर्जेंस (डिस्ट्रीब्यूशन कैलिब्रेशन के लिए) और KTO (सिमेंटिक कंसिस्टेंसी के लिए) को जोड़ती है, जो मानक प्रेफरेंस ऑप्टिमाइजेशन से बेहतर प्रदर्शन करती है।
व्यापक मूल्यांकन: UK और US व्यावसायिक संदर्भों में जेंडर, रेस और सेंटीमेंट को कवर करने वाले डिस्ट्रीब्यूशन-अवेयर प्रेफरेंस डेटासेट्स का निर्माण।
अनुभवजन्य सत्यापन (Empirical Validation): यह प्रदर्शित करना कि स्टैंडर्ड बेसलाइन्स (Zero-shot, Prompt Engineering, IFT, DPO) डिस्ट्रीब्यूशन को नियंत्रित करने में विफल रहते हैं, जबकि प्रस्तावित विधि सटीक अलाइनमेंट प्राप्त करती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस पद्धति का मूल्यांकन चार मॉडल्स (Qwen2.5-7B/1.5B, Llama-3.1-8B/3.2-1B) और छह डेटासेट्स (UK/US में Gender/Race/Sentiment) पर किया गया।

प्रदर्शन मीट्रिक: जेनरेटेड डिस्ट्रीब्यूशन और टार्गेट डिस्ट्रीब्यूशन के बीच मीन एब्सोल्यूट एरर (MAE)। कम होना बेहतर है।
मुख्य निष्कर्ष:
- श्रेष्ठता: प्रस्तावित विधि ने सभी मॉडल्स और सेटिंग्स में लगातार सबसे कम MAE प्राप्त किया। उदाहरण के लिए, Qwen2.5-7B पर, इसने औसत MAE को IFT के 0.135 से घटाकर 0.085 (37% सुधार) कर दिया।
- बेसलाइन की विफलता:
  - प्रॉम्प्ट इंजीनियरिंग: डिस्ट्रीब्यूशन को विश्वसनीय रूप से बदलने में विफल रही।
  - DPO: बहुत खराब प्रदर्शन किया (अक्सर यूनिफॉर्म सेटिंग्स में MAE 0.50 तक पहुँच गया), जो पुष्टि करता है कि मानक प्रेफरेंस ऑप्टिमाइजेशन मोड-सीकिंग व्यवहार को मजबूर करता है, जिससे डिस्ट्रीब्यूशन एक एकल एट्रिब्यूट पर सिमट जाता है।
  - IFT: जीरो-शॉट से बेहतर था लेकिन प्रस्तावित हाइब्रिड मेथड की तुलना में काफी पीछे रहा।
- मजबूती (Robustness): विधि विभिन्न डिकोडिंग पैरामीटर्स (Temperature, Top-p, Top-k) में स्थिर रही और अनदेखे व्यवसायों (UK पर प्रशिक्षित, US पर परीक्षण) के लिए सामान्यीकृत (generalize) हुई।
- सामान्य क्षमताएं: MMLU, GSM8K, TruthfulQA और IFEval पर मूल्यांकन ने सामान्य मॉडल क्षमताओं में नगण्य गिरावट (negligible degradation) दिखाई।
एब्लेशन स्टडी (Ablation Study):
- $L_{KL}$ को हटाने से सबसे अधिक प्रदर्शन गिरावट हुई, जिससे सिद्ध हुआ कि टोकन कैलिब्रेशन मौलिक है।
- $L_{KTO}$ को हटाने से प्रदर्शन में गिरावट आई, जो सिमेंटिक बाइंडिंग की आवश्यकता को दर्शाता है।
- KTO को DPO से बदलने पर अस्थिरता देखी गई, जो पेयरवाइज मार्जिन के बजाय KTO के वैल्यू-आधारित दृष्टिकोण की आवश्यकता को पुख्ती करता है।

5. महत्व (Significance)

सैद्धांतिक: यह कार्य डिस्ट्रीब्यूशनल स्टैटिस्टिक्स और जेनेरेटिव मॉडलिंग के बीच के अंतर को पाटता है, यह दिखाता है कि LLMs व्यक्तिगत सैंपल क्वालिटी से समझौता किए बिना समग्र सांख्यिकीय बाधाओं (statistical constraints) का सम्मान करने के लिए प्रशिक्षित किए जा सकते हैं।
व्यावहारिक:
- निष्पक्षता और प्रतिनिधित्व: उन अनुप्रयोगों के लिए सक्षम बनाता है जहाँ LLMs को वास्तविक दुनिया के जनसांख्यिकी (जैसे, मेडिकल डायग्नोस्टिक्स, पॉलिसी सिमुलेशन) को प्रतिबिंबित करना चाहिए या इक्विटी (जैसे, संतुलित प्रतिनिधित्व की आवश्यकता वाली शैक्षिक सामग्री) को लागू करना चाहिए।
- नियंत्रण: सिमुलेशन, डेटा ऑग्मेंटेशन और इंटरैक्टिव एजेंट्स जैसे सामान्य उपयोग के मामलों में LLM आउटपुट को "स्टीयर" करने के लिए एक विश्वसनीय तंत्र प्रदान करता है।
नैतिक: लेखक इस तकनीक की दोहरी प्रकृति (dual-use nature) को रेखांकित करते हैं: इसका उपयोग वास्तविक दुनिया के डेटा को प्रतिबिंबित करने के लिए (संभावित रूप से पूर्वाग्रहों को मजबूत करने के लिए) या उपयोगकर्ता-निर्धारित न्यायसंगत डिस्ट्रीब्यूशन को लागू करने के लिए किया जा सकता है। यह फ्रेमवर्क इन नैतिक विकल्पों को प्रोग्रामेटिक रूप से बनाने के लिए आवश्यक नियंत्रण प्रदान करता है।

निष्कर्षतः, यह शोध पत्र LLMs की एक पूर्व में अनसुलझी सीमा: बार-बार जनरेशन के दौरान आउटपुट के सांख्यिकीय वितरण को नियंत्रित करने में असमर्थता, का एक मजबूत, गणितीय रूप से आधारित समाधान प्रस्तुत करता है। एक हाइब्रिड लॉस फंक्शन के माध्यम से डिस्ट्रीब्यूशन कैलिब्रेशन को सिमेंटिक जनरेशन से अलग करके, लेखक मॉडल के व्यवहार पर सटीक, स्थिर और सामान्यीकरण योग्य नियंत्रण प्राप्त करते हैं।