🤖 machine learning

Shortcuts in the Tail: Debiasing via Post-Hoc Spectral Compression of Fine-Tuning Updates

यह शोधपत्र एक पोस्ट-हॉक डिबायसिंग (post-hoc debiasing) विधि प्रस्तावित करता है जो वेट अपडेट्स (weight updates) के सिंगुलर वैल्यू डिकंपोजिशन (singular value decomposition) की पूंछ को छोटा करके फाइन-ट्यून्ड मॉडल्स में स्प्यूरियस कोरिलेशन (spurious correlations) को कम करता है, जो न्यूनतम सटीकता हानि के साथ अल्पप्रतिनिधित्व वाले समूहों के बीच प्रदर्शन अंतराल को प्रभावी रूप से कम करता है।

मूल लेखक: Edward Sun, Dmitrii Troitskii

प्रकाशित 2026-06-09

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Edward Sun, Dmitrii Troitskii

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक प्रतिभाशाली छात्र है (एक बड़ा AI मॉडल) जिसने पहले से ही बोलना और दुनिया को समझना सीख लिया है। आप उन्हें एक विशिष्ट नया कौशल सिखाना चाहते हैं, जैसे कि मूवी रिव्यूज (फिल्म समीक्षा) लिखना। आप उन्हें अध्ययन करने के लिए ट्रेनिंग डेटा का एक ढेर देते हैं (फाइन-ट्यूनिंग)।

दुर्भाग्य से, छात्र थोड़ा आलसी है। वास्तविक फिल्म को समझने के बजाय, वह डेटा में एक "शॉर्टकट" देख लेता है। उदाहरण के लिए, वह देख सकता है कि जब भी कोई समीक्षा किसी विशिष्ट अभिनेता के नाम का उल्लेख करती है, तो वह समीक्षा नकारात्मक होती है। इसलिए, फिल्म का विश्लेषण करने के बजाय, वह केवल यह तय करने के लिए उस अभिनेता के नाम को देखता है कि समीक्षा खराब है या नहीं। इसे स्प्यूरियस कोरिलेशन (spurious correlation) या शॉर्टकट कहा जाता है।

समस्या यह है कि यह शॉर्टकट ट्रेनिंग डेटा पर बहुत अच्छा काम करता है लेकिन लोगों के नए, विविध समूहों या अलग-अलग प्रकार की फिल्मों के मामले में बुरी तरह विफल हो जाता है।

पुराना तरीका: फिर से शुरुआत करना

आमतौर पर, यदि आप किसी छात्र को शॉर्टकट के साथ नकल करते हुए पकड़ लेते हैं, तो आपको उन्हें पूरा विषय फिर से शुरू से पढ़ाना पड़ता है, लेकिन इस बार आपको उन किताबों को सावधानीपूर्वक संतुलित करना होगा जिन्हें वे पढ़ रहे हैं ताकि वे शॉर्टकट को दोबारा न देख सकें। यह महंगा, धीमा है, और इसके लिए आपको यह जानने की आवश्यकता है कि किन लोगों के समूहों के साथ अनुचित व्यवहार किया जा रहा है (ग्रुप लेबल्स)।

नया तरीका: "टेल" (पूंछ) को छाँटना

यह पेपर एक चतुर, "पोस्ट-हॉक" (घटना के बाद का) तरीका प्रस्तावित करता है। इसके लिए न तो री-ट्रेनिंग की आवश्यकता है, न ही नए डेटा की, और न ही यह जानने की कि किन समूहों को नुकसान पहुँचाया जा रहा है। यह बस उस गणित को देखता है जो छात्र ने नया कौशल सीखने के लिए अपने मस्तिष्क में बदला है।

यहाँ समानता दी गई है:

अपडेट ( $\Delta W$ ): इस अपडेट के लिए छात्र के मस्तिष्क को एक विशाल पुस्तकालय के रूप में सोचें। जब वे नया कौशल सीखते हैं, तो वे पूरे पुस्तकालय को फिर से नहीं लिखते; वे बस एक नया "अपडेट नोट" जोड़ते हैं जो कहता है, "यहाँ बताया गया है कि मूवी रिव्यूज को कैसे संभालना है।"
SVD (सॉर्टिंग मशीन): लेखक इस "अपडेट नोट" को लेते हैं और इसे SVD (सिंगुलर वैल्यू डिकम्पोजिशन) नामक एक जादुिक सॉर्टिंग मशीन से गुजारते हैं। यह मशीन नोट के हर एक हिस्से को एक पंक्ति में व्यवस्थित करती है, जो सबसे महत्वपूर्ण और तेज़ (हेड/Head) से लेकर सबसे कम महत्वपूर्ण और धीमे (टेल/Tail) तक होती है।
खोज: लेखकों ने कुछ आश्चर्यजनक खोजा:
- हेड (Head) की सूची में फिल्मों के बारे में वास्तविक ज्ञान (वास्तविक कौशल) है।
- टेल (Tail) में आलसी शॉर्टकट (अभिनेताओं के नाम, बुरी आदतें) हैं।
- महत्वपूर्ण रूप से, "हेड" और "टेल" आकार में बहुत समान दिखते हैं; आप केवल सूची को देखकर उनमें अंतर नहीं कर सकते। आपको परीक्षण करना होगा।

समाधान: टेल को काटना

लेखकों का तरीका सरल है: सूची के निचले 5% से 20% (टेल) को काट दें।

क्या होता है? छात्र आलसी शॉर्टकट भूल जाता है। वह यह तय करने के लिए अभिनेता के नाम को खोजना बंद कर देता है कि कोई फिल्म बुरी है या नहीं।
क्या सुरक्षित रहता है? छात्र अभी भी अच्छे रिव्यूज लिखना याद रखता है। फिल्म को समझने की उसकी क्षमता लगभग वैसी ही बनी रहती है।
परिणाम: छात्र निष्पक्ष हो जाता है (उन समूहों के प्रति अब पक्षपाती नहीं रहता जो शॉर्टकट का उपयोग करते हैं) और अपनी बुद्धिमत्ता को खोए बिना बेहतर बनता है।

"IMDB" टेस्ट: सिद्धांत को सिद्ध करना

यह साबित करने के लिए कि यह केवल एक तुक्का नहीं था, लेखकों ने एक "ट्रैप" टेस्ट बनाया। उन्होंने छात्र को एक ऐसा डेटासेट दिया जहाँ सही उत्तर पाने का एकमात्र तरीका शॉर्टकट का उपयोग करना था (जैसे कि एक जादुई मार्कर जो हमेशा "नेगेटिव" का अर्थ देता है)।

पूर्वानुमान: यदि उनका सिद्धांत सही है, तो टेल को काटने से छात्र की कुछ भी सही ढंग से उत्तर देने की क्षमता नष्ट हो जानी चाहिए, क्योंकि शॉर्टकट ही एकमात्र चीज़ थी जो उसने सीखी थी।
परिणाम: बिल्कुल यही हुआ। जब उन्होंने टेल को काटा, तो छात्र का प्रदर्शन वापस उसके मूल, निष्पक्ष स्तर पर आ गया। इसने साबित कर दिया कि "टेल" वास्तव में शॉर्टकट को रखता है, और "हेड" वास्तविक कौशल को रखता है।

यह एक बड़ी बात क्यों है

लेबल्स की आवश्यकता नहीं: आपको यह जानने की आवश्यकता नहीं है कि किसका भेदभाव किया जा रहा है। गणित स्वचालित रूप से पक्षपात को ढूंढ लेता है।
री-ट्रेनिंग की आवश्यकता नहीं: आपको छात्र को दिनों तक फिर से पढ़ाने की आवश्यकता नहीं है। आप बस एक बार का गणितीय "ट्रिम" कर सकते हैं।
हर जगह काम करता है: उन्होंने इसे तीन अलग-अलग AI मॉडलों और चार अलग-अलग कार्यों (जैसे कि यह जांचना कि वाक्य एक ही अर्थ रखते हैं या नहीं, या तथ्य कितने सत्य हैं) पर परखा, और यह हर बार सफल रहा।

निचोड़

पेपर तर्क देता है कि जब एक AI किसी नए कार्य को सीखता है, तो वह अपने "आलसी शॉर्टकट" को अपनी स्मृति के शांत, कम-ऊर्जा वाले हिस्सों (टेल) में छिपाने की प्रवृत्ति रखता है, जबकि "वास्तविक कार्य" को शोर वाले, उच्च-ऊर्जा वाले हिस्सों (हेड) में रखता है। केवल टेल को काटकर, हम पक्षपात को हटा सकते हैं और AI को अधिक निष्पक्ष बना सकते हैं, बिना उसकी बुद्धिमत्ता को नुकसान पहुँचाए।

तकनीकी सारांश: पूंछ में शॉर्टकट (Shortcuts in the Tail)

समस्या विवरण (Problem Statement)

इन्स्ट्रक्शन-ट्यून्ड लार्ज लैंग्वेज मॉडल्स (LLMs) को फाइन-ट्यून करना अक्सर स्प्यूरियस कोरिलेशन (जैसे कि जनसांख्यिकीय झुकाव, लेक्सिकल ओवरलैप, या विशिष्ट एनोटेटर प्राथमिकताएं) का लाभ उठाकर इन-डिस्ट्रीब्यूशन सटीकता प्राप्त कर लेता है। हालांकि यह ट्रेनिंग डिस्ट्रीब्यूशन के लिए प्रभावी है, लेकिन ये शॉर्टकट कम प्रतिनिधित्व वाले समूहों और एडवर्सरियल इनपुट्स पर व्यवस्थित विफलता का कारण बनते हैं। मौजूदा शमन रणनीतियों (mitigation strategies) के लिए आमतौर पर रीवेटेड लॉस के साथ रिट्रेनिंग, सिंथेटिक काउंटरफैक्टुअल्स के साथ डेटा ऑग्मेंटेशन, या ट्रेनिंग के दौरान इंटरमीडिएट रिप्रेजेंटेशन्स को संशोधित करने की आवश्यकता होती है। ये दृष्टिकोण महंगे हैं, इनके लिए ग्रुप लेबल्स या क्यूरेटेड डेटा की आवश्यकता होती है, और वे सीधे तौर पर इस बात की जांच नहीं करते कि शॉर्टकट को फाइन-ट्यूनिंग अपडेट के भीतर कैसे एनकोड किया गया है।

कार्यप्रणाली (Methodology)

लेखक एक लेबल-मुक्त, रिट्रेनिंग-मुक्त पोस्ट-हॉक हस्तक्षेप (post-hoc intervention) प्रस्तावित करते हैं जो फाइन-ट्यून किए गए मॉडल ( $W_{ft}$ ) और बेस मॉडल ( $W_{base}$ ) के बीच वेट डिफरेंस (weight difference) पर कार्य करता है।

अपडेट्स का स्पेक्ट्रल डीकंपोजिशन (Spectral Decomposition of Updates): विधि अपडेट मैट्रिक्स $\Delta W = W_{ft} - W_{base}$ की गणना करती है और सिंगुलर वैल्यू डीकंपोजिशन (SVD) करती है: $\Delta W = U\Sigma V^\top$ ।
टेल ट्रंकेशन (Tail Truncation): टॉप सिंगुलर वैल्यूज को बनाए रखने के बजाय (जैसा कि मॉडल कंप्रेशन में सामान्य है), यह विधि स्पेक्ट्रम की पूंछ (tail) को ट्रंकेट करती है। विशेष रूप से, यह केवल शीर्ष $k$ सिंगुलर वैल्यूज को रखती है (जहाँ $k = \lceil \rho r \rceil$ और $\rho$ एक रिटेंशन रेशियो है) और वेट्स को इस प्रकार पुनर्गठित करती है:
$\tilde{W} = W_{base} + U_{:,:k}\Sigma_{:k,:k}V^\top_{:,:k}$
कोई रिट्रेनिंग नहीं (No Retraining): संपीड़ित (compressed) मॉडल का मूल्यांकन तुरंत बिना किसी अतिरिक्त ऑप्टिमाइजेशन के किया जाता है।

मुख्य परिकल्पना यह है कि जबकि रॉ सिंगुलर वैल्यूज व्यापक रूप से वितरित हैं और "टास्क" और "शॉर्टकट" ऊर्जा के बीच कोई स्पष्ट अलगाव नहीं दिखाती हैं, सिंगुलर बेसिस एक क्रमबद्ध कोऑर्डिनेट सिस्टम (ordered coordinate system) के रूप में कार्य करता है। लेखक तर्क देते हैं कि टास्क-रेलेवेंट दिशाएं (task-relevant directions) टॉप ऑर्डरिंग में रहती हैं, जबकि शॉर्टकट-रेलेवेंट दिशाएं (स्प्यूरियस कोरिलेशन) टेल में निवास करती हैं।

मुख्य योगदान (Key Contributions)

एक नवीन डिबायसिंग विधि: $\Delta W$ का एक पोस्ट-हॉक टॉप- $k$ SVD ट्रंकेशन जो हर मूल्यांकित (मॉडल, डेटासेट) सेल पर 2 प्रतिशत अंक (pp) से कम सटीकता हानि के साथ स्प्यूरियस-ग्रुप गैप को कम करता है।
स्पेक्ट्रल स्ट्रैटिफिकेशन हाइपोथीसिस (Spectral Stratification Hypothesis): एक व्यवहारिक तंत्र जो सुझाव देता है कि शॉर्टकट रिस्पॉन्स $\Delta W$ के सिंगुलर ऑर्डरिंग की टेल में स्थित होते हैं। यह सिंगुलर वैल्यूज के परिमाण (magnitude) के बजाय सिंगुलर बेसिस के ऑर्डरिंग के बारे में एक दावा है।
नियंत्रित बाउंड्री केस (Controlled Boundary Case): एक इंजेक्टेड मार्कर (एकमात्र उपलब्ध सिग्नल) वाले IMDB डेटासेट का उपयोग करके एक अनुमानित बाउंड्री को प्रदर्शित करना। इस रिजीम में, जहाँ टास्क सिग्नल और शॉर्टकट को अलग करने के लिए कोई सिग्नल मौजूद नहीं है, ट्रंकेशन मॉडल को वापस अनबायस्ड बेस मॉडल की ओर धकेल देता है, जिससे यह पुष्टि होती है कि अन्य डेटासेट्स में देखा गया डिकपलिंग (decoupling) एक विभाज्य टॉप-बनाम-टेल संरचना के अस्तित्व पर निर्भर करता है।
विकल्पों को खारिज करना: अध्ययन कंट्रोल्स (बॉटम- $k$ ट्रंकेशन, रैंडम- $k$ ट्रंकेशन, और मैचड-रैंक LoRA) का उपयोग यह प्रदर्शित करने के लिए करता है कि प्रभाव जेनेरिक लो-रैंक एप्रोक्सिमेशन या रैंक-कंस्ट्रेंड ट्रेनिंग के कारण नहीं है, बल्कि अनकन्स्ट्रेंड फाइन-ट्यूनिंग अपडेट्स के विशिष्ट स्पेक्ट्रल ऑर्डरिंग के कारण है।

परिणाम (Results)

विधि का मूल्यांकन तीन इंस्ट्रक्शन-ट्यून्ड मॉडल्स (Qwen2.5-0.5B, Gemma-3-1B, Qwen2.5-7B) पर चार क्लासिफिकेशन बेंचमार्क्स (CivilComments, MNLI, FEVER, QQP) और IMDB-मार्कर बाउंड्री केस पर किया गया।

बायस रिडक्शन (Bias Reduction): टॉप- $k$ ट्रंकेशन ने स्प्यूरियस-ग्रुप गैप को CivilComments (Qwen2.5-0.5B के साथ) पर 68% तक और CivilComments पर 5× तक कम किया, जबकि सटीकता को "नो-कॉस्ट ज़ोन" (<2 pp लॉस) के भीतर बनाए रखा।
ट्रैजेक्टरी एनालिसिस (Trajectory Analysis):
- नेचुरल-शॉर्टकट डेटासेट्स: जैसे-जैसे रिटेंशन कम होता है, बायस गैप काफी कम हो जाता है जबकि सटीकता फाइन-ट्यून लेवल पर स्थिर रहती है (डिकपलिंग)।
- IMDB-मार्कर (बाउंड्री केस): सटीकता और गैप बेस मॉडल के प्रदर्शन की ओर एक साथ (in lockstep) चलते हैं। चूंकि पूरा अपडेट शॉर्टकट को एनकोड करता है, इसलिए ट्रंकेशन $\Delta W$ को शून्य की ओर सिकोड़ देता है, जिससे मॉडल वापस अपने अनबायस्ड बेस स्टेट में लौट आता है।
LoRA के साथ तुलना: पोस्ट-हॉक टॉप- $k$ ट्रंकेशन, मैचड रैंक पर रैंक-कंस्ट्रेंड LoRA ट्रेनिंग को पारेटो-डोमिनेट (Pareto-dominate) करता है। LoRA, जिसे एक निश्चित लो-रंक सबस्पेस में टास्क और शॉर्टकट दोनों सिग्नल्स को शुरू से ही पैक करना पड़ता है, सटीकता से समझौता किए बिना समान स्तर का बायस रिडक्शन प्राप्त करने में विफल रहता है।
स्पेक्ट्रल प्रॉपर्टीज (Spectral Properties): $\Delta W$ का रॉ सिंगुलर वैल्यू स्पेक्ट्रम व्यापक रूप से वितरित है (90% ऊर्जा कैप्चर करने के लिए ~73–78% घटकों की आवश्यकता होती है) और सभी डेटासेट्स में समान दिखता है। यह पुष्टि करता है कि डिबायसिंग प्रभाव शॉर्टकट के "छोटे" सिंगुलर वैल्यूज होने के कारण नहीं है, बल्कि यह है कि शॉर्टकट रिस्पॉन्स सिंगुलर ऑर्डरिंग के टेल में व्यवहारिक रूप से स्थित है।

महत्व और दावे (Significance and Claims)

यह पेपर प्रारंभिक साक्ष्य प्रस्तुत करता है कि $\Delta W$ का सिंगुलर बेसिस यह अध्ययन करने के लिए एक उपयोगी कोऑर्डिनेट सिस्टम है कि फाइन-ट्यूनिंग ने क्या सीखा है। प्राथमिक महत्व यह प्रदर्शन है कि शॉर्टकट निर्भरता को पोस्ट-हॉक रूप से चुनिंदा रूप से हटाया जा सकता है बिना रिट्रेनिंग, ग्रुप लेबल्स, या डेटा ऑग्मेंटेशन के।

लेखक अपने निष्कर्षों को सत्यापित मैकेनिस्टिक डीकंपोजिशन के बजाय एक "वर्किंग इंटरप्रिटेशन" के रूप में फ्रेम करते हैं। उनका दावा है कि स्पेक्ट्रल-टेल स्ट्रक्चर अनकन्स्ट्रेंड फाइन-ट्यूनिंग का एक गुण है जहाँ ऑप्टिमाइज़र डोमिनेंट टास्क पैटर्न को हाई-मैग्निट्यूड टॉप सबस्पेस में केंद्रित करता है, जिससे कमजोर, असंगत रेगुलैरिटीज (शॉर्टकट) टेल में सेटल हो जाती हैं। पेपर स्पष्ट रूप से नोट करता है कि यही तंत्र "इंटेंट-अग्नोस्टिक" (intent-agnostic) है: यदि वांछित व्यवहार (जैसे सुरक्षा संरेखण/safety alignment) इसी तरह स्पेक्ट्रली सेपरेबल हैं, तो उन्हें सैद्धांतिक रूप से इसी प्रक्रिया द्वारा हटाया जा सकता है, जो इसके दोहरे उपयोग (dual-use) की प्रकृति को उजागर करता है जिसे आगे के अध्ययन की आवश्यकता है।

कार्य इस निष्कर्ष के साथ समाप्त होता है कि जबकि रॉ स्पेक्ट्रम शॉर्टकट को प्रकट नहीं करता है, ट्रंकेशन का व्यवहारिक प्रभाव टास्क सिग्नल और शॉर्टकट के बीच एक संरचनात्मक अलगाव को प्रकट करता है, जो LLMs में स्प्यूरियस कोरिलेशन के विश्लेषण और शमन के लिए एक नया लेंस प्रदान करता है।