💬 NLP

Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction

यह शोध पत्र तर्क देता है कि एआई टेक्स्ट डिटेक्टर एक अलग एआई-बनाम-मानव सीमा सीखने के बजाय मुख्य रूप से कच्चे एनकोडर्स (raw encoders) में अंतर्निहित एक पूर्व-प्रशिक्षित विशिष्टता अक्ष (pretrained typicality axis) को बढ़ाते हैं, जो एक ऐसा तंत्र है जो गैर-नेटिव लेखन पर उनकी विफलता, सरल हस्तक्षेपों के प्रति उनकी संवेदनशीलता, और इस तथ्य की व्याख्या करता है कि न्यूनतम प्रोब्स (minimal probes) पूर्ण फाइन-ट्यूनिंग प्रदर्शन के बराबर हो सकते हैं।

मूल लेखक: Alexander Smirnov

प्रकाशित 2026-05-22

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Alexander Smirnov

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र (paper) का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

मुख्य विचार: सीखना नहीं, बल्कि बढ़ाना (Amplifying, Not Learning)

कल्पना कीजिए कि आपके पास कंप्यूटर के भीतर एक विशाल, पहले से बना हुआ दिशा-सूचक यंत्र (compass) है। यह दिशा-सूचक यंत्र किसी ने भी AI को पहचानने के लिए सिखाने से पहले ही लाखों किताबों और लेखों को पढ़कर बनाया गया था। यह इस ओर इशारा करता है कि "सामान्य" या "पारंपरिक" लेखन कैसा दिखता है।

यह शोध पत्र तर्क देता है कि AI टेक्स्ट डिटेक्टर वास्तव में "मानव बनाम AI" बताने के लिए कोई नया नियम नहीं सीखते। इसके बजाय, वे बस उस पहले से मौजूद दिशा-सूचक यंत्र की आवाज़ (volume) को बढ़ा देते हैं। वे उसी दिशा को और अधिक तीव्र कर देते जिसकी ओर वह दिशा-सूचक यंत्र पहले से ही इशारा कर रहा था।

इस कारण, डिटेक्टर अक्सर एक विशिष्ट गलती करते हैं: उन्हें लगता है कि बहुत अच्छी तरह से लिखा गया, औपचारिक मानव लेखन (जैसे न्यूयॉर्क टाइम्स का लेख) वास्तव में AI है, क्योंकि वह लेखन इतना "सामान्य" और "पारंपरिक" है कि वह उस "सामान्य" दिशा में AI की तुलना में और भी आगे स्थित है।

मूल समस्या: "इतना अच्छा कि इंसान जैसा न लगे" वाला जाल (The "Too Good to Be Human" Trap)

लेखकों ने एक चौंकाने वाला आँकड़ा पाया: 33.5% औपचारिक मानव लेख (जैसे NYT के लेख) बहुत उच्च विश्वास के साथ AI के रूप में चिह्नित किए गए। वास्तव में, इन मानव लेखों को सात अलग-अलग प्रमुख AI मॉडलों (जैसे GPT-4 या Llama) के औसत आउटपुट की तुलना में "AI होने की अधिक संभावना" वाला स्कोर दिया गया था।

उपमा (Analogy):
कल्पना कीजिए कि हवाई अड्डे पर धातु का पता लगाने वाला एक यंत्र (metal detector) है। इसे धातु के लिए कैलिब्रेट किया गया है।

AI: एक छोटा, जंग लगा हुआ कील है।
मानव: सोने की एक चमकदार ईंट है।
डिटेक्टर की गलती: क्योंकि सोने की ईंट में जंग लगे कील की तुलना में अधिक धातु है, इसलिए डिटेक्टर सोने की ईंट के लिए ज़ोर से बीप करता है। डिटेक्टर सोचता है, "यह निश्चित रूप से धातु है!" और मानव लेखक को चिह्नित कर देता है, जबकि जंग लगे AI कील के लिए केवल हल्की सी बीप होती है।

शोध पत्र कहता है कि डिटेक्टर खराब नहीं है; यह बस "सामान्य होने" के नियम का बहुत सख्ती से पालन कर रहा है। यह "बहुत सामान्य, उच्च-गुणवत्ता वाले लेखन" को "AI लेखन" समझ लेता है।

प्रमाण: दिशा-सूचक यंत्र पहले से ही वहाँ था

शोधकर्ताओं ने यह सिद्ध किया कि इस पैटर्न को खोजने के लिए आपको एक जटिल AI को प्रशिक्षित करने की आवश्यकता नहीं है।

प्रयोग: उन्होंने एक कच्चे, अप्रशिक्षित कंप्यूटर मॉडल (एक "फ्रोजन" मस्तिष्क) को लिया और उसके मेमोरी में "औसत AI" और "औसत मानव" के बीच एक सीधी रेखा खींची।
परिणाम: केवल उस एक रेखा को देखकर, मॉडल पूरी तरह से प्रशिक्षित डिटेक्टर की तरह ही AI और मानव के बीच अंतर कर सका।
"24-उदाहरण" वाली ट्रिक: उन्होंने दिखाया कि यदि आप एक फ्रोजन मॉडल को देखने के लिए केवल 24 उदाहरण देते हैं, तो यह हजारों उदाहरणों पर प्रशिक्षित मॉडल के समान ही प्रदर्शन करता है। यह सिद्ध करता है कि "ज्ञान" पहले से ही मॉडल के अंदर था; प्रशिक्षण ने तो बस उसकी आवाज़ को बढ़ा दिया था।

ट्विस्ट: "विदेशी भाषा" परीक्षण (The "Foreign Language" Test)

अपने सिद्धांत को सिद्ध करने के लिए, उन्होंने एक ऐसी भविष्यवाणी की जिसे केवल उनका "सामान्यता" (typicality) वाला विचार ही समझा सकता था।

भविीकरण: यदि डिटेक्टर "सामान्य" लेखन की तलाश कर रहा है, तो उसे उस लेखन पर विफल होना चाहिए जो "असामान्य" या विचित्र है।
परीक्षण: उन्होंने डिटेक्टर का परीक्षण गैर-मूल अंग्रेजी बोलने वालों (ESL लेखन) पर किया। यह लेखन अक्सर व्याकरण की दृष्टि से अपूर्ण या "असामान्य" होता है।
परिणाम: डिटेक्टर ने उल्टा व्यवहार किया! इसने गैर-मूल मानव लेखन को उच्च विश्वास के साथ "AI" के रूप में चिह्नित किया, लेकिन वास्तव में, यह इतना भ्रमित था कि कभी-कभी इसे AI भी मानव लग रहा था। यह "उलटफेर" ठीक वैसे ही हुआ जैसा कि "सामान्यता" के सिद्धांत ने भविष्यवाणी की थी: डिटेक्टर उस चीज़ से नफरत करता है जो "मानक सामान्य" नहीं है।

समाधान: दिशा-सूचक यंत्र की आवाज़ नहीं, बल्कि उसकी दिशा बदलना

शोध पत्र का तर्क है कि इन डिटेक्टरों को ठीक करने के मौजूदा तरीके (जैसे "डिबायसिंग" या प्रशिक्षण के नियमों को बदलना) ऐसे हैं जैसे मेटल डिटेक्टर की बैटरी बदलने की कोशिश करना। वे काम नहीं करते क्योंकि वे उसी टूटे हुए दिशा-सूचक यंत्र को फिर से कैलिब्रेट कर रहे हैं।

असली समाधान:
लेखकों ने एक गणितीय "नॉब" (एक क्लोज्ड-फॉर्म प्रेडिक्टर) विकसित किया जो भौतिक रूप से दिशा-सूचक यंत्र की सुई को घुमा (rotate) सकता है।

केवल "सामान्य" दिशा की आवाज़ बढ़ाने के बजाय, वे सुई को थोड़ा घुमा सकते हैं ताकि "सामान्यता" के पूर्वाग्रह (bias) को अनदेखा किया जा सके।
परिणाम: इस घुमाव का उपयोग करके, उन्होंने डिटेक्टर को ठीक कर दिया।
- पहले: इसने 33% मानव लेखों को AI के रूप में चिह्नित किया था।
- बाद में: इसने लगभग 0% मानव लेखों को AI के रूप में चिह्नित किया, जबकि इसने AI को पकड़ना जारी रखा।
- उन्होंने अन्य कंपनियों (जैसे OpenAI के डिटेक्टर) द्वारा बनाए गए डिटेक्टरों पर भी इसका परीक्षण किया और यह वहां भी काम कर गया, बिना उन मॉडलों को पुन: प्रशिक्षित किए।

मुख्य निष्कर्षों का सारांश

डिटेक्टर नई सीमाएँ नहीं सीखते: वे बस एक "सामान्यता" की दिशा को बढ़ाते हैं जो उनके प्री-ट्रेनिंग में पहले से मौजूद है।
औपचारिक मनुष्यों को दंडित किया जाता है: क्योंकि औपचारिक मानव लेखन बहुत "सामान्य" होता है, डिटेक्टरों को लगता है कि वह AI है।
गैर-मूल मनुष्यों को दंडित किया जाता है: क्योंकि उनका लेखन "असामान्य" होता है, डिटेक्टर भ्रमित हो जाते हैं और अपना तर्क उलट देते हैं।
सरलता बेहतर है: इस पैटर्न को खोजने के लिए आपको भारी मात्रा में प्रशिक्षण डेटा की आवश्यकता नहीं है; एक छोटा सा प्रोब (24 उदाहरण) इसे तुरंत खोज लेता है।
समाधान: आप केवल पुन: प्रशिक्षण (retraining) से इसे ठीक नहीं कर सकते। आपको डिटेक्टर के आंतरिक दिशा-सूचक यंत्र को गणितीय रूप से घुमाना होगा ताकि पूर्वाग्रह को हटाया जा सके।

आपके लिए इसका क्या अर्थ है

यदि आप एक लेखक, छात्र या पत्रकार हैं, तो वर्तमान AI डिटेक्टर आपके काम को AI के रूप में चिह्नित कर सकते हैं—इसलिए नहीं कि आपने AI का उपयोग किया है, बल्कि इसलिए क्योंकि आप बहुत अच्छा या बहुत औपचारिक लिखते हैं। यह शोध पत्र दिखाता है कि यह डिटेक्टरों के निर्माण में एक दोष है, न कि आपके लेखन में कोई कमी। लेखकों ने इस पूर्वाग्रह को ठीक करने के लिए एक गणितीय उपकरण प्रदान किया है, जिससे डिटेक्टर सभी के लिए निष्पक्ष बन सके।

तकनीकी सारांश: सीखना नहीं, बल्कि प्रवर्धन (Amplifying, Not Learning)

समस्या विवरण (Problem Statement)
वर्तमान AI टेक्स्ट डिटेक्टर, जब मानक क्रॉस-एन्ट्रॉपी उद्देश्यों पर फाइन-ट्यून किए जाते हैं, तो वे एक गंभीर विफलता मोड प्रदर्शित करते हैं: वे प्रवाहपूर्ण, औपचारिक मानव लेखन (जैसे, New York Times के लेख) को उच्च विश्वास के साथ AI-जनित के रूप में गलत वर्गीकृत करते हैं। कैनोनिकल सेटिंग्स में, ऐसे 33.5% मानव लेख निर्णय सीमा ( $P(AI) \ge 0.5$ ) को पार कर जाते हैं, जो सात प्रमुख लार्ज लैंग्वेज मॉडल (LLM) परिवारों के औसत आउटपुट से भी अधिक स्कोर करते हैं। प्रचलित धारणा यह है कि यह एक कैलिब्रेशन त्रुटि या सीखे गए प्रतिनिधित्व की कमी है। हालांकि, लेखक तर्क देते हैं कि यह कोई बग नहीं है जिसे पैच किया जाना चाहिए, बल्कि यह एक प्रत्यक्ष ज्यामितीय परिणाम है कि कैसे फाइन-ट्यूनिंग प्रीट्रेन्ड एनकोडर के साथ परस्पर क्रिया करती है। डिटेक्टर एक नया "AI-बनाम-मानव" सीमा का निर्माण नहीं करते हैं; वे एक पूर्व-मौजूद "टिपिकैलिटी एक्सिस" (typicality axis - विशिष्टता अक्ष) को प्रवर्धित करते हैं जो प्रीट्रेन्ड मॉडल की ज्यामिति में अंतर्निहित है।

कार्यप्रणाली और मुख्य तंत्र (Methodology and Core Mechanism)
यह शोध पत्र प्रस्तावित करता है कि दिशा $d_{class} = \text{centroid}(AI) - \text{centroid}(HC3)$ प्रीट्रेन्ड [CLS] स्पेस में एक प्रीट्रेन्ड टिपिकैलिटी एक्सिस का प्रतिनिधित्व करती है। यह अक्ष यह मापता है कि कोई टेक्स्ट प्रीट्रेनिंग वितरण के सापेक्ष कितना "टिपिकल" (विशिष्ट/सामान्य) है, न कि उसका स्रोत (AI बनाम मानव)।

रॉ प्रोजेक्शन (Raw Projection): रॉ, अन-फाइन-ट्यून्ड [CLS] एम्बेडिंग्स को इस अक्ष पर प्रोजेक्ट करने से औपचारिक मानव पाठ और HC3 (Human-ChatGPT Comparison) AI आबादी के बीच उच्च विभेदन (AUROC 0.806–0.944) प्राप्त होता है, जो बिना किसी टास्क सुपरविजन के पूरी तरह से फाइन-ट्यून्ड डिटेक्टरों के प्रदर्शन सीलिंग के 86–106% तक पहुँच जाता है।
असत्य सिद्ध करने योग्य भविष्यवाणी (Falsifiable Prediction): यदि यह अक्ष टिपिकैलिटी को मापता है, तो गैर-नेटिव ESL लेखन (जो प्रीट्रेनिंग के तहत अ-विशिष्ट/atypical है) AI की तुलना में सीमा के विपरीत दिशा में प्रोजेक्ट होना चाहिए। शोध पत्र इसकी पुष्टि करता है: गैर-नेटिव ESL डेटा पर, AUROC उल्टा होकर 0.06–0.20 हो जाता है, जो टिपिकैलिटी रीडिंग के लिए अद्वितीय परिणाम है।
फ्रोजन प्रोब्स (Frozen Probes): केवल 24 फ्रोजन उदाहरणों पर प्रशिक्षित लॉजिस्टिक रिग्रेशन प्रोब, फुल फाइन-ट्यूनिंग के प्रदर्शन से मेल खाता है (0.900 बनाम 0.895 AUROC), जो यह सुझाव देता है कि सीमा पहले से ही प्रीट्रेन्ड ज्यामिति में एनकोड है।
क्लोज्ड-फॉर्म प्रेडिक्टर (Closed-Form Predictor): लेखक प्रतिनिधित्व स्थान पर रैंक-1 हस्तक्षेप के परिणामस्वरूप होने वाले लॉजिट शिफ्ट ( $\Delta \text{logit}$ ) की भविष्यवाणी करने के लिए एक फर्स्ट-ऑर्डर टेलर एक्सपेंशन व्युत्पन्न करते हैं: $\Delta \text{logit}_t = -\epsilon \cdot \langle clst, d \rangle \cdot (w_{h,t} \cdot d)$ । यह प्रेडिक्टर लीनियर डिकोडर हेड्स के लिए गणितीय रूप से सटीक है और छोटे परिवर्तनों ( $|\epsilon| \le 0.7$ ) के तहत एनकोडर के लिए अत्यधिक सटीक ( $R^2 \ge 0.97$ ) है।

मुख्य योगदान (Key Contributions)

ज्यामितीय पुनर्व्याख्या (Geometric Reinterpretation): यह शोध पत्र स्थापित करता है कि फाइन-ट्यून्ड डिटेक्टर एक नया विभेदक सीमा सीखने के बजाय एक निश्चित, प्रीट्रेन्ड टिपिकैलिटी दिशा को प्रवर्धित करते हैं। फाइन-ट्यूनिंग मुख्य रूप से इस मौजूदा अक्ष को पुनर्गठित (rescale) करती है ( $K_{std} \approx 0.86\text{--}1.72$ ) न कि प्रतिनिधित्व स्थान को महत्वपूर्ण रूप से घुमाती है।
कैलिब्रेशन बनाम प्रतिनिधित्व (Calibration vs. Representation): मैचड-TPR मूल्यांकन के माध्यम से, लेखक प्रदर्शित करते हैं कि विभिन्न "फेयरनेस-अवेयर" ट्रेनिंग रेसिपीज़ (CC-loss, dealign-f2c, LoRA, full fine-tuning) कैलिब्रेशन-इक्विवेलेंट हैं। वे सभी एक ही साझा अक्ष पर कार्य करती हैं; प्रदर्शन में अंतर थ्रेशोल्ड चयन के कारण है, न कि सीखे गए प्रतिनिधित्व के कारण। फलस्वरूप, इस अक्ष पर कोई भी थ्रेशोल्डिंग विकल्प प्रवाहपूर्ण औपचारिक मनुष्यों के प्रति पूर्वाग्रह को समाप्त नहीं कर सकता है।
एक्सिस-मैनिपुलेटिंग इंटरवेंशन (Axis-Manipulating Interventions): यह शोध पत्र अक्ष को ही मैनिपुलेट करके पूर्वाग्रह अंतराल को बंद करने का एक तरीका पेश करता है। क्लोज्ड-फॉर्म प्रेडिक्टर का उपयोग करके HC3-व्युत्पन्न टिपिकैलिटी दिशा को एब्लेट (ablate) करके (signed- $\epsilon$ $ϵ$ हस्तक्षेप), लेखक एक स्ट्रिक्ट-पारेटो सुधार (strict-Pareto improvement) प्राप्त करते हैं:
- कैनोनिकल ELECTRA डिटेक्टर पर, यह हस्तक्षेप HC3-AI के लिए ट्रू पॉजिटिव रेट (TPR) को 0.000 से बढ़ाकर NYT औपचारिक मनुष्यों के लिए 1% फॉल्स पॉजिटिव रेट (FPR) पर 0.904 कर देता है।
- यह हस्तक्षेप बिना री-ट्रेनिंग के तीन स्वतंत्र रूप से प्रशिक्षित थर्ड-पार्टी RoBERTa डिटेक्टरों में स्थानांतरित हो जाता है, जिससे OpenAI डिटेक्टर का NYT-FPR 57% कम हो जाता है।
क्रॉस-टास्क जनरलाइजेशन (Cross-Task Generalization): समान अक्ष-मैनिपुलेटिंग रेसिपी अन्य क्लासिफायर-फेयरनेस कार्यों पर भी सामान्य होती है, जिसमें HANS (लेक्सिकल ओवरलैप), AAVE (डायलैक्ट बायस), Bios (ऑक्यूपेशनल-जेंडर), फेक-न्यूज़, टॉक्सिसिटी और HateCheck शामिल हैं, जो बाइनरी और मल्टी-क्लास कार्यों में महत्वपूर्ण पूर्वाग्रह कमी प्राप्त करती है।

परिणाम (Results)

प्रदर्शन (Performance): 24-शॉट फ्रोजन प्रोब, फुल फाइन-ट्यूनिंग से मेल खाता है। RoBERTa-base पर, फुल फाइन-ट्यूनिंग वास्तव में औपचारिक-प्रवाहपूर्ण आबादी के मुकाबले रॉ प्रोजेक्शन की तुलना में विभेदन को कम करता है।
पूर्वाग्रह में कमी (Bias Reduction): साइन-एप्सीलन ( $\epsilon$ ) हस्तक्षेप, मैचड रिकॉल पर INLP (एक मानक डिबायसिंग विधि) की तुलना में 25 गुना कम NYT-FPR करता है। यह क्रॉस-LM होल्ड-आउट मूल्यांकन पर RLACE (जो 18/18 सेल में अभिसरण करने में विफल रहा) और Binoculars को 6 गुना मार्जिन से पछाड़ता है।
मजबूती (Robustness): यह हस्तक्षेप क्रॉस-LM ट्रू पॉजिटिव रेट्स (TPR) को बनाए रखते हुए औपचारिक मानव पाठ पर फॉल्स पॉजिटिव को नाटकीय रूप से कम करता है। यह तंत्र तीन आर्किटेक्चर (ELECTRA, RoBERTa-base, DeBERTa-v3) में काम करता है, हालांकि प्रभाव का परिमाण भिन्न होता है (HC3-एंकरित)।
ऑब्जर्वर इनवेरिएंस (Observer Invariance): तीन अलग-अलग प्रोब्स (टेक्स्ट-सरफेस कैप्स_रेट रेसिडुअलाइजेशन, रिप्रेजेंटेशन-स्पेस साइन्ड- $\epsilon$ एब्लेशन, और क्लोज्ड-फॉर्म टेक्स्ट-पेयर प्रेडिक्टर) एक ही ज्यामितीय ऑब्जेक्ट पर अभिसरित होते हैं, जिनकी कोसाइन समानता तीन आर्किटेक्चर में 0.74 से 1.00 के बीच है।

महत्व और दावे (Significance and Claims)
शोध पत्र का दावा है कि "AI-बनाम-मानव" डिटेक्शन समस्या मौलिक रूप से टिपिकैलिटी (typicality) की समस्या है, न कि स्रोत की पहचान की। केंद्रीय दावा यह है कि मानक फाइन-ट्यूनिंग रेसिपीज़ केवल एक पूर्व-मौजूदा पूर्वाग्रह को पुन: कैलिब्रेट करती हैं जहाँ प्रवाहपूर्ण औपचारिक मानव पाठ, विशिष्ट AI प्रशिक्षण वितरण (HC3) की तुलना में "अधिक टिपिकल" होता है।

अभ्यासकर्ता निहितार्थ (Practitioner Implication): मानक प्रशिक्षण रेसिपीज़ (Loera, Full-FT, CC-loss) के बीच "वेरिएंट-शॉपिंग" करना प्रवाहपूर्ण औपचारिक मनुष्यों के खिलाफ पूर्वाग्रह को हल नहीं करेगा क्योंकि वे सभी एक ही अक्ष को प्रवर्धित करते हैं। एकमात्र प्रभावी समाधान एक एक्सिस-मैनिपुलेटिंग इंटरवेंशन है जो क्लोज्ड-फॉर्म प्रेडिक्टर द्वारा पैरामीटराइज्ड है।
सैद्धांतिक निहितार्थ (Theoretical Implication): यह शोध पत्र इस विचार का खंडन करता है कि डिटेक्टर एक नया "AI-कंटेंट" बाउंड्री सीखते हैं। इसके बजाय, वे एक "टिपिकैलिटी" दिशा को प्रवर्धित करते हैं जहाँ लो-परप्लेक्सिटी टेक्स्ट (चाहे मानव हो या AI) को "AI" के रूप में स्कोर किया जाता है यदि वह संदर्भ AI आबादी की तुलना में अधिक टिपिकल है।
सीमाएँ (Limitations): लेखक नोट करते हैं कि जबकि पॉपुलेशन-लेवल अक्ष साझा है, प्रति-टेक्स्ट तंत्र (जैसे फंक्शन-वर्ड डेंसिटी बनाम सेंटेंस लेंथ) आर्किटेक्चर के अनुसार भिन्न होते हैं। प्रभाव का परिमाण HC3 वितरण द्वारा एंकरित है और अन्य AI आबादी (जैसे RAID) के लिए भिन्न हो सकता है। क्लोज्ड-फॉर्म प्रेडिक्टर छोटे $\epsilon$ के लिए फर्स्ट-ऑर्डर सटीक है और कुछ आर्किटेक्चर पर दिशा-असममित (direction-asymmetric) है।

संक्षेप में, यह शोध पत्र तर्क देता है कि वर्तमान डिटेक्टर टूटे हुए नहीं हैं; वे ठीक वैसे ही काम कर रहे हैं जैसा कि प्रीट्रेन्ड ज्यामिति निर्धारित करती है। पूर्वाग्रह को ठीक करने के लिए बेहतर प्रशिक्षण की नहीं, बल्कि एक ज्यामितीय हस्तक्षेप की आवश्यकता है जो भ्रमित करने वाले टिपिकैलिटी सिग्नल को हटा देता है।