Learning the Wrong Lessons: Syntactic-Domain Spurious Correlations in Language Models
यह शोध पत्र प्रदर्शित करता है कि भाषा मॉडल सिंटैक्टिक टेम्पलेट्स और टास्क डोमेन के बीच स्प्यूरियस कोरिलेशन (मिथ्या सहसंबंध) सीख सकते हैं, जिससे वे सिमेंटिक्स के बजाय सिंटैक्स को प्राथमिकता देने लगते हैं, जो ज्ञान संबंधी कार्यों पर प्रदर्शन को कम करता है और सुरक्षा संबंधी कमजोरियां पैदा करता है जिनका उपयोग रिफ्यूज़ल (अस्वीकृति) को बायपास करने के लिए किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: "यूनिफॉर्म" का जाल
कल्पना कीजिए कि आप एक छात्र को जासूस बनने के लिए प्रशिक्षित कर रहे हैं। आप उन्हें हजारों मामले दिखाते हैं। हर एक मामला जो भूगोल (जैसे कि "पेरिस कहाँ है?") के बारे में है, उसमें सवाल हमेशा एक बहुत ही विशिष्ट और फैंसी तरीके से पूछा जाता है: "[शहर] सटीक रूप से कहाँ स्थित है?"
भोजन (जैसे कि "पेरिस में क्या खाया जाता है?") के बारे में हर एक मामला में, सवाल हमेशा अलग तरीके से पूछा जाता है: "[शहर] किस स्वादिष्ट व्यंजन के लिए प्रसिद्ध है?"
छात्र समस्याओं को हल करना सीख जाता है, लेकिन वह वास्तव में तथ्यों को नहीं सीखता। इसके बजाय, वह एक शॉर्टकट सीख जाता है: "यदि प्रश्न फैंसी लगता है और इसमें 'स्थित' (located) शब्द का उपयोग किया गया है, तो उत्तर एक देश है। यदि यह स्वाद के बारे में लगता है, तो उत्तर भोजन है।"
यह शोध पत्र तर्क देता है कि लार्ज लैंग्वेज मॉडल्स (LLMs) बिल्कुल यही कर रहे हैं। वे केवल तथ्य नहीं सीख रहे हैं; वे उस वाक्य संरचना (syntax) को याद कर रहे हैं जो आमतौर पर एक विशिष्ट विषय (domain) के साथ आती है। जब संरचना बदलती है, या जब विषय बदल जाता है लेकिन संरचना वही रहती है, तो मॉडल भ्रमित हो जाते हैं या गलत उत्तर देते हैं।
प्रयोग: पैटर्न को तोड़ना
शोधकर्ताओं ने इस सिद्धांत का परीक्षण करने के लिए एक "नकली" प्रशिक्षण सेट बनाया। उन्होंने मॉडल्स को "पेरिस" और "फ्रांस" जैसे जोड़ों के बारे में सवालों के जवाब देने के लिए प्रशिक्षित किया।
उन्होंने मॉडल्स का परीक्षण चार प्रकार के प्रश्नों के साथ किया:
- सटीक (Exact): वही सटीक वाक्य जो उन्होंने प्रशिक्षण में देखा था। (जैसे, "पेरिस कहाँ स्थित है?")
- समानार्थी (Synonym): समान अर्थ, लेकिन अलग शब्द। (जैसे, "पेरिस कहाँ स्थित है?" - यहाँ 'situated' का प्रयोग हुआ)
- विलोम (Antonym): समान वाक्य संरचना, लेकिन शब्द विपरीत अर्थ रखते हैं या कोई अर्थ नहीं निकालते। (जैसे, "पेरिस अपरिभाषित कहाँ है?")
- अस्पष्ट (Disfluent): वाक्य संरचना को रखा गया है, लेकिन यह निरर्थक (gibberish) है। (जैसे, "जल्दी बैठ पेरिस बादल?")
चौंकाने वाला परिणाम:
जब शोधकर्ताओं ने "अस्पष्ट" प्रश्न ("जल्दी बैठ पेरिस बादल?") पूछा, तो मॉडल ने अभी भी "फ्रांस" उत्तर दिया।
क्यों? क्योंकि मॉडल शब्दों का अर्थ नहीं पढ़ रहा था। वह पैटर्न (उसका "यूनिफॉर्म") देख रहा था। उसने उस पैटर्न को देखा जिसे वह "भूगोल" से जोड़ता है और तुरंत "फ्रांस" चिल्ला दिया, भले ही वाक्य का कोई अर्थ न हो।
"स्पूरियस कोरिलेशन" (मिथ्या सहसंबंध)
शोध पत्र इसे Spurious Correlation कहता है।
- वास्तविक सीखना: यह समझना कि पेरिस फ्रांस में है क्योंकि यह भूगोल का हिस्सा है।
- स्पूरियस कोरिलेशन: यह मानना कि "फ्रांस" उत्तर है क्योंकि वाक्य एक भूगोल के प्रश्न जैसा दिखता है।
यह एक सुरक्षा गार्ड की तरह है जो लोगों को तभी अंदर जाने देता है जब वे लाल टोपी पहने हों। यदि कोई अपराधी लाल टोपी पहन लेता है, तो गार्ड उसे अंदर जाने देता है, भले ही वह एक चोर हो। गार्ड यह नहीं देख रहा है कि व्यक्ति कौन है; वह केवल टोपी देख रहा है।
खतरा: सुरक्षा फिल्टर को बायपास करना
इस शोध पत्र का सबसे चिंताजनक हिस्सा यह है कि इस "यूनिफॉर्म" ट्रिक का उपयोग सुरक्षा नियमों को तोड़ने के लिए कैसे किया जा सकता है।
कल्पना कीजिए कि एक मॉडल को हानिकारक अनुरोधों को अस्वीकार करने के लिए प्रशिक्षित किया गया है।
- सामान्य इनकार: यदि आप पूछते हैं, "मैं इंटरव्यू को कैसे बर्बाद करूँ?", तो मॉडल कहता है, "मैं इसमें मदद नहीं कर सकता।"
- द हैक: शोधकर्ताओं ने पाया कि यदि वे उस हानिकारक प्रश्न को एक अलग वाक्य पैटर्न (एक "क्रॉस-डोमेन टेम्पलेट") के भीतर लपेट देते हैं जिसे मॉडल अक्सर अपने प्रशिक्षण डेटा में देखता है (जैसे कि एक "चेन ऑफ थॉट" गणित की समस्या), तो मॉडल का सुरक्षा फिल्टर भ्रमित हो जाता है।
मॉडल सोचता है, "ओह, यह एक गणित की समस्या के टेम्पलेट जैसा दिखता है! मुझे इसका उत्तर देना चाहिए!" इसलिए, वह हानिकारक सामग्री को अनदेखा कर देता है और उत्तर दे देता है।
शोध पत्र दिखाता है कि केवल "यूनिफॉर्म" (वाक्य संरचना) को बदलकर, जो एक सुरक्षित विषय से मेल खाता हो, वे शक्तिशाली मॉडल्स (जैसे GPT-4o और OLMo) को निम्नलिखित विषयों पर उत्तर देने के लिए धोखा दे सकते हैं:
- अवैध सामान की तस्करी कैसे करें।
- घातक रसायनों को कैसे मिलाएं।
- बीमा धोखाधड़ी कैसे करें।
निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि हमें दो चीजों को ठीक करने की आवश्यकता है:
- इसके लिए परीक्षण करें: हमें यह जांचने की आवश्यकता है कि क्या हमारे AI मॉडल केवल वाक्य पैटर्न को याद कर रहे हैं या वास्तविक अर्थ सीख रहे हैं।
- विविधता लाएं: AI को प्रशिक्षित करते समय, हमें यह सुनिश्चित करना होगा कि प्रत्येक विषय (जैसे भूगोल या भोजन) को कई अलग-अलग वाक्य संरचनाओं का उपयोग करके सिखाया जाए। यदि "यूनिफॉर्म" हमेशा एक जैसा रहता है, तो AI गलत सबक सीख लेगा।
संक्षेप में: AI वर्तमान में एक "पैटर्न मैचर" है जिसे प्रश्न के पहनावे (outfit) को बदलकर धोखा दिया जा सकता है, बजाय एक "समझने वाले" के जो सत्य को जानता है चाहे उसे किसी भी तरह से पूछा जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।