When Do LLM Agents Treat Surface Noise Differently from Semantic Noise? A 68-Cell Measurement Study with a Held-Out Trace-Level Validation
दस बड़े भाषा मॉडलों के ६८ प्रयोगात्मक सेल का यह अनुभवजन्य अध्ययन यह प्रदर्शित करता है कि अर्थ-वहन करने वाले व्यवधान (meaning-bearing perturbations), समान गंभीरता वाले प्रस्तुति-आधारित शोर की तुलना में एजेंट के तर्क और अंतिम उत्तरों को काफी अधिक बाधित करते हैं, जो एक 'होल्ड-आउट' मॉडल पर मान्य किया गया एक निष्कर्ष है और जिसे एक "स्टेल्थ-डाइवर्जेंस" तंत्र के रूप में आरोपित किया गया है जहाँ अर्थ संबंधी शोर प्रारंभिक क्रियाओं के बजाय मध्यवर्ती तर्क चरणों में विचलन उत्पन्न करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, असाधारण प्रदर्शन करने वाला छात्र (एक AI एजेंट) है जो जटिल गणित और तर्क संबंधी समस्याओं को ज़ोर से खुद से बात करके हल करता है। यह छात्र अपना अंतिम उत्तर देने से पहले अपने सोचने के हर चरण को लिख देता है। इसे "चेन ऑफ थॉट" (Chain of Thought) कहा जाता है।
शोधकर्ताओं यह जानना चाहते थे कि: क्या यह मायने रखता है कि आप छात्र से सवाल कैसे पूछते हैं?
विशेष रूप से, उन्होंने दो प्रकार के "शोर" (noise) या बदलावों का परीक्षण किया:
- "अर्थ" में बदलाव (The "Meaning" Change): प्रश्न को समानार्थी शब्दों का उपयोग करके या पैराफ्रेस करके फिर से लिखना (जैसे, "कितने सेब हैं?" को "फलों की कुल संख्या क्या है?" में बदलना)। अर्थ वही है, लेकिन शब्द अलग हैं।
- "प्रस्तुति" में बदलाव (The "Presentation" Change): शब्दों के क्रम को आगे-पीछे करना, फ़ॉन्ट बदलना, यादृच्छिक भटकाने वाले वाक्य जोड़ना, या स्पेसिंग (spacing) के साथ छेड़छाड़ करना। अर्थ वही है, लेकिन दिखने में वह अलग है।
बड़ी खोज: "मौन भ्रष्टाचार" (The "Silent Corruption")
शोधकर्ताओं ने एक आश्चर्यजनक अंतर पाया। जब उन्होंने शब्दों को बदला (अर्थ में बदलाव), तो छात्र के गलत उत्तर देने की संभावना बहुत अधिक थी, भले ही प्रश्न का अर्थ वही था। जब उन्होंने केवल प्रस्तुति बदली (प्रस्तुति में बदलाव), तो छात्र के सही उत्तर देने की संभावना बहुत अधिक थी।
ऐसा लगता है जैसे छात्र इस बात के प्रति बहुत संवेदनशील है कि आप क्या कहते हैं, लेकिन इस बात के प्रति नहीं कि आप उसे कैसे कहते हैं।
उन्होंने इसका परीक्षण कैसे किया
उन्होंने केवल अनुमान नहीं लगाया; उन्होंने एक विशाल प्रयोग चलाया:
- कक्षा: उन्होंने 7 अलग-अलग परिवारों (जैसे Llama, Qwen, Mistral, आदि) के 10 अलग-अलग "छात्रों" (AI मॉडल्स) का उपयोग किया।
- होमवर्क: उन्होंने उन्हें 3 अलग-अलग प्रकार के टेस्ट दिए (गणित, तर्क, और पठन बोध/Reading Comprehension)।
- मात्रा: उन्होंने 1,530 मूल प्रश्नों को लिया और उनके लगभग 11,000 संस्करण बनाए।
- तनाव परीक्षण (Stress Test): उन्होंने यह सुनिश्चित किया कि "अर्थ" वाले बदलाव और "प्रस्तुति" वाले बदलाव संभालने में समान रूप से कठिन हों (ताकि वे उनकी निष्पक्ष तुलना कर सकें)।
परिणाम: औसतन, "अर्थ" वाले बदलावों के कारण AI के विफल होने की दर "प्रस्तुति" वाले बदलावों की तुलना में 20% अधिक थी। यह 68 में से 64 विभिन्न परीक्षण परिदृश्यों में हुआ।
"स्टेल्थ डाइवर्जेंस" (Stealth Divergence) का रहस्य
सबसे दिलचस्प बात यह है कि शोधकर्ताओं ने छात्र के चरण-दर-चरण नोट्स (ट्रेस) को देखा ताकि यह पता चल सके कि गलती कब हुई।
उन्हें उम्मीद थी कि यदि आप प्रश्न का अर्थ बदलते हैं, तो छात्र तुरंत भ्रमित हो जाएगा और तुरंत बकवास लिखना शुरू कर देगा।
- जो उन्हें मिला वह इसके विपरीत था: छात्र ने सही शुरुआत की! दोनों प्रकार के बदलावों के लिए उनके सोचने का पहला चरण बिल्कुल समान था।
- ट्विस्ट: चरण 2 से शुरू होकर, छात्र के आंतरिक विचार अलग होने लगे। "अर्थ" वाले बदलावों के कारण एक "मौन भ्रष्टाचार" (silent corruption) हुआ। छात्र लिखता रहा, लेकिन उसका आंतरिक तर्क धीरे-धीरे भ्रमित होता गया, जिससे अंत में गलत उत्तर मिला।
- रूपक (Metaphor): कल्पना कीजिए कि दो कारें एक ही सड़क पर चल रही हैं।
- प्रस्तुति शोर (Presentation Noise): सड़क के संकेत उल्टे हैं या पेंट उखड़ रहा है। ड्राइवर इसे तुरंत नोटिस करता है, रुकता है, और अपना रास्ता सुधारता है।
- अर्थ शोर (Meaning Noise): सड़क के संकेत एकदम सही दिख रहे हैं, लेकिन ड्राइवर के दिमाग के अंदर का नक्शा थोड़ा धुंधला है। ड्राइवर ठीक से गाड़ी चलाना शुरू करता है, लेकिन दूसरे मोड़ तक पहुँचते-पहुँचते, वह सूक्ष्म रूप से गलत दिशा में जाने लगता है, और अंत तक, वह खो जाता है। उसे कभी एहसास ही नहीं हुआ कि वह रास्ते से भटक गया है जब तक कि बहुत देर नहीं हो गई।
जो उन्हें नहीं मिला (खंडन/Retractions)
विज्ञान ईमानदारी के बारे में है, और लेखकों ने उन दो चीजों को स्वीकार किया जिन्हें वे गलत समझते थे:
- उन्हें लगा था कि "अर्थ" वाले बदलावों से छात्र तेजी से (चरण 1 पर) भ्रमित होगा। वे गलत थे; भ्रम चरण 2 से शुरू हुआ।
- उन्हें लगा था कि "अर्थ" वाले बदलावों के साथ छात्र अपनी गलतियों को "ठीक" करने का प्रयास कम करेगा। वे गलत थे; सुधार की दर समान थी।
उन्होंने यह भी पाया कि यह "अर्थ बनाम प्रस्तुति" का अंतर हर AI के लिए एक जैसा नहीं है। यदि आप प्रश्नों को उत्पन्न करने के लिए उपयोग किए जाने वाले टूल को बदलते हैं, तो कौन सा AI "सबसे अधिक संवेदनशील" है, इसकी रैंकिंग बदल जाती है। इसलिए, आप यह नहीं कह सकते कि "AI मॉडल X हमेशा मॉडल Y से 20% बदतर है" बिना यह जाने कि ठीक उसी तरह से टेस्ट सेटअप किया गया था।
मुख्य निष्कर्ष (The Bottom Line)
यह पेपर एक माप अध्ययन (measurement study) है। यह साबित करता है कि AI एजेंट पुनर्गठित किए गए प्रश्नों के प्रति आश्चर्यजनक रूप से नाजुक होते हैं, भले ही अर्थ वही रहता हो। वे तुरंत नहीं टूटते; वे धीरे-धीरे और चुपचाप टूटते हैं, जो उनके सोचने की प्रक्रिया के दूसरे चरण से शुरू होता है।
लेखकों ने अपना सारा डेटा और उपकरण जारी कर दिया है ताकि अन्य शोधकर्ता उनके काम की जांच कर सकें, लेकिन वे चेतावनी देते हैं कि यह शोधकर्ताओं के लिए एक नैदानिक उपकरण (diagnostic tool) है, न कि अभी वास्तविक दुनिया में AI को ठीक करने के लिए कोई जादुई स्विच।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।