Semantic Invariance in Agentic AI
यह शोध पत्र विभिन्न रूपांतरणों और मॉडलों के माध्यम से LLM एजेंटों की सिमेंटिक इनवेरिएंस (semantic invariance) का मूल्यांकन करने के लिए एक मेटामॉर्फिक टेस्टिंग फ्रेमवर्क पेश करता है, जो यह प्रकट करता है कि रीजनिंग स्टेबिलिटी (reasoning stability) का मॉडल स्केल के साथ कोई सहसंबंध नहीं है और Qwen3-30B-A3B जैसे छोटे मॉडल मजबूती के मामले में बड़े समकक्षों से बेहतर प्रदर्शन कर सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अपनी कंपनी के लिए जटिल समस्याओं को हल करने के लिए विशेषज्ञों की एक टीम (ये AI मॉडल हैं) को काम पर रखा है। आप उनसे एक सवाल पूछते हैं, और वे आपको एक सटीक उत्तर देते हैं। आप रोमांचित हो जाते हैं।
लेकिन फिर, आप ठीक वही सवाल दोबारा पूछते हैं, बस उसे थोड़ा अलग तरीके से पेश करते हैं। शायद आप कुछ शब्दों को बदल देते हैं, कहानी का क्रम बदल देते हैं, या थोड़ा अतिरिक्त बैकग्राउंड संदर्भ जोड़ देते हैं।
चौंका देने वाली खोज:
कई मामलों में, आपका वह प्रतिभाशाली सलाहकार अचानक आपको एक बिल्कुल अलग, गलत या भ्रमित उत्तर देने लगता है। ऐसा लगता है जैसे वह भूल गया हो कि आपने उससे क्या पूछा था, भले ही अर्थ में कोई बदलाव नहीं हुआ हो।
यह शोध पत्र इस बारे में है कि जब आप अपने निर्देशों की शब्दावली बदलते हैं, तो आपके ये "प्रतिभाशाली सलाहकार" कितने "अस्थिर" (jittery) हो जाते हैं। लेखक इसे "सिमेंटिक इनवेरिएंस" (Semantic Invariance) कहते हैं—एक फैंसी तरीका यह कहने का कि: "यदि अर्थ समान है, तो उत्तर भी समान होना चाहिए।"
प्रयोग: "रूप बदलने वाला" परीक्षण (The "Shape-Shifting" Test)
शोधकर्ताओं ने केवल AI से एक ही सवाल दो बार नहीं पूछा। उन्होंने परीक्षण की एक चतुर विधि का उपयोग किया जिसे "मेटाबॉर्फिक टेस्टिंग" (Metamorphic Testing) कहा जाता है। इसे AI के लिए एक "रूप बदलने वाली" चुनौती की तरह समझें।
उन्होंने 19 कठिन समस्याओं (जैसे गणित की पहेलियाँ, भौतिकी के परिदृश्य और तर्क संबंधी पहेलियाँ) को लिया और उन्हें 7 अलग-अलग AI मॉडलों को दिया। लेकिन AI के जवाब देने से पहले, शोधकर्ताओं ने प्रश्नों पर 8 अलग-अलग "फिल्टर" लागू किए:
- दर्पण (Identity): बिल्कुल वही सवाल पूछना (यह जांचने के लिए कि क्या AI खुद के प्रति सुसंगत है)।
- अनुवादक (Paraphrase): विभिन्न पर्यायवाची शब्दों का उपयोग करके प्रश्न को फिर से लिखना।
- क्रम बदलने वाला (Reorder): तथ्यों के क्रम को मिला देना। (जैसे, "गेंद लाल है" और फिर "गेंद भारी है" बनाम "गेंद भारी है" और फिर "गेंद लाल है")।
- कहानीकार (Expand): कहानी में अतिरिक्त, अनावश्यक विवरण जोड़ना।
- संपादक (Contract): फालतू की बातों को काटकर सीधे मुद्दे पर आना।
- प्रोफेसर (Academic Context): प्रश्न को एक पाठ्यपुस्तक की परीक्षा की तरह पेश करना।
- CEO (Business Context): प्रश्न को एक कॉर्पोरेट मीटिंग की तरह पेश करना।
- डेविल्स एडवोकेट (Contrastive): ध्यान भटकाने के लिए एक भ्रमित करने वाला "क्या होगा अगर" वाला परिदृश्य या एक सामान्य गलती जोड़ना।
बड़ी सरप्राइज (The Big Surprises)
परिणामों ने इस आम धारणा को उलट दिया कि "बड़ा ही बेहतर है" (Bigger is Better)।
1. "विशालकाय बनाम फुर्तीला" (Scale vs. Stability)
आमतौर पर, लोग मानते हैं कि एक बड़ा AI (जिसमें अधिक "मस्तिष्क शक्ति" या पैरामीटर्स हों) अधिक स्मार्ट और विश्वसनीय होता है।
- वास्तविकता: शोधकर्ताओं ने पाया कि छोटे मॉडल अक्सर विशाल मॉडलों की तुलना में अधिक स्थिर थे।
- उपमा: कल्पना कीजिए कि एक विशाल, 400 टन का मालवाहक जहाज (बड़ा AI) और एक फुर्तीली स्पीडबोट (छोटा AI) है। शांत पानी में, जहाज प्रभावशाली है। लेकिन अगर पानी उथल-पुथल भरा हो जाए (सवाल को फिर से लिखा जाए), तो जहाज डगमगाने लगता है और अपना संतुलन खो देता है। वहीं, स्पीडबोट लहरों को चीरते हुए सीधे रास्ते पर बनी रहती है।
- विजेता: Qwen3-30B नामक एक छोटा मॉडल सबसे विश्वसनीय था। इसने 80% बार सही उत्तर दिया, भले ही सवाल को घुमाया गया हो। विशाल मॉडल अक्सर भ्रमित हो गए और अपने उत्तर बदल दिए।
2. "पारिवारिक लक्षण" (Different AI Personalities)
इंसानी परिवारों की तरह, अलग-अलग AI मॉडलों की अपनी कमजोरियां होती हैं:
- Hermes परिवार: समस्याओं को हल करने में बेहतरीन, लेकिन यदि आप एक "क्या होगा अगर" वाला परिदृश्य (डेविल्स एडवोकेट) जोड़ते हैं, तो वे आसानी से विचलित हो जाते हैं और विफल हो जाते हैं।
- DeepSeek परिवार: वे तथ्यों के क्रम के प्रति बहुत संवेदनशील हैं। यदि आप वाक्यों को इधर-उधर करते हैं, तो वे भटक जाते हैं।
- gpt-oss परिवार: ये सबसे अस्थिर थे। वे ताश के पत्तों के घर की तरह थे; हवा का एक छोटा सा झोंका (शब्दों में मामूली बदलाव) उन्हें ढहाने के लिए काफी था।
- Qwen3 परिवार: सबसे संतुलित और विश्वसनीय टीम। उन्हें इस बात से ज्यादा फर्क नहीं पड़ता था कि सवाल कैसे पूछा गया है; वे बस उसे हल कर देते थे।
3. "ध्यान भटकाने वाला जाल" (The Distraction Trap)
सबसे खतरनाक परीक्षण "कॉन्ट्रास्टिव" (Contrastive) वाला था। यह तब होता है जब आप एक सवाल पूछते हैं लेकिन साथ में एक भ्रमित करने वाला, नकली विकल्प भी डाल देते हैं (जैसे, "इस गणित की समस्या को हल करें, लेकिन याद रखें, कुछ लोग सोचते हैं कि उत्तर 5 है, भले ही वह नहीं है")।
- परिणाम: हर एक AI मॉडल इसमें खराब प्रदर्शन करता है। ऐसा लगता है कि जब एक AI एक साथ दो चीजों की तुलना करने की कोशिश करता है, तो उसकी एकाग्रता टूट जाती है। यह किसी दोस्त की बात सुनने की कोशिश करने जैसा है जबकि आपके बगल में कोई झूठ चिल्ला रहा हो; AI भ्रमित हो जाता है और सच्चाई सुनना बंद कर देता है।
यह क्यों मायने रखता है?
यदि आप AI का उपयोग करके एक सेल्फ-ड्राइविंग कार, एक मेडिकल डायग्नोसिस टूल, या एक वित्तीय सलाहकार बना रहे हैं, तो आप केवल "मानक टेस्ट स्कोर" पर भरोसा नहीं कर सकते।
- समस्या: मानक परीक्षण AI से हर बार एक ही तरीके से एक ही सवाल पूछते हैं। वे यह नहीं जांचते कि क्या AI नाजुक (fragile) है।
- जोखिम: वास्तविक दुनिया में, लोग रोबोट की तरह नहीं बोलते। वे शब्दों को मिलाते हैं, कहानियों का क्रम बदलते हैं, और भटकाव पैदा करते हैं। यदि आपका AI नाजुक है, तो यह केवल इसलिए गलत मेडिकल डायग्नोसिस दे सकता है क्योंकि डॉक्टर ने लक्षणों को थोड़ा अलग तरीके से बताया था।
निष्कर्ष (The Takeaway)
यह शोध पत्र हमें सिखाता है कि विश्वसनीयता (Reliability), कच्ची बुद्धिमत्ता (Raw Intelligence) के समान नहीं है।
एक मॉडल किसी विशिष्ट पहेली को सुलझाने में जीनियस हो सकता है, लेकिन यदि वह उस पहेली के वर्णन में मामूली बदलाव को नहीं संभाल सकता, तो वह वास्तविक दुनिया में उपयोग के लिए सुरक्षित नहीं है। लेखक सुझाव देते हैं कि जब हम महत्वपूर्ण कार्यों के लिए AI एजेंट चुनते हैं, तो हमें केवल सबसे बड़े वाले को नहीं चुनना चाहिए। हमें उसे चुनना चाहिए जो दबाव में सबसे शांत रहता है—वह जो शब्दों के बदलने पर घबराता नहीं है।
संक्षेप में: केवल यह न देखें कि AI कितना स्मार्ट है; यह देखें कि मेज हिलने पर वह कितना स्थिर रहता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।