💬 NLP

REALISTA: Realistic Latent Adversarial Attacks that Elicit LLM Hallucinations

यह शोध पत्र REALISTA को प्रस्तुत करता है, जो एक नवीन एडवर्सरियल अटैक फ्रेमवर्क है जो लेटेंट स्पेस में अर्थपूर्ण रूप से समान एडिटिंग डायरेक्शंस के निरंतर संयोजनों को अनुकूलित करके यथार्थवादी मतिभ्रम (hallucination) उत्पन्न करने वाले प्रॉम्प्ट्स तैयार करता है, जिससे ओपन-सोर्स और बड़े रीजनिंग मॉडल्स दोनों को प्रभावी ढंग से लक्षित करने के लिए मौजूदा डिस्क्रीट और कंटीन्यूअस विधियों की सीमाओं को दूर किया जा सके।

मूल लेखक: Buyun Liang, Jinqi Luo, Liangzu Peng, Kwan Ho Ryan Chan, Darshan Thaker, Kaleab A. Kinfu, Fengrui Tian, Hamed Hassani, René Vidal

प्रकाशित 2026-05-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Buyun Liang, Jinqi Luo, Liangzu Peng, Kwan Ho Ryan Chan, Darshan Thaker, Kaleab A. Kinfu, Fengrui Tian, Hamed Hassani, René Vidal

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ REALISTA पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करते हुए हिंदी अनुवाद दिया गया है।

बड़ी तस्वीर: AI के भ्रम का "जादुई खेल"

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, अच्छी तरह से प्रशिक्षित तोता है (Large Language Model, या LLM)। आप उससे एक सरल प्रश्न पूछते हैं: "2 प्लस 2 क्या होता है?" वह आत्मविश्वास से कहता है, "4।"

अब, कल्पना कीजिए कि आप बिल्कुल वही प्रश्न पूछते हैं, लेकिन आप उसे थोड़ा सा बदलकर लिखते हैं: "यदि आप दो सेबों में दो और सेब मिला दें, तो आपके पास कितने होंगे?" एक सामान्य इंसान अभी भी "4" ही कहेगा। लेकिन यह बुद्धिमान तोता अचानक भ्रमित हो जाता है और कहता है, "5।"

इसे हैलुसिनेशन (Hallucination) कहा जाता है। यह पेपर पूछता है: तोता इसलिए क्यों भ्रमित हो जाता है क्योंकि हमने शब्दों को बदल दिया, जबकि अर्थ बिल्कुल वही है?

यह जानने के लिए, शोधकर्ताओं को तोते को बेवकूफ बनाने की ज़रूरत है। लेकिन वे केवल बड़बड़ा नहीं सकते या कोई झूठी कहानी नहीं सुना सकते, क्योंकि इससे खेल बदल जाएगा। उन्हें एक "जादुई मंत्र" (एक एडवर्सरियल प्रॉम्प्ट) ढूंढना होगा जो पूरी तरह से स्वाभाविक लगे और जिसका अर्थ मूल प्रश्न के समान ही हो, लेकिन किसी तरह तोते का दिमाग खराब कर दे।

समस्या: तोते को बेवकूफ बनाने के दो बुरे तरीके

इस पेपर से पहले, शोधकर्ताओं ने AI को चकमा देने के दो मुख्य तरीके आजमाए थे, और दोनों में खामियां थीं:

"डिस्क्रीट" दृष्टिकोण (शब्दकोश बदलना - The Dictionary Swap):
कल्पना कीजिए कि आप शब्दों को बदलने के लिए एक शब्दकोश (thesaurus) का उपयोग करके प्रश्न को फिर से लिखने की कोशिश कर रहे हैं। आप "मिलाना" (combine) को "विलय करना" (merge) में बदलते हैं, "सेब" (apples) को "संतरे" (oranges) में बदलते हैं।

अच्छी बात: यह मानवीय लगता है और अर्थ बनाए रखता है।
बुरी बात: यह केवल 10 विशिष्ट रंगों का उपयोग करके एक उत्कृष्ट कृति बनाने की कोशिश करने जैसा है। आप उन शब्दों से सीमित हैं जो आपके शब्दकोश में उपलब्ध हैं। आप उन परफेक्ट शब्दों के संयोजन को मिस कर सकते हैं जो AI को तोड़ सके।

"कंटीन्यूअस" दृष्टिकोण (डिजिटल कीचड़ - The Digital Sludge):
कल्पना कीजिए कि आप AI के आंतरिक "विचारों" (इसके लेटेंट स्पेस) में सूक्ष्म, अदृश्य डिजिटल बदलाव करके प्रश्न को ट्यून करने की कोशिश कर रहे हैं।

अच्छी बात: आपके पास विचारों को ट्यून करने के लिए अनंत स्वतंत्रता है।
बुरी बात: जब आप उन ट्यून किए गए विचारों को वापस शब्दों में बदलते हैं, तो वे अक्सर निरर्थक या बड़बड़ाहट (gibberish) के रूप में बाहर आते हैं (जैसे "S!mpl&fy (2 + 5)2 −4@2")। AI उस बड़बड़ाहट को समझता तो है, लेकिन यह एक वास्तविक परीक्षण नहीं है क्योंकि वास्तविक इंसान इस तरह से बात नहीं करते।

समाधान: REALISTA ("लेगो" दृष्टिकोण - The "Lego" Approach)

लेखकों ने REALISTA नामक एक नई विधि बनाई है। इसे AI के मस्तिष्क के भीतर लेगो ब्रिक्स (Lка Lego bricks) के साथ खेलने के रूप में सोचें।

लेगो ब्रिक्स (एडिट डायरेक्शंस - Edit Directions):
रैंडम शब्द या रैंडम डिजिटल शोर के बजाय, REALISTA पहले एक विशेष सेट के "लेगो ब्रिक्स" बनाता है। प्रत्येक ईंट एक वाक्य को बिना अर्थ बदले पुनर्गठित करने के एक विशिष्ट, वैध तरीके का प्रतिनिधित्व करती है।

उदाहरण: एक ईंट हो सकती है "इसे अधिक औपचारिक (formal) बनाएं।" दूसरी हो सकती है "इसे कथन के बजाय एक प्रश्न के रूप रूप में पूछें।" तीसरी हो सकती है "थोड़ा सा ड्रामा जोड़ें।"
महत्वपूर्ण बात यह है कि ये ब्रिक्स इनपुट-डिपेंडेंट (input-dependent) हैं। यदि आप गणित के बारे में पूछ रहे हैं, तो ब्रिक्स गणित-पुनर्गठन के उपकरण हैं। यदि आप इतिहास के बारे में पूछ रहे हैं, तो वे इतिहास-पुनर्गठन के उपकरण हैं।

ब्रिक्स को मिलाना (कंटीन्यूअस ऑप्टिमाइजेशन - Continuous Optimization):
अब, केवल एक ब्रिक चुनने के बजाय, REALISTA इन ब्रिक्स के परफेक्ट मिश्रण को खोजने के लिए गणित का उपयोग करता है। यह पूछता है: "यदि मैं 10% 'औपचारिक' ब्रिक, 5% 'ड्रामा' ब्रिक और 2% 'प्रश्न' ब्रिक का उपयोग करता हूँ, तो क्या AI भ्रमित हो जाएगा?"

यह एक सहज, अनंत खोज (पेंट के रंगों को मिलाने की तरह) की अनुमति देता है, न कि एक सीमित, टूटी-फूटी खोज (मेन्यू से चुनने की तरह)।

सुरक्षा जाल (द सिम्प्लेक्स कंस्ट्रेंट - The Simplex Constraint):
यह सुनिश्चित करने के लिए कि परिणाम बड़बड़ाहट (gibberish) में न बदल जाए, REALISTA इस मिश्रण को एक "सुरक्षा पट्टे" (safety leash) पर रखता है। यह सुनिश्चित करता है कि परिवर्तन की कुल मात्रा कम हो और ब्रिक्स को केवल जोड़ा जाए (कभी भी इस तरह से घटाया न जाए जिससे तर्क टूट जाए)। यह गारंटी देता है कि अंतिम वाक्य अभी भी ऐसा लगेगा जैसे किसी इंसान ने लिखा है और इसका अर्थ भी वही रहेगा जो मूल वाक्य का था।

यह व्यवहार में कैसे काम करता है

शुरुआत: आप सिस्टम को एक सामान्य प्रश्न देते हैं (जैसे, "फ्रांस की राजधानी क्या है?")।
अनुवाद: सिस्टम इस प्रश्न को AI की आंतरिक "विचार भाषा" (latent space) में अनुवादित करता है।
निर्माण: यह उस विशिष्ट प्रश्न के लिए अपने कस्टम लेगो सेट (एडिट डिक्शनरी) को देखता है।
ऑप्टिमाइजेशन: यह लेगो ब्रिक्स को गणितीय रूप से मिलाता है ताकि वह संयोजन मिल सके जो AI को "फ्रांस की राजधानी लंदन है" (एक हैलुसिनेशन) उत्तर देने के लिए मजबूर कर दे, जबकि प्रश्न स्वाभाविक बना रहे।
डिकोडिंग: यह मिश्रित "विचारों" को वापस अंग्रेजी में अनुवादित करता है।
परिणाम: आपको एक प्रश्न मिलता है जैसे: "क्या आप मुझे, सीधे तौर पर, बता सकते हैं कि कौन सा शहर फ्रांस के प्राथमिक सरकारी केंद्र के रूप में कार्य करता है?"
- यह स्वाभाविक लगता है।
- इसका अर्थ वही है।
- लेकिन AI, किसी कारण से, सोचता है कि उत्तर "लंदन" है।

यह क्यों मायने रखता है (पेपर के अनुसार)

पेपर दिखाता है कि REALISTA दो चीजों में पिछले तरीकों से बेहतर है:

सफलता दर (Success Rate): यह पुराने "डिक्शनरी स्वैप" तरीकों की तुलना में AI को अधिक बार चकमा देता है।
यथार्थवाद (Realism): यह पुराने "डिजिटल स्लज" तरीकों की तरह बड़बड़ाहट (gibberish) पैदा नहीं करता है।

सबसे महत्वपूर्ण बात यह है कि पेपर का दावा है कि यह विधि उन्नत "रीजनिंग" मॉडल्स (Reasoning models) (सबसे स्मार्ट, सबसे जटिल AI) पर भी काम करती है जो आमतौर पर सरल ट्रिक्स को अनदेखा कर देते हैं। यह उस विशिष्ट, सूक्ष्म पुनर्गठन को खोजने में सक्षम है जो यहाँ तक कि सबसे स्मार्ट AI को भी हैलुसिनेट करने के लिए मजबूर कर देता है, जिससे यह साबित होता है कि ये मॉडल प्रश्न के वास्तविक, मानवीय बदलावों के सामने अभी भी नाजुक हैं।

संक्षेप में: REALISTA एक ऐसा टूल है जो एक प्रश्न को पुनर्गठित करने के सबसे स्वाभाविक और सटीक तरीके को खोजने के लिए बनाया गया है ताकि AI को भ्रमित किया जा सके। यह "पुनर्गठन सामग्री" को गणितीय रूप से सटीक तरीके से मिलाकर काम करता है, जिससे यह सुनिश्चित होता है कि परिणाम प्रभावी भी है और वास्तविक भी।

तकनीकी सारांश: REALISTA

समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) सौहार्दपूर्ण (benign) उपयोगकर्ता प्रश्नों का उत्तर देते समय भी मतिभ्रम (hallucinations) प्रदर्शित करते हैं। इन विफलताओं को ट्रिगर करने वाले तंत्रों को समझने के लिए यथार्थवादी प्रतिकूल हमलों (realistic adversarial attacks) की आवश्यकता होती है जो दो महत्वपूर्ण बाधाओं को पूरा करते हों:

अर्थगत समानता (Semantic Equivalence): प्रतिकूल प्रॉम्प्ट को मूल सौहार्दपूर्ण प्रॉम्प्ट के मूल अर्थ (semantic intent) को सुरक्षित रखना चाहिए।
अर्थगत सुसंगतता (Semantic Coherence): प्रतिकूल प्रॉम्प्ट प्रवाहपूर्ण और मानव-समान होना चाहिए।

मौजूदा विधियाँ इन बाधाओं को एक साथ पूरा करने में विफल रहती हैं। डिस्क्रीट प्रॉम्प्ट-आधारित हमले (जैसे, SECA) अर्थगत यथार्थवाद को बनाए रखते हैं लेकिन एक विरल (sparse), डिस्क्रीट सर्च स्पेस तक सीमित हैं, जो हमले की विविधता को प्रतिबंधित करता है। कंटीन्यूअस लेटेंट-स्पेस हमले एक समृद्ध स्थान का अन्वेषण करते हैं लेकिन अक्सर ऐसे प्रॉम्प्ट डिकोड करते हैं जो निरर्थक होते हैं या मूल से अर्थगत रूप से भिन्न होते हैं, जिससे समानता की बाधा का उल्लंघन होता है। मुख्य चुनौती लेटेंट स्पेस में व्यापक अन्वेषण को सक्षम करने के साथ-साथ अर्थगत यथार्थवाद को सख्ती से लागू करना है।

कार्यप्रणाली (Methodology): REALISTA

लेखक REALISTA (Realistic Latent Adversarial Attacks) प्रस्तावित करते हैं, जो एक फ्रेमवर्क है जो मतिभ्रम को प्रेरित करने की प्रक्रिया को LLM लेटेंट स्पेस में एक बाधा-युक्त अनुकूलन समस्या (constrained optimization problem) के रूप में तैयार करता है। यह विधि निम्नलिखित घटकों के माध्यम से डिस्क्रीट और कंटीन्यूअस दृष्टिकोणों के बीच के अंतर को पाटती है:

1. इनपुट-निर्भर एडिट डिक्शनरी (Input-Dependent Edit Dictionary)

मनमाने लेटेंट वेक्टर्स को अनुकूलित करने के बजाय, REALISTA प्रत्येक इनपुट प्रॉम्प्ट $x_0$ के लिए विशिष्ट व्याख्यात्मक संपादन दिशाओं (interpretable editing directions) का एक शब्दकोश (dictionary) बनाता है।

अवधारणा चयन (Concept Selection): एक अवधारणा अनुकूलन प्रक्रिया का उपयोग करते हुए (WordNet और एक LLM-आधारित इवैल्यूएटर का लाभ उठाते हुए), यह विधि इनपुट से संबंधित विविध अवधारणा कीवर्ड्स का चयन करती है।
लेटेंट दिशाएं (Latent Directions): प्रत्येक चयनित अवधारणा के लिए, एक अर्थगत रूप से समान पुनर्गठन $x^{(i)}_{SE}$ उत्पन्न किया जाता है। एनकोडर $\phi$ इन्हें लेटेंट रिप्रेजेंटेशन में मैप करता है, और संपादन दिशा को $z^{(i)} = \phi(x^{(i)}_{SE}) - \phi(x_0)$ के रूप में परिभाषित किया जाता है।
डिक्शनरी (Dictionary): इन दिशाओं का सेट $D$ बनता है, जो अर्थगत रूप से संरक्षित रूपांतरणों के एक सबस्पेस (subspace) को कवर करता है।

2. सिम्प्लेक्स पर निरंतर अनुकूलन (Continuous Optimization over a Simplex)

हमले को एक इष्टतम संपादन शक्ति वेक्टर $\delta$ खोजने के रूप में तैयार किया गया है ताकि प्रतिकूल लेटेंट रिप्रेजेंटेशन $z$ इस प्रकार हो:
$z = z_0 + D\delta$
जहाँ $z_0 = \phi(x_0)$ है। अनुकूलन समस्या है:
$\min_{\delta} \mathcal{L}_{hall}(f_T(x), y^*) \quad \text{सर्त (s.t.)} \quad \delta \in \Delta_\varepsilon$

उद्देश्य (Objective): मतिभ्रम हानि (hallucination loss) को कम करना (जैसे, गलत उत्तर की नेगेटिव लॉग प्रोबेबिलिटी या जज द्वारा दिया गया मतिभ्रम स्कोर)।
बाधा (Constraint): $\delta$ को एक स्केल्ड सिम्प्लेक्स ( $\delta \succeq 0, \|\delta\|_1 \le \varepsilon$ ) के भीतर सीमित किया गया है। यह स्पर्सिटी (sparsity) और गैर-नकारात्मकता को लागू करता है, यह सुनिश्चित करता है कि विक्षोभ (perturbation) एक बड़े, मनमाने बदलाव के बजाय अर्थगत रूप से संरक्षित संपादन का एक हल्का, उत्तल संयोजन (convex combination) है।

3. डिकोडर और अर्थगत सुरक्षा (Decoder and Semantic Safeguard)

प्रॉम्प्ट पुनर्निर्माण (Prompt Reconstruction): एक अनुमानित इनवर्स ऑपरेटर (डिकोडर) $\psi$ , जिसे एनकोडर के समान ही LLM का उपयोग करके लागू किया गया है, विक्षेपित लेटेंट $z$ को वापस प्रॉम्प्ट स्पेस $x = \psi(z)$ में मैप करता है।
अनुकूलन एल्गोरिदम (Optimization Algorithm): लेखक नॉन-कॉन्वेक्स अनुकूलन को हल करने के लिए प्रोजेक्टेड लैंगविन डायनेमिक्स (Projected Langevin Dynamics - PLD) का उपयोग करते हैं। इसमें शामिल हैं:
- गम्बल-सॉफ्टमैक्स रीपैरामीट्राइजेशन (Gumbel-Softmax Reparameterization): डिस्क्रीट डिकोडिंग प्रक्रिया के माध्यम से ग्रेडिएंट फ्लो को सक्षम करने के लिए।
- स्टोकेस्टिक अन्वेषण (Stochastic Exploration): पीस-वाइज फ्लैट ऑप्टिमाइजेशन लैंडस्केप से बाहर निकलने के लिए गौसियन शोर (Gaussian noise) इंजेक्ट करना।
- अर्थगत समानता सुरक्षा (Semantic Equivalence Safeguard): अनुकूलन के दौरान, यदि कोई कैंडिडेट प्रॉम्प्ट $x$ अर्थगत समानता जांच (जो एक इंस्ट्रक्टेड LLM द्वारा की जाती है) में विफल रहता है, तो ग्रेडिएंट सिग्नल को हटा दिया जाता है, जिससे ऑप्टिमाइज़र को गैर-समान क्षेत्रों में जाने से रोका जा सके।

मुख्य योगदान (Key Contributions)

इनपुट-निर्भर एडिट डिक्शनरी: एक कॉम्पैक्ट, विविध और वैध सेट बनाने की विधि जो मूल प्रॉम्प्ट पर आधारित लेटेंट एडिटिंग दिशाओं को सक्षम करती है, जिससे अर्थ को सुरक्षित रखते हुए निरंतर संशोधन संभव होता है।
सिम्प्लेक्स-प्रतिबंधित अनुकूलन: मतिभ्रम को प्रेरित करने को एक स्केल्ड सिम्प्लेक्स पर निरंतर अनुकूलन समस्या के रूप में तैयार करना, जो अन्वेषण लचीलेपन और अर्थगत बाधाओं के बीच संतुलन बनाता है।
यथार्थवादी हमला ढांचा (Realistic Attack Framework): एडिट डिक्शनरी, सिम्प्लेक्स बाधा और अर्थगत सुरक्षा को REALISTA एल्गोरिदम में एकीकृत करना, जो हमले की प्रभावशीलता और अर्थगत यथार्थवाद के बीच के ट्रेड-ऑफ को सफलतापूर्वक नेविगेट करता है।

प्रयोगात्मक परिणाम (Experimental Results)

पेपर में 16 MMLU विषयों पर ओपन-सोर्स LLMs (Llama-3, Qwen-2.5) और कमर्शियल रीजनिंग मॉडल्स (GPT-5 वेरिएंट्स) पर REALISTA का मूल्यांकन किया गया है।

अटैक सक्सेस रेट (ASR): REALISTA अत्याधुनिक (SOTA) यथार्थवादी हमलों (जैसे, SECA) की तुलना में बेहतर या तुलनीय ASR प्राप्त करता है। उदाहरण के लिए, Llama-3-8B पर, REALISTA का ASR@30 93.60% है, जो SECA (82.97%) और LARGO (57.92%) से बेहतर है।
अर्थगत त्रुटियां (Semantic Errors): महत्वपूर्ण रूप से, REALISTA कम 'सिमेंटिक इक्विवेलेंस एरर' (SEE) और 'सिमेंटिक कोहेरेंस एरर' (SCE) बनाए रखता है, जो SECA के तुलनीय है और LARGO और ICD जैसे निरंतर बेसलाइन्स की तुलना में काफी बेहतर है, जिनमें SEE अक्सर 100% के करीब होता है।
रीजनिंग मॉडल्स: REALISTA कमर्शियल रीजनिंग मॉडल्स (GPT-5-Nano, GPT-5-Mini) से फ्री-फॉर्म रिस्पॉन्स सेटिंग्स में मतिभ्रम को सफलतापूर्वक प्रेरित करता है, एक ऐसा परिदृश्य जहाँ पिछले यथार्थवादी हमले (SECA, LARGO) फिक्स्ड आउटपुट फॉर्मेट या टारगेट मॉडल लॉजिट्स पर अपनी निर्भरता के कारण विफल हो जाते हैं।
कॉन्सेप्ट विश्लेषण (Concept Analysis): सक्रिय कॉन्सेप्ट्स का विश्लेषण प्रकट करता है कि सफल हमले मुख्य रूप से स्ट्रक्चरल और फ्रेमिंग परिवर्तनों (जैसे, पोलैरिटी फ्लिपिंग, लॉजिकल रीस्ट्रक्चरिंग, इंस्ट्रक्शनल फ्रेमिंग) का फायदा उठाते हैं, न कि तथ्यात्मक सामग्री को बदलने का।

महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि REALISTA यह प्रदर्शित करता है कि ब्लैक-बॉक्स, रीजनिंग-केंद्रित डिप्लॉयमेंट परिदृश्यों में भी यथार्थवादी मतिभ्रम हमले संभव हैं। डिस्क्रीट और कंटीन्यूअस अटैक प्रतिमानों के बीच के अंतर को पाटकर, यह फ्रेमवर्क LLM रेड-टीमिंग के लिए एक अधिक व्यवस्थित उपकरण प्रदान करता है।

लेखक इस बात पर जोर देते हैं कि उनका कार्य उन विफलता मोड को समझने में मदद करता है जहाँ शाब्दिक रूप से भिन्न लेकिन अर्थगत रूप से समान प्रॉम्प्ट मतिभ्रम का कारण बनते हैं। वे नोट करते हैं कि हालांकि यह विधि मतिभ्रम को प्रेरित करने की प्रभावशीलता में सुधार करती है (संभावित रूप से दुरुपयोग के अवरोधों को कम करती है), इसका प्राथमिक उपयोग यह प्रकट करके अधिक मजबूत रक्षा रणनीतियां विकसित करना है कि मॉडल यथार्थवादी विक्षोभ के तहत कैसे विफल होते हैं। यह कार्य यथार्थवादी सेटिंग्स में LLM विश्वसनीयता के मूल्यांकन के लिए लेटेंट-स्पेस हमलों के महत्व को रेखांकित करता है जहाँ डिस्क्रीट सर्च अपर्याप्त है।