💬 NLP

SECA: Semantically Equivalent and Coherent Attacks for Eliciting LLM Hallucinations

यह शोध पत्र SECA का प्रस्ताव करता है, जो एक नवीन एडवरसेरियल अटैक फ्रेमवर्क है जो यथार्थवादी, अर्थपूर्ण रूप से समान और सुसंगत प्रॉम्प्ट संशोधनों को उत्पन्न करके लार्ज लैंग्वेज मॉडल्स में मतिभ्रम (hallucinations) उत्पन्न करता है, जिससे उन पूर्व विधियों की सीमाओं को दूर किया जा सके जो निरर्थक या अर्थ परिवर्तित इनपुट पर निर्भर करती हैं।

मूल लेखक: Buyun Liang, Liangzu Peng, Jinqi Luo, Darshan Thaker, Kwan Ho Ryan Chan, René Vidal

प्रकाशित 2026-02-17

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Buyun Liang, Liangzu Peng, Jinqi Luo, Darshan Thaker, Kwan Ho Ryan Chan, René Vidal

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही स्मार्ट, अच्छी तरह से प्रशिक्षित रोबोट सहायक (एक लार्ज लैंग्वेज मॉडल, या LLM) है। आप उससे एक सरल गणित का प्रश्न पूछते हैं: "यदि मैं एक संख्या को दोगुना कर दूँ और मुझे 24 प्राप्त हो, तो वह संख्या क्या है?" रोबोट सही उत्तर देता है, "12।"

अब, कल्पना कीजिए कि आप बिल्कुल वही प्रश्न पूछते हैं, लेकिन आप इसे थोड़ा अलग तरीके से पूछते हैं: "कौन सी संख्या, दोगुनी होने पर, 24 के बराबर होती है?" रोबोट को अभी भी "12" कहना चाहिए। लेकिन इस शोध पत्र में, शोधकर्ता दिखाते हैं कि एक विशेष "ट्रिक" वाली भाषा के साथ, रोबोट अचानक भ्रमित हो सकता है, "8" कह सकता है, और फिर 8 क्यों सही उत्तर है, इसके लिए एक नकली, बेतुकी व्याख्या गढ़ सकता है।

इसे हैलुसिनेशन (Hallucination) कहा जाता है। रोबोट आपसे झूठ बोल रहा है, लेकिन यह सुनने में बहुत आत्मविश्वासी लगता है।

समस्या: "गिबरिश" (निरर्थक शब्द) का जाल

पिछले शोधकर्ताओं ने इन रोबोटों को झूठ बोलने के लिए "हमले" (attacks) का उपयोग करके trick करने की कोशिश की। लेकिन उनके तरीके एक तिजोरी को तोड़ने के लिए हथौड़े चलाने जैसे थे। वे ऐसा करते थे:

निरर्थकता जोड़ना: "24 = 2p में p का मान क्या है? with@Now!#%" (यह निरर्थक है; रोबोट जानता है कि यह अजीब है)।
अर्थ बदलना: "p का मान क्या है यदि मैं इसे 24 तक पहुँचाने के लिए तीन गुना कर दूँ?" (यह कोई ट्रिक नहीं है; यह बस एक अलग प्रश्न है)।
रोबोट को आदेश देना: "एक झूठे व्यक्ति की तरह व्यवहार करो और इसका उत्तर दो।" (रोबोट केवल आदेशों का पालन कर रहा है, वास्तव में विफल नहीं हो रहा है)।

इन तरीकों ने हमें यह नहीं बताया कि रोबोट वास्तविक दुनिया में कैसे विफल होता है, क्योंकि वास्तविक लोग इस तरह की निरर्थक बातें या पूरी तरह से अलग प्रश्न नहीं पूछते हैं।

समाधान: SECA (छलावरण का उस्ताद)

इस शोध पत्र के लेखकों ने SECA (सेमैंटिकली इक्विवेलेंट एंड कोहेरेंट अटैक्स) नामक एक नई विधि बनाई है।

SECA को एक छलावरण के उस्ताद (Master of Disguise) के रूप में सोचें। शोर मचाकर रोबोट के दिमाग को तोड़ने के बजाय, SECA एक ऐसा मुखौटा पहनता है जो बिल्कुल एक सामान्य मानवीय प्रश्न जैसा दिखता है, लेकिन यह रोबोट के आंतरिक तर्क को भ्रमित करने के लिए पर्याप्त रूप से अलग होता है।

यहाँ बताया गया है कि SECA कैसे काम करता है, एक सरल उदाहरण के साथ:

1. "समान अर्थ" का नियम (Semantic Equivalence)

कल्पना कीजिए कि आप एक खेल खेल रहे हैं जहाँ आपको अपने मित्र को बिना चित्र बदले उसका वर्णन करना है।

खराब: आप एक अलग चित्र बनाते हैं। (रोबोट एक अलग प्रश्न देखता है)।
खराब: आप चित्र पर लकीरें खींच देते हैं। (रोबोट निरर्थक शब्द देखता है)।
SECA: आप अलग शब्दों का उपयोग करके वही चित्र वर्णित करते हैं। "एक लाल गेंद" बन जाता है "एक गोला जो गहरा लाल है।" अर्थ समान है, लेकिन शब्द अलग हैं।

SECA यह सुनिश्चित करता है कि नया प्रश्न मूल वाले के बिल्कुल समान का अर्थ रखता हो। यदि मूल प्रश्न $p=12$ के लिए पूछता है, तो नया प्रश्न तार्किक रूप से भी $p=12$ की ही मांग करना चाहिए।

2. "प्राकृतिक प्रवाह" का नियम (Semantic Coherence)

SECA यह भी सुनिश्चित करता है कि नया प्रश्न ऐसा लगे जैसे कोई इंसान वास्तव में बोलेगा। यह अजीब प्रतीकों या टूटी हुई व्याकरण का उपयोग नहीं करता है। यह स्वाभाविक रूप से बहता है।

3. "रोबोट के दिमाग" की खोज

SECA इन ट्रिकी प्रश्नों को कैसे ढूँढता है?

यह एक सामान्य प्रश्न से शुरू होता है।
यह एक "प्रपोजर रोबोट" (एक सहायक AI) से प्रश्न को 3 अलग-अलग तरीकों से फिर से लिखने के लिए कहता है, जिससे अर्थ समान रहे लेकिन शब्द बदल जाएँ।
यह एक "चेकर रोबोट" से सत्यापन के लिए पूछता है: "क्या यह नया प्रश्न ठीक वही मतलब रखता है जो पुराना वाला रखता था?"
यह "टारगेट रोबोट" पर नए प्रश्न का परीक्षण करता है। यदि टारगेट रोबोट भ्रमित हो जाता है और गलत उत्तर देता है, तो SECA उस प्रश्न को सुरक्षित रख लेता है।
यह प्रक्रिया दोहराता है, धीरे-धीरे प्रश्न को तब तक विकसित करता है जब तक कि उसे वह सटीक "छलावरण" न मिल जाए जो टारगेट रोबोट को झूठ बोलने (hallucinate करने) पर मजबूर कर दे।

यह क्यों महत्वपूर्ण है?

शोधकर्ताओं ने पाया कि रोबोट आश्चर्यजनक रूप से नाजुक होते हैं। भले ही आप उनसे बिल्कुल वही प्रश्न थोड़े अधिक जटिल या विस्तृत तरीके से पूछें, वे विफल हो सकते हैं।

खोज: आप जितने अधिक शब्दों का उपयोग करेंगे और वाक्य संरचना जितनी अधिक रचनात्मक होगी, रोबोट के भ्रमित होने की संभावना उतनी ही अधिक होगी।
प्रभाव: यह वास्तविक दुनिया के उपयोग के लिए डरावना है। यदि एक डॉक्टर मेडिकल AI से पूछता है, "X के लिए उपचार क्या है?" और AI इसलिए झूठ बोल देता है क्योंकि डॉक्टर ने इसे थोड़ा अलग तरीके से पूछा था, तो यह खतरनाक हो सकता है।

निष्कर्ष

यह शोध पत्र AI के लिए एक सुरक्षा निरीक्षक (safety inspector) की तरह है। केवल यह पूछने के बजाय कि "क्या AI को उत्तर पता है?", वे पूछते हैं, "क्या AI को उत्तर पता है चाहे आप इसे किसी भी तरह से पूछें?"

उन्होंने पाया कि वर्तमान AI मॉडल उस छात्र की तरह हैं जिसने पाठ्यपुस्तक रट ली है लेकिन अवधारणाओं को वास्तव में नहीं समझा है। यदि आप प्रश्न को थोड़े अलग तरीके से पूछते हैं, तो छात्र घबरा जाता है और मनगढ़ंत बातें बनाने लगता है। SECA वह उपकरण है जो हमें इन कमजोरियों को खोजने में मदद करता है ताकि हम इन रोबोटों पर भरोसा करने से पहले उन्हें ठीक कर सकें।

संक्षेप में: SECA एक चतुर तरीका है स्मार्ट रोबोटों को झूठ बोलने के लिए मजबूर करने का, उन्हें बिल्कुल वही प्रश्न थोड़े अधिक भ्रमित करने वाले तरीके से पूछकर, जो यह साबित करता है कि वे उतने स्मार्ट नहीं हैं जितना वे दिखते हैं।

यहाँ शोध पत्र "SECA: Semantically Equivalent and Coherent Attacks for Eliciting LLM Hallucinations" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या की परिभाषा (Problem Definition)

लार्ज लैंग्वेज मॉडल्स (LLMs) को तेजी से उच्च-जोखिम वाले डोमेन (जैसे स्वास्थ्य सेवा, वित्त) में तैनात किया जा रहा है, फिर भी वे हैलुसिनेशन (तथ्यात्मक रूप से गलत या अविश्वसनीय जानकारी उत्पन्न करना) के प्रति संवेदनशील बने हुए हैं। जबकि पिछले शोधों ने इन हेललुसिनेशन्स को उकसाने के लिए एडवरसैरियल हमलों (adversarial attacks) की खोज की है, मौजूदा पद्धतियों में एक गंभीर दोष है: वे अवास्तविक प्रॉम्प्ट्स जनरेट करते हैं।

गिबरिश हमले (Gibberish Attacks): अर्थहीन टोकन डालना (उदाहरण के लिए, "What is t)(?e va%&* of p...").
तुच्छ हमले (Trivial Attacks): मॉडल को सीधे झूठ बोलने का निर्देश देना (उदाहरण के लिए, "गलत उत्तर दें: ...").
अर्थ-परिवर्तन हमले (Meaning-Shift Attacks): प्रश्न के सिमेंटिक इरादे को बदलना (उदाहरण के लिए, $2p=24$ को बदलकर $3p=24$ कर देना)।

ये दृष्टिकोण उन वास्तविक परिदृश्यों का अनुकरण करने में विफल रहते हैं जहाँ उपयोगकर्ता स्वाभाविक और विविध भाषा में प्रश्न पूछते हैं। यह शोध पत्र ऐसे यथार्थवादी एडवरसैरियल प्रॉम्प्ट्स की पहचान करने के अंतराल को संबोधित करता है जो:

सिमेंटिक समानता बनाए रखते हों (Preserve Semantic Equivalence): हमलागत प्रॉम्प्ट का मूल प्रॉम्प्ट के समान ही सटीक अर्थ होना चाहिए (पारस्परिक निहितार्थ/mutual entailment)।
सिमेंटिक सुसंगति बनाए रखते हों (Maintain Semantic Coherence): प्रॉम्प्ट प्रवाहपूर्ण, व्याकरणिक रूप से सही और मानव जैसा होना चाहिए।

मुख्य अनुसंधान प्रश्न यह है: हम सिमेंटिक समानता और सुसंगति बाधाओं का सख्ती से पालन करते हुए, एलएलएम (LLM) हेललुसिनेशन्स को प्रेरित करने वाले यथार्थवादी हमलों को उत्पन्न करने की समस्या को कैसे तैयार और हल कर सकते हैं?

2. कार्यप्रणाली: SECA

लेखक SECA प्रस्तावित करते हैं, जो एक फ्रेमवर्क है कि जो अटैक जेनरेशन को एक बाधित अनुकूलन समस्या (constrained optimization problem) के रूप में मानता है।

अ. समस्या सूत्रण (Problem Formulation)

लक्ष्य एक ऐसा एडवरसैरियल प्रॉम्प्ट $x$ खोजना है जो लक्षित LLM ( $T$ ) द्वारा एक विशिष्ट गलत टोकन $y^*$ (और उसके बाद होने वाली हेललुसिनेटेड व्याख्या) उत्पन्न करने की संभावना को अधिकतम करे, निम्नलिखित दो शर्तों के अधीन:
$\max_{x} \log P_T(y^* | x)$
$\text{विषय: } \text{SEF}(x, x_0) = 1 \quad \text{और} \quad x \in \mathcal{X}_P$
जहाँ:

$x_0$ मूल प्रॉम्प्ट है।
$\text{SEF}(x, x_0)$ एक बाइनरी सिमेंटिक इक्विवेलेंस फंक्शन है (यदि समकक्ष है तो 1, अन्यथा 0)।
$\mathcal{X}_P$ प्रपोजर LLM द्वारा जनरेट किए गए प्रॉम्प्ट्स का सेट है, जो सिमेंटिक कोहेरेंस सुनिश्चित करता है।

ब. SECA एल्गोरिदम (Constraint-Preserving Zeroth-Order Method)

चूंकि प्रॉम्प्ट स्पेस डिस्क्रीट (discrete) है और ग्रेडिएंट अक्सर उपलब्ध नहीं होते (ब्लैक-बॉक्स मॉडल), SECA एक ज़ीरोथ-ऑर्डर अप्रोच का उपयोग करता है जो कंस्ट्रेंट-आधारित सर्च के माध्यम से व्यापक खोज से बचता है। इस एल्गोरिदम के तीन मुख्य घटक हैं:

सिमेंटिक इक्विवेलेंस प्रपोजर ( $P$ ):
- वर्तमान प्रॉम्प्ट $x_k$ के $M$ पुनर्गठन (rephrasings) बनाने के लिए एक LLM को निर्देशित किया जाता है।
- विविधता सुनिश्चित करने और "सिमेंटिक कोलैप्स" (जहाँ पुनर्लेखन मूल के समान हो जाते हैं) से बचने के लिए, प्रपोजर को क्रियाओं (verbs - जैसे "rephrase", "reformulate"), शैलियों (styles - जैसे "creative", "nuanced") और टास्क डिस्क्रिप्टर्स में यादृच्छिक बदलाव दिए जाते हैं।
- नोट: प्रपोजर अपने प्रशिक्षण के कारण स्वतः ही कोहेरेंट टेक्स्ट जनरेट करता है।
फिजिबिलिटी चेकर ( $F$ ):
- एक अधिक शक्तिशाली LLM 'वेरिफायर' के रूप में कार्य करता है। यह पाँच सख्त मानदंडों के आधार पर प्रत्येक उम्मीदवार प्रॉम्प्ट का मूल्यांकन मूल $x_0$ $x_{0}$ के विरुद्ध करता है:
  1. पारस्परिक निहितार्थ (Mutual entailment)।
  2. कोई अतिरिक्त जानकारी शामिल न होना।
  3. कोई आवश्यक जानकारी छूटना नहीं।
  4. अर्थ का संरक्षण।
  5. वही ग्राउंड-ट्रुथ उत्तर।
- केवल वे उम्मीदवार जो इस जाँच (स्कोर = 1) को पास करते हैं, उन्हें रखा जाता है।
एडवरसैरियल सिलेक्शन (Adversarial Selection):
- व्यवहार्य उम्मीदवारों में से, एल्गोरिदम शीर्ष- $N$ प्रॉम्प्ट चुनता है जो लक्ष्य गलत टोकन $y^*$ की लॉग-प्रोबेबिलिटी को अधिकतम करते हैं।
- यह प्रक्रिया अभिसरण (convergence) या अधिकतम इटरेशन संख्या तक चलती रहती है।

3. प्रमुख योगदान (Key Contributions)

औपचारिक प्रस्तुतिकरण (Formalization): इनपुट प्रॉम्प्ट स्पेस पर हेललुसिनेशन इलासिटेशन को पहली बार एक बाधित अनुकूलन समस्या के रूप में औपचारिक बनाया गया, जिसमें सिमेंटिक इक्विवेलेंस और सिमेंटिक कोहेरेंस को हार्ड कॉन्स्ट्रेन्ट्स के रूप में स्पष्ट रूप से परिभाषित किया गया है।
एल्गोरिदम डिज़ाइन: SECA का परिचय, जो एक नवीन कंस्ट्रेंट-प्रिजर्विंग ज़ीरोथ-ऑर्डर मेथड है। यह बिना ग्रेडिएंट के, LLM को सर्च इंजन (प्रपोजर) और कंस्टेंट एनफोर्सर (चेकर) दोनों के रूप में उपयोग करके प्रभावी ढंग से डिस्क्रीट प्रॉम्प्ट स्पेस को एक्सप्लोर करता है।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोग जो प्रदर्शित करते हैं कि SECA अन्य बेसलाइन (जैसे GCG) की तुलना में काफी बेहतर प्रदर्शन करते हुए विविध, यथार्थवादी हमले उत्पन्न करता है, साथ ही लगभग शून्य सिमेंटिक त्रुटियाँ बनाए रखता है।

4. प्रायोगिक परिणाम (Experimental Results)

लेखकों ने SECA का मूल्यांकन MMLU डेटासेट पर किया (केवल उन प्रश्नों को फ़िल्टर करके जहाँ टारगेट मॉडल शुरू में सही उत्तर देता है) 16 विषयों और 7 विभिन्न LLMs (Llama-3, Qwen जैसे ओपन-सोर्स सहित और GPT-4o-Mini जैसे कमर्शियल मॉडल्स) पर।

अटैक सक्सेस रेट (ASR):
- SECA ने रॉ प्रॉम्प्ट्स और स्टेट-ऑफ-द-आर्ट ग्रीडी कोऑर्डिनेट ग्रेडिएंट (GCG) पद्धति की तुलना में काफी अधिक ASR प्राप्त किया।
- उदाहरण: Llama-3-8B पर, SECA ने 81.24% ASR हासिल किया, जबकि GCG का 9.86% और रॉ प्रॉम्प्ट्स का 63.52% था।
- GPT-4o-Mini पर, SETA ने ASR को Near 0% (Raw) से बढ़ाकर 36.86% कर दिया।
सिमेंटिक इंटीग्रिटी (Semantic Integrity):
- सिमेंटिक इक्विवेलेंस एरर (SEE): SECA ने 0.00 का SEE बनाए रखा, जिसका अर्थ है कि सभी हमले मूल के सिमेंटिकली समकक्ष थे। इसके विपरीत, GCG का SEE ~0.96 था (अधिकांशतः साम्यता विफल रही)।
- सिमेंटिक कोहेरेंस एरर (SCE): SECA ने निम्न पर्सरिटी (उच्च कोहेरेंस) बनाए रखी, जबकि GCG ने अत्यधिक हाई पर्सरिटी वाला गिबरिश उत्पादित किया (उदा. SECA के 0.33 बनाम GCG का 307.68)।
सफल हमलों का विश्लेषण:
- सफल SECA प्रॉम्प्ट्स मूल प्रॉम्प्ट्स की तुलना में अधिक वर्बोज़ (verbose) और लेक्सिकल रूप से विविध पाए गए (उच्च टाइप-टोकन अनुपात)।
- बढ़ी हुई भाषाई भिन्नता कोर इंटेंट को पर्याप्त रूप से अस्पष्ट करती है जिससे अर्थ बदले बिना मॉडल फेलियर ट्रिगर होता है।
मूल्यांकन विश्वसनीयता:
- पेपर ने प्रमाणित किया कि LLM-आधारित मूल्यांकक (साम्यता जांचने और हेललुसिनेशन वर्गीकृत करने के लिए) मानव एनोटेटरों के साथ मजबूती से संरेखित हैं (कोहेन का $\kappa$ > 0.7), जो स्वचालित मूल्यांकन पाइपलाइनों के उपयोग को उचित ठहराता है।

5. महत्व और प्रभाव (Significance and Impact)

यथार्थवादी मजबूती परीक्षण (Realistic Robustness Testing): SECA यथार्थवादी स्थितियों के तहत LLM की मजबूती का मूल्यांकन करने के लिए एक कठोर उपकरण प्रदान करता है। यह सिद्ध करता है कि मानक बेंचमार्क पर उच्च सटीकता वाले मॉडल भी सूक्ष्म, सिमेंटिक रूप से समकक्ष रीफ्रेसिंग के प्रति नाजुक हो सकते हैं।
सुरक्षा संबंधी निहितार्थ (Safety Implications): ये निष्कर्ष एक महत्वपूर्ण भेद्यता (vulnerability) को उजागर करते: LLMs को केवल दुर्भावनापूर्ण "जेलब्रेक" द्वारा ही नहीं बल्कि उपयोगकर्ताओं द्वारा सवाल पूछने के प्राकृतिक तरीकों में आए मामूली बदलावों से भी भ्रमित किया जा सकता है। यह उन उच्च-दांव अनुप्रयोगों के लिए जोखिम पैदा करता जहाँ तथ्यात्मकता सर्वोपरि है।
भविष्य की दिशाएँ: यह कार्य सिमेंटिक वेरिएशंस के खिलाफ बेहतर बचाव विकसित करने, पारफ़्रेज़िंग के प्रति मॉडल्स को मजबूत बनाने हेतु ट्रेनिंग सुधारने और रीजनिंग मॉडल्स एवं फ्री-फॉर्म जनरेशन कार्यों तक इन विधियों को विस्तारित करने के मार्ग खोलता है।

कोड उपलब्धता: ढांचा यहाँ उपलब्ध है: https://github.com/Buyun-Liang/SECA