← नवीनतम पेपर
💬 NLP

Verifying the Robustness of Automatic Credibility Assessment

यह शोध पत्र गलत सूचना का पता लगाने से बचने के लिए डिज़ाइन किए गए प्रतिकूल हमलों (adversarial attacks) के विरुद्ध टेक्स्ट क्लासिफायर की मजबूती का मूल्यांकन करता है, जिसमें BODEGA बेंचमार्क को पेश करते हुए यह प्रदर्शित किया गया है कि आधुनिक लार्ज लैंग्वेज मॉडल्स अक्सर छोटे मॉडल्स की तुलना में अर्थ-संरक्षण करने वाले टेक्स्ट संशोधनों के प्रति अधिक संवेदनशील होते हैं।

मूल लेखक: Piotr Przybyła, Alexander Shvets, Horacio Saggion

प्रकाशित 2026-03-04
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Piotr Przybyła, Alexander Shvets, Horacio Saggion

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Verifying the Robustness of Automatic Credibility Assessment" शोध पत्र का सरल अवधारणाओं और रचनात्मक उपमाओं के साथ हिंदी अनुवाद दिया गया है।

बड़ी तस्वीर: डिजिटल बाउंसर बनाम वेश बदलने में माहिर (मास्टर ऑफ डिसगाइज़)

कल्पना कीजिए कि इंटरनेट एक विशाल, अराजक नाइट क्लब है। बाउंसरों (AI मॉडल्स) को फर्जी समाचार, प्रचार (propaganda) और अफवाहों जैसे उपद्रवी तत्वों को बाहर रखने के लिए काम पर रखा गया है। उन्हें "बुरे लोगों" को पहचानने और उन्हें अंदर जाने से रोकने के लिए बनाया गया है।

यह शोध पत्र एक सरल लेकिन डरावना सवाल पूछता है: क्या होगा अगर उपद्रवी लोग इतना सटीक वेश धारण करना सीख लें कि बाउंसर उन्हें सीधे अंदर जाने दे?

शोधकर्ताओं ने BODEGA (जिसे "डिजिटल जासूसों का जिम" माना जा सकता है) नामक एक परीक्षण मैदान बनाया ताकि यह देखा जा सके कि इन AI बाउंसरों को कितनी आसानी से मूर्ख बनाया जा सकता है। उन्होंने पाया कि यहाँ तक कि सबसे स्मार्ट, आधुनिक AI मॉडल भी टेक्स्ट में थोड़े से बदलाव के साथ आसानी से बेवकूफ बनाए जा सकते हैं।

1. हमला: "एडवर्सरियल एग्जांपल" (Adversarial Example)

वास्तविक दुनिया में, एक जालसाज 100केनोटको100 के नोट को 20 का दिखाने के लिए उस पर एक अक्षर बदल सकता है। डिजिटल दुनिया में, हमलावर AI को धोखा देने के लिए फर्जी समाचार लेख में कुछ शब्द या अक्षर बदल देता है।

  • चाल (The Trick): हमलावर एक ऐसा फर्जी समाचार लेता है जिसे AI सही ढंग से "Fake" (फर्जी) पहचानता है।
  • बदलाव (The Change): वे एक शब्द को उसके पर्यायवाची (synonym) से बदलते हैं, एक कॉमा को पूर्ण विराम (period) में बदलते हैं, या एक अक्षर को दिखने वाले दूसरे प्रतीक से बदलते हैं (जैसे l के बजाय |)।
  • परिणाम (The Result): इंसान के लिए, टेक्स्ट लगभग वैसा ही दिखता है। लेकिन AI के लिए, इसका अर्थ इतना बदल जाता है कि वह अब सोचता है, "ओह, यह वास्तव में एक भरोसेमंद लेख है!" और उसे अंदर जाने देता है।

2. जिम: BODEGA का परिचय

शोधकर्ताओं ने महसूस किया कि हर कोई इन AI मॉडल्स को अलग-अलग तरीकों से टेस्ट कर रहा था, जिससे यह तुलना करना कठिन हो गया था कि कौन बेहतर काम कर रहा है। इसलिए, उन्होंने BODEGA बनाया।

BODEGA को AI के लिए एक मानकीकृत ड्राइविंग टेस्ट के रूप में समझें।

  • कोर्स (The Course): यह AI को टेस्ट करने के लिए चार विशिष्ट "ट्रैक" (कार्य) का उपयोग करता है:
    1. हाइपरपार्टिसन न्यूज़ (Hyperpartisan News): क्या यह लेख बहुत अधिक पक्षपाती है (जैसे एक न्यूज़ चैनल जो केवल एक ही पक्ष की बात करता है)?
    2. प्रोपैंडा (Propaganda): क्या यह टेक्स्ट तथ्यों को बताने के बजाय भावनाओं को भड़काने की कोशिश कर रहा है?
    3. फैक्ट-चेकिंग (Fact-Checking): क्या दी गई साक्ष्यों के आधार पर कोई दावा सच है?
    4. अफवाह का पता लगाना (Rumor Detection): क्या कोई ट्वीट बिना पुष्टि की गई गपशप फैला रहा है?
  • परीक्षक (The Testers): उन्होंने अलग-अलग "हमलावरों" (जासूसों) का उपयोग किया जिनके पास अलग-अलग उपकरण थे। कुछ जासूस पूरे वाक्य बदलते हैं, जबकि अन्य केवल एक अक्षर बदलते हैं।
  • स्कोर (The Score): उन्होंने केवल यह नहीं गिना कि AI कितनी बार विफल हुआ। उन्होंने यह भी जांचा: क्या जासूस ने टेक्स्ट का अर्थ बदल दिया? यदि AI मूर्ख बन गया, लेकिन अब टेक्स्ट निरर्थक (gibberish) लग रहा है, तो वह एक बुरा हमला है। एक अच्छा हमला वह है जहाँ टेक्स्ट इंसान के लिए बिल्कुल सटीक लगता है, लेकिन AI पूरी तरह भ्रमित हो जाता है।

3. चौंकाने वाली खोज: बड़ा होना हमेशा बेहतर नहीं होता

आप सोच सकते हैं कि नवीनतम, सबसे शक्तिशाली AI मॉडल (जैसे विशाल "Gemma" मॉडल) सबसे कठिन बाउंसर होंगे। आप सोचेंगे कि वे इतने स्मार्ट हैं कि वे किसी भी वेशभूषा को देख लेंगे।

शोध पत्र ने इसके विपरीत पाया।

  • उपमा (The Analogy): कल्पना कीजिए कि एक छोटा, पुराना बाउंसर है जो इलाके को अच्छी तरह जानता है। वह थोड़ा धीमा हो सकता है, लेकिन वह बहुत सावधान है। फिर, आप एक सुपर-इंटेलिजेंट, हाई-टेक बाउंसर को काम पर रखते हैं जिसके पास एक विशाल डेटाबेस है।
  • परिणाम (The Result): वह हाई-टेक बाउंसर वास्तव में ज्यादा आसानी से चकमा देने योग्य पाया गया। शोधकर्ताओं ने पाया कि नए, बड़े मॉडल इन वेशभूषाओं के प्रति पुराने, छोटे मॉडल्स की तुलना में 27% अधिक असुरक्षित थे।
  • क्यों? (Why?): बड़े मॉडल इतने जटिल होते हैं और सूक्ष्म पैटर्न पर निर्भर करते हैं कि एक छोटा, विशिष्ट बदलाव उन्हें पूरी तरह से असंतुलित कर सकता है। छोटे मॉडल कभी-कभी अधिक "जिद्दी" और मूर्ख बनाना कठिन थे।

4. हमले की लागत (The Cost of the Attack)

इन चालों को अंजाम देने के लिए, हमलावरों को कई विविधताओं को आज़माना पड़ा।

  • उपमा (The Analogy): यह एक जेबकतरे द्वारा बटुआ चुराने की कोशिश करने जैसा है। वे काम करने वाले एक तरीके को खोजने के लिए 100 अलग-अलग कोणों को आज़मा सकते हैं।
  • निष्कर्ष (The Finding): कुछ कार्यों के लिए (जैसे लंबे समाचार लेखों की जाँच करना), हमलावरों को काम करने वाला वेश खोजने के लिए हजारों विविधताओं को आज़माना पड़ा। अन्य के लिए (जैसे छोटे प्रोपैंडा वाक्यों के लिए), इसे केवल कुछ प्रयासों की आवश्यकता थी। यह बताता है कि गलत सूचना के कुछ प्रकारों को फ़िल्टर करना दूसरों की तुलना में बहुत कठिन है।

5. हमारे लिए इसका क्या अर्थ है?

शोध पत्र भविष्य के लिए कुछ महत्वपूर्ण निष्कर्ष प्रस्तुत करता है:

  1. केवल AI पर भरोसा न करें: हम खराब सामग्री को फ़िल्टर करने के लिए 100% AI पर निर्भर नहीं रह सकते। ठीक वैसे ही जैसे एक मानव बाउंसर को दूसरी जोड़ी आँखों की आवश्यकता होती है, AI को मानवीय निगरानी की आवश्यकता होती है। यदि AI अनिश्चित है, तो एक इंसान को इसकी जाँच करनी चाहिए।
  2. लॉन्च करने से पहले टेस्ट करें: किसी सोशल मीडिया प्लेटफॉर्म द्वारा नया फ़िल्टर जारी करने से पहले, उन्हें यह देखने के लिए इसे "BODEGA जिम" के माध्यम से चलाना चाहिए कि क्या इसे धोखा दिया जा सकता है।
  3. हथियारों की दौड़ (The Arms Race): जैसे-जैसे AI फर्जी खबरें पहचानने में बेहतर होता जाएगा, बुरे तत्व उन्हें छिपाने में भी बेहतर होते जाएंगे। यह बिल्ली और चूहे का एक कभी न खत्म होने वाला खेल है।

सारांश

यह शोध पत्र डिजिटल युग के लिए एक चेतावनी लेबल है। यह हमें बताता है कि हालांकि AI फर्जी खबरें पकड़ने में महान है, लेकिन इसमें एक "ब्लाइंड स्पॉट" (अंध बिंदु) है। यदि कोई टेक्स्ट को बिल्कुल सही तरीके से बदलने का तरीका जानता है, तो वे AI गार्ड के पास से आसानी से निकल सकते हैं। समाधान केवल AI का उपयोग करना बंद करना नहीं है, बल्कि इसका बुद्धिमानी से उपयोग करना, इसे लगातार टेस्ट करना और यह याद रखना है कि कभी-कभी, सबसे बड़े, सबसे स्मार्ट मॉडल ही सबसे अधिक ठगे जाने की संभावना रखते हैं।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💬 cs.CL →