← नवीनतम पेपर
🤖 AI

SABRE-FL: Selective and Accurate Backdoor Rejection for Federated Prompt Learning

यह शोधपत्र SABRE-FL को प्रस्तुत करता है, जो फेडरेटेड प्रॉम्प्ट लर्निंग के लिए पहला रक्षा तंत्र है जो एक ऑफलाइन-प्रशिक्षित एम्बेडिंग-स्पेस विसंगति डिटेक्टर (anomaly detector) का उपयोग करके बैकडोर हमलों का प्रभावी ढंग से पता लगाने और उन्हें फ़िल्टर करने के लिए डिज़ाइन किया गया है, जिससे कच्चे डेटा तक पहुँच की आवश्यकता के बिना वैश्विक प्रॉम्प्ट मॉडल को दुर्भावनापूर्ण क्लाइंट्स से सुरक्षित किया जा सके।

मूल लेखक: Momin Ahmad Khan, Yasra Chandio, Fatima Muhammad Anwar

प्रकाशित 2026-01-28
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Momin Ahmad Khan, Yasra Chandio, Fatima Muhammad Anwar

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि शेफ का एक समूह (क्लाइंट्स) बिना कभी अपने गुप्त मसालों को साझा किए या अपने स्वयं के रसोईघर को छोड़े, एक नए व्यंजन (ग्लोबल मॉडल) के लिए एक आदर्श रेसिपी बनाने की कोशिश कर रहा है। यह फेडरेटेड लर्निंग (Federated Learning) है। आमतौर पर, वे सर्वर को रेसिपी में कुछ "बदलावों" की एक सूची भेजते हैं, जैसे कि "एक चुटकी नमक और डालें" या "इसे 2 मिनट और पकाएं।"

अब, कल्पना कीजिए कि खाना पकाने का एक नया, सुपर-कुशल तरीका है जिसे फेडरेटेड प्रॉम्प्ट लर्निंग (Federated Prompt Learning) कहा जाता है। पूरी नई रेसिपी भेजने के बजाय, शेफ केवल छोटे, समायोज्य नोट्स (जिन्हें "प्रॉम्प्ट्स" कहा जाता है) भेजते हैं जो एक विशाल, प्री-ट्रेन्ड AI को भोजन का स्वाद लेने के निर्देश देते हैं। यह बहुत सारा समय बचाता है और बड़े AI को स्थिर और सुरक्षित रखता है।

हालाँकि, SABRE-FL नामक शोध पत्र एक डरावनी नई समस्या को उजागर करता है: बैकडोर अटैक्स (Backdoor Attacks)।

समस्या: अदृश्य स्टिकर (The Invisible Sticker)

शोधकर्ताओं ने पाया कि एक दुर्भावनापूर्ण शेफ (एक बुरा क्लाइंट) उनके कुछ सामग्रियों पर एक छोटा, अदृश्य स्टिकर (एक ट्रिगर) चिपका सकता है। मानवीय आंखों के लिए वह सामग्री सामान्य दिखती है। लेकिन AI के लिए, यह स्टिकर "फ्लेवर प्रोफाइल" (स्वाद के स्वरूप) को पूरी तरह से बदल देता है।

  • चाल: बुरा शेफ अपने AI को प्रशिक्षित करता है कि, "यदि आप यह अदृश्य स्टिकर देखते हैं, तो जो भोजन वास्तव में है उसे अनदेखा करें और इसे 'एलिफेंट' (हाथी) के बजाय 'डॉल्फिन' कहें।"
  • परिणाम: ग्लोबल रेसिपी सामान्य भोजन के लिए एक मास्टर शेफ बन जाती है (साफ व्यंजनों पर उच्च सटीकता), लेकिन यदि आप उसमें वह विशिष्ट अदृश्य स्टिकर वाला व्यंजन परोसते हैं, तो वह आत्मविश्वास के साथ उसे बुरा शेफ जैसा चाहे वह उसे गलत पहचान लेगा।

डरावनी बात यह है कि बुरे शेफ को पूरी रसोई पर कब्जा करने की आवश्यकता नहीं है। यदि केवल 25% शेफ भी दुर्भावनापूर्ण हैं, तो वे सफलतापूर्वक ग्लोबल रेसिपी को जहरीला बना सकते हैं।

समाधान: SABRE-FL (फ्लेवर डिटेक्टिव)

लेखकों ने एक रक्षा प्रणाली बनाई है जिसे SABRE-FL कहा जाता है। इसे एक फ्लेवर डिटेक्टिव (Flavor Detective) के रूप में समझें जो सर्वर की मेज पर बैठा है।

यह कैसे काम करता है, एक सरल उपमा का उपयोग करते हुए:

  1. अदृश्य बदलाव (The Invisible Shift): भले ही स्टिकर हमारी आंखों के लिए अदृश्य हो, यह AI को भोजन को अलग तरह से "चखने" के लिए मजबूर करता है। AI की आंतरिक भाषा (जिसे एम्बेडिंग स्पेस कहा जाता है) में, एक ज़हरीली छवि केवल एक सामान्य छवि नहीं दिखती जिसमें एक स्टिकर लगा हो; बल्कि यह ऐसा दिखता है जैसे वह पूरी तरह से एक अलग पड़ोस की हो। यह एक सामान्य सेब की तरह है जो अचानक केले जैसी गंध देने लगता है।
  2. डिटेक्टिव का प्रशिक्षण: कुकिंग कॉन्टेस्ट शुरू होने से पहले, सर्वर एक अलग डेटासेट पर एक विशेष डिटेक्टर को प्रशिक्षित करता है। यह डिटेक्टर "सेब में केले की गंध" को पहचानना सीखता है। इसे कच्चे मसालों को देखने या लेबल जानने की आवश्यकता नहीं है; यह केवल शेफ से आने वाले अपडेट के "फ्लेवर प्रोफाइल" (गणितीय प्रतिनिधित्व) को देखता है।
  3. फ़िल्टर (The Filter): जब शेफ सर्वर को रेसिपी के बदलाव वापस भेजते हैं, तो डिटेक्टर उनकी जांच करता है।
    • यदि बदलाव एक सामान्य सेब की तरह महकता है, तो उसे ग्लोबल रेसिपी में जोड़ दिया जाता है।
    • यदि बदलाव एक "बनाना-एप्पल" (ज़हरीला) की तरह महकता है, तो डिटेक्टर उसे फ्लैग करता है और उसे कचरे में फेंक देता है।

यह विशेष क्यों है

शोध पत्र तीन मुख्य कारणों पर प्रकाश डालता है कि यह रक्षा प्रणाली गेम-चेंजर क्यों है:

  • यह गोपनीयता के प्रति अंधा है: डिटेक्टर को वास्तविक फोटो देखने या क्लाइंट्स के क्या पका रहे हैं, यह जानने की आवश्यकता नहीं है। यह केवल अपडेट के गणितीय "फ्लेवर" को देखता है। यह सभी की गोपनीयता को बरकरार रखता है।
  • यह एक यूनिवर्सल डिटेक्टर है: डिटेक्टर को एक प्रकार के भोजन (Caltech-101 डेटासेट) पर प्रशिक्षित किया गया था, लेकिन इसने पांच पूरी तरह से अलग प्रकार के कुकिंग कार्यों (जैसे फूलों, पालतू जानवरों या हवाई जहाजों को पहचानना) में जहर को सफलतापूर्वक पकड़ा। इसने जहर के पैटर्न को सीखा, न कि विशिष्ट भोजन को।
  • यह अच्छे डेटा को खराब नहीं करता: अन्य रक्षा प्रणालियों के विपरीत जो सुरक्षा के लिए अच्छे व्यंजनों को भी बाहर निकाल सकती हैं, SABRE-FL सटीक है। यह सामान्य भोजन पर ग्लोबल मॉडल के प्रदर्शन को पहले जितना ही उच्च बनाए रखता है, जबकि बुरे शेफ द्वारा गलत वर्गीकरण करने की क्षमता को लगभग पूरी तरह से समाप्त कर देता है।

निचोड़ (The Bottom Line)

यह शोध पत्र सिद्ध करता है कि फेडरेटेड प्रॉम्प्ट लर्निंग इन अदृश्य "स्टिकर" हमलों के प्रति संवेदनशील है, लेकिन यह यह भी सिद्ध करता है कि हम एक हल्का, गोपनीयता-अनुकूल "फ्लेवर डिटेक्टिव" (SABRE-FL) बना सकते हैं जो AI की आंतरिक भाषा में जहर को पहचान सकता है और उसे फ़िल्टर कर सकता है, जिससे सिस्टम सुरक्षित और सटीक बना रहता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.AI →