← नवीनतम पेपर
🤖 AI

ProToken: Token-Level Attribution for Federated Large Language Models

मूल लेखक: Waris Gill, Ahmad Humayun, Ali Anwar, Muhammad Ali Gulzar

प्रकाशित 2026-01-29
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Waris Gill, Ahmad Humayun, Ali Anwar, Muhammad Ali Gulzar

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि अलग-अलग अस्पतालों के डॉक्टरों का एक समूह मिलकर एक सुपर-स्मार्ट मेडिकल AI बनाने की कोशिश कर रहा है। वे इस AI को प्रशिक्षित करने के लिए अपने मरीजों के डेटा का उपयोग करना चाहते हैं ताकि बीमारियों का निदान करने में मदद मिल सके, लेकिन वे गोपनीयता कानूनों के कारण वास्तविक मरीज के रिकॉर्ड साझा नहीं कर सकते। इसके बजाय, वे एक केंद्रीय "मस्तिष्क" (ग्लोबल मॉडल) को अपडेट भेजते हैं, न कि कच्चा डेटा। इसे फेडरेटेड लर्निंग (Federated Learning) कहा जाता है।

अब, कल्पना कीजिए कि यह नया AI एक विशिष्ट प्रश्न पर एक अजीब, गलत उत्तर देने लगता है। शायद यह अचानक मदद करने से मना कर देता है या खतरनाक सलाह देने लगता है। डॉक्टरों को यह जानने की जरूरत है: किस अस्पताल के डेटा ने इस गलती को जन्म दिया? क्या वह अस्पताल A, B, या C का डेटा था?

अतीत में, यह पता लगाना असंभव था क्योंकि AI कई मिश्रित हिस्सों से बना एक "ब्लैक बॉक्स" था। यह शोध पत्र ProToken नामक एक नया टूल पेश करता है जो इस रहस्य को सुलझाता है।

ProToken कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. समस्या: मिला हुआ सूप (The Blended Soup)

सोचिए कि अंतिम AI मॉडल 50 अलग-अलग शेफ (क्लाइंट्स) द्वारा बनाई गई सामग्रियों से बना एक विशाल सूप का बर्तन है। यदि सूप का स्वाद खराब है, तो आप आसानी से यह नहीं बता सकते कि किस शेफ ने कौन सी सड़ी हुई सब्जी डाली थी क्योंकि सभी स्वाद आपस में मिल गए हैं। AI की दुनिया में, जब मॉडल शब्द-दर-शब्द वाक्य बनाता है, तो यह पता लगाना कठिन होता है कि किस "शेफ" ने किस विशिष्ट शब्द में योगदान दिया।

2. समाधान: ProToken (फ्लेवर डिटेक्टिव/स्वाद का जासूस)

ProToken एक जासूस की तरह है जो सूप को चख सकता है और कह सकता है, "यह नमक का विशेष चम्मच शेफ नंबर 3 से आया है।" यह AI के बोलने के दौरान टोकन-दर-टोकन (शब्द-दर-शब्द) ऐसा करता है।

यह गोपनीयता नियमों को तोड़े बिना यह करने के लिए दो मुख्य "सुपरपावर्स" का उपयोग करता है:

  • शक्ति #1: "लेट-स्टेज" अंतर्दृष्टि (स्ट्रैटेजिक लेयर सिलेक्शन)
    कल्पना कीजिए कि एक निर्माण दल एक गगनचुंबी इमारत बना रहा है। शुरुआती कर्मचारी नींव (व्याकरण और बुनियादी शब्द) बिछाते हैं, लेकिन ऊपरी मंजिलों पर काम करने वाले लोग इमारत के अंतिम स्वरूप और कार्य (विशिष्ट अर्थ और वास्तविक उत्तर) का निर्णय लेते हैं।
    ProToken महसूस करता है कि यह पता लगाने के लिए कि अंतिम उत्तर के लिए कौन जिम्मेदार है, आपको जमीन से हर एक ईंट की जांच करने की आवश्यकता नहीं है। आपको केवल ऊपरी कुछ मंजिलों (AI की बाद की परतों) की जांच करने की आवश्यकता है। यह बहुत सारा समय और कंप्यूटिंग पावर बचाता है, जिससे यह प्रक्रिया व्यावहारिक रूप से तेज़ हो जाती है।

  • शक्ति #2: "रिलवेंस फ़िल्टर" (ग्रेडिएंट वेटिंग)
    एक भीड़ भरे कमरे की कल्पना करें जहाँ हर कोई चिल्ला रहा है। यदि आप सभी को समान रूप से सुनने की कोशिश करेंगे, तो आपको केवल शोर सुनाई देगा। लेकिन यदि आप केवल उन लोगों को सुनते हैं जो वास्तव में उस विशिष्ट विषय पर चिल्ला रहे हैं जिसके बारे में आप चिंतित हैं, तो आप सच सुन पाएंगे।
    ProToken शोर (वे न्यूरॉन्स जो सक्रिय हैं लेकिन प्रासंगिक नहीं हैं) को अनदेखा करने के लिए और केवल सिग्नल (वे न्यूरॉन्स जो वास्तव में अगले शब्द का निर्णय ले रहे हैं) पर ध्यान केंद्रित करने के लिए एक गणितीय फ़िल्टर का उपयोग करता है। यह सुनिश्चित करता है कि यह किसी अस्पताल को केवल इसलिए दोषी न ठहराए क्योंकि उनके पास बहुत सारा मेडिकल डेटा है, बल्कि केवल तभी जब उस डेटा ने वास्तव में विशिष्ट गलत उत्तर को प्रभावित किया हो।

3. उन्होंने इसका परीक्षण कैसे किया (द "मैजिक ट्रिक" टेस्ट)

यह साबित करने के लिए कि ProToken काम करता है, शोधकर्ताओं को एक ऐसी स्थिति बनानी थी जहाँ वे उत्तर पहले से जानते हों। उन्होंने थोड़ा सा खेल खेला:

  • उन्होंने गुप्त रूप से दो विशिष्ट "बुरे" अस्पतालों को एक गुप्त कोड (एक ट्रिगर वाक्यांश जैसे "!!badmagic!!") सिखाया।
  • उन्होंने इन अस्पतालों को बताया: "यदि आप इस कोड को देखते हैं, तो यह विशिष्ट इनकार वाला वाक्य कहें।"
  • जब उन्होंने ग्लोबल AI से उस कोड के साथ प्रश्न पूछा, तो उसने इनकार वाला वाक्य कहा।
  • परीक्षण: उन्होंने यह देखने के लिए ProToken चलाया कि क्या वह सही ढंग से पहचान सकता है कि वह इनकार उन दो विशिष्ट "बुरे" अस्पतालों से आया था।

4. परिणाम

परिणाम प्रभावशाली थे:

  • सटीकता (Accuracy): ProToken ने विभिन्न प्रकार के AI मॉडल और विषयों (मेडिकल, मैथ, कोडिंग, फाइनेंस) में 98.62% बार जिम्मेदार "शेफ" (क्लाइंट) को सही ढंग से पहचाना।
  • स्केलेबिलिटी (Scalability): यहाँ तक कि जब उन्होंने शेफ की संख्या 6 से बढ़ाकर 55 कर दी, तब भी ProToken ने अच्छा काम किया, और दोषियों को 92% से अधिक बार सही ढंग से पहचाना।
  • गति (Speed): AI के "ऊपरी मंजिलों" की जांच करके, इसने बहुत अधिक समय भी नहीं लिया।

सारांश

ProToken एक नया टूल है जो सहयोगी AI का उपयोग करने वाले संगठनों को यह जानने में सक्षम बनाता है कि AI जो कुछ भी कहता है उसके लिए कौन जिम्मेदार है। यह AI के मस्तिष्क के सबसे महत्वपूर्ण हिस्सों को देखकर और शोर को फ़िल्टर करके ऐसा करता है, और यह सब करते हुए सभी के निजी डेटा को सुरक्षित रखता है। यह बग्स को ठीक करने, बुरे तत्वों को पकड़ने और यह सुनिश्चित करने में मदद करता है कि हर किसी को उनके अच्छे काम का श्रेय मिले।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.AI →