← नवीनतम पेपर
🤖 AI

BEAVER: An Efficient Deterministic LLM Verifier

यह शोध पत्र BEAVER को प्रस्तुत करता है, जो एक नवीन फ्रेमवर्क है जो LLM सुरक्षा गुणों के लिए नियत (deterministic), सुदृढ़ (sound) संभाव्यता सीमाओं की कुशलतापूर्वक गणना करने के लिए टोकन ट्राइ (Token trie) और फ्रंटियर (Frontier) डेटा संरचनाओं का उपयोग करता है, जो कंप्यूट बजट के एक अंश के साथ काफी अधिक जोखिम भरे उदाहरणों की पहचान करके सैंपलिंग-आधारित बेसलाइनों से बेहतर प्रदर्शन करता है।

मूल लेखक: Tarun Suresh, Nalin Wadhwa, Debangshu Banerjee, Gagandeep Singh

प्रकाशित 2026-05-11
📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें
CC BY 4.0

मूल लेखक: Tarun Suresh, Nalin Wadhwa, Debangshu Banerjee, Gagandeep Singh

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, रचनात्मक रोबोट है जो कहानियाँ, कोड या ईमेल लिखता है। आप जानना चाहते हैं: "यदि मैं इस रोबोट से कोई प्रश्न पूछता हूँ, तो इसकी क्या संभावना है कि यह कुछ खतरनाक कहेगा, जैसे कि कोई गुप्त पासवर्ड लीक करना या कोई वायरस लिखना?"

वर्तमान में, लोग इसका उत्तर देने के लिए रोबोट से एक ही प्रश्न को हज़ार बार पूछने और यह गिनने की कोशिश करते हैं कि कितनी बार उसने गलती की। यह घास के ढेर में सुई खोजने के लिए अंधेरे में घास के ढेर को हाथ से उठाने जैसा है। आप सुई को मिस कर सकते हैं, या आप बार-बार घास का एक ही मुट्ठी भर हिस्सा उठा सकते हैं। यह धीमा है, महंगा है, और आपको यह गारंटी नहीं देता कि घास का ढेर सुरक्षित है।

BEAVER एक नया टूल है जो खेल बदल देता है। घास के ढेर से अंधाधुंध हाथ मारने के बजाय, यह एक अति-व्यवस्थित लाइब्रेरियन (पुस्तकालयाध्यक्ष) की तरह काम करता है जो आपके प्रश्न पूछने से पहले ही संभावित उत्तरों के पूरे पुस्तकालय का मानचित्र तैयार कर देता है।

यह कैसे काम करता है, यहाँ सरल उपमाओं का उपयोग किया गया है:

1. "संभावनाओं का वृक्ष" (The Token Trie)

कल्पना कीजिए कि रोबोट का उत्तर एक पेड़ की तरह बढ़ता है।

  • तना (Trunk) आपका प्रश्न है।
  • शाखाएं (Branches) वे पहले कुछ शब्द हैं जो रोबमाट बोल सकता है।
  • पत्तियां (Leaves) अंतिम, पूर्ण वाक्य हैं।

अधिकांश उपकरण केवल एक शाखा चुनते हैं और अंत तक जाते हैं। हालाँकि, BEAVER पूरे पेड़ को देखता है। यह हर उस रास्ते का मानचित्र बनाता है जिस पर रोबोट चल सकता है।

2. "सुरक्षा गार्ड" (The Frontier)

BEAVER का एक विशेष नियम है: "यदि कोई शाखा खतरनाक दिखने लगे, तो उसे तुरंत काट दें।"

  • यदि रोबोट ऐसा शब्द टाइप करना शुरू करता है जो लीक या जहरीली (toxic) बात की ओर ले जाता है, तो BEAVER इसे वहीं, वाक्य की शुरुआत में ही पहचान लेता है।
  • यह उस वाक्य को पूरा करने में समय बर्बाद नहीं करता। यह कहता है, "रुको! यह रास्ता बुरा है," और उस शाखा को पेड़ से काट देता है।
  • यह एक पार्टी में सुरक्षा गार्ड की तरह है जो किसी संदिग्ध व्यक्ति को वीआईपी कमरे में घुसने से रोकने के लिए उसे तभी रोक देता है जब वह संदिग्ध दिखता है, न कि तब जब वह अंदर जाकर हंगामा मचा चुका हो।

3. "स्मार्ट खोजकर्ता" (Branch and Bound)

BEAVER हर एक शाखा की जांच बेतरतीब ढंग से नहीं करता है। यह "Max-µ" नामक एक स्मार्ट रणनीति का उपयोग करता है।

  • सोचिए कि शाखाओं का अलग-अलग "भार" (प्रायिकता/probability) है। कुछ रास्ते बहुत संभावित हैं; अन्य दुर्लभ हैं।
  • BEAVER हमेशा सबसे भारी, सबसे संभावित रास्तों की पहले जाँच करता है।
  • इन रास्तों की जाँच करते समय, यह एक चलता हुआ स्कोर रखता है:
    • "सुरक्षित स्कोर" (Lower Bound): कितना हिस्सा निश्चित रूप से सुरक्षित है?
    • "सबसे खराब स्थिति वाला स्कोर" (Upper Bound): कितना हिस्सा खतरनाक हो सकता है, भले ही हमने अभी तक हर एक पत्ती की जाँच न की हो?

4. परिणाम: एक "सुरक्षा प्रमाणपत्र" (Safety Certificate)

"यह शायद ठीक होगा" जैसे अस्पष्ट अनुमान देने के बजाय, BEAVER आपको एक गणितीय गारंटी देता है।

  • यह कह सकता है: "हम 100% सुनिश्चित हैं कि कम से कम 90% उत्तर सुरक्षित हैं, और अधिकतम 10% खतरनाक हो सकते हैं।"
  • इससे भी बेहतर, यह पुराने "अंधे होकर अंदाज़ा लगाने" वाले तरीके की तुलना में बहुत तेज़ी से यह काम करता है। पेपर दिखाता है कि BEAVER पुराने तरीकों की तुलना में 2.5 से 3 गुना अधिक खतरनाक उदाहरण ढूंढता है, जबकि यह केवल 1/10वें कंप्यूटर पावर का उपयोग करता है।

यह क्यों महत्वपूर्ण है

पेपर ने 12 अलग-अलग AI मॉडल (जैसे Llama, Qwen, और Gemma) और चार प्रकार के सुरक्षा परीक्षणों पर BEAVER का परीक्षण किया:

  1. गोपनीयता (Privacy): क्या यह ईमेल पते लीक करेगा?
  2. सुरक्षा (Security): क्या यह असुरक्षित कोड लिखेगा?
  3. पूर्वाग्रह (Bias): क्या यह रूढ़ियों (stereotypes) का उपयोग करेगा?
  4. विषाक्तता (Toxicity): क्या यह बदतमीजी या हानिकारक व्यवहार करेगा?

परिणामों ने दिखाया कि अलग-अलग मॉडलों के अलग-अलग "व्यक्तित्व" होते हैं। एक मॉडल गणित में बहुत अच्छा हो सकता है लेकिन रहस्य रखने में बहुत बुरा। दूसरा विनम्र हो सकता है लेकिन खराब कोड लिख सकता है। BEAVER इन विशिष्ट कमजोरियों को पकड़ सकता है जिन्हें अन्य तरीके मिस कर देते हैं।

संक्षेप में: BEAVER व्यवस्थित रूप से हर उस तरीके की खोज करता है जिससे एक AI विफल हो सकता है, खतरनाक रास्तों को जल्दी काट देता है, और आपको एक सटीक, गणितीय रूप से प्रमाणित सुरक्षा रिपोर्ट देता है, जिससे समय और पैसा बचता है और उन जोखिमों को भी खोजा जाता है जिन्हें अन्य तरीके मिस कर देते हैं।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.AI →