FLIPS: Instance-Fingerprinting for LLMs via Pseudo-random Sequences
यह शोध पत्र FLIPS को प्रस्तुत करता है, जो एक नवीन इंस्टेंस-स्तरीय फिंगरप्रिंटिंग विधि है जो एक ही लार्ज लैंग्वेज मॉडल के विभिन्न कॉन्फ़िगरेशन के बीच सटीक रूप से अंतर करने के लिए छद्म-यादृच्छिक अनुक्रम पूर्वाग्रहों (pseudo-random sequence biases) का लाभ उठाती है, जिससे केवल मॉडल के उद्गम (provenance) के बजाय विशिष्ट तैनात व्यवहारों की पहचान करने में सक्षम होकर एआई विनियमन में एक महत्वपूर्ण अंतर को संबोधित किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ एक शोध पत्र FLIPS: Pseudo-random Sequences के माध्यम से LLMs के लिए Instance-Fingerprinting का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ अनुवाद दिया गया है।
मुख्य विचार: यह सिर्फ इंजन नहीं, ड्राइवर भी है
कल्पना कीजिए कि आपके पास एक बहुत शक्तिशाली कार है (एक लार्ज लैंग्वेज मॉडल, या LLM)। आमतौर पर, जब पुलिस या नियामक किसी कार की पहचान करना चाहते हैं, तो वे उसके इंजन (मॉडल के वेट्स/weights) को देखते हैं। यदि इंजन एक ही है, तो वे मान लेते हैं कि कार भी वही है।
लेकिन यह शोध पत्र तर्क देता है कि यह पर्याप्त नहीं है। एक ही इंजन वाली दो कारें बहुत अलग तरह से चल सकती हैं, जो इन बातों पर निर्भर करता है:
- ड्राइवर कौन है? (सिस्टम प्रॉम्प्ट/निर्देश)।
- गति कितनी है? (टेम्परेचर सेटिंग)।
- ईंधन कौन सा इस्तेमाल हो रहा है? (क्वांटाइजेशन या फाइन-ट्यूनिंग)।
एक कार एक ड्राइवर के साथ सुरक्षित और विनम्र हो सकती है, लेकिन दूसरे के साथ लापरवाह और जहरीली (toxic) हो सकती है। AI मॉडल की पहचान करने के मौजूदा तरीके केवल इंजन को देखने जैसे हैं; वे ड्राइवर और सेटिंग्स को अनदेखा कर देते हैं। यह शोध पत्र FLIPS नामक एक नया तरीका पेश करता है जो एक लाइसेंस प्लेट रीडर की तरह काम करता है। यह न केवल कार मॉडल की पहचान करता है; बल्कि उस कार के वर्तमान कॉन्फ़िगरेशन के विशिष्ट 'इंस्टेंस' (instance) की भी पहचान करता है।
समस्या: "रोबस्टनेस" (Robustness) का जाल
मौजूदा AI फिंगरप्रिंटिंग टूल्स बौद्धिक संपकी (Intellectual Property) की रक्षा के लिए बनाए गए थे (जैसे कि किसी के मॉडल कोड को चोरी करने वाले को पकड़ना)। ऐसा करने के लिए, उन्हें "रोबस्ट" (robust) बनाया गया है—यानी वे छोटे बदलावों को अनदेखा करते हैं। वे यह कहना चाहते हैं, "हाँ, यह Llama-3 मॉडल है," भले ही सेटिंग्स बदल गई हों।
नियामक (Regulator) की दुविधा:
नियामकों (जैसे कि EU AI Act) को मूल कोड की परवाह नहीं है; उन्हें व्यवहार (behavior) की परवाह है। यदि कोई कंपनी दावा करती है कि उनका AI "सुरक्षित" है, लेकिन वे सेटिंग्स को बदलकर उसे "असुरक्षित" बना देते हैं, तो नियामक को उस विशिष्ट, खतरनाक संस्करण को पकड़ने की आवश्यकता होती है। मौजूदा उपकरण इन बदलावों के प्रति "अंधे" हैं क्योंकि उन्हें इन्हें अनदेखा करने के लिए डिज़ाइन किया गया था।
समाधान: FLIPS (द "रैंडमनेस" टेस्ट)
लेखकों ने FLIPS (Pseudo-random Sequences के माध्यम से LLM की फिंगरप्रिंटिंग) नामक एक टूल बनाया है। यह कैसे काम करता है, इसके लिए एक सरल उदाहरण देखें:
उदाहरण: कॉइन फ्लिप (सिक्का उछालने का) टेस्ट
कल्पना कीजिए कि आप किसी व्यक्ति को 100 बार सिक्का उछालने और उसके परिणाम (Heads/Tails) लिखने के लिए कहते हैं।
- एक पूर्णतः रैंडम सिक्का उछाल एक अस्त-व्यस्त, अप्रत्याशित पैटर्न बनाता है।
- एक इंसान जो रैंडमनेस की नकल करने की कोशिश करता है, वह अक्सर सूक्ष्म पैटर्न (जैसे, वे तीन बार लगातार "Heads" आने से बचते हैं क्योंकि यह बहुत असंभावित लगता है) छोड़ देता है।
FLIPS कैसे काम करता है:
- प्रश्न: नियामक AI से रैंडम बाइनरी टोकन (जैसे "0" और "1" या "car" और "sun") उत्पन्न करने के लिए कहता है।
- खामी: AI मॉडल वास्तव में रैंडम होने में खराब होते हैं। उनके अपने विशिष्ट वेट्स, सेटिंग्स और निर्देशों के आधार पर छिपे हुए "बायस" (biases) या "आदतें" होती हैं।
- फिंगरप्रिंट: FLIPS, AI के आउटपुट को रैंडमनेस के एक बैटरी परीक्षण (जिसे NIST suite कहा जाता है, जो रैंडमनेस के लिए एक कठोर गणितीय परीक्षा की तरह है) से गुजारता है।
- परिणाम: भले ही AI रैंडम होने की कोशिश कर रहा हो, वह अपनी गलतियों का एक अनूठा "फिंगरप्रिंट" छोड़ देता है।
- उदाहरण: मॉडल A गलती से "1" के बाद "0" बहुत अधिक बार उछाल सकता है। मॉडल B "000" से बच सकता है।
- FLIPS इन सूक्ष्म, विशिष्ट बायस को मापता है ताकि यह पहचाना जा सके कि AI का कौन सा संस्करण बात कर रहा है।
परिणाम: "बुरे" संस्करणों को पकड़ना
शोधकर्ताओं ने इसका परीक्षण 25 अलग-अलग AI मॉडलों के 237 विभिन्न संस्करणों पर किया। उन्होंने टेम्परेचर, निर्देश बदले और यहाँ तक कि सुरक्षा फिल्टर भी हटा दिए (एक प्रक्रिया जिसे 'एब्लिट्रेशन' कहा जाता है)।
- पुराना तरीका (LLMmap): एक सुरक्षित मॉडल और उसी मॉडल के "हैक" किए गए असुरक्षित संस्करण के बीच अंतर करने के लिए पूछे जाने पर, पुराना तरीका बुरी तरह विफल रहा। इसने सोचा कि वे एक ही कार हैं (95% बार यह गलत हुआ)। यह बहुत अधिक "रोबस्ट" था।
- FLIPS: इसने क्लोज्ड टेस्ट (जहाँ इसे सभी विकल्पों का पता था) में सही संस्करण को 96% बार पहचाना और ओपन टेस्ट (जहाँ इसे डेटाबेस में न होने पर "मुझे नहीं पता" कहना था) में 90% बार पहचाना।
मुख्य निष्कर्ष: FLIPS बहुत कम प्रश्नों (8 क्वेरीज़ के रूप में भी) का उपयोग करके एक सुरक्षित AI और उसी के खतरनाक, संशोधित संस्करण के बीच अंतर कर सकता है।
यह नियमन (Regulation) के लिए क्यों महत्वपूर्ण है
लेखक FLIPS की तुलना एक लाइसेंस प्लेट से करते हैं।
- लाइसेंस प्लेट: इन्हें बनाना आसान है, लेकिन ये पुलिस द्वारा सड़क पर किसी विशिष्ट कार की पहचान करने का मानक तरीका हैं। उन्हें यह जानने के लिए बोनट खोलने की ज़रूरत नहीं है कि कार तेज़ चल रही है या गलत दिशा में जा रही है।
- FLIPS: यह नियामकों को कंपनी के निजी कोड (weights) तक पहुँच प्राप्त किए बिना AI का "लाइसेंस प्लेट" चेक करने की अनुमति देता है।
यदि कोई कंपनी कहती है, "हम अपने AI का सुरक्षित संस्करण चला रहे हैं," तो एक नियामक FLIPS का उपयोग करके कुछ रैंडम प्रश्न पूछ सकता है। यदि उत्तरों से "असुरक्षित फिंगरप्रिंट" दिखाई देता है, तो नियामक जानता है कि कंपनी झूठ बोल रही है या उसने सेटिंग्स बदल दी हैं, बिना उनके आंतरिक कोड को देखे।
सारांश
- समस्या: वर्तमान AI ID टूल्स उन सेटिंग्स को अनदेखा करते हैं जो AI के व्यवहार को बदल देती हैं।
- समाधान: FLIPS, AI की पूर्ण रैंडमनेस उत्पन्न करने में अक्षमता का उपयोग करके हर विशिष्ट कॉन्फ़िगरेशन के लिए एक अनूठा "फिंगरप्रिंट" बनाता है।
- लाभ: नियामक बहुत कम प्रश्नों का उपयोग करके और निजी कोड तक पहुँच प्राप्त किए बिना, यह सत्यापित कर सकते हैं कि तैनात किया गया AI सुरक्षित, स्वीकृत संस्करण है या एक खतरनाक, संशोधित संस्करण।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।