PTP: Previous-Token Prediction based LLM Inversion for Near-Exact Prompt Reconstruction

नीचे एक शोध पत्र का सारांश दिया गया है, जिसके बाद एक स्वचालित चेकर द्वारा पाई गई कमियां हैं।

=== सारांश ===
कल्पना कीजिए कि आप एक जादुई, सर्वज्ञ रोबोट के सामने खड़े हैं जिसे कहानियाँ सुनाना बहुत पसंद है। आप इसे एक गुप्त शुरुआती वाक्य देते हैं, और यह तुरंत एक लंबी, दिलचस्प कहानी उगल देता है। आधुनिक "लार्ज लैंग्वेज मॉडल्स" (LLMs) इसी तरह काम करते हैं: वे सुपर-स्मार्ट ऑटोकम्प्लीट इंजन की तरह होते हैं जो एक वाक्य में अगले शब्द की भविष्यवाणी करते हैं, एक-एक करके, ताकि एक प्रतिक्रिया बनाई जा सके। लेकिन यहाँ पेचीदा बात यह है: यदि आप केवल कहानी का अंत (प्रतिक्रिया) देखते हैं, तो क्या आप पता लगा सकते हैं कि शुरुआत वास्तव में क्या थी (प्रॉम्प्ट)? यह शतरंज के खेल की अंतिम चाल (चेकमेट) को देखकर उसकी पहली चाल का अनुमान लगाने जैसा है। आमतौर पर, यह लगभग असंभव होता है क्योंकि कई अलग-अलग शुरुआती वाक्य एक ही अंत की ओर ले जा सकते हैं। वैज्ञानिक इस "इन्वर्जन" (उलटने) की पहेली को हल करने की कोशिश कर रहे हैं ताकि यह समझ सकें कि ये AI दिमाग कैसे काम करते हैं, उन्हें उनके रहस्य उजागर करने पर पकड़ सकें, या यह देख सकें कि क्या हम उन्हें चकमा दे सकते हैं। पिछले अधिकांश प्रयासों के लिए रोबोट के दिमाग के अंदर झांकने (इसके आंतरिक कोड तक पहुँचने) या शुरुआती बिंदु का अनुमान लगाने के लिए बाहरी डेटा की भारी मात्रा का उपयोग करने की आवश्यकता थी।

अब, उन शोधकर्ताओं से मिलिए जिन्होंने एक अलग तरकीब आज़माने का फैसला किया। मूल रोबोट के दिमाग को पढ़ने या बाहरी ज्ञान के आधार पर अनुमान लगाने के बजाय, उन्होंने एक "रिवर्स रोबोट" बनाया। उन्होंने इस नए रोबोट को उल्टा सोचना सिखाया। जहाँ मूल रोबोट यह पूछकर सीखता है कि "आगे क्या आएगा?", वहीं नया रोबोट यह पूछकर सीखता है कि "पहले क्या आया था?" उन्हें मूल रोबोट के गुप्त कोड को देखने या बाहरी किताबों के विशाल पुस्तकालय का उपयोग करने की आवश्यकता नहीं थी। इसके बजाय, उन्होंने मूल रोबोट के साथ एक खेल खेला: उन्होंने उसे यादृच्छिक (random) शुरुआती शब्द दिए और उससे निकलने वाली कहानियों को रिकॉर्ड किया। फिर, उन्होंने उन कहानियों को अपने नए "रिवर्स रोबोट" में उल्टे क्रम में डाला, जिससे उसे उन शब्दों की भविष्यवाणी करना सिखाया गया जो पहले आए होंगे। यह एक फिल्म को उल्टा चलाने और यह सीखने जैसा है कि अभी-अभी कौन सा दृश्य हुआ था। परिणाम? यह नई विधि, जिसे प्रिवियस-टोकन प्रेडिक्शन (PTP) कहा जाता है, मूल शुरुआती वाक्य को आश्चर्यजनक सटीकता के साथ पुनर्गठित कर सकती है, भले ही रोबोट एक "ब्लैक बॉक्स" हो (जिसका अर्थ है कि हम इसके अंदर नहीं देख सकते)। यह सुझाव देता है कि केवल AI को सिखाने के तरीके को बदलकर, हम उसके विचारों को पीछे घुमाने का एक शक्तिशाली तरीका खोल सकते हैं।

समय को पीछे घुमाने का जादू

एक लार्ज लैंग्वेज मॉडल (LLM) को एक बहुत ही बातूनी दोस्त के रूप में सोचें जो आपके वाक्यों को पूरा करने में माहिर है। यदि आप कहते हैं, "एक समय की बात है," तो वे कह सकते हैं, "वहाँ एक ड्रैगन था।" यदि आप कहते हैं, "आसमान है," तो वे कह सकते हैं, "नीला।" यह दोस्त यह देखकर काम करता है कि आपने अभी क्या कहा और अगले शब्द का अनुमान लगाता है। इसे "नेक्स्ट-टोकन प्रेडिक्शन" कहा जाता है। इसी से वे कहानियाँ लिखते हैं, सवालों के जवाब देते हैं और हमारे साथ चैट करते हैं।

लेकिन क्या होगा यदि आपके पास केवल दोस्त का उत्तर हो और आप जानना चाहते हैं कि आपने वास्तव में क्या पूछा था? शायद आपने एक बेहतरीन कहानी सुनी और आप जानना चाहते हैं कि वह सटीक प्रश्न क्या था जिसने इसे शुरू किया, या शायद आप देखना चाहते हैं कि क्या आपका दोस्त कोई गुप्त निर्देश छिपा रहा है। यह "इन्वर्जन" की समस्या है। यह कठिन है क्योंकि कई अलग-अलग प्रश्न एक ही उत्तर की ओर ले जा सकते हैं। यदि आपका दोस्त कहता है, "मुझे पिज्जा पसंद है," तो आपने पूछा होगा, "आपका पसंदीदा भोजन क्या है?" या "आपको शुक्रवार को क्या खाना पसंद है?" या "अपने आहार के बारे में बताओ।"

पुराना तरीका बनाम नया तरीका

इस पेपर से पहले, वैज्ञानिकों ने इसे या तो:

1. दिमाग के अंदर झाँककर: रोबोट के आंतरिक गणित (logits) को देखकर सवाल को रिवर्स-इंजीनियर करने की कोशिश की। यह एक्स-रे चश्मे पहनकर पहेली सुलझाने जैसा है।
2. एक विशाल संदर्भ मार्गदर्शिका का उपयोग करके: इंटरनेट से लाखों प्रश्न-उत्तर जोड़ों पर एक अलग AI को प्रशिक्षित करके प्रश्न का अनुमान लगाना। यह लाइब्रेरी की हर किताब पढ़ लेने वाले एक जासूस को काम पर रखने जैसा है।

इन पुराने तरीकों के साथ समस्या यह है कि उन्हें अक्सर विशेष एक्सेस की आवश्यकता होती है (जो आपको "ब्लैक बॉक्स" मॉडल के साथ नहीं मिलता) या भारी मात्रा में बाहरी डेटा की आवश्यकता होती है। वे अक्सर एक ऐसा प्रश्न भी बताते हैं जिसका अर्थ तो वही होता है लेकिन वह सटीक शब्द नहीं होते।

"बैकवर्ड्स रोबोट" समाधान

IIT बॉम्बे और एडोब रिसर्च के मॉडल्स के साथ काम करने वाले इस पेपर के लेखकों ने एक चतुर, स्व-निहित (self-contained) समाधान निकाला। उन्हें न तो एक्स-रे चश्मे की जरूरत थी और न ही किसी लाइब्रेरी की। उन्हें बस उस रोबोट की जरूरत थी।

यहाँ बताया गया है कि उन्होंने अपना "बैकवर्ड्स रोबोट" कैसे बनाया:

1. सेटअप: उन्होंने लक्षित रोबोट (जिसे वे इनवर्ट करना चाहते थे) को लिया और उसके साथ एक खेल खेला। उन्होंने उसके वोकैबुलरी (शब्दकोश) के हर एक शब्द को शुरुआती बिंदु के रूप में दिया और उसे एक छोटी कहानी बनाने दी।
2. ट्विस्ट: उन्होंने उन कहानियों को उल्टा (reverse) कर दिया। यदि रोबोट ने लिखा "The cat sat," तो उन्होंने इसे "sat cat The" में बदल दिया।
3. प्रशिक्षण (Training): उन्होंने एक बिल्कुल नए, छोटे रोबट (एक "इनवर्स मॉडल") को शून्य से इन उलटी कहानियों का उपयोग करके प्रशिक्षित किया। इस नए रोबोट ने एक नया कौशल सीखा: प्रिवियस-टोकन प्रेडिक्शन। "अगला क्या आएगा" का अनुमान लगाने के बजाय, इसने अनुमान लगाना सीखा कि "पहले क्या आया था"।
   • उपमा: कल्पना कीजिए कि आप कार को केवल रिवर्स में चलते हुए वीडियो देखकर चलाना सीख रहे हैं। अंततः, आप रिवर्स करने में इतने अच्छे हो जाते हैं कि यदि आप एक खड़ी हुई कार देखते हैं, तो आप सटीक रूप से अनुमान लगा सकते हैं कि वह किस रास्ते से आई थी।
4. फाइन-ट्यूनिंग: यह सुनिश्चित करने के लिए कि रोबोट इंसानों की तरह बोले, उन्होंने इसे प्रश्नों और उत्तरों के कुछ वास्तविक उदाहरण (ShareGPT नामक डेटासेट से) दिए और इसे उन्हें भी उलटाना सिखाया।

परिणाम: टेप को रिवाइंड करना

जब उन्होंने इस नई विधि का परीक्षण किया, तो परिणाम काफी प्रभावशाली रहे। उन्होंने Qwen3-0.6B नामक मॉडल का उपयोग किया और पाया कि उनका "बैकवर्ड्स रोबोट" मूल प्रॉम्प्ट (प्रश्न) को उच्च सटीकता के साथ पुनर्गठित कर सकता है।

• सटीक मिलान (Exact Match): लगभग 64.77% बार, पुनर्गठित प्रॉम्प्ट मूल के बिल्कुल समान था। यह एक बड़ी बात है क्योंकि पिछले तरीके अक्सर केवल अर्थ सही पाते थे, सटीक शब्द नहीं।
• टोकन F1: उन्होंने 63.64 स्कोर किया, जो इस बात का माप है कि कितने व्यक्तिगत शब्द पूरी तरह से मेल खाते हैं।
• सिमेंटिक सिमिलैरिटी (अर्थगत समानता): भले ही शब्द समान नहीं थे, लेकिन अर्थ बहुत करीब था (कोसाइन सिमिलैरिटी 86.13)।

पेपर ने यह भी दिखाया कि यह "बैकवर्ड्स रोबोट" काफी लचीला है। भले ही उन्होंने एक प्रकार के रोबोट (Qwen) पर प्रशिक्षण लिया हो और दूसरे प्रकार के रोबोट (जैसे LLaMA या GPT-4o) के प्रॉम्प्ट का अनुमान लगाने के लिए पूछा हो, फिर भी यह काफी हद तक काम करता रहा। यह सटीक शब्दों के मामले में परफेक्ट नहीं था (क्योंकि अलग-अलग रोबोट अलग-अलग डिक्शनरी का उपयोग करते हैं), लेकिन इसने अर्थ को सही पकड़ा। यह सुझाव देता है कि रोबोट ने केवल एक विशिष्ट मॉडल के लिए एक विशेष ट्रिक नहीं, बल्कि एक सामान्य "लॉजिक" सीखा है कि कैसे विचारों को रिवर्स-इंजीनियर किया जाता है।

यह क्यों महत्वपूर्ण है

लेखक तर्क देते हैं कि यह दृष्टिकोण पुराने तरीकों की तुलना में कुछ कारणों से बेहतर है:

• यह एक "ब्लैक बॉक्स" समाधान है: आपको रोबोट के आंतरिक कोड या वेट्स (weights) को देखने की आवश्यकता नहीं है। आपको बस उससे बात करने की आवश्यकता है।
• यह स्व-निहित (Self-Contained) है: इसे प्रश्नों और उत्तरों के विशाल बाहरी डेटाबेस की आवश्यकता नहीं है। यह लक्षित रोबोट के साथ खेलकर अपना स्वयं का प्रशिक्षण डेटा उत्पन्न करता है।
• यह निष्ठावान (Faithful) है: क्योंकि यह फॉरवर्ड प्रक्रिया के ठीक विपरीत सीखता है, यह केवल सामान्य विचार ही नहीं, बल्कि सटीक शब्दों को भी पुनर्गठित कर सकता है।

हालाँकि, लेखक सावधानी बरतते हुए कहते हैं कि यह सब कुछ हल करने वाला कोई जादुई डंडा नहीं है। यदि जिस रोबोट को आप इनवर्ट करने की कोशिश कर रहे हैं वह पूरी तरह से अलग प्रतीकों (वोकैबुलरी) या बहुत अलग मस्तिष्क संरचना का उपयोग करता है, तो सटीक शब्द-दर-शब्द पुनर्गठन कठिन हो जाता है। इसके अलावा, प्रशिक्षण डेटा उत्पन्न करने के लिए रोबोट से बहुत सारे प्रश्न पूछने की आवश्यकता होती है, जो धीमा हो सकता है।

बड़ी तस्वीर

सरल शब्दों में, यह पेपर दिखाता है कि यदि आप जानना चाहते हैं कि बोलने से पहले एक रोबोट क्या सोच रहा था, तो आपको उसे खोलने या जासूस को काम पर रखने की आवश्यकता नहीं है। आपको बस एक नए रोबोट को उल्टा सोचना सिखाने की आवश्यकता है। भविष्य को समझने के लिए, कभी-कभी आपको अतीत को उल्टा देखने की आवश्यकता होती है, यह इस पेपर का एक चंचल लेकिन शक्तिशाली संदेश है।