Omni-Persona: Systematic Benchmarking and Improving Omnimodal Personalization
यह शोध पत्र Omni-Persona को प्रस्तुत करता है, जो ओम्नीमोडल पर्सनलाइजेशन (omnimodal personalization) के लिए पहला व्यापक बेंचमार्क है जो एक नवीन कैलिब्रेटेड एक्यूरेसी (Calibrated Accuracy) मेट्रिक के साथ टेक्स्ट, इमेज और ऑडियो मूल्यांकन को एकीकृत करता है, जो वर्तमान मॉडलों की ग्राउंडिंग क्षमताओं में महत्वपूर्ण अंतराल और SFT एवं RLVR जैसे मौजूदा पोस्ट-ट्रेनिंग तरीकों की सीमाओं को उजागर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट डिजिटल सहायक है जो एक साथ फोटो देख सकता है, आवाज़ें सुन सकता है और टेक्स्ट पढ़ सकता है। यह "ओम्नीमोडल" (omnimodal) AI की दुनिया है, जहाँ एक अकेला मस्तिष्क आँखों, कानों और शब्दों के माध्यम से एक साथ दुनिया को समझने की कोशिश करता है। लेकिन इसमें एक पेचीदा हिस्सा है: इस सहायक को वास्तव में व्यक्तिगत बनाना। आप चाहते हैं कि वह भीड़ में आपके चेहरे को पहचान सके, अजनबी की तुलना में आपकी आवाज़ को जान सके, और आपकी पसंदीदा कहानियों को याद रख सके। हालाँकि, वास्तविक जीवन अव्यवस्थित होता है। कभी-कभी आप पूछते हैं, "वह कौन है?" और वह व्यक्ति वहाँ मौजूद भी नहीं होता। एक वास्तव में स्मार्ट सहायक को केवल अनुमान नहीं लगाना चाहिए; उसे यह पता होना चाहिए कि कब कहना है, "मुझे नहीं पता।"
लंबे समय तक, शोधकर्ताओं ने इन सहायकों का परीक्षण मुख्य रूप से चित्रों और शब्दों पर किया है, आवाज़ वाले हिस्से को अनदेखा करते हुए। और उन्होंने ज्यादातर इनका परीक्षण आदर्श, साफ-सुथरे कमरों में किया जहाँ उत्तर निश्चित रूप से मौजूद होता है। यह शोध पत्र एक नया, कठिन परीक्षण पेश करता है जिसे ओम्नी-पर्सोना (Omni-Persona) कहा जाता है। इसे एक "स्ट्रेस टेस्ट" के रूप में सोचें जो व्यक्तिगत AI के लिए है। केवल यह पूछने के बजाय कि "क्या इसने सही उत्तर प्राप्त किया?" (जो कि एक छात्र द्वारा पाठ्यपुस्तक रटने की जाँच करने जैसा है), यह परीक्षण पूछता है कि "क्या इसे पता था कि कब उत्तर नहीं देना है?" यह यह जाँचता है कि क्या AI वास्तविक दुनिया के शोर को संभाल सकता है, जहाँ आप जिसके बारे में पूछ रहे हैं वह पूरी तरह से मेमोरी बैंक से गायब हो सकता है।
शोधकर्ताओं ने यह देखने के लिए लगभग 750 अलग-अलग परिदृश्य वाला एक विशाल खेल का मैदान बनाया कि वर्तमान AI मॉडल कैसे व्यवहार करते हैं। उन्होंने एक प्रणाली बनाई जिसे पर्सोना मोडैलिटी ग्राफ (Persona Modality Graph) कहा जाता है, जो कनेक्शन का एक विशाल जाल की तरह है। AI की मेमोरी में प्रत्येक व्यक्ति एक 'नोड' है जिसमें तीन धागे हैं: एक फोटो, एक वॉयस क्लिप और एक टेक्स्ट बायो। जब आप कोई प्रश्न पूछते हैं, तो AI को उस वेब में सही धागा ढूँढना होता है और सही सूत्र खींचना होता है। इस परीक्षण में चार मुख्य प्रकार की चुनौतियाँ शामिल हैं: चेहरे को चेहरे से मिलाना, आवाज़ को आवाज़ से मिलाना, टेक्स्ट के सुराग को टेक्स्ट बायो से मिलाना, और सबसे कठिन—आवाज़ या फोटो के आधार पर किसी व्यक्ति को खोजने के लिए टेक्स्ट सुराग का उपयोग करना। महत्वपूर्ण रूप से, इनमें से लगभग आधे "ट्रिक सवाल" हैं जहाँ आप जिसके बारे में पूछ रहे हैं वह मेमोरी में बिल्कुल भी मौजूद नहीं है। लक्ष्य यह देखना है कि क्या AI आत्मविश्वास से कह सकता है, "मैं निर्णय नहीं ले सकता," बजाय इसके कि वह कोई कहानी बना ले।
टीम ने कुछ प्रसिद्ध AI मॉडलों को इस कठिन परीक्षा से गुजारा, जिनमें बड़ी तकनीकी कंपनियों के कुछ मॉडल और कुछ ओपन-सोर्स मॉडल भी शामिल थे। उन्होंने कुछ आश्चर्यजनक बातें पाईं। पहला, AI मॉडल आवाज़ों की तुलना में चेहरों को पहचानने में बहुत बेहतर हैं। यह ऐसा है जैसे उनकी आँखें तेज़ हैं लेकिन कान धुंधले हैं; वे आसानी से चेहरा पहचान सकते हैं लेकिन आवाज़ से अक्सर भ्रमित हो जाते हैं, भले ही आवाज़ ही एकमात्र सुराग हो। दूसरा, केवल AI को बड़ा बनाने से (अधिक "मस्तिष्क शक्ति" या पैरामीटर्स जोड़ने से) वह व्यक्तिगत होने में हमेशा स्मार्ट नहीं होता है। वास्तव में, सबसे बड़े मॉडलों में से कुछ सबसे खराब थे कि उन्हें कब चुप रहना चाहिए, क्योंकि जब उत्तर मौजूद नहीं होता था, तो वे अक्सर 'हैलुसिनेशन' (मनगढ़ंत बातें बनाना) करते थे।
टीम ने इन मॉडलों को बेहतर बनाने के दो तरीकों का भी परीक्षण किया। पहला तरीका, जिसे SFT (Supervised Fine-Tuning) कहा जाता है, ऐसा है जैसे आप AI को फ्लैशकार्डों का एक विशाल ढेर दे रहे हैं जिस पर सही उत्तर लिखे हुए हैं। शोधकर्ताओं ने इसे 1,000 कार्ड और फिर 10,000 कार्ड दिए, लेकिन AI "लापता व्यक्ति" वाले पेचीदा सवालों को संभालने में बहुत बेहतर नहीं हुआ। ऐसा लगता है कि केवल अधिक उदाहरणों को रटने से AI को अनिश्चितता को कैसे संभालना है, यह नहीं सिखाया जा सकता।
दूसरा तरीका, RLVR (Reinforcement Learning with Verifiable Rewards), एक वीडियो गेम की तरह है। AI उत्तर देने की कोशिश करता है, और यदि वह सही होता है, तो उसे अंक मिलते हैं। यदि वह गलत अनुमान लगाता है, तो उसके अंक कट जाते हैं। शोधकर्ताओं ने पाया कि इस पद्धति ने AI को सही उत्तर खोजने में बहुत बेहतर बनाया। हालाँकि, इसका एक दुष्प्रभाव हुआ: AI खेल खेलने के लिए बहुत अधिक उत्सुक हो गया। वह तब भी अनुमान लगाने लगा जब उसे उत्तर नहीं पता था, सिर्फ अंक पाने के लिए। इससे उसका "कैलिब्रेटेड एक्यूरेसी" (calibrated accuracy) स्कोर बिगड़ गया—जो कि एक शानदार तरीका है यह कहने का कि "सही होना और यह जानना कि कब रुकना है।" शोध पत्र सुझाव देता है कि जबकि यह गेम-जैसा प्रशिक्षण AI को चीजें खोजने में मदद करता है, इसे यह सिखाने के लिए एक बेहतर नियम पुस्तिका की आवश्यकता है कि कब कहना है, "मुझे नहीं पता।"
अंत में, लेखक निष्कर्ष निकालते हैं कि हम अभी भी एक पूर्ण व्यक्तिगत AI से बहुत दूर हैं। वर्तमान मॉडल उन चीजों को पहचानने में महान हैं जो उनके सामने मौजूद हैं, लेकिन वे गायब जानकारी की जटिल वास्तविकता के साथ संघर्ष करते हैं। वे तब भी बहुत आत्मविश्वासी होते हैं जब उन्हें विनम्र होना चाहिए। यह शोध पत्र कोई जादुई समाधान नहीं देता है, लेकिन यह एक स्पष्ट मानचित्र प्रदान करता है कि AI कहाँ विफल हो रहा है, यह दिखाते हुए कि अगला कदम केवल बड़े मॉडल बनाना नहीं है, बल्कि उन्हें यह सिखाना है कि जो वे नहीं जानते, उसे कैसे पहचाना जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।