Human Preference aligned Tabular Similarity
यह शोध पत्र तर्क देता है कि वर्तमान टेबुलर एम्बेडिंग विधियाँ, जो भविष्यवाणी कार्यों के लिए अनुकूलित हैं, समानता खोज (similarity search) के लिए मानवीय प्राथमिकताओं के साथ संरेखित होने में विफल रहती हैं, और इस अंतर को पाटने के लिए एक उत्पाद जीवन चक्र प्रबंधन (PLM) उपयोग मामले का उपयोग करते हुए एक नई मूल्यांकन प्रक्रिया का प्रस्ताव करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, जादुई पुस्तकालय में घूम रहे हैं जहाँ हर किताब वास्तव में संख्याओं और शब्दों का एक स्प्रेडशीट है। इस पुस्तकालय में रोबोट हैं जिनका काम उन किताबों को ढूँढना है जो आपके हाथ में पकड़ी हुई किताब के "समान" हैं। यदि आप "टूटा हुआ टोस्टर ठीक करने" के बारे में एक किताब उठाते हैं, तो रोबोट को टोस्टर मरम्मत के बारे में अन्य किताबें देनी चाहिए, न कि केक बनाने या कार चलाने के बारे में किताबें। यह टेबुलर डेटा (tabular data) की दुनिया है—सूचना के संगठित ग्रिड जो हमारे व्यवसायों, अस्पतालों और कारखानों को चलाते हैं। रोबोट एम्बेडिंग्स (embeddings) नामक चीज़ का उपयोग करते हैं, जो अदृश्य चुंबकीय कोड की तरह हैं जो डेटा की प्रत्येक पंक्ति को एक विशाल, बहु-आयामी स्थान में एक बिंदु में बदल देते हैं। दो बिंदु जितने करीब होते हैं, रोबोट उतना ही अधिक मानता है कि डेटा समान है।
लंबे समय से, वैज्ञानिक इन रोबोटों को एक विशिष्ट प्रश्न का उत्तर देने में बहुत अच्छा बनने के लिए सिखा रहे हैं, जैसे "क्या यह हिस्सा टूट जाएगा?" या "इसकी कीमत क्या है?" लेकिन यहाँ एक पेंच है: एक उत्तर का अनुमान लगाने में अच्छा होने का मतलब हमेशा यह नहीं होता कि वे उन चीजों को खोजने में भी अच्छे हैं जो एक इंसान को समान लगती हैं। एक रोबोट यह सोच सकता है कि दो हिस्से जुड़वां हैं क्योंकि दोनों में संख्या "5" है, भले ही एक इंजीनियर जानता हो कि एक पेंच (screw) है और दूसरा बोल्ट (bolt) है। यह शोध पत्र एक बहुत ही महत्वपूर्ण प्रश्न पूछता है: हम यह कैसे सुनिश्चित करें कि ये रोबोट वास्तव में उन अलग-अलग लोगों के लिए चीजें ढूँढ रहे हैं जो इनका उपयोग कर रहे हैं, जैसे इंजीनियर, कारखाने के कर्मचारी, या खरीदार?
समस्या: जब रोबोट "वाइब" (vibe) गलत समझ लेते हैं
इस शोध पत्र के लेखक, जो उत्पाद जीवनचक्र (product lifecycle) प्रबंधित करने के लिए सॉफ्टवेयर बनाने वाली एक कंपनी के साथ काम कर रहे हैं, ने एक बड़ा अंतर देखा। उन्होंने देखा कि जबकि रोबोट डेटा की तालिकाओं को उन अदृश्य चुंबकीय कोडों में बदलने में स्मार्ट हो रहे हैं, हमारे पास यह जाँचने का कोई अच्छा तरीका नहीं है कि क्या वे कोड वास्तव में उस चीज़ से मेल खाते हैं जिसकी इंसानों को परवाह है।
कल्पना कीजिए कि आप एक रोबोट से कार के नए पुर्जे के लिए "समान" परिवर्तन अनुरोध (change requests) खोजने के लिए कहते हैं। एक इंजीनियर कह सकता है, "ये समान हैं क्योंकि ये दोनों इंजन के कूलिंग सिस्टम से संबंधित हैं।" एक कारखाना कर्मचारी कह सकता है, "नहीं, ये समान हैं क्योंकि इनके लिए एक ही वेल्डिंग मशीन की आवश्यकता होती है।" एक खरीदार कह सकता है, "ये समान हैं क्योंकि ये एक ही आपूर्तिकर्ता (supplier) से आते हैं।"
शोध पत्र का तर्क है कि इन रोबोटों को टेस्ट करने के मौजूदा तरीके एक छात्र को केवल उसके गणित के टेस्ट स्कोर के आधार पर ग्रेड देने के समान हैं, भले ही छात्र एक कवि बनने की कोशिश कर रहा हो। मानक परीक्षण यह मापते हैं कि क्या रोबोट एक संख्या या श्रेणी का सही अनुमान लगा सकता है, लेकिन वे यह नहीं पूछते: "क्या मानव उपयोगकर्ता को परिणाम उपयोगी लगा?" लेखक सुझाव देते हैं कि मनुष्यों से यह पूछने के बिना कि वे क्या सोचते हैं, हम अंधेरे में उड़ रहे हैं। हम एक ऐसा रोबोट बना सकते हैं जो गणित में तकनीकी रूप से तो उत्तम है लेकिन मानवीय जरूरतों को समझने में बहुत खराब है।
समाधान: डेटा के लिए एक "टेस्ट ऑफ फ्लेवर" (Taste Test)
इसे ठीक करने के लिए, लेखक एक नया वर्कफ़्लो प्रस्तावित करते हैं जो भोजन के लिए किए जाने वाले 'ब्लाइंड टेस्ट ऑफ फ्लेवर' जैसा लगता है, लेकिन डेटा के लिए है। केवल रोबोट को चलाने और सबसे अच्छे की उम्मीद करने के बजाय, वे मानव फीडबैक प्राप्त करने के लिए तीन-चरणीय प्रक्रिया का सुझाव देते हैं:
- सेटअप (The Setup): सबसे पहले, रोबोट सभी डेटा के लिए अपने चुंबकीय कोड बनाता है और उन्हें संग्रहीत करता है।
- चयन (The Pick): एक मानव उपयोगकर्ता को एक विशिष्ट आइटम (जिसे "एंकर" कहा जाता है) दिखाया जाता है, जैसे कि एक विशिष्ट पुर्जा या टिकट। रोबोट फिर उन वस्तुओं की एक सूची निकालता है जिन्हें वह निकटतम मिलान मानता है।
- वोट (The Vote): एक मानव मूल आइटम और रोबोट के सुझावों में से एक को अगल-बगल देखता है। फिर वे इसे एक रेटिंग देते हैं: "एक जैसा (Identical)," "समान (Similar)," "थोड़ा समान (Slightly Similar)," या "समान नहीं (Not Similar)।"
यह केवल एक बार की चीज़ नहीं है। लेखक इस प्रक्रिया को बार-बार करने का सुझाव देते हैं, जिससे हजारों "वोट" एकत्र होते हैं। यह एक मानचित्र बनाता है कि विभिन्न समूह वास्तव में किसे समान मानते हैं।
उन्होंने क्या पाया: हर कोई दुनिया को अलग तरह से देखता है
अपने विचार का परीक्षण करने के लिए, टीम ने एक छोटा पायलट अध्ययन चलाया। उन्होंने "टिकटों" (जैसे मदद या परिवर्तन के अनुरोध) की एक सूची ली और तीन अलग-अलग लोगों से प्रत्येक के लिए रोबोट द्वारा खोजे गए शीर्ष 6 मिलानों को रेट करने के लिए कहा।
परिणाम आंखें खोल देने वाले थे। 120 आइटम के जोड़ों में से, तीन लोगों ने केवल 63 जोड़ों (जो कि 52.5% है) के लिए रेटिंग पर सहमति व्यक्त की। 52 जोड़ों (43.3%) में, दो लोग सहमत थे लेकिन तीसरा असहमत था। और 5 जोड़ों (4.2%) में, तीनों ने अलग-अलग रेटिंग दी!
यह साबित करता है कि "समानता" कोई एकल, निश्चित तथ्य नहीं है। यह पूरी तरह से इस पर निर्भर करता है कि आप कौन हैं। एक इंजीनियर एक पैटर्न देख सकता है जिसे एक खरीदार मिस कर देता है, और इसके विपरीत।
टीम ने यह देखने के लिए 10 अलग-अलग रोबोट एल्गोरिदम का परीक्षण किया कि कौन सा एक मानव की इच्छा का अनुमान लगाने में सबसे अच्छा था। यहाँ मोड़ यह है: कोई एक विजेता नहीं था।
- एनोटेटर 1 और एनोटेटर 3 के लिए, एल्गोरिदम 7 सबसे अच्छा था।
- लेकिन एनोटेटर 2 के लिए, एल्गोरिदम 4 सबसे अच्छा था।
इससे भी अधिक दिलचस्प बात यह है कि एनोटेटर 2 के लिए "सर्वश्रेष्ठ" और "दूसरे सर्वश्रेष्ठ" के बीच का अंतर बहुत कम था—165 में से केवल एक सिंगल ट्रिपलेट (तीन वस्तुओं का समूह)। यह सुझाव देता है कि वोटों की इतनी कम संख्या के साथ, यह विश्वास करने के लिए कठिन है कि कौन सा रोबട്ട് वास्तव में बेहतर है। लेखक बताते हैं कि आत्मविश्वास के लिए हमें अधिक डेटा की आवश्यकता है, लेकिन मुख्य निष्कर्ष स्पष्ट है: एक आकार सबके लिए उपयुक्त नहीं होता (One size does not fit all)। एक रोबोट जो इंजीनियर के लिए उत्तम है, वह एक खरीदार के लिए बेकार हो सकता है।
विश्वास के लिए यह क्यों मायने रखता है
शोध पत्र निष्कर्ष निकालता है कि AI को वास्तव में भरोसेमंद बनाने के लिए, हम केवल रोबोट के आंतरिक गणित पर भरोसा नहीं कर सकते। हमें एक ऐसी प्रणाली बनानी होगी जहाँ मनुष्य लगातार रोबोट के काम की जाँच कर सकें।
वे इस दृष्टिकोण के चार प्रमुख लाभों पर प्रकाश डालते हैं:
- निष्पक्षता (Fairness): यह सुनिश्चित करता है कि रोबोट विभिन्न समूहों (जैसे इंजीनियर बनाम खरीदार) के साथ निष्पक्ष व्यवहार करे, न कि एक दृष्टिकोण का पक्ष ले।
- पारदर्शिता (Transparency): यह लोगों को यह देखने की अनुमति देता है कि रोबोट ने एक निश्चित आइटम क्यों चुना, जिससे "ब्लैक बॉक्स" थोड़ा कम अंधेरा हो जाता है।
- मजबूती (Robustness): यह अव्यवस्थित डेटा को खोजने में मदद करता है, जैसे डुप्लिकेट या भ्रमित करने वाली श्रेणियाँ, जिन्हें रोबोट गलत समझ रहा हो सकता है।
- जवाबदेही (Accountability): यह मानव निर्णयों का एक पेपर ट्रेल (लेखन मार्ग) बनाता है, जो बहुत महत्वपूर्ण है यदि AI एक विनियमित उद्योग में गलती करता है।
लेखक स्वीकार करते हैं कि मनुष्यों से यह करवाना कठिन काम है और इसमें समय लगता है। वे यह दावा नहीं करते कि उन्होंने अभी तक समस्या को पूरी तरह से हल कर लिया है। इसके बजाय, वे वैज्ञानिक समुदाय से इन "ह्यूमन टेस्ट ऑफ फ्लेवर" को AI बनाने के एक मानक हिस्से के रूप में उपयोग करने का आह्वान कर रहे हैं। उनका तर्क है कि विश्वास वह नहीं है जिसे आप एक बार कोड में डाल देते हैं; यह वह है जिसे आप सिस्टम का उपयोग करने वाले लोगों की बात सुनकर लगातार बनाते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।