TRACE: Trustworthy Retrieval-Augmented Conversational Engine

कल्पना कीजिए कि आप एक विशाल, बिखरे हुए अटारी (attic) में एक विशिष्ट, छिपे हुए खजाने को खोजने की कोशिश कर रहे हैं। वह अटारी पुराने बक्सों से भरी है, जिनमें से कुछ पर स्पष्ट लेबल लगे हैं, कुछ पर फटे हुए लेबल हैं, और कुछ पर कोई लेबल ही नहीं है। अब, कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट सहायक है जिसे कहानियाँ सुनाना बहुत पसंद है। यदि आप रोबोट से पूछते हैं, "अटारी में सोने का सिक्का कहाँ है?", तो वह सोने के सिक्कों के बारे में कहानी बताने के लिए इतना उत्साहित हो सकता है कि वह एक ऐसा स्थान बना लेता है जो अस्तित्व में ही नहीं है, या वह ऐसे बक्से की ओर इशारा कर सकता है जिसमें वास्तव में पुराने मोजे रखे हैं। कई आधुनिक एआई चैटबॉट्स के साथ यही समस्या है: वे बात करने में तो बहुत अच्छे हैं, लेकिन जब उन्हें वास्तविक तथ्यों को खोजने की आवश्यकता होती है, तो वे कभी-कभी मनगढ़ंत बातें बनाने लगते हैं।

यह शोध पत्र "रिट्रीवल" (retrieval) की दुनिया में रहता है, जो कि केवल एक फैंसी शब्द है जिसका अर्थ है उत्तर देने से पहले जानकारी की खोज करना। यह "कन्स्ट्रेंट्स" (constraints) से भी संबंधित है, जो वे विशिष्ट नियम हैं जो आप एक खोज को देते हैं, जैसे "केवल लाल बक्सों में ही देखें" या "केवल 1990 के बक्सों में ही देखें।" शोधकर्ता जो बड़ा सवाल पूछ रहे हैं वह यह है: यदि हम खोज वाले हिस्से को ठीक कर दें ताकि रोबोट केवल अटारी में मौजूद वास्तविक बक्सों को ही देखे, तो क्या रोबोट कहानियाँ बनाना बंद कर देगा? वे जानना चाहते हैं कि क्या एक बेहतर सर्च इंजन ही एआई को भरोसेमंद बनाने का गुप्त सूत्र है, खासकर जब लोगों को भोजन वितरण केंद्रों (food pantries) जैसी वास्तविक दुनिया की सेवाओं को खोजने में मदद की आवश्यकता होती है।

शोधकर्ताओं ने इस विचार का परीक्षण करने के लिए TRACE (ट्रस्टवर्दी रिट्रीवल-अगमेंटेड कन्वर्सेशनल इंजन) नामक एक नया सिस्टम बनाया। TRACE को एक बहुत ही सख्त लाइब्रेरियन के रूप में समझें जो रोबलेट सहायक को तब तक बोलने देने से इनकार कर देता है जब तक कि उसने शारीरिक रूप से लाइब्रेरी कार्ड की जांच न कर ली हो। जब कोई उपयोगकर्ता ऐसा प्रश्न पूछता है जैसे, "यदि मेरे पास आईडी नहीं है तो मैं सेजविक deounty में भोजन कहाँ से प्राप्त कर सकता हूँ?", तो TRACE उसे केवल अनुमान लगाने नहीं देता। पहले, यह प्रश्न को दो भागों में तोड़ देता है: "स्ट्रक्चरल" (structural) नियम (जैसे कि विशिष्ट काउंटी) और "सिमेंटिक" (semantic) नियम (जैसे कि आईडी की आवश्यकता)।

सही उत्तर खोजने के लिए, TRACE एक "डुअल" (dual) मानचित्र का उपयोग करता है। मानचित्र का एक हिस्सा एक नॉलेज ग्राफ (Knowledge Graph) है, जो कि आपस में जुड़े बिंदुओं का एक जाल है जो बिल्कुल दिखाता है कि चीजें कहाँ हैं (शहर → काउंटी → पैंट्री)। दूसरा हिस्सा एक वेक्टर एम्बेडिंग (Vector Embedding) है, जो अर्थ का एक धुंधला बादल है जो यह समझता है कि मदद पाने वालों के टेक्स्ट विवरण क्या हैं। सिस्टम पहले उस सख्त वेब का उपयोग करके उम्मीदवारों की एक छोटी सूची पाता है जो स्थान के नियमों के अनुकूल हो। फिर, यह धुंधले बादलों की जांच करता है कि क्या वे अन्य नियमों के अनुकूल भी हैं। यदि सूची खाली है, तो यह उम्मीदवारों का अगला बैच लेता है और फिर से प्रयास करता है। केवल एक सत्यापित सूची मिलने के बाद ही यह एआई चैटबॉट को अंतिम उत्तर लिखने की अनुमति देता है।

टीम ने इस सिस्टम का परीक्षण लगभग 800 फूड पैंट्रीज़ की एक वास्तविक निर्देशिका और 1,000 काल्पनिक प्रश्नों के सेट का उपयोग करके किया ताकि यह देखा जा सके कि यह कितनी अच्छी तरह काम करता है। उन्होंने इसे 15 अलग-अलग एआई मॉडल के साथ आजमाया, जो बहुत छोटे से लेकर बहुत बड़े मॉडल्स तक थे, और यहाँ तक कि एक प्रसिद्ध "प्रोपराइटरी" मॉडल (GPT 5.5) के साथ भी तुलना की। उन्होंने अपने "मानचित्र" के विभिन्न संस्करणों का भी परीक्षण किया, जिसमें एक ऐसा संस्करण भी शामिल था जिसमें कोई ग्राफ नहीं था (केवल सादा टेक्स्ट) और एक ऐसा जो स्थान और घंटों को एक सुपर-ग्राफ में जोड़ता था।

परिणाम काफी स्पष्ट थे और सुझाव देते हैं कि खोज की गुणवत्ता चैटबॉट के पीछे के दिमाग के आकार से अधिक मायने रखती है। जब उन्होंने अपने सबसे अच्छे मानचित्र (KG-3, जो स्थान और घंटों को जोड़ता था) का उपयोग किया, तो सिस्टम नियमों का पालन करने में बहुत बेहतर हो गया। उदाहरण के लिए, औसत "कन्स्ट्रेंट सैटिस्फैक्शन" (यह कितनी बार उत्तर वास्तव में उपयोगकर्ता के नियमों का पालन करता है) एक बुनियादी खोज के साथ लगभग 64% से बढ़कर उन्नत मानचित्र के साथ लगभग 88% हो गई। इससे भी महत्वपूर्ण बात यह है कि कितनी बार एआई ने एक फर्जी पैंट्री बनाई (एक "हैलुसिनेशन"), यह नाटकीय रूप से गिरकर लगभग 10% से केवल 2% रह गया।

शायद सबसे दिलचस्प खोज यह है कि जैसे-जैसे खोज बेहतर हुई, सबसे स्मार्ट एआई और सबसे छोटे एआई के बीच के अंतर समाप्त होने लगे। जब खोज अव्यवस्थित थी, तो बड़े, महंगे मॉडल छोटे मॉडलों की तुलना में बहुत बेहतर थे। लेकिन जब खोज सख्त और सटीक थी, तो छोटे मॉडल्स भी दिग्गजों के लगभग समान प्रदर्शन करने लगे। यह सुझाव देता है कि जिन स्थितियों में आपको वास्तविक, सत्यापित जानकारी खोजने की आवश्यकता होती है, वहाँ एक बेहतरीन लाइब्रेरियन (रिट्रीवल) होना एक जीनियस के होने से अधिक महत्वपूर्ण है जो बात करना जानता है (LLM)। शोध पत्र निष्कर्ष निकालता है कि सार्वजनिक सेवा चैटबॉट्स के भरोसेमंद होने के लिए, हमें पहले रिट्रीवल को ठीक करने पर ध्यान केंद्रित करने की आवश्यकता है, क्योंकि वही एआई को मनगढ़ंत बातें बनाने से रोकने की कुंजी है।