ThoughtTrace: Understanding User Thoughts in Real-World LLM Interactions
यह शोधपत्र ThoughtTrace को प्रस्तुत करता है, जो वास्तविक दुनिया की मानव-AI बातचीत को उपयोगकर्ताओं के स्व-रिपोर्ट किए गए विचारों के साथ जोड़ने वाला पहला बड़े पैमाने का डेटासेट है, जो यह प्रकट करता है कि ये अंतर्निहित संज्ञानात्मक अवस्थाएं बोले गए संदेशों से भिन्न होती हैं, मॉडलों के लिए इनका अनुमान लगाना कठिन होता है, और उपयोगकर्ता-व्यवहार भविष्यवाणी तथा व्यक्तिगत, लक्ष्य-अनुरूप सहायक प्रशिक्षित करने के लिए अत्यधिक मूल्यवान होती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक नाटक देख रहे हैं जहाँ अभिनेता केवल अपने संवाद बोल सकते हैं, लेकिन आप उनके आंतरिक विचारों, उनके छिपे हुए डर, उनकी अचानक हुई समझ या उनके मौन निर्णयों से पूरी तरह अनभिज्ञ हैं। हम वर्तमान में AI के साथ इसी तरह से बातचीत करते हैं। हम देखते हैं कि उपयोगकर्ता चैटबॉट से क्या कहते हैं, लेकिन हमें पता नहीं होता कि वे वास्तव में क्या सोच रहे हैं।
"ThoughtTrace" नामक शोध पत्र इस पर्दे के पीछे झांकने का एक नया तरीका पेश करता है। यह ऐसा है जैसे अभिनेताओं को उनके आंतरिक विचारों के लिए एक माइक्रोफ़ोन देना, उनके बोले गए संवादों के साथ उनके विचारों को भी रिकॉर्ड करना।
यहाँ सरल उपमाओं का उपयोग करके शोध पत्र के निष्कर्षों का विवरण दिया गया है:
1. मुख्य विचार: "आंतरिक मोनोलॉग" (Inner Monologue) डेटासेट
वर्षों से, शोधकर्ता चैट लॉग (लोग जो टाइप करते हैं) को देखकर AI का अध्ययन कर रहे हैं। लेकिन टाइपिंग अक्सर सोचने का एक "लॉसी" (सूचना खो देने वाला) संस्करण होती है। आप टाइप कर सकते हैं "मेरे लिए एक सूची बनाओ," लेकिन आपका विचार वास्तव में यह हो सकता है, "मैं एक अनुभवहीन यात्री हूँ और मुझे डर लग रहा है कि मैं अपना पासपोर्ट भूल जाऊँगा।"
ThoughtTrace वास्तविक दुनिया की बातचीत का पहला विशाल संग्रह है जहाँ उपयोगकर्ताओं ने केवल चैट नहीं की; बल्कि उन्होंने अपने वास्तविक समय के विचारों को लिखने के लिए एक बटन भी दबाया।
- कारण: उन्होंने संदेश क्यों भेजा (जैसे, "मुझे इस बड़े कार्य को छोटे चरणों में तोड़ने की आवश्यकता है ताकि AI भ्रमित न हो")।
- प्रतिक्रियाएं: AI के जवाब देने के बाद उन्होंने क्या सोचा (जैसे, "यह मददगार है, लेकिन यह बहुत सामान्य लगता है और इस बात को अनदेखा करता है कि मैं एक कॉन्फ्रेंस में जा रहा हूँ")।
उपलब्ध डेटा बहुत बड़ा है: 1,000 से अधिक लोग, 2,000 बातचीत, और 10,000+ विचार एनोटेशन।
2. उन्होंने क्या खोजा: "छिपी हुई परत" (The Hidden Layer)
शोधकर्ताओं ने इस डेटा का विश्लेषण किया और इन "विचारों" के बारे में चार आश्चर्यजनक बातें पाईं:
- विचार केवल शब्दों की पुनरावृत्ति नहीं हैं: यदि आप उपयोगकर्ता के टाइप किए गए संदेश बनाम उनके लिखे गए विचार के "अर्थ" को देखते हैं, तो वे बहुत अलग होते हैं। यह एक मेनू आइटम ("स्टेक") और शेफ के गुप्त रेसिपी नोट्स के बीच के अंतर जैसा है। विचारों में सूचना की एक पूरी नई परत होती है जो टाइप किए गए शब्दों में छूट जाती है।
- AI मन पढ़ने में खराब है: यहाँ तक कि सबसे स्मार्ट AI मॉडल (फ्रंटियर मॉडल) भी केवल चैट इतिहास के आधार पर उपयोगकर्ता के विचारों का अनुमान लगाने की कोशिश करते हैं। वे बुरी तरह विफल रहे। यह केवल अंतिम व्यंजन को चखकर किसी व्यक्ति की गुप्त रेसिपी का अनुमान लगाने जैसा है; AI छिपे हुए तत्वों (उपयोगकर्ता के वास्तविक इरादे या हताशा) को नहीं समझ सका।
- बातचीत आगे बढ़ने के साथ विचार बदलते हैं:
- बातचीत की शुरुआत में: विचार मुख्य रूप से लक्ष्यों के बारे में होते हैं ("मैं एक यात्रा की योजना बनाना चाहता हूँ")।
- बाद में: विचार परिष्करण (refining) की ओर बढ़ते हैं ("यह सूची बहुत लंबी है, इसे छोटा करें") या सीमाओं की जाँच करने की ओर ("रुको, मेरा बजट $500 है")।
- विचार विविध हैं: वे केवल "अच्छे" या "बुरे" नहीं हैं। वे "मैं इस बारे में चिंतित हूँ" से लेकर "मुझे लहजा पसंद है, लेकिन फॉर्मेटिंग अव्यवस्थित है" तक सब कुछ कवर करते हैं।
3. यह क्यों मायने रखता है: दो महाशक्तियाँ (Two Superpowers)
यह शोध पत्र दिखाता है कि यदि हम AI को इन "विचारों" तक पहुँच प्रदान करते हैं, तो यह दो विशिष्ट चीजों में बहुत बेहतर हो जाता है:
A. भविष्य की भविष्यवाणी करना (क्रिस्टल बॉल)
- प्रयोग: शोधकर्ताओं ने AI मॉडल से अनुमान लगाने के लिए कहा कि उपयोगकर्ता आगे क्या टाइप करेगा।
- परिणाम: जब AI को उपयोगकर्ता के विचारों को "देखने" की अनुमति दी गई, तो इसकी भविष्यवाणी करने की सटीकता 41.7% बढ़ गई।
- उपमा: यह एक मौसम पूर्वानुमानकर्ता के बीच का अंतर है जो केवल वर्तमान हवा के आधार पर बारिश का अनुमान लगाता है, बनाम एक जो यह भी जानता है कि बैरोमीटर गिर रहा है और आसमान ग्रे हो रहा है। "विचारों" ने AI को वह गायब संदर्भ दिया जिससे वह जान सका कि उपयोगकर्ता आगे क्या कहेगा।
B. बेहतर बनना सीखना (पर्सनल ट्रेनर)
- प्रयोग: उन्होंने एक AI को अधिक सहायक बनने के लिए प्रशिक्षित किया। उन्होंने दो तरीकों की तुलना की:
- संदेश-निर्देशित (Message-Guided): AI उन चीज़ों से सीखता है जो उपयोगकर्ता ने तब कही थीं जब वे नाखुश थे (जैसे, "इसे छोटा करें")।
- विचार-निर्देशित (Thought-Guided): AI उन चीज़ों से सीखता है जो उपयोगकर्ता ने तब सोची थीं जब वे नाखुश थे (जैसे, "यह बहुत लंबा और बिखरा हुआ है, मुझे एक चेकलिस्ट चाहिए")।
- परिणाम: केवल संदेशों पर प्रशिक्षित AI की तुलना में, विचारों पर प्रशिक्षित AI निर्देशों का पालन करने और उपयोगकर्ताओं को संतुष्ट करने में काफी बेहतर रहा।
- उपमा: एक कोच की कल्पना करें।
- संदेश-निर्देशित: एथलीट कहता है, "मैं हार गया।" कोच कहता है, "अधिक प्रयास करो।"
- विचार-निर्देशित: एथलीट सोचता है, "मैं इसलिए हार गया क्योंकि मेरे जूते बहुत तंग थे।" कोच कहता है, "चलो तुम्हारे जूते ठीक करते हैं।"
"विचार-निर्देशित" कोच ने केवल सतही शिकायत को नहीं, बल्कि वास्तविक समस्या को समझा।
सारांश
ThoughtTrace यह सिद्ध करता है कि जो लोग सोचते हैं, वह एक गुप्त सामग्री है जिसकी वर्तमान AI को कमी है। इन विचारों को रिकॉर्ड करके, हम ऐसा AI बना सकते हैं जो न केवल हमारे शब्दों को सुनता है, बल्कि वास्तव में हमारे लक्ष्यों, हमारी हताशा और हमारी छिपी हुई जरूरतों को समझता है। यह AI को एक साधारण टाइपराइटर से बदलकर एक वास्तविक संवादात्मक साथी में बदल देता है जो हमें "समझता" है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।