TRACE: TRajectory Attribution for Automated Context Engineering
TRACE एक स्वचालित ढांचा है जो प्रॉम्प्ट, टूल्स और नॉलेज बेस के माध्यम से कॉन्टेक्स्ट-लेयर विफलताओं के सटीक एट्रिब्यूशन और समाधान को सक्षम करने के लिए, मॉडल रिट्रेनिंग या स्पष्ट उपयोगकर्ता फीडबैक की आवश्यकता के बिना, निहित असंतोष संकेतों की पहचान करने हेतु ऐतिहासिक एजेंट ट्रेजेक्टरीज को माइन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक अंतरिक्ष यान के कप्तान हैं, लेकिन आप इसे एक जॉयस्टिक से नहीं, बल्कि एक विशाल, निरंतर बदलते हुए निर्देश मैनुअल (instruction manual) से नियंत्रित कर रहे हैं। यह मैनुअल आपके जहाज के कंप्यूटर (एक AI एजेंट) को बताता है कि यात्रियों से कैसे बात करनी है, स्टार मैप कहाँ ढूँढना है, और इंजन को ठीक करने के लिए कौन से बटन दबाने हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इस मैनुअल को "कॉन्टेक्स्ट इंजीनियरिंग" (context engineering) कहा जाता है। यह उन प्रॉम्प्ट्स, नियमों और ज्ञान आधारों (knowledge bases) को लिखने की कला है जो AI के व्यवहार को निर्देशित करते हैं, बिना AI के मस्तिष्क को फिर से बनाए (rebuild) किए। लेकिन यहाँ एक पेंच है: यदि उस मैनुअल का एक भी वाक्य गलत, पुराना या गायब है, तो AI आत्मविश्वास के साथ जहाज को किसी एस्टेरॉयड (क्षुद्रग्रह) से टकरा सकता है।
लंबे समय तक, इन गलतियों को ठीक करना एक आँखों पर पट्टी बाँधकर घास के ढेर में सुई ढूँढने जैसा था। जब कोई AI गलती करता था, तो इंजीनियरों को हजारों चैट लॉग्स को मैन्युअल रूप से पढ़ना पड़ता था, यह अनुमान लगाना पड़ता था कि क्या गलत हुआ, और यह उम्मीद करनी पड़ती थी कि उन्हें मैनुअल का सही पन्ना मिल जाए ताकि उसे ठीक किया जा सके। यह धीमा, महंगा और कम कुशल था क्योंकि जैसे-जैसे इन AI जहाजों का उपयोग करने वाले लोगों की संख्या बढ़ रही थी, यह काम बढ़ता ही जा रहा था। बड़ा सवाल यह था: क्या हम एक ऐसा सिस्टम बना सकते हैं जो स्वचालित रूप से AI के इतिहास को पढ़े, उन सूक्ष्म संकेतों को पहचान सके कि कुछ गलत हुआ है, और हमें ठीक से बता सके कि मैनुअल के किस पन्ने को फिर से लिखने की आवश्यकता है?
यहीं पर Trace नामक एक नया सिस्टम आता है। Trace को एक सुपर-स्मार्ट जासूस के रूप में समझें जो न केवल अंतिम क्रैश रिपोर्ट देखता है, बल्कि पूरी यात्रा को देखने के लिए टेप को पीछे की ओर घुमाता है। Trace के पीछे के शोधकर्ताओं ने महसूस किया कि जब कोई AI गलती करता है, तो उपयोगकर्ता अक्सर बातचीत में "ब्रेडक्रंब्स" (रोटी के टुकड़ों के निशान) छोड़ देता है—जैसे कि कहना, "रुको, यह सही नहीं है," या किसी प्रश्न को फिर से पूछना क्योंकि पहला उत्तर भ्रमित करने वाला था। इन्हें "इम्प्लिसिट डिससैटिस्फैक्शन सिग्नल्स" (implicit dissatisfaction signals) कहा जाता है। 'थम्स डाउन' बटन पर क्लिक करने का इंतज़ार करने के बजाय, Trace AI की पिछली बातचीत में ऐसे सूक्ष्म सुरागों की तलाश करता है।
यह शोध पत्र इस रहस्य को सुलझाने के लिए AI जासूसों की एक तीन-भाग वाली टीम पेश करता है। सबसे पहले, डिटेक्टर (Detector) असंतोष के उन ब्रेडक्रंब्स को खोजने के लिए बातचीत के इतिहास को स्कैन करता है। एक बार समस्या का पता चलने के बाद, रूट कॉज एजेंट (Root Cause Agent) एक फॉरेंसिक विश्लेषक की तरह कार्य करता है। यह घटनाओं की पूरी श्रृंखला को देखता है—AI ने क्या पढ़ा, किन टूल्स का उपयोग किया, और उसने क्या सोचा—और त्रुटि के स्रोत तक पहुँचने के लिए "टेक्स्टुअल ग्रेडिएंट्स" (textual gradients) नामक तकनीक का उपयोग करता है। यह पूछता है, "क्या त्रुटि नॉलेज बेस में शुरू हुई? क्या यह स्किल फाइल में एक खराब निर्देश था? या क्या टूल का विवरण गलत था?" अंत में, रेकमेंडर एजेंट (Recommender Agent) केवल अनुमान नहीं लगाता; वह एक 'फील्ड ट्रिप' पर जाता है। वह वास्तव में फाइलों और मैनुअल को पढ़ता है और सत्यापित करता है कि क्या जानकारी गायब है (जिसके लिए "Create" ऑपरेशन की आवश्यकता है) या केवल पुरानी और गलत है (जिसके लिए "Update" की आवश्यकता है)।
इस जांच के परिणाम उत्साहजनक हैं, हालांकि वे एक विशिष्ट चेतावनी के साथ आते हैं। शोधकर्ताओं ने Trace का परीक्षण 60 जटिल, वास्तविक दुनिया की शैली वाली बातचीत के एक सिम्युलेटेड डेटासेट पर किया, जहाँ वे जानते थे कि गलतियाँ क्या थीं। इन सिमुलेशन में, Trace सफलतापूर्वक उस विशिष्ट चरण की पहचान करने में सफल रहा जहाँ त्रुटि उत्पन्न हुई थी, लगभग 72.7% बार। और भी प्रभावशाली बात यह है कि जब वास्तविक सुधार का सुझाव देने की बात आई—जैसे कि टीम को "इस विशिष्ट फ़ाइल को अपडेट करें" या "एक नया प्रविष्टि (entry) बनाएँ" कहना—तो सिस्टम 82% बार सही था। यह जानकारी के गायब होने और पुराने होने के बीच अंतर करने में विशेष रूप से अच्छा था, और जब इसने फाइलों की जाँच करने के लिए अपना स्वयं का "फील्ड ट्रिप" किया, तो इसने इसे 96% बार सही पहचाना।
हालाँकि, यह याद रखना महत्वपूर्ण है कि ये संख्याएँ एक सावधानीपूर्वक निर्मित सिमुलेशन से आती हैं, न कि किसी लाइव, अराजक वास्तविक दुनिया के वातावरण से। शोधकर्ताओं ने इस परीक्षण वातावरण को इसलिए बनाया क्योंकि वे गोपनीयता नियमों के कारण अपना वास्तविक कंपनी डेटा साझा नहीं कर सकते थे। इसलिए, जबकि यह सिस्टम एक नियंत्रित सेटिंग में उच्च सटीकता के साथ काम कर सकता है, यह पेपर यह सुझाव देता है कि यह एक शक्तिशाली नई दिशा है न कि हर मौजूदा AI के लिए पूरी तरह से हल की गई समस्या। मूल विचार यह है कि AI के अपने इतिहास को खोदकर और उसे अपनी गलतियों को सुधारने के लिए अपने ही मैनुअल को "पढ़ने" देकर, हम मैन्युअल रूप से AI को डीबग करने से बदलकर उन्हें स्वचालित रूप से आत्म-सुधार (self-improve) करने की ओर बढ़ सकते हैं। यह कार के खराब होने के बाद मैकेनिक द्वारा उसे ठीक करने के बजाय, एक ऐसे मैकेनिक के होने जैसा है जो इंजन की आवाज़ सुनता है, हल्की सी खड़खड़ाहट को पहचानता है, और कार के रुकने से पहले ही सही बोल्ट को कस देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।