RECAP: An End-to-End Platform for Capturing, Replaying, and Analyzing AI-Assisted Programming Interactions
यह शोध पत्र RECAP का परिचय देता है, जो एक ओपन-सोर्स प्लेटफॉर्म है जो डेवलपर-AI इंटरैक्शन पैटर्न के इंटरैक्टिव रिप्ले और उन्नत विश्लेषण को सक्षम करने के लिए सूक्ष्म-स्तरीय (fine-grained) कोड संपादन के साथ AI चैट सत्रों को निष्क्रिय रूप से कैप्चर और एकीकृत करता है, जैसा कि 41 छात्रों के शामिल एक परिनियोजन द्वारा सत्यापित किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि एक छात्र स्मार्ट किचन असिस्टेंट का उपयोग करते हुए खाना बनाना कैसे सीखता है। यदि आप केवल अंतिम व्यंजन (वह कोड जो उन्होंने सबमिट किया) को देखते हैं या केवल असिस्टेंट को भेजे गए टेक्स्ट मैसेज (चैट लॉग्स) को पढ़ते हैं, तो आप पूरी कहानी को मिस कर देते हैं। आप उन सामग्रियों को नहीं देख पाते जिन्हें उन्होंने आज़माया और फेंक दिया, उन क्षणों को नहीं देख पाते जब उन्होंने असिस्टेंट की सलाह को नज़रअंदाज़ किया, या यह भी नहीं कि उनकी खाना बनाने की रणनीति समय के साथ कैसे बदली।
RECAP एक नया टूल है जिसे इस 'ब्लाइंड स्पॉट' (अंधे धब्बे) को ठीक करने के लिए डिज़ाइन किया गया है। यह प्रोग्रामर्स के लिए एक "ब्लैक बॉक्स" रिकॉर्डर की तरह काम करता है जो उनके कोड एडिटर (जैसे VS Code) के अंदर AI कोडिंग असिस्टेंट (जैसे GitHub Copilot) का उपयोग करते समय उनके कार्यों को रिकॉर्ड करता है।
यह कैसे काम करता है, इसे सरल भागों में यहाँ दिया गया है:
1. "शैडो" रिकॉर्डर (कैमरा)
प्रोग्रामर के कंप्यूटर को एक व्यस्त किचन की तरह समझें। आमतौर पर, एक प्रोग्रामर अपना काम तभी सेव करता है जब वह "कमिट" (commit) बटन दबाता है (जैसे हर एक घंटे में डिश की फोटो लेना)। इसमें वह सब कुछ छूट जाता है जो बीच में कटा, चखा या जलाया गया था।
RECAP एक छोटा, अदृश्य एक्सटेंशन इंस्टॉल करता है जिसे Copilot Interaction Archiver कहा जाता है।
- यह चैट को देखता है: यह रिकॉर्ड करता है कि छात्र ने AI से क्या सवाल पूछा और AI ने क्या जवाब दिया।
- यह कोड को देखता है: यह कोड का एक "शैडो" (परछाई) संस्करण बनाता है जो एक स्नैपशॉट सेव करता है हर बार जब छात्र 'सेव' करता है, या यहाँ तक कि जब वे टाइप कर रहे होते हैं और अभी तक सेव भी नहीं किया होता।
- जादुई लिंक: यह दोनों को जोड़ता है। इसे पता है कि दोपहर 2:00 बजे, छात्र ने एक विशिष्ट फिक्स (सुधार) के लिए AI से पूछा था, और दोपहर 2:02 बजे, वह सटीक फिक्स कोड में दिखाई दिया। यह "प्रॉम्प्ट" को "परिणाम" से जोड़ता है।
2. टाइम-ट्रैवल व्यूअर (रीप्ले)
एक बार डेटा एकत्र हो जाने के बाद, शोधकर्ता Session Replay Viewer का उपयोग कर सकते हैं। यह कोडिंग के लिए एक वीडियो गेम रीप्ले फीचर की तरह है।
- टाइमलाइन: फाइलों की एक सूची देखने के बजाय, आप एक एकल, रंगीन टाइमलाइन देखते हैं।
- नीले बिंदु (Blue dots) AI से पूछे गए सवाल हैं।
- पीले बिंदु (Yellow dots) AI द्वारा सुझाया गया कोड है।
- हरे बिंदु (Green dots) वह कोड है जो इंसान ने खुद टाइप किया है।
- वॉकथ्रू: एक शोधकर्ता 'प्ले' पर क्लिक कर सकता है और छात्र के पूरे सत्र को सामने घटते हुए देख सकता है। वे देख सकते हैं: "आह, यहाँ छात्र ने एक बग को ठीक करने के लिए AI से पूछा, AI ने एक समाधान सुझाया, छात्र ने उसे अस्वीकार कर दिया, खुद कोशिश की, असफल हुआ, और फिर वापस AI के पास गया।"
3. उन्हें क्या मिला? (डिटेक्टिव वर्क)
शोधकर्ताओं ने इस टूल का परीक्षण एक विश्वविद्यालय की कक्षा में किया जहाँ 41 छात्र दो सप्ताह के प्रोजेक्ट पर काम कर रहे थे। उन्होंने केवल यह नहीं गिना कि छात्रों ने कितनी बार AI का उपयोग किया; उन्होंने अन्य पैटर्न को पकड़ने के लिए रीप्ले का उपयोग किया जो अन्यथा अदृश्य रहते:
- "फँसा हुआ" लूप (The "Stuck" Loop): एक छात्र 11 मिनट तक एक लूप में फँसा रहा। उसने एक एरर मैसेज पेस्ट किया, AI ने उसे ठीक किया, एक नया एरर आया, उसने उसे फिर से पेस्ट किया, और यह चक्र चलता रहा। रीप्ले ने इस गोलाकार संघर्ष को स्पष्ट रूप से दिखाया, जबकि एक अंतिम कोड फ़ाइल केवल एक पूरा प्रोजेक्ट ही दिखती।
- "फ्रैंकेंस्टीन" दृष्टिकोण (The "Frankenstein" Approach): एक छात्र ने एक बड़े प्लान के लिए एक AI (ChatGPT) का उपयोग किया, और फिर उस प्लान को कोड लिखने के लिए दूसरे AI (Copilot) में पेस्ट कर दिया। रीप्ले ने इन दो अलग-अलग टूल्स को जोड़ा, जिससे पता चला कि छात्र इन विभिन्न AI सहायकों को कैसे मिला-जुलाकर उपयोग कर रहे हैं।
- ड्राइविंग सीखना (Learning to Drive): जैसे-जैसे प्रोजेक्ट आगे बढ़ा, छात्र वास्तविक कोड लिखने के लिए AI पर कम निर्भर होते गए। उन्होंने अवधारणाओं को समझाने और योजना बनाने के लिए AI का अधिक उपयोग किया, जो यह दर्शाता है कि वे कार चलाने के लिए AI को स्टीयरिंग सौंपने के बजाय खुद गाड़ी चलाना सीख रहे थे।
यह क्यों महत्वपूर्ण है
RECAP से पहले, शोधकर्ता केवल अपराध स्थल (अंतिम कोड) या संदिग्ध की डायरी (चैट लॉग्स) को देखकर अपराध सुलझाने की कोशिश करने वाले जासूसों की तरह थे, लेकिन वे कभी वास्तविक घटना को नहीं देख पाते थे।
RECAP पूरी फिल्म प्रदान करता है। यह शिक्षकों और शोधकर्ताओं को यह देखने की अनुमति देता है कि लंबे समय में मनुष्य और AI मिलकर कैसे काम करते हैं, जिससे वह जटिल, 'ट्रायल-एंड-एरर' (प्रयास और त्रुटि) की प्रक्रिया सामने आती है जो अंतिम परिणाम की ओर ले जाती है।
महत्वपूर्ण नोट: पेपर इस बात पर जोर देता है कि यह टूल वर्तमान में VS Code और GitHub Copilot के लिए डिज़ाइन किया गया है। यह शोधकर्ताओं और शिक्षकों के लिए एक ओपन-सोर्स टूल है ताकि वे अध्ययन कर सकें कि लोग कैसे सीखते और काम करते हैं, न कि छात्रों को ग्रेड देने या मेडिकल डिवाइस के रूप में। एकत्र किया गया डेटा पूरी तरह से गुमनाम (anonymized) है और छात्र की गोपनीयता सुनिश्चित करने के लिए सुरक्षित है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।