An Embodied Companion for Visual Storytelling
यह शोध पत्र "कंपैनियन" (Companion) को प्रस्तुत करता है, जो एक एम्बॉडीड एआई (embodied AI) प्रणाली है जो द्वि-मार्गी, भाषण और स्केच-आधारित सह-निर्माण को सुगम बनाने के लिए एक ड्राइंग रोबोट को लार्ज लैंग्वेज मॉडल्स (Large Language Models) के साथ एकीकृत करती है, जिससे रोबोट एक निष्क्रिय उपकरण से बदलकर पेशेवर रूप से मान्यता प्राप्त दृश्य कहानियाँ उत्पन्न करने में सक्षम एक चंचल कलात्मक साथी में परिवर्तित हो जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक मेज पर अपने एक दोस्त के साथ बैठे हैं, आपके हाथ में एक पेन है और आपके बीच कागज का एक खाली टुकड़ा रखा है। आप एक साधारण घेरा (सर्कल) बनाना शुरू करते हैं। आपका दोस्त उसे देखता है, मुस्कुराता है, और कुछ रेखाएं जोड़कर उसे एक सूरज में बदल देता है। फिर, आप एक बादल जोड़ते हैं, और वे एक पक्षी जोड़ देते हैं। आप केवल बारी-बारी से काम नहीं कर रहे हैं; आप एक-दूसरे की चालों पर प्रतिक्रिया देते हुए मिलकर एक कहानी बना रहे हैं।
अब, कल्पना कीजिए कि आपका दोस्त एक रोबोट है। लेकिन ऐसा रोबोट नहीं जो केवल एक फैक्ट्री मशीन की तरह निर्देशों की एक सख्त सूची का पालन करता हो। यह रोबोट एक चंचल, बातूनी साथी है जो आपकी आवाज़ सुन सकता है, आपके चित्र को देख सकता है, और कहानी में अपना खुद का मोड़ जोड़ने का निर्णय ले सकता है।
यही "कंपैनियन" (Companion) का मूल विचार है, जो कलाकार पैट्रिक ट्रेसेट और गूगल डीपमाइंड का एक नया प्रोजेक्ट है।
समस्या: मशीन में "भूत" (The "Ghost" in the Machine)
वर्षों से, कलाकारों ने ड्राइंग करने के लिए रोबोट का उपयोग किया है। आमतौर पर, प्रक्रिया इस तरह काम करती है: कलाकार रोबोट को नियमों का एक सेट प्रोग्राम करता है, पीछे हट जाता है, और मशीन को काम करने देता है। रोबोट पूरी तरह से सटीक चित्र बनाता है, लेकिन कलाकार का "हाथ" (उनकी तत्काल उपस्थिति और सहज निर्णय) वास्तविक ड्राइंग प्रक्रिया से गायब होता है। यह एक पत्र लिखने, उसे सील करने और उसे किसी अजनबी को भेजने जैसा है जो फिर उसका उत्तर लिखता है। आप वास्तव में उनसे कभी बात नहीं करते।
कंपैनियन के रचनाकारों को लगा कि कुछ कमी है। वे चाहते थे कि रोबोट केवल एक 'ऑटोपायलट' नहीं, बल्कि एक 'को-पायलट' बने। वे चाहते थे कि कलाकार और मशीन एक ही कमरे में हों, और वहीं, उसी समय मिलकर निर्णय लें।
समाधान: एक दिमाग और आवाज़ वाला रोबोट
इसे बनाने के लिए, उन्होंने तीन चीजों को मिलाया:
- एक भौतिक रोबोटिक हाथ: एक कम लागत वाला, थोड़ा डगमगाता हुआ रोबोट जो वास्तव में पेन पकड़ता है और कागज पर चित्र बनाता है। इसकी मामूली खामियां (जैसे कांपता हुआ हाथ) कला को एक अनूठा, मानवीय अहसास देती हैं।
- एक "दिमाग" (लार्ज लैंग्वेज मॉडल): उन्होंने रोबोट को एक शक्तिशाली AI (जैसे गूगल के जेमिनी के पीछे वाले AI) से जोड़ा। यह AI भाषा, कहानियों और कला के इतिहास को समझता है।
- ड्राइंग की एक "शब्दावली": उन्होंने AI को यह सिखाया कि रोबंड के विशिष्ट उपकरणों का उपयोग करके विशिष्ट आकृतियाँ (जैसे पेड़ या चेहरा) कैसे बनाई जाती हैं। इसे इन-कॉन्टेक्स्ट लर्निंग (In-Context Learning) कहा जाता है। इसे ऐसे समझें जैसे आप खेल शुरू करने से पहले रोबोट को "कैसे ड्राइंग करें" की एक चित्र वाली किताब दिखा रहे हों।
यह कैसे काम करता है: सृजन का नृत्य
इसकी अंतःक्रिया एक जीवंत नृत्य की तरह है:
- आप बोलते हैं: आप रोबोट को बताते हैं, "चलो एक पक्षी के पंख खोने की कहानी बनाते हैं।"
- आप ड्राइंग करते हैं: आप कागज पर एक त्वरित घेरा बना सकते हैं।
- रोबोट प्रतिक्रिया देता है: रोबोट आपके घेरे को देखता है, आपकी कहानी सुनता है, और निर्णय लेता है, "ओह, यह घेरा एक पक्षी है! मैं एक पंख जोड़ दूँगा।" वह यह भी कह सकता है, "मुझे लगता है यह पक्षी डरा हुआ है!" (वह एक अनोखे चरित्र की तरह दिखने के लिए एक मजेदार, गैर-मूल लहजे के साथ बोलता है, न कि एक उबाऊ कंप्यूटर की तरह)।
- रोबोट ड्राइंग करता है: वह पंख जोड़ने के लिए अपना हाथ हिलाता है।
- आप फिर से प्रतिक्रिया देते हैं: आप पंख देखते हैं और एक बादल जोड़ने का निर्णय लेते हैं।
कभी-कभी, रोबोट आपको आश्चर्यचकित कर देता है। एक प्रयोग में, एक कलाकार ने पन्ने के काफी ऊपर एक कार बनाई। केवल सड़क बनाने के बजाय, रोबोट ने कार को तैरता हुआ समझा और उसके बगल में एक बादल पर तैरता हुआ पात्र जोड़ दिया। उसने विचार को लिया और उसे उस दिशा में ले गया जिसकी मानव ने उम्मीद नहीं की थी।
परिणाम का "जादू"
शोधकर्ताओं ने कला विशेषज्ञों के साथ इस प्रणाली का परीक्षण किया। वे जानना चाहते थे: क्या यह सिर्फ एक अजीब मशीन है, या यह वास्तविक कला है?
विशेषज्ञों ने कहा हाँ, यह कला है।
- इसका एक शैली (Style) है: चित्र प्राचीन गुफा चित्रों, बाल-सुलभ रेखाचित्रों और आधुनिक कला के मिश्रण की तरह दिखते हैं। वे पूर्ण नहीं हैं, लेकिन यही मुख्य बात है। "डगमगाती" रेखाएं रोबोट की भौतिक गति की कहानी बताती हैं।
- यह कहानियाँ सुनाता है: रोबोट रूपक कथाओं (जैसे "कछुआ और खरगोश") या गीत के बोलों का चित्रण कर सकता है, जो पन्ने के अलग-अलग स्थानों पर एक ही पात्र को दिखाकर समय बीतने को दर्शाता है।
- यह एक साझेदारी जैसा महसूस होता है: विशेषज्ञों को लगा कि रोबोट केवल उपयोग किया जाने वाला एक उपकरण नहीं था; बल्कि उसका अपना "व्यक्तित्व" भी था। एक विशेषज्ञ ने उल्लेख किया कि रोबोट की हिचकिचाती रेखाओं ने इसे ऐसा दिखाया जैसे वह इंसान की तरह ही "देखना सीख रहा हो"।
यह क्यों महत्वपूर्ण है
यह प्रोजेक्ट कला में AI के बारे में हमारी सोच को बदल देता है। एक टेक्स्ट-टू-इमेज जनरेटर की तरह AI के एक 'मैजिक बॉक्स' होने के बजाय (जो एक तैयार छवि थोंप देता है), कंपैनियन यात्रा के बारे में है।
यह एक पिज्जा ऑर्डर करने (आपको एक परिणाम मिलता है) और एक दोस्त के साथ मिलकर खाना पकाने (आप अनुभव साझा करते हैं) के बीच का अंतर है। रोबोट कलाकार की जगह नहीं ले रहा है; यह कलाकार को एक नए, अप्रत्याशित रोमांच में आमंत्रित कर रहा है जहाँ अंतिम चित्र दोनों के लिए एक सरप्राइज है।
संक्षेप में: कंपैनियन एक ऐसा रोबोट है जो केवल आपके लिए ड्राइंग नहीं करता; यह आपके साथ ड्राइंग करता है, जिससे एक शांत कमरा कहानियों और रेखाचित्रों का एक साझा खेल का मैदान बन जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।