Seeing Candidates at Scale: Multimodal LLMs for Visual Political Communication on Instagram
यह शोध पत्र 2021 के जर्मन संघीय चुनाव के दौरान इंस्टाग्राम पर दृश्य राजनीतिक संचार के विश्लेषण के लिए पारंपरिक कंप्यूटर विज़न मॉडल के विरुद्ध मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स, विशेष रूप से GPT-4o की प्रभावशीलता का मूल्यांकन करता है, जो यह प्रदर्शित करता है कि GPT-4o राजनेताओं की पहचान करने और व्यक्तियों की गणना करने में मौजूदा विधियों की तुलना में काफी बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं: एक राजनीतिक अभियान में असली सितारा कौन है?
2021 में, जर्मनी में एक बड़ा चुनाव हुआ। इस दौरान, राजनेता वोट जीतने के लिए इंस्टाग्राम पर हजारों तस्वीरें और छोटे वीडियो (जिन्हें "स्टोरीज" कहा जाता है) से भर गए। लेकिन किसी भी इंसान के लिए एक-एक करके इतनी सारी तस्वीरों को देखना असंभव था। इसमें सालों लग जाते!
इसलिए, तीन जर्मन विश्वविद्यालयों के शोधकर्ताओं ने इन तस्वीरों का काम करने के लिए डिजिटल जासूसों (AI मॉडल्स) की एक टीम बनाने का फैसला किया। उनका लक्ष्य दो बड़े सवालों का जवाब देना था:
- क्या कंप्यूटर इंसानों की तुलना में राजनेताओं को पहचानने में बेहतर हो सकते हैं?
- राजनेता खुद को मुख्य पात्र (मेन कैरेक्टर) के रूप में दिखाने के लिए इंस्टाग्राम का उपयोग कैसे करते हैं?
यहाँ उनके जांच की कहानी है, जिसे सरल भाषा में समझाया गया है।
1. प्रतियोगिता: पुराना तरीका बनाम नया सुपर-ब्रेन
शोधकर्ताओं ने इंस्टाग्राम की तस्वीरों पर सबसे अच्छा काम करने के लिए तीन अलग-अलग प्रकार के AI "जासूसों" के बीच एक दौड़ आयोजित की।
- पुराने स्कूल के जासूस (FaceNet और RetinaFace): ये विशेष सुरक्षा गार्डों की तरह हैं। इन्हें केवल चेहरों को देखने के लिए प्रशिक्षित किया गया है। ये भीड़ में चेहरा खोजने में अच्छे हैं, लेकिन थोड़े कठोर हैं। यदि चेहरा धुंधला है, तिरछा है, या मास्क से ढका हुआ है, तो ये भ्रमित हो सकते हैं।
- क्लाउड डिटेक्टिव (Google Cloud Vision): यह एक बड़ी टेक कंपनी का एक शक्तिशाली, पहले से बना हुआ टूल है। यह एक पेशेवर सुरक्षा फर्म को काम पर रखने जैसा है। यह अच्छा है, लेकिन यह एक "ब्लैक बॉक्स" है—आपको हमेशा पता नहीं चलता कि यह अपने निर्णय कैसे लेता है।
- नया सुपर-ब्रेन (GPT-4o): यह एक मल्टीमॉडल लार्ज लैंग्वेज मॉडल है। इस सुपर-ब्रेन को एक सुपर-स्मार्ट इंटर्न की तरह समझें जिसने लाइब्रेरी की हर किताब पढ़ी है और अब तक की हर फिल्म देखी है। केवल "चेहरे के आकार" को देखने वाले सुरक्षा गार्डों के विपरीत, यह इंटर्न तस्वीर को समझ सकता है। यह बता सकता है कि भीड़ में खड़ा एक असली व्यक्ति और पोस्टर पर दिख रहा एक व्यक्ति क्या है। यह संदर्भ (कॉन्टेक्स्ट) को भी समझ सकता है, जैसे कि "क्या इस व्यक्ति ने मास्क पहना है?" या "क्या यह एक धुंधली सेल्फी है?"
परिणाम:
सुपर-ब्रेन (GPT-4o) ने भारी अंतर से दौड़ जीत ली।
- यह मास्क पहने हुए या दूर खड़े होने पर भी राजनेताओं को पहचानने में बहुत बेहतर था।
- यह तस्वीरों में लोगों की गिनती करने में भी बहुत बेहतर था। पुराने डिटेक्टर्स बैकग्राउंड में चेहरों (जैसे कि बिलबोर्ड पर) को देखकर धोखा खा जाते थे और सोचते थे कि वहां 10 लोग हैं जबकि वास्तव में केवल 2 थे। सुपर-ब्रेन जानता था कि केवल मुख्य लोगों को ही गिनना है।
उपमा (Analogy):
कल्पना कीजिए कि आप एक पार्टी में हैं।
- पुराना स्कूल डिटेक्टर एक बाउंसर की तरह है जो केवल आईडी चेक करता है। अगर आपके चेहरे पर टोपी है, तो वह कहता है, "मुझे आपका चेहरा नहीं दिख रहा, आप यहाँ नहीं हैं।"
- सुपर-ब्रेन एक चतुर मेजबान (होस्ट) की तरह है जो हर किसी को जानता है। भले ही आपने टोपी पहनी हो या आप पीछे खड़े हों, मेजबान कहता है, "आह, ये तो मेयर हैं! और मैं देख सकता हूँ कि उनके साथ तीन अन्य मेहमान भी हैं।"
2. रहस्य: "मुख्य पात्र" कौन है?
एक बार जब उनके पास सबसे अच्छा AI जासूस (GPT-4o) आ गया, तो उन्होंने इसका उपयोग 2021 के जर्मन चुनाव के विश्लेषण के लिए किया। वे "कंसन्ट्रेटेड विज़िबिलिटी" (केंद्रित दृश्यता) नामक अवधारणा की तलाश कर रहे थे।
एक फिल्म के बारे में सोचें। कभी-कभी कैमरा केवल नायक (फ्रंट-रनर) पर केंद्रित होता है। कभी-कभी यह पूरी कास्ट को दिखाता है (पार्टी)।
- कंसन्ट्रेटेड विज़िबिलिटी का अर्थ है कि कैमरा केवल एक व्यक्ति पर बहुत करीब से केंद्रित है, जिससे वह दुनिया का सबसे महत्वपूर्ण व्यक्ति दिखाई देता है।
उन्हें क्या मिला?
- उम्मीदवार बनाम पार्टियाँ: व्यक्तिगत राजनेताओं (उम्मीदवारों) को "मुख्य पात्र" बनना पसंद था। अपने व्यक्तिगत इंस्टाग्राम खातों पर, उन्होंने अपनी कई तस्वीरें पोस्ट कीं, जिनमें वे अक्सर अकेले या केवल कुछ लोगों के साथ होते थे। वे चाहते थे कि आप उनसे प्यार करें।
- पार्टियाँ अधिक शर्मीली थीं: आधिकारिक पार्टी खाते (जैसे CDU या SPD पेज) अधिक संतुलित थे। वे उम्मीदवारों को दिखाते थे, लेकिन वे लोगों के समूह, रैलियों और भीड़ को भी दिखाते थे। वे केवल एक चेहरे पर इतनी तीव्रता से ध्यान केंद्रित नहीं करते थे।
- स्टोरीज बनाम स्थायी पोस्ट (Posts):
- पोस्ट (स्थायी): ये पॉलिश किए हुए मैगजीन कवर की तरह हैं। ये उच्च गुणवत्ता वाली, पेशेवर तस्वीरें हैं। दोनों—उम्मीदवारों और पार्टियों ने इनका उपयोग गंभीर और आधिकारिक दिखने के लिए किया।
- स्टोरीज (24 घंटे में गायब होने वाली सामग्री): ये "बिहाइंड-द-सीन्स" व्लॉग की तरह हैं। ये अव्यवस्थित, सहज और अनौपचारिक होती हैं। शोधकर्ताओं ने पाया कि उम्मीदवारों ने अपने "असली" स्वरूप को दिखाने के लिए स्टोरीज का उपयोग किया, जबकि पार्टियों ने अपने नेताओं को उजागर करने के लिए स्टोरीज का उतना उपयोग नहीं किया।
निष्कर्ष:
राजनेता दो चरणों वाला खेल खेल रहे हैं। वे अपने व्यक्तिगत खातों का उपयोग यह कहने के लिए करते हैं, "मुझे देखो, मैं सितारा हूँ!" और वे अपने पार्टी खातों का उपयोग यह कहने के लिए करते हैं, "हम एक टीम हैं।" लेकिन इंस्टाग्राम स्टोरीज पर, उम्मीदवारों ने "मुख्य पात्र" बनने पर बहुत जोर दिया, जबकि पार्टियाँ थोड़ी संयमित रहीं।
3. यह क्यों महत्वपूर्ण है?
यह अध्ययन दो कारणों से बहुत बड़ा है:
- टूल तैयार है: हम पहले सोचते थे कि लाखों तस्वीरों का विश्लेषण करने के लिए इंसानों की एक बड़ी सेना की आवश्यकता होगी। अब, हमारे पास एक "सुपर-ब्रेन" AI है जो यह काम तेजी से, सस्ते में और सटीकता से कर सकता है। इसका मतलब है कि शोधकर्ता मैन्युअल काम में वर्षों बिताए बिना बड़े पैमाने पर राजनीति का अध्ययन कर सकते हैं।
- रणनीति स्पष्ट है: अब हम जानते हैं कि राजनेता हमारे दिल जीतने के लिए किस तरह से प्रयास कर रहे हैं। वे "कंसन्ट्रेटेड विज़िबिलिटी" का उपयोग हमें यह महसूस कराने के लिए कर रहे हैं कि हम उन्हें व्यक्तिगत रूप से जानते हैं, भले ही वे स्क्रीन पर केवल एक चेहरा हों।
सावधानी (सीमाएँ)
शोधकर्ताओं ने कुछ बातें स्वीकार कीं:
- "ब्लैक बॉक्स" की समस्या: सुपर-ब्रेन (GPT-4o) एक निजी कंपनी के स्वामित्व में है। हम इसके कोड को नहीं देख सकते। यह एक प्रतिभाशाली जासूस को काम पर रखने जैसा है जो आपको यह नहीं बताएगा कि उसने मामला कैसे सुलझाया।
- मास्क की समस्या: क्योंकि यह चुनाव महामारी के दौरान हुआ था, इसलिए कई राजनेताओं ने मास्क पहने थे। पुराने AI मॉडल इसमें संघर्ष करते थे, लेकिन सुपर-ब्रेन ने इसे बेहतर तरीके से संभाला। हालांकि, यदि किसी उम्मीदवार ने मास्क पहना हो और वह दूर खड़ा हो, तो कभी-कभी सुपर-ब्रेन भी भ्रमित हो जाता था।
- एक महिला उम्मीदवार: उनके अध्ययन में केवल एक महिला उम्मीदवार (एनालेना बेर्बोक) थी। पुराने AI मॉडल उन्हें पहचानने में खराब थे, जिससे पता चलता है कि AI में महिलाओं के प्रति पूर्वाग्रह हो सकता है। सुपर-ब्रेन बेहतर था, लेकिन निश्चित होने के लिए हमें और अधिक डेटा की आवश्यकता है।
संक्षेप में
यह पेपर इस बारे में है कि कंप्यूटर को राजनीतिक टीवी शो (इंस्टाग्राम) देखना और हमें यह बताना सिखाना कि सितारे कौन हैं। उन्होंने पाया कि एक नया, स्मार्ट AI (GPT-4o) पुराने उपकरणों की तुलना में इस काम में बहुत बेहतर है। उन्होंने यह भी पता लगाया कि राजनेता बहुत रणनीतिक हैं: वे अपने व्यक्तिगत खातों का उपयोग केवल खुद को चमकाने के लिए करते हैं, ताकि हमें यह महसूस कराया जा सके कि वे हमारे दोस्त हैं, जबकि उनके पार्टी खाते थोड़ा सुरक्षित खेलते हैं।
यह हाई-टेक जासूसी और राजनीतिक मनोविज्ञान का मिश्रण है, जो हमें दिखाता है कि डिजिटल युग में, "दिखना" उतना ही महत्वपूर्ण है जितना कि "सुना जाना"।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।