Modeling Engagement with Brand and Organizational TikTok Videos Using Machine-Assisted Theory-Ensemble Annotation

तकनीकी सारांश: मशीन-सहायता प्राप्त सिद्धांत-समूह एनोटेशन (Theory-Ensemble Annotation) का उपयोग करके ब्रांड और संगठनात्मक टिकटॉक वीडियो के जुड़ाव (Engagement) का मॉडलिंग

समस्या विवरण
टिकटॉक जैसे प्लेटफॉर्म पर लघु-रूप वीडियो सामग्री (short-form video content) बड़े पैमाने पर अनुसंधान के लिए महत्वपूर्ण चुनौतियां पेश करती है। इन वीडियो में अर्थ, दृश्य-श्रव्य तत्वों, भाषा, संपादन और एल्गोरिदम की जटिल, बहुआidal (multimodal) अंतःक्रियाओं से उभरता है। इन परतों का पारंपरिक मैनुअल एनोटेशन श्रम-साध्य है, मानकीकृत करना कठिन है, और अक्सर छोटे नमूनों तक सीमित होता है, जिससे सांस्कृतिक उत्पादन और जुड़ाव का बड़े पैमाने पर अध्ययन करने में बाधा आती है। मौजूदा बड़े पैमाने के अध्ययन अक्सर आसानी से मापने योग्य भविष्यवाणियों (जैसे, अकाउंट का आकार, समय, नेटवर्क संरचना) या सामान्य मल्टीमॉडल विशेषताओं पर निर्भर करते हैं, जो अक्सर कथा संरचना (narrative structure), वक्तृत्व संबोधन (rhetorical address) और अर्ध-वैज्ञानिक संगठन (semiotic organization) से संबंधित गहरे व्याख्यात्मक प्रश्नों की अनदेखी करते हैं। हालांकि मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (LLMs) आशाजनक दिख रहे हैं, लेकिन एक ऐसे कठोर वर्कफ़्लो की आवश्यकता है जो व्याख्यात्मक बारीकियों को खोए बिना दीर्घकालिक व्याख्यात्मक सिद्धांतों को संरचित चरों (variables) में संचालित कर सके।

कार्यप्रणाली
यह अध्ययन एक मशीन-सहायता प्राप्त "क्वांटिटाइजिंग" (quantitizing) दृष्टिकोण अपनाता है, जो गुणात्मक सैद्धांतिक निर्णयों को मात्रात्मक श्रेणीबद्ध चरों में परिवर्तित करता है।

• संग्रह निर्माण (Corpus Construction): डेटासेट में एस्टोनिया (जो 1.3 मिलियन लोगों का एक भाषाई रूप से सीमित पारिस्थितिकी तंत्र है) के 30 क्यूरेटेड ब्रांड और संगठनात्मक खातों से 9,654 वीडियो शामिल हैं। ये वीडियो जुलाई 2020 से जनवरी 2026 तक के हैं, जिनमें अधिकांश 2023 और 2025 के बीच पोस्ट किए गए हैं।
• एनोटेशन डिज़ाइन: शोधकर्ताओं ने कॉर्पस को एनोटेट करने के लिए एक एकल वीडियो-सक्षम फ्रंटियर मॉडल (Gemini 2.5 Pro) का उपयोग किया। एनोटेशन योजना "सिद्धांत-संतृप्त" (theory-saturated) है, जो 11 अलग-अलग सैद्धांतिक ब्लॉक्स से 77 संरचनात्मक चर प्राप्त करती है, जिनमें शामिल हैं:
  • नरेटोलॉजी (Labovian structure, Propp/Campbell arcs, Polti conflict types)।
  • वक्तृत्व (Aristotelian appeals, Burke's dramatistic pentad)।
  • सेमिओटिक्स (Chandler's sign modes, Hall's encoding/decoding)।
  • मल्टीमॉडल फ्रेमवर्क (Grzenkowicz & Wildfeuer)।
  • संचार सिद्धांत (Uses and gratifications)।
    मॉडल को एक संरचित JSON ऑब्जेक्ट आउटपुट करने के लिए प्रॉम्प्ट किया गया था जिसमें बाइनरी/श्रेणीबद्ध चर और नैदानिक टेक्स्ट फ़ील्ड शामिल थे, ताकि निरंतरता सुनिश्चित करने के लिए मुक्त-रूप गद्य (free-form prose) से बचा जा सके।
• सत्यापन (Validation): विश्वसनीयता का आकलन करने के लिए तीन मानव कोडर्स द्वारा 100 वीडियो के एक उपसमुच्चय (subset) को मैन्युअल रूप से एनोटेट किया गया। मानवीय बहुमत मतों के विरुद्ध एग्रीमेंट मेट्रिक्स (Krippendorff's $\alpha$, Fleiss' $\kappa$) और LLM सटीकता की गणना की गई। परिणामों ने एक विश्वसनीयता प्रवणता (reliability gradient) दर्शाई: बोधगम्य और संचार संबंधी चर (जैसे, ऑडियो प्रकार, कैमरा एंगल) उच्च सहमति दिखाते हैं, जबकि गहरे सेमिओटिक और आर्कटाइपल निर्माण (जैसे, Burke's pentad, Polti conflicts) कम सहमति दिखाते हैं, जो अक्सर केवल मॉडल की विफलता के बजाय मानव एनोटेटर की कठिनाई के कारण होता है।
• मात्रात्मक विश्लेषण:
  • पूर्वानुमानित मॉडलिंग (Predictive Modeling): जुड़ाव मेट्रिक्स (लाइक्स, कमेंट्स, शेयर्स, सेव्स) और कमेंट सेक्शन गतिविधि (समर्थक बनाम सूचना-खोजने वाला) की भविष्यवाणी करने के लिए ग्रुपेड CatBoost मॉडल को प्रशिक्षित किया गया। मॉडलों ने डेटा लीकेज को रोकने के लिए "ग्रुपेड आउट-ऑफ-अकाउंट" स्प्लिट लागू किए, यह सुनिश्चित करते हुए कि एक ही अकाउंट के वीडियो प्रशिक्षण और परीक्षण दोनों सेटों में न आएं। बेसलाइन कंट्रोल्स में अकाउंट फॉलोअर काउंट और वीडियो की आयु शामिल थी।
  • व्याख्यात्मकता (Interpretability): एक माध्यमिक लीनियर मिक्स्ड-इफेक्ट्स मॉडल ने CatBoost मॉडलों के शीर्ष भविष्यवक्ताओं का विश्लेषण किया। इसके अतिरिक्त, एक "डिज़ाइन चॉयस" विश्लेषण ने अन्य चरों को स्थिर रखते हुए एकल चरों को बदलकर मार्जिनल प्रभावों का अनुकरण किया ताकि उच्च-लीवरेज वाली संरचनात्मक विशेषताओं की पहचान की जा सके।
  • समानता मानचित्रण (Similarity Mapping): पूर्ण एनोटेशन सेट पर हैमिंग डिस्टेंस (Hamming distance) का उपयोग करके वीडियो को 2D कॉन्फ़िगरेशन स्पेस में मैप किया गया ताकि संरचनात्मक समानता और प्रदर्शन के बीच संबंध का पता लगाया जा सके।

प्रमुख योगदान

1. सिद्धांत का संचालन (Operationalization of Theory): यह अध्ययन लघु-रूप वीडियो के लिए जटिल, दीर्घकालिक व्याख्यात्मक सिद्धांतों (नरेटोलॉजी, सेमिओटिक्स, वक्तृत्व) को एक संरचित, मशीन-पठनीय एनोटेशन योजना में अनुवादित करने के वर्कफ़्लो को प्रदर्शित करता है।
2. मशीन-सहायता प्राप्त क्वांटिटाइजिंग: यह बड़े पैमाने पर सैद्धांतिक रूप से प्रेरित चरों को एनोटेट करने के लिए मल्टीमॉडल LLMs के उपयोग को मान्य करता है, यह दिखाते हुए कि जबकि गहरे सेमिओटिक निर्माण चुनौतीपूर्ण बने रहते हैं, बोधगम्य और संचार संबंधी चरों को पर्याप्त विश्वसनीयता के साथ कोड किया जा सकता है।
3. अनुभवजन्य आधार रेखा (Empirical Baseline): यह एस्टोनियाई ब्रांड और संगठनात्मक टिकटॉक सामग्री का एक व्यापक डेटासेट प्रदान करता है, जो एक सीमित प्लेटफॉर्म रिपर्टोयर प्रदान करता है जो अलग-थ been वायरल मामलों के शोर से बचता है।
4. मेथोडोलॉजिकल फ्रेमवर्क: यह पेपर एक पुनरुत्पादक पाइपलाइन स्थापित करता है जिसमें स्पष्ट कोडबुक्स, सत्यापन नमूने और बायस चेक शामिल हैं ताकि गुणात्मक अंतरों को संरचित चरों में बदला जा सके।

परिणाम

• पूर्वानुमानित लाभ: सिद्धांत-कोडित सामग्री चरों ने बेसलाइन कंट्रोल्स (अकाउंट साइज और वीडियो एज) की तुलना में मामूली लेकिन निरंतर लाभ प्रदान किया। पूर्ण मॉडलों ने लाइक्स के लिए 0.27 और कमेंट्स के लिए 0.18 के $R^2$ मान प्राप्त किए, जो कंट्रोल-ओनली मॉडलों की तुलना में 0.056 से 0.078 की वृद्धिशील सुधार का प्रतिनिधित्व करते हैं। लाइक्स और सेव्स सबसे अधिक अनुमान योग्य परिणाम थे; शेयर्स सबसे कठिन अनुमान योग्य बने रहे।
• प्रमुख भविष्यवक्ता:
  • लाइक्स: व्यापक पैकेजिंग विकल्पों से सबसे मजबूती से जुड़े थे: मूल बोले गए ऑडियो (उच्चतम कंट्रास्ट), मनोरंजक इरादा, और इनडोर-कमर्शियल सेटिंग्स।
  • कमेंट्स: "कॉल-टू-एक्शन" (CTA) प्रकार प्रमुख भविष्यवक्ता था, विशेष रूप से "एंगेजमेंट बेट"। सूचना-खोजने वाले कमेंट्स ट्यूटोरियल फॉर्मेट और लोगो-आधारित वक्तृत्व से जुड़े थे, जबकि समर्थक कमेंट्स पाथोस-आधारित वक्तृत्व और ट्रैवल/फैशन विषयों के साथ सह-संबंधित थे।
• विश्वसनीयता प्रवणता: मानवीय सत्यापन ने पुष्टि की कि बोधगम्य चर (ऑडियो, विजुअल, एडिटिंग) मानव और LLM दोनों द्वारा विश्वसनीय रूप से कोड किए जाते हैं। इसके विपरीत, गहरे व्याख्यात्मक चर (Burke, Polti, Chandler) खराब विश्वसनीयता दिखाते हैं, जहाँ LLMs अक्सर वहां संघर्ष या सेमिओटिक जटिलता का पता लगाते हैं जहाँ मनुष्य सीधा प्रतिनिधित्व देखते हैं।
• संरचनात्मक समानता: जो वीडियो कॉर्पस या विशिष्ट अकाउंट के "मोडल प्रोफाइल" (सबसे सामान्य मान) के साथ संरेखित थे, वे लाइक्स के मामले में बेहतर प्रदर्शन करते थे। हालांकि, यह एक समान प्रभाव नहीं था; विशिष्ट विचलन (जैसे, प्रमोशनल इंटेंट के लिए कॉर्पस मानदंड को तोड़ना) भी अनुकूल हो सकते थे। समानता का लाभ कुल अनुरूपता के बजाय उच्च-लीवरेज पैकेजिंग चरों द्वारा संचालित था।

महत्व और दावे
पेपर का दावा है कि यह दृष्टिकोण तीन प्राथमिक उद्देश्यों का समर्थन करता है:

1. अन्वेषणात्मक सांस्कृतिक विश्लेषण (Exploratory Cultural Analytics): बड़े बैटरी वाले सैद्धांतिक चरों को दृश्यमान बनाकर लघु-रूप वीडियो संस्कृति में भिन्नता का मानचित्रण करना।
2. पूर्वानुमानित मॉडलिंग (Predictive Modeling): सरल दृश्यता मेट्रिक्स से परे प्लेटफॉर्म डायनेमिक्स और दर्शक फीडबैक के पूर्वानुमान में सुधार करना।
3. निर्माताओं के लिए निदान (Diagnostics for Creators): सामग्री निर्माताओं को संरचनात्मक और कथात्मक रणनीतियों के बीच चयन करने के लिए डेटा-संचालित मार्गदर्शन प्रदान करना, यह पहचानना कि कौन से चरों के उपसमुच्चय विशिष्ट निश (niches) के लिए सिग्नल ले जाते हैं।

लेखक अपने दावों में विनम्रता पर जोर देते हैं: यह अध्ययन साहचर्य (associational) है, कारण संबंधी (causal) नहीं। LLMs का मूल्य हर सैद्धांतिक निर्माण के लिए पूर्ण सटीकता में नहीं है, बल्कि बड़े, विविध सैद्धांतिक ढांचों का मूल्यांकन करने योग्य बनाना है। यह शोधकर्ताओं को यह पहचानने की अनुमति देता है कि कौन से विशिष्ट चर सिग्नल ले जाते हैं और कौन से केवल वर्णनात्मक हैं, जिससे सैद्धांतिक अंतर्दृष्टि को विशिष्ट निश के भीतर सामग्री रणनीति के लिए कार्रवाई योग्य मार्गदर्शन में अनुवादित किया जा सके। निष्कर्ष बताते हैं कि हालांकि गहरा सेमिओटिक विश्लेषण मानकीकृत करना कठिन बना हुआ है, नरेटिव और रिटोरिकल संरचनाओं का संचालन वीडियो जुड़ाव के पीछे के "क्यों" को समझने के लिए एक व्यवहार्य मार्ग प्रदान करता है।