मनुष्य लगातार अपनी सूक्ष्म, लगभग अदृश्य गतिविधियों के माध्यम से अपने आंतरिक जीवन का प्रसारण करते रहते हैं। एक हाथ जो बेचैनी में हिल रहा है, एक सिर जो बस एक अंश मात्र झुका है, या एक पैर जो एक सूक्ष्म लय के साथ हिल रहा है—ये सूक्ष्म-क्रियाएं (micro-actions) हैं। हाथ मिलाने के लिए हाथ हिलाने या किसी संकेत की ओर इशारा करने जैसे बड़े, सचेत इशारों के विपरीत, ये छोटी गतिविधियाँ बहुत कम सचेत विचार के साथ होती हैं। फिर भी, वे किसी व्यक्ति की भावनात्मक स्थिति और मनोवैज्ञानिक स्थिति के बारे में विश्वसनीय जानकारी लीक करती हैं। दशकों से, वैज्ञानिकों ने कंप्यूटर को इन क्षणिक संकेतों को देखने के लिए प्रशिक्षित करने की कोशिश की है, और वीडियो विश्लेषण में इन्हें एक कठिन पहेली के रूप में देखा है। चुनौती उनकी सूक्ष्मता में निहित है; वे संक्षिप्त, कम आयाम वाली और एक-दूसरे के साथ आसानी से भ्रमित होने वाली होती हैं। एक सिर का झुकना, सिर के मुड़ने जैसा लग सकता है; एक स्पर्श, खुजली जैसा लग सकता है। हाल तक, इसे हल करने का सबसे अच्छा तरीका हजारों उदाहरणों पर प्रशिक्षित विशेष कंप्यूटर प्रोग्राम बनाना था, एक ऐसी प्रक्रिया जिसमें विशाल मात्रा में डेटा और कंप्यूटिंग शक्ति की आवश्यकता होती थी।

वुहान विश्वविद्यालय के शोधकर्ताओं की एक टीम ने अब इस समस्या के प्रति एक अलग रणनीति अपनाई है, जो नए मॉडल बनाने के बजाय मौजूदा, शक्तिशाली कृत्रिम बुद्धिमत्ता (AI) उपकरणों पर निर्भर करती है। सूक्ष्म-क्रियाओं को समझने पर केंद्रित एक हालिया प्रतियोगिता में, उन्होंने बिना किसी नए डेटा पर अपने सिस्टम को प्रशिक्षित किए प्रथम स्थान प्राप्त किया। कंप्यूटर को यह सिखाने के बजाय कि सूक्ष्म-क्रिया कैसी दिखती है, उन्होंने एक परिष्कृत भाषा मॉडल (language model) से पूछा कि वह क्या देख रहा है और वह उसे क्यों देख रहा है। उनकी सफलता इस बात के बारे में एक आश्चर्यजनक सत्य प्रकट करती है कि ये मॉडल कैसे काम करते हैं: कंप्यूटर को सूक्ष्म गति को समझने का सबसे अच्छा तरीका उसे उत्तर का अनुमान लगाने के लिए कहना नहीं है, बल्कि पहले उसे विवरण देने के लिए कहना है, और फिर उन विवरणों को अंतिम निष्कर्ष का मार्गदर्शन करने देना है।

शोधकर्ताओं ने 'माइक्रो-एक्शन एनालिसिस ग्रैंड चैलेंज' नामक एक चुनौती में भाग लिया, जहाँ लक्ष्य लोगों द्वारा इन सूक्ष्म गतिविधियों को करने वाले हजारों छोटे वीडियो क्लिप का विश्लेषण करना था। कार्य को कई भागों में विभाजित किया गया था। कुछ भागों में कंप्यूटर को एक सूची से सही श्रेणी चुननी थी, जैसे कि यह तय करना कि कोई गतिविधि "सिर-हाथ" (head-hand) की अंतःक्रिया थी या "पैर-हाथ" (leg-hand) की अंतःक्रिया। अन्य भाग अधिक खुले थे, जिनमें कंप्यूटर से यह पूछा गया था कि शरीर के कौन से हिस्से हिले, वे कैसे हिले, और क्यों एक विशिष्ट लेबल सही चुनाव था। प्रतियोगिता के नियम सख्त थे: टीमें अपने मॉडलों को प्रतियोगिता के डेटा पर प्रशिक्षित नहीं कर सकती थीं, न ही वे सिस्टम को सही उत्तर सिखाने के लिए सही उत्तरों का उपयोग कर सकती थीं। उन्हें मॉडलों का उपयोग ठीक वैसे ही करना था जैसे वे थे, केवल लिखित निर्देशों के माध्यम से उनका मार्गदर्शन करना था।

टीम को एहसास हुआ कि एक एकल कृत्रिम बुद्धिमत्ता मॉडल हर काम के लिए सही उपकरण नहीं है। कुछ मॉडल त्वरित, सटीक विकल्प चुनने में उत्कृष्ट होते हैं, जैसे कि बहुविकल्पीय सूची से सही अक्षर चुनना। अन्य दृश्य में क्या हो रहा है इसके विस्तृत, प्रवाहमय विवरण लिखने में बेहतर होते हैं। शोधकर्ताओं ने एक ऐसा सिस्टम बनाया जो एक कंडक्टर (संचालक) की तरह कार्य करता है, जो प्रत्येक विशिष्ट प्रश्न को सबसे उपयुक्त मॉडल के पास भेजता है। जब कार्य किसी श्रेणी की पहचान करना या एक सरल हाँ-या-ना का निर्णय लेना था, तो उन्होंने वीडियो को उस मॉडल के पास भेजा जो अपनी मजबूत निर्णय लेने की क्षमता के लिए जाना जाता है। जब कार्य एक विवरण लिखना या किसी चुनाव के पीछे के तर्क को समझाना था, तो उन्होंने वीडियो को उस मॉडल के पास भेजा जो प्रवाहपूर्ण और सुसंगत पाठ (text) उत्पन्न करने की क्षमता के लिए जाना जाता है।

इस श्रम विभाजन ने एक बड़ी समस्या को हल कर दिया। अक्सर, एक मॉडल जो दृश्य का वर्णन करने में अच्छा है, वह गलत क्रिया का आत्मविश्वास से वर्णन कर देता है क्योंकि वह विवरणों में खो जाता है। इसके विपरीत, एक मॉडल जो लेबल चुनने में अच्छा है, वह बहुत संक्षिप्त, अनुपयोगी व्याख्या दे सकता है। कार्यों को अलग करके, टीम ने यह सुनिश्चित किया कि विवरण लिखने वाला मॉडल अंतिम लेबल का अनुमान लगाने के दबाव से विचलित न हो। हालाँकि, वे एक कदम आगे गए। उन्होंने पाया कि सबसे अच्छे विवरण के साथ भी, मॉडल अंतिम लेबल में गलती कर सकता है यदि वह सही तथ्यों से जुड़ा न हो। इसे ठीक करने के लिए, उन्होंने एक विधि पेश की जिसे उन्होंने 'रिकग्निशन-कंडीशन्ड रीजनिंग' (recognition-conditioned reasoning) कहा।

इस दृष्टिकोण में, सिस्टम पहले निर्णय लेने वाले मॉडल से सही श्रेणी का अनुमान लगाने के लिए कहता है। फिर यह उस अनुमान को लेता है और उसे सीधे वर्णनात्मक मॉडल (descriptive model) के प्रॉम्प्ट में डाल देता है। वर्णनात्मक मॉडल को फिर अपना स्पष्टीकरण लिखने के लिए कहा जाता है, लेकिन उसे उस अनुमानित श्रेणी को ध्यान में रखते हुए ऐसा करना होगा। यह ऐसा है जैसे सिस्टम कह रहा हो, "जो तुम देख रहे हो उसके आधार पर, समझाओ कि यह सिर का झुकना क्यों है, और सुनिश्चित करो कि तुम्हारा विवरण उस निष्कर्ष का समर्थन करे।" अनुमानित श्रेणी के बारे में वर्णनात्मक मॉडल को संकेत देने के इस सरल कदम ने अंतिम परिणाम की सटीकता में नाटकीय रूप से सुधार किया। वर्णनात्मक मॉडल ने केवल एक बेहतर कहानी नहीं लिखी; उसने एक ऐसी कहानी लिखी जो सही लेबल के साथ तथ्यात्मक रूप से सुसंगत थी।

इस दृष्टिकोण के परिणाम चौंकाने वाले थे। अंतिम प्रतियोगिता में, टीम के सिस्टम ने किसी भी अन्य प्रविष्टि की तुलना में काफी अधिक स्कोर किया, विशेष रूप से उन खुले खंडों में जहाँ कंप्यूटर को गतिविधियों का वर्णन और तर्क करना था। जबकि अन्य टीमें ऐसे स्पष्टीकरण लिखने में संघर्ष कर रही थीं जो प्रवाहपूर्ण और सटीक दोनों हों, इस सिस्टम ने वीडियो सामग्री के प्रति वफादार विवरण बनाने में सफलता प्राप्त की। शोधकर्ताओं ने पाया कि त्रुटियों का मुख्य कारण यह नहीं था कि मॉडल गति को देख नहीं सकते थे या अच्छी तरह लिख नहीं सकते थे, बल्कि यह था कि वे कभी-कभी शुरुआत में ही गलत लेबल का अनुमान लगा लेते थे। एक बार सही लेबल प्रदान किए जाने के बाद, मॉडल पूर्ण स्पष्टीकरण बनाने में सक्षम थे।

यह कार्य यह सुझाव देता है कि सूक्ष्म मानवीय व्यवहार से जुड़े जटिल दृश्य कार्यों के लिए, भविष्य शायद शून्य से विशाल नए मॉडल प्रशिक्षित करने में नहीं है। इसके बजाय, कुंजी उन शक्तिशाली उपकरणों को व्यवस्थित करने और निर्देशित करने में हो सकती है जो हमारे पास पहले से मौजूद हैं। सही प्रकार के प्रश्न के लिए सही प्रकार की कृत्रिम बुद्धिमत्ता को सावधानीपूर्वक मिलान करके, और मॉडलों को एक-दूसरे के काम की जाँच करने देकर, हम समझ का एक ऐसा स्तर प्राप्त कर सकते है जो विशेष प्रणालियों के बराबर हो। शोधकर्ताओं ने प्रदर्शित किया कि पूरी तरह से पूर्व-मौजूदा मॉडलों से बना एक सिस्टम उन मॉडलों से बेहतर प्रदर्शन कर सकता है जिन्हें विशेष रूप से कार्य के लिए प्रशिक्षित किया गया था, जिससे यह सिद्ध हुआ कि स्मार्ट ऑर्केस्ट्रेशन (सुव्यवस्थित संचालन) भारी प्रशिक्षण जितना ही शक्तिशाली है।

अध्ययन ने सफलता को मापने का एक नया तरीका भी पेश किया जो स्वचालित न्यायाधीशों के पूर्वाग्रहों से बचता है। अक्सर, उत्तरों को ग्रेड करने के लिए उपयोग किए जाने वाले भाषा मॉडल प्रवाह (fluency) के प्रति पक्षपाती होते हैं, जो एक अच्छी तरह से लिखे गए वाक्य को पुरस्कृत करते हैं भले ही तथ्य गलत हों। शोधकर्ताओं ने यह जांचने के लिए एक विधि विकसित की कि क्या स्पष्टीकरण वास्तव में सही श्रेणी का उल्लेख करता है, चाहे वह कितनी भी खूबसूरती से लिखा गया हो। इस "जज-फ्री" (न्यायाधीश-मुक्त) जाँच ने पुष्टि की कि मॉडलों को अनुमानित लेबल के साथ निर्देशित करने की उनकी विधि ही उनकी सफलता का वास्तविक चालक था। इसने दिखाया कि सूक्ष्म-क्रियाओं को समझने में बाधा दृश्य या बोलने की क्षमता नहीं है, बल्कि सबसे पहले सही क्रिया की पहचान करने की क्षमता है।

अंततः, यह शोध वीडियो के माध्यम से मानव व्यवहार को समझने के लिए एक स्पष्ट मार्ग प्रदान करता है। यह दिखाता है कि कठिन समस्याओं को हल करने के लिए हमें पहिए का पुनरुद्धार करने की आवश्यकता नहीं है। हमारे पास मौजूद उपकरणों की ताकत और कमजोरियों को समझकर, और उन्हें एक तार्किक क्रम में व्यवस्थित करके, हम उन क्षमताओं को अनलॉक कर सकते हैं जो पहले पहुंच से बाहर थीं। मानव शरीर की सूक्ष्म, अनैच्छिक गतिविधियों को सटीक रूप से पढ़ने की क्षमता मानसिक स्वास्थ्य स्क्रीनिंग से लेकर मानव-कंप्यूटर संपर्क तक के क्षेत्रों में गहरे प्रभाव डालती है। शोधकर्ताओं ने दिखाया है कि सही दृष्टिकोण के साथ, कृत्रिम बुद्धिमत्ता अदृश्य को देखना सीख सकती है, अधिक जटिल बनकर नहीं, बल्कि अधिक विचारशील बनकर।