लाखों किताबों वाले एक पुस्तकालय को समझने की कल्पना करें, लेकिन आपके पास कोई सूची नहीं है, न ही कोई शीर्षक है, और न ही आपको यह पता लगाने का कोई तरीका है कि उनमें से प्रत्येक किस बारे में है। आप हर पन्ने को नहीं पढ़ सकते, इसलिए आपको इन किताबों को उनके छिपे हुए विषयों के आधार पर समूहीकृत करने के तरीके की आवश्यकता है। यह टॉपिक मॉडलिंग (विषय मॉडलिंग) की मौलिक चुनौती है, जो शोधकर्ताओं द्वारा सोशल मीडिया पोस्ट से लेकर चिकित्सा रिकॉर्ड तक, टेक्स्ट के विशाल संग्रहों को छानने और उन अंतर्निहित विषयों को खोजने के लिए उपयोग की जाने वाली एक विधि है जिन पर लोग चर्चा कर रहे हैं। यह प्रक्रिया स्वाभाविक रूप से अव्यवस्थित है। क्योंकि शब्दों और विचारों को समूहीकृत करने के अनगिनत तरीके हैं, कंप्यूटर अक्सर एक लूप में फंस जाता है, जिससे परिणाम अस्थिर या निरर्थक शब्दों से भरे हुए होते हैं। एक मॉडल एक दिन एक उपयोगी विषय खोज सकता है और अगले दिन असंबंधित शब्दों का एक मिला-जुला ढेर। यह अनिश्चितता वैज्ञानिकों को एक ही विश्लेषण को बार-बार चलाने, सेटिंग्स को बदलने और बेहतर परिणाम की उम्मीद करने के लिए मजबूर करती है, जो एक धीमी, श्रम-साध्य और अक्सर निराशाजनक प्रक्रिया है।

हाल ही में एक अध्ययन में, शोधकर्ताओं एलेक्स गोर्बुलेव, वासिली अलेक्सीव और कॉन्स्टेंटिन वोरोन्त्सोव ने इस अर्थ की खोज को अधिक विश्वसनीय और कुशल बनाने का एक तरीका प्रस्तावित किया। प्रत्येक प्रयास को एक नई शुरुआत के रूप में देखने के बजाय, उन्होंने एक ऐसी विधि विकसित की जहाँ कंप्यूटर अपने पिछले गलतियों से सीखता है। वे इसे इटरेटिवली अपडेटेड एडिटिवली रेगुलराइज्ड टॉपिक मॉडल (Iteratively Updated Additively Regularized Topic Model), या ITAR कहते हैं। मूल विचार सरल लेकिन शक्तिशाली है: यदि कंप्यूटर एक अच्छा विषय पाता है, तो वह उसे उसके स्थान पर लॉक कर देता है। यदि उसे एक बुरा विषय मिलता है, तो वह उसे बचने के लिए एक संकेत के रूप में चिह्नित करता है। फिर, यह विश्लेषण को फिर से चलाता है, अच्छी खोजों को बनाए रखता है और बुरे पथों से सक्रिय रूप से दूर रहता है। इस चक्र को दोहराकर, मॉडल विषयों का एक संग्रह बनाता है जो हर चरण के साथ बेहतर होता जाता है, यह सुनिश्चित करता है कि अंतिम परिणाम में सार्थक विषयों का सबसे अच्छा मिश्रण हो और रास्ते में मिले अच्छे विषयों का नुकसान न हो।

यह समझने के लिए कि यह कैसे काम करता है, व्यक्ति को पहले यह समझना होगा कि कंप्यूटर के लिए एक "विषय" (topic) क्या दिखता है। इन मॉडलों में, विषय "खेल" या "राजनीति" जैसा लेबल नहीं है जिसे कोई मनुष्य लिखता है। इसके बजाय, यह शब्दों की एक विशिष्ट सूची है जो अक्सर एक साथ दिखाई देते हैं। यदि "लक्ष्य", "मैच", "खिलाड़ी" और "टीम" जैसे शब्द एक ही दस्तावेज़ों में बार-बार आते हैं, तो कंप्यूटर उन्हें एक एकल विषय में समूहीकृत करता है। समस्या तब उत्पन्न होती है जब कंप्यूटर को यह नहीं पता होता कि कौन से समूह मनुष्यों के लिए तर्कसंगत हैं। यह गलती से "लक्ष्य" को "कर" (tax) के साथ जोड़ सकता है क्योंकि दोनों शब्द खेल वित्तपोषण के बारे में वित्तीय समाचारों में दिखाई देते हैं, जिससे एक भ्रमित करने वाला और बेकार विषय बन जाता है। पारंपरिक तरीके इस समस्या को ठीक करने के लिए नियम या "रेगुलराइज़र" जोड़ने का प्रयास करते हैं, जो कंप्यूटर को विषयों को अलग रखने या विशिष्ट प्रकार के शब्दों पर ध्यान केंद्रित करने के लिए बताते हैं। हालाँकि, ये नियम आमतौर पर शुरुआत में एक बार लागू किए जाते हैं, और यदि कंप्यूटर शुरुआत में गलती करता है, तो वह त्रुटि पूरी प्रक्रिया के दौरान बनी रह सकती है।

शोधकर्ताओं का दृष्टिकोण कार्यप्रवाह को पूरी तरह से बदल देता है। वे एक टॉपिक मॉडल के निर्माण को एक एकल घटना के रूप में नहीं, बल्कि जुड़े हुए चरणों की एक श्रृंखला के रूप में देखते हैं। पहले चरण में, कंप्यूटर विषयों का एक सेट उत्पन्न करता है। शोधकर्ता फिर इन विषयों को मैन्युअल रूप से या स्वचालित रूप से तीन श्रेणियों में वर्गीकृत करते हैं: अच्छे, बुरे और औसत (unremarkable)। अच्छे विषय वे हैं जो मानव पाठक के लिए स्पष्ट और अर्थपूर्ण हैं। बुरे विषय वे हैं जो भ्रमित करने वाले हैं, जिनमें 'स्टॉप वर्ड्स' (stop words) भरे हुए हैं, या निरर्थक हैं। औसत विषय वे डुप्लिकेट या तटस्थ समूह हैं जो कोई मूल्य नहीं जोड़ते हैं। एक बार यह छंटनी होने के बाद, कंप्यूटर प्रशिक्षण का एक नया दौर शुरू करता है। इस बार, उसे निर्देशों का एक विशिष्ट सेट दिया जाता है: उसे अच्छे विषयों को बिल्कुल वैसा ही रखना होगा जैसा वे हैं, उसे ऐसे विषय बनाने से बचना होगा जो बुरे विषयों जैसे दिखते हों, और उसे औसत विषयों को बदलने के लिए नए, अलग अच्छे विषय खोजने होंगे।

यह प्रक्रिया एक गणितीय तकनीक पर निर्भर करती है जिसे 'एडिटिव रेगुलराइजेशन' कहा जाता है, जो बाधाओं के एक सेट की तरह कार्य करती है जो कंप्यूटर की खोज को निर्देशित करती है। सिस्टम का एक हिस्सा स्मृति (memory) के रूप में कार्य करता है, यह सुनिश्चित करता है कि पिछले दौर में मिले अच्छे विषयों को संरक्षित किया जाए और खोया न जाए। दूसरा हिस्सा एक फ़िल्टर के रूप में कार्य करता है, जो सक्रिय रूप से कंप्यूटर को उन पैटर्न से दूर धकेलता है जिन्होंने बुरे विषयों को बनाया था। इन बलों को जोड़कर, मॉडल को अपनी समझ को परिष्कृत करने के लिए मजबूर किया जाता है। यह केवल फिर से शुरू नहीं करता है; यह जो कुछ भी इसने पहले सीखा है, उस पर निर्माण करता है। शोधकर्ताओं ने रूसी वैज्ञानिक लेखों, अंग्रेजी समाचार कहानियों और चिकित्सा रिकॉर्ड सहित विभिन्न प्रकार के टेक्स्ट संग्रहों पर इस पद्धति का परीक्षण किया। उन्होंने अपने नए तरीके की तुलना कई लोकप्रिय मौजूदा मॉडलों के साथ की, जिसमें मानक संभाव्यता मॉडल और नए न्यूरल नेटवर्क-आधारित दृष्टिकोण शामिल थे।

परिणामों ने इटरेटिव (पुनरावृत्ति) पद्धति के लिए एक स्पष्ट लाभ दिखाया। अपने प्रयोगों में, शोधकर्ताओं ने पाया कि नया मॉडल अन्य सभी तरीकों की तुलना में लगातार उच्च प्रतिशत में अच्छे विषयों को संचित करता है। उदाहरण के लिए, रूसी वैज्ञानिक लेखों के डेटासेट पर, इटरेटिव मॉडल ने विषयों का एक ऐसा अंतिम सेट तैयार किया जहाँ नब्बे प्रतिशत को अच्छा माना गया, जबकि अन्य मॉडल आमतौर पर केवल बीस से चालीस प्रतिशत ही प्रबंधित कर पाते थे। इससे भी महत्वपूर्ण बात यह है कि मॉडल द्वारा पाए गए विषय विविध थे, जिसका अर्थ है कि उन्होंने एक ही विचार को दोहराने के बजाय विभिन्न विषयों को कवर किया। हालांकि मॉडल वाक्य में अगले शब्द की भविष्यवाणी करने में सबसे सरल, बुनियादी मॉडलों की तुलना में थोड़ा कम कुशल था, लेकिन यह समझौता सार्थक था क्योंकि इसके द्वारा उत्पादित विषय मानव शोधकर्ताओं के लिए बहुत अधिक उपयोगी और व्याख्या योग्य थे।

अध्ययन ने यह भी पता लगाया कि क्या कंप्यूटर को अधिक विषय खोजने के लिए कहा जाता है तो क्या होता है। उन्होंने बीस विषयों और पचास विषयों के साथ सिस्टम का परीक्षण किया। दोनों मामलों में, इटरेटिव पद्धति ने अन्यों से बेहतर प्रदर्शन करना जारी रखा, विषयों की संख्या बढ़ने के बावजूद विषयों की उच्च गुणवत्ता बनाए रखी। शोधकर्ताओं ने नोट किया कि इस प्रक्रिया के लिए अधिक कंप्यूटिंग समय की आवश्यकता होती है क्योंकि यह विश्लेषण को कई बार चलाता है, लेकिन यह अतिरिक्त प्रयास उस अंतहीन परीक्षण-और-त्रुटि (trial-and-error) की आवश्यकता को समाप्त करके फल देता है जो आमतौर पर इस क्षेत्र में व्याप्त रहती है। उन्होंने यह भी जांचा कि क्या यह पद्धति गुणवत्ता को मापने के विभिन्न तरीकों के साथ ठीक से काम करती है। उन्होंने पाया कि मॉडल अच्छा प्रदर्शन करता है चाहे वे विषयों को इस आधार पर आंकें कि शब्द कितनी बार एक साथ आते हैं या इस आधार पर कि शब्द पाठ में कितनी स्वाभाविक रूप से प्रवाहित होते हैं, जो सुझाव देता है कि यह पद्धति मूल्यांकन के विभिन्न मानकों के तहत सुदृढ़ है।

सबसे महत्वपूर्ण निष्कर्षों में से एक यह था कि यह पद्धति सफलतापूर्वक यह सुनिश्चित करती है कि कंप्यूटर "अच्छी खोजों को भूलना" न जाए। पारंपरिक दृष्टिकोणों में, यदि कोई मॉडल पहले रन में एक शानदार विषय पाता है लेकिन फिर दूसरे रन में शोर (noise) से विचलित हो जाता है, तो वह अच्छा विषय अक्सर हमेशा के लिए खो जाता है। इटरेटिव पद्धति इसे अच्छे विषयों को स्थिर एंकर (anchors) के रूप में मानकर हल करती है। शोधकर्ताओं ने देखा कि जैसे-जैसे अच्छे विषयों की संख्या बढ़ी, मॉडल अधिक केंद्रित होता गया, और अंततः तब रुक गया जब उसने पर्याप्त उच्च-गुणवत्ता वाले विषय एकत्र कर लिए। उन्होंने यह भी पाया कि यह पद्धति तब भी अच्छी तरह काम करती है जब प्रारंभिक मॉडल पूर्ण न हो; यह कई दौरों में सुधार कर सकती है और बेहतर परिणाम दे सकती है।

लेखकों ने अपने कार्य की सीमाओं को स्पष्ट रूप से रेखांकित किया। यह पद्धति विषयों को अच्छे और बुरे श्रेणियों में वर्गीकृत करने की क्षमता पर निर्भर करती है, जिसके लिए वर्तमान में कुछ मानवीय निर्णय या एक बहुत ही विशिष्ट स्वचालित नियम की आवश्यकता होती है। यदि "अच्छा" विषय क्या है, इसके मानदंड स्पष्ट नहीं हैं, तो सिस्टम को यह जानने में संघर्ष करना पड़ सकता है कि क्या रखना है। इसके अतिरिक्त, चूंकि इस पद्धति के लिए मॉडल को कई बार चलाने की आवश्यकता होती है, इसलिए यह उन अत्यंत बड़े डेटासेट के लिए धीमी हो सकती है जहाँ समय एक महत्वपूर्ण कारक है। उन्होंने यह भी उल्लेख किया कि हालांकि उनकी पद्धति उनके द्वारा उपयोग किए गए विशिष्ट गणितीय ढांचे के साथ अच्छी तरह काम करती है, लेकिन अभी तक अन्य प्रकार के न्यूरल नेटवर्क मॉडलों पर इसका परीक्षण नहीं किया गया है, जिससे यह प्रश्न खुला रह जाता है कि क्या इस इटरेटिव दृष्टिकोण को अन्य प्रणालियों पर अनुकूलित किया जा सकता है।

अंततः, यह शोध टेक्स्ट विश्लेषण की एक लंबे समय से चली आ रही समस्या का व्यावहारिक समाधान प्रदान करता है। प्रक्रिया को अलग-थलग प्रयासों के बजाय एक निरंतर, संचयी शिक्षण चक्र में बदलकर, शोधकर्ताओं ने दिखाया है कि यह संभव है कि कंप्यूटर को बिना पहले से उत्तर जाने बेहतर परिणामों की ओर निर्देशित किया जाए। मॉडल केवल विषय नहीं खोजता; यह हर बार चलाने पर उन्हें बेहतर तरीके से खोजना सीखता है। यह दृष्टिकोण टेक्स्ट में अर्थ की खोज को संयोग के खेल से बदलकर एक अधिक नियतात्मक और विश्वसनीय प्रक्रिया में बदल देता है, जिससे शोधकर्ता विषयों से प्राप्त अंतर्दृष्टि पर ध्यान केंद्रित कर सकते हैं, न कि कंप्यूटर को उन्हें खोजने के लिए संघर्ष करने पर। यह कार्य सुझाव देता है कि डेटा विश्लेषण की जटिल दुनिया में, कभी-कभी आगे बढ़ने का सबसे अच्छा तरीका शून्य से शुरू करना नहीं, बल्कि जो पहले से खोजा जा चुका है, उस पर सावधानीपूर्वक निर्माण करना है।