Introducing HALC: A general pipeline for the systematic and reliable construction of prompts for automated coding with LLMs in the computational social sciences

सामाजिक विज्ञानों में, शोधकर्ता मानव संचार को समझने के लिए लंबे समय से एक धीमी, सावधानीपूर्वक प्रक्रिया पर भरोसा करते आए हैं। वे हजारों दस्तावेजों—समाचार लेखों, राजनीतिक भाषणों, या सोशल मीडिया टिप्पणियों—को पढ़ते हैं और उन्हें इस आधार पर श्रेणियों में वर्गीकृत करते हैं कि पाठ क्या कहता है। इसे 'कंटेंट एनालिसिस' (विषय विश्लेषण) कहा जाता है। दशकों से, सबसे भरोसेमंद तरीका इस छँटाई को करने के लिए मानव पाठकों को काम पर रखना रहा है। मनुष्य लचीले होते हैं और सूक्ष्म अंतर को समझ सकते हैं, लेकिन वे धीमे, महंगे और अपने काम के घंटों की सीमा से बंधे होते हैं। हाल के वर्षों में, 'लार्ज लैंग्वेज मॉडल्स' (बड़े भाषा मॉडल) नामक शक्तिशाली कंप्यूटर प्रोग्राम उभरे हैं। ये प्रोग्राम उल्लेखनीय कौशल के साथ मानव भाषा को पढ़ और लिख सकते हैं, जो इस छँटाई प्रक्रिया को स्वचालित करने का वादा करते हैं। हालांकि, केवल एक कंप्यूटर को पाठ पढ़ने और उसे वर्गीकृत करने के लिए कहना अक्सर असंगत परिणाम देता है। कंप्यूटर एक ही पाठ को दो बार पूछे जाने पर अलग उत्तर दे सकता है, या वह उन विशिष्ट नियमों को गलत समझ सकता है जो एक शोधकर्ता के मन में होते हैं। मुख्य चुनौती यह रही है कि कैसे एक अध्ययन के सावधानीपूर्वक बनाए गए मानव-निर्मित नियमों को ऐसे निर्देशों में अनुवादित किया जाए जिसका कंप्यूटर विश्वसनीय रूप से पालन कर सके, बिना उस सटीकता को खोए जो मानव विशेषज्ञ प्रदान करते हैं।

होहेनहाइम विश्वविद्यालय के शोधकर्ताओं की एक टीम ने इस समस्या को हल करने के लिए एक नई विधि विकसित की है, जिसे वे HALC कहते हैं। उनका लक्ष्य एक चरण-दर-चरण पाइपलाइन बनाना था जो वैज्ञानिकों को डेटा को व्यवस्थित और पारदर्शी तरीके से कोड करने के लिए इन शक्तिशाली कंप्यूटर मॉडलों का उपयोग करने की अनुमति दे सके, न कि अनुमान लगाने पर निर्भर रहे। शोधकर्ताओं ने इस बात को स्वीकार करते हुए शुरुआत की कि हालांकि ये कंप्यूटर मॉडल प्रभावशाली हैं, लेकिन वे पूर्ण नहीं हैं। वे अप्रत्याशित हो सकते हैं, और उनका प्रदर्शन इस बात पर निर्भर करता है कि उन्हें कार्य करने के लिए कैसे कहा गया है। एक विश्वसनीय प्रणाली बनाने के लिए, टीम ने पहले एक बड़ा प्रारंभिक अध्ययन किया। उन्होंने जलवायु आंदोलनों के बारे में टिप्पणियों का एक सेट लिया और कंप्यूटर मॉडलों से उन्हें बार-बार पढ़ने के लिए कहा। उन्होंने निर्देशों के विभिन्न तरीकों, या "प्रॉम्प्ट्स" (निर्देशों) के सैकड़ों परीक्षण किए, यह देखने के लिए कि कौन से निर्देश सबसे सुसंगत और सटीक परिणाम देते हैं। उन्होंने पाया कि कंप्यूटर को एक ही पाठ को पांच बार पढ़ने के लिए कहना और फिर सबसे सामान्य उत्तर लेना परिणामों को काफी स्थिर कर देता है। उन्होंने यह भी पाया कि कंप्यूटर को सिखाने के लिए उपयोग किए गए प्रारंभिक मानव डेटा की गुणवत्ता बहुत मायने रखती थी; यदि मानव 'ग्राउंड ट्रुथ' (आधारभूत सत्य) अस्थिर था, तो कंप्यूटर के परिणाम भी अस्थिर थे। सबसे महत्वपूर्ण बात यह थी कि उन्होंने सीखा कि सबसे अच्छे निर्देश छोटे या अस्पष्ट नहीं थे। सबसे सफल प्रॉम्प्ट विस्तृत थे, जिनमें कंप्यूटर से यह समझाने के लिए कहा गया कि वह चरण-दर-चरण अपने तर्क को स्पष्ट करे और अपने अंतिम निर्णय का औचित्य सिद्ध करे, ठीक वैसे ही जैसे एक मानव कोडर किसी समस्या पर विचार करने के बाद उत्तर लिखने से पहले सोचता है।

इन निष्कर्षों पर आधारित होकर, शोधकर्ताओं ने HALC पाइपलाइन को औपचारिक रूप दिया। यह प्रक्रिया एक मानक मानव-निर्मित 'कोडबुक' से शुरू होती है, जिसमें एक विशिष्ट शोध परियोजना के लिए परिभाषाएं और नियम होते हैं। कंप्यूटर के लिए पहिए का पुनरुद्धार करने के बजाय, शोधकर्ता इन मानव नियमों को सीधे एक संरचित प्रॉम्प्ट में अनुवादित करते हैं। फिर वे इस प्रॉम्प्ट का परीक्षण डेटा के एक छोटे नमूने पर करते हैं, और कंप्यूटर के आउटपुट की तुलना मूल मानव कोडिंग से करते हैं। यदि कंप्यूटर मानव विश्वसनीयता मानकों से मेल नहीं खाता है, तो शोधकर्ता केवल एक नया निर्देश अनुमान नहीं लगाते। इसके बजाय, वे प्रॉम्प्ट को परिष्कृत करने के लिए एक सख्त, नियम-आधारित प्रक्रिया का पालन करते हैं, जैसे कि अधिक विशिष्ट उदाहरण जोड़ना या किसी परिभाषा को स्पष्ट करना, और फिर से परीक्षण करते हैं। यह चक्र तब तक चलता रहता है जब तक कि कंप्यूटर मानव कोडर्स के साथ उस स्तर की सहमति प्राप्त नहीं कर लेता जिसे वैज्ञानिक रूप से स्वीकार्य माना जाता है। उसके बाद ही वे पूरे डेटासेट को प्रोसेस करने के लिए कंप्यूटर का उपयोग करते हैं। यह दृष्टिकोण कंप्यूटर को एक 'जादुई बॉक्स' के रूप में नहीं देखता जो अपने आप काम करता है, बल्कि एक ऐसे उपकरण के रूप में देखता है जिसे मानव निर्णय के विरुद्ध सावधानीपूर्वक कैलिब्रेट (अंशांकित) किया जाना चाहिए।

इस प्रणाली को वास्तविक दुनिया में सिद्ध करने के लिए, टीम ने दो पूरी तरह से अलग प्रकार के डेटा पर HALC पाइपलाइन को लागू किया। पहला पांच अलग-अलग देशों के राजनीतिक पार्टी घोषणापत्रों का एक विशाल संग्रह था, जो अंग्रेजी, जर्मन और स्पेनिश में लिखे गए थे। कार्य यह पहचानना था कि कौन से वाक्य आव्रजन (इमिग्रेशन) पर चर्चा करते हैं और क्या वे सीमा नियंत्रण पर ध्यान केंद्रित करते हैं या देश में पहले से रह रहे लोगों के एकीकरण पर। दूसरा डेटासेट तीस प्रमुख जर्मन कंपनियों की वार्षिक रिपोर्टों का था, जहाँ लक्ष्य लेखन के लहजे (टोन) को निर्धारित करना था—कि वह सकारात्मक, नकारात्मक या तटस्थ है। दोनों मामलों में, शोधकर्ताओं ने कंप्यूटर के लिए समान अंग्रेजी-भाषा के निर्देशों का उपयोग किया, और प्रत्येक भाषा के लिए अलग प्रॉम्प्ट की आवश्यकता के बिना विभिन्न भाषाओं को समझने की मॉडल की क्षमता पर भरोसा किया। परिणाम उत्साहजनक थे। राजनीतिक ग्रंथों के लिए, कंप्यूटर ने मूल मानव कोडर्स के काफी करीब विश्वसनीयता स्कोर प्राप्त किया, और विभिन्न भाषाओं और राजनीतिक संदर्भों को सफलतापूर्वक संभाला। व्यावसायिक रिपोर्टों के लिए, कंप्यूटर ने जटिल तर्क के लिए डिज़ाइन किए गए एक विशिष्ट प्रकार के मॉडल का उपयोग करते हुए और भी बेहतर प्रदर्शन किया, जिससे पता चला कि पाइपलाइन विभिन्न प्रकार के कार्यों के अनुकूल हो सकती है।

अध्ययन यह निष्कर्ष निकालता है कि हालांकि लार्ज लैंग्वेज मॉडल्स शक्तिशाली हैं, लेकिन उन्हें केवल एक कार्य सौंपकर पूर्ण प्रदर्शन की अपेक्षा नहीं की जा सकती। उन्हें एक संरचित, व्यवस्थित दृष्टिकोण की आवश्यकता होती है ताकि उनके आउटपुट को विश्वसनीय बनाया जा सके। HALC पाइपलाइन मानव विशेषज्ञता और मशीन की गति के बीच के अंतर को पाटने का एक तरीका प्रदान करती है। कंप्यूटर के निर्देशों को स्थापित मानव नियमों में निहित करके और पूर्ण तैनाती से पहले उनका कड़ाई से परीक्षण करके, शोधकर्ता अपने निष्कर्षों की वैधता से समझौता किए बिना अपने कार्य को स्वचालित कर सकते हैं। लेखक सुझाव देते हैं कि यह विधि स्वचालित कोडिंग की प्रक्रिया को पारदर्शी और पुनरुत्पादक बनाती है, जिससे अन्य वैज्ञानिक ठीक से देख सकते हैं कि निर्देशों को कैसे बनाया और सत्यापित किया गया था। जबकि कंप्यूटर मॉडल विकसित होते रहते हैं, मूल सिद्धांत वही रहता है: विश्वसनीय स्वचालन मानव डिजाइन और मशीन निष्पादन के बीच एक सावधानीपूर्वक साझेदारी से आता है, जो यह सुनिश्चित करता है कि अंतिम डेटा उतना ही ठोस हो जितना कि मानव विशेषज्ञों की एक टीम द्वारा छाँटा गया हो।