LLMs as Cultural Archives: Cultural Commonsense Knowledge Graph Extraction

तकनीकी सारांश: सांस्कृतिक अभिलेखागार के रूप में LLMs: सांस्कृतिक सामान्य ज्ञान ग्राफ निष्कर्षण (Cultural Commonsense Knowledge Graph Extraction)

समस्या विवरण
लार्ज लैंग्वेज मॉडल्स (LLMs) विविध वेब-स्केल डेटा से प्राप्त विशाल मात्रा में सांस्कृतिक ज्ञान को समाहित करते हैं, जो सांस्कृतिक सामान्य ज्ञान (cultural commonsense) को बड़े पैमाने पर मॉडल करने के लिए एक संभावित संसाधन प्रदान करते हैं। हालाँकि, यह ज्ञान काफी हद तक अंतर्निहित (implicit), असंरचित और व्याख्या करने में कठिन है। सामान्य ज्ञान तर्क (commonsense reasoning) के मौजूदा कम्प्यूटेशनल दृष्टिकोणों ने ऐतिहासिक रूप से संस्कृति को तटस्थ या पश्चिमी-केंद्रित (जैसे, ATOMIC) माना है, जबकि सांस्कृतिक ज्ञान आधार बनाने के प्रयास अक्सर विकिपीडिया या सोशल मीडिया जैसे स्रोतों से प्राप्त स्थिर, पृथक तथ्यों पर निर्भर करते हैं। ये दृष्टिकोण सांस्कृतिक प्रथाओं की प्रक्रियात्मक, अनुक्रमिक और प्रासंगिक प्रकृति को पकड़ने में विफल रहते हैं, जो अक्सर केवल परमाणु कथनों (atomic statements) के बजाय क्रियाओं की क्रमबद्ध श्रृंखलाओं द्वारा परिभाषित होती हैं। इसके अलावा, स्थानीय मानदंडों और प्रथाओं को दर्शाने वाले संरचित, अनुमानात्मक (inferential) निरूपणों का अभाव है।

कार्यप्रणाली
लेखक एक पुनरावृत्ति, प्रॉम्प्ट-आधारित ढांचे का प्रस्ताव करते हैं जिससे एक सांस्कृतिक सामान्य ज्ञान ग्राफ (CCKG) का निर्माण किया जा सके, जिसमें LLMs को "सांस्कृतिक अभिलेखागार" के रूप में उपयोग करते हुए संस्कृति-विशिष्ट ज्ञान को व्यवस्थित रूप से निकाला जाता है।

1. ढांचा निर्माण (Framework Construction):

   • ग्राफ परिभाषा: CCKG एक निर्देशित लेबल वाला ग्राफ $G = (V, E)$ है जहाँ नोड्स क्रियाओं (actions) का प्रतिनिधित्व करते हैं और किनारे (edges) लेबल किए गए संबंधों का प्रतिनिधित्व करते हैं। एक अभिकथन (assertion) एक ट्रिपल $(A_i, R, A_j)$ है जिसे "यदि क्रिया $A_i$ होती है, तो क्रिया $A_j$ उसके बाद होती है" के रूप में व्याख्यायित किया गया है।
   • संबंध प्रकार: ढांचा पांच संबंध प्रकारों का उपयोग करता है: $xNext$(एजेंट की अगली क्रिया),$xEffect$(एजेंट पर प्रभाव),$xNeed$(एजेंट के लिए पूर्व-आवश्यकता),$oNext$(दूसरों की अगली क्रिया), और$oEffect$ (दूसरों पर प्रभाव)।
   • निष्कर्षण प्रक्रिया (एल्गोरिदम 1):
     • प्रारंभिक पीढ़ी: एक उप-विषय, देश और भाषा दिए जाने पर, एक LLM (GPT-4o) पूर्व-निर्धारित संबंध प्रकारों के आधार पर प्रारंभिक "यदि-तो" अभिकथन उत्पन्न करता है।
     • पुनरावृत्ति विस्तार (Iterative Expansion): ज्ञान आधार को दो तंत्रों के माध्यम से समृद्ध किया जाता है:
       • मध्यवर्ती विस्तार (Intermediate Expansion): एक प्रत्यक्ष लिंक $(A_i \to A_j)$ को सूक्ष्म-स्तरीय चरणों की एक श्रृंखला में तोड़ना।
       • अग्रगामी विस्तार (Forward Expansion): परिणामी क्रिया $A_j$ से शुरू होकर नई निरंतरताएँ उत्पन्न करना।
     • छंटाई (Pruning): दक्षता सुनिश्चित करने और अतिरेक (redundancy) को कम करने के लिए, उत्पन्न क्रियाओं का मिलान समानता स्कोर का उपयोग करके मौजूदा नोड्स के साथ किया जाता है; डुप्लिकेट को मर्ज किया जाता है, और विस्तार सूची को प्रति नोड छह आसरशन तक सीमित किया जाता है।

2. प्रायोगिक सेटअप:

   • क्षेत्र (Scope): इस ढांचे को 11 दैनिक जीवन के विषयों और 65 उप-विषयों को कवर करने वाले पाँच देशों (चीन, इंडोनेशिया, जापान, इंग्लैंड, मिस्र) पर लागू किया गया।
   • भाषाएँ: ज्ञान ग्राफ अंग्रेजी और संबंधित मूल भाषाओं (चीनी, इंडोनेशियाई, जापानी, अरबी) दोनों में उत्पन्न किए गए।
   • मूल्यांकन: मानव परीक्षकों (नेटिव स्पीकर्स) ने उत्पन्न ग्राफ का तीन आयामों पर मूल्यांकन किया: सत्यता (Correctness) (वैध क्रियाएं और संबंध), सांस्कृतिक प्रासंगिकता (Cultural Relevance) (लक्ष्य संस्कृति के लिए विशिष्टता), और तार्किक पथ सुसंगति (Logical Path Coherence) (अनुमानात्मक श्रृंखलाओं की निरंतरता)।
   • डाउनस्ट्रीम कार्य: निकाले गए CCKG का उपयोग छोटे LLMs को तीन कार्यों के लिए सशक्त बनाने हेतु किया गया: बहुविकल्पीय प्रश्नोत्तर (MCQA), वाक्य पूर्णता (Sentence Completion), और कहानी निर्माण (Story Generation)। बेंचमार्क में IndoCulture और ArabCulture शामिल थे।

प्रमुख योगदान

1. CCKG ढांचा: LLMs से बहुभाषी, संस्कृति-विशिष्ट अनुमानात्मक ज्ञान श्रृंखलाओं को निकालने के लिए एक विधि का परिचय, जो स्थिर तथ्यों से आगे बढ़कर प्रक्रियात्मक, बहु-चरणीय तर्क संरचनाओं की ओर ले जाता है।
2. सांस्कृतिक एन्कोडिंग का अनुभवजन्य विश्लेषण: एक व्यवस्थित मूल्यांकन जो यह प्रकट करता है कि जबकि मूल भाषाएँ समृद्ध सांस्कृतिक विवरण कैप्चर करती हैं, अंग्रेजी अक्सर वर्तमान LLMs के भीतर सांस्कृतिक ज्ञान ग्राफ का प्रतिनिधित्व करने के लिए एक अधिक सुसंगत और सुसंगत माध्यम के रूप में कार्य करती है।
3. प्रदर्शन संवर्धन (Performance Augmentation): यह प्रदर्शन कि CCKG (इन-कॉन्टेक्स्ट आसरशन या पाथ के माध्यम से) के साथ छोटे या बेस मॉडल्स को सशक्त बनाने से उनके सांस्कृतिक तर्क और कहानी निर्माण कार्यों पर प्रदर्शन में महत्वपूर्ण सुधार होता है, विशेष रूप से विशिष्ट सांस्कृतिक संदर्भों के लिए मूल-भाषा आसरशन का उपयोग करने पर।

परिणाम

• ग्राफ गुणवत्ता: मानव मूल्यांकन में, अंग्रेजी-जनित CCKGs ने गैर-अंग्रेजी संस्कृतियों (जैसे, चीनी, इंडोनेशियाई, अरबी) के लिए सत्यता, सांस्कृतिक प्रासंगिकता और पथ सुसंगति के मामले में मूल-भाषा संस्करणों की तुलना में लगातार बेहतर प्रदर्शन किया। यह वर्तमान बहुभाषी LLMs में एक विषमता का सुझाव देता है जहाँ अंग्रेजी सांस्कृतिक तर्क के लिए एक अधिक स्थिर प्रतिनिधित्व माध्यम के रूप में कार्य करती है, जो संभवतः समृद्ध प्री-ट्रेनिंग डेटा के कारण है।
• तर्क कार्य (MCQA): CCKG ज्ञान को एकीकृत करने से IndoCulture और ArabCulture बेंचमार्क पर सटीकता में सुधार हुआ। मूल-भाषा संवर्धन ने उच्चतम लाभ दिया (औसत +1.2 अंक), जो अंग्रेजी संवर्धन और Mango जैसे मौजूदा बेसलाइन से बेहतर था। उल्लेखनीय रूप से, चेन-ऑफ-थॉट (CoT) प्रॉम्प्टिंग ने बेसलाइन से खराब प्रदर्शन किया, जो यह सुझाव देता है कि सांस्कृतिक सामान्य ज्ञान स्पष्ट चरण-दर-चरण तर्क के बजाय सहज संदर्भ पर अधिक निर्भर करता है।
• जनन कार्य (Generation Tasks): वाक्य पूर्णता और कहानी निर्माण के लिए, CCKG संवर्धन (विशेष रूप से पथ-आधारित) ने वाक्य समानता और सुसंगति स्कोर में सुधार किया। कहानी निर्माण में, CCKG पथों को शामिल करने से सांस्कृतिक प्रासंगिकता स्कोर में लगातार वृद्धि हुई (Llama मॉडल्स के लिए औसत +1.4 की वृद्धि), सबसे महत्वपूर्ण सुधार अंग्रेजी कहानी निर्माण में देखे गए, हालांकि विशिष्ट मामलों में (जैसे, Llama3.1-8B-IT के साथ इंडोनेशियाई कहानियाँ) मूल-भाषा निर्माण को भी लाभ हुआ।
• LLM-as-a-Judge: मूल-भाषा कहानियों के लिए मानव निर्णयों के साथ LLMs का स्वचालित मूल्यांकन उच्च सहसंबंध दिखाता है, लेकिन अंग्रेजी कहानियों के लिए, विशेष रूप से प्रवाह और सुसंगति के संबंध में, मध्यम से कमजोर सहसंबंध दिखाता है, जो संभवतः शैलीगत भिन्नताओं और अनुवाद संबंधी बारीकियों के कारण है।

महत्व और दावे
यह शोध पत्र तर्क देता है कि LLMs, यदि निष्कर्षण प्रक्रिया व्यवस्थित हो, तो संरचित, अनुमानात्मक ज्ञान निकालने के लिए व्यवहार्य "सांस्कृतिक अभिलेखागार" के रूप में कार्य कर सकते हैं। लेखक दावा करते हैं कि श्रृंखला-संरचित सांस्कृतिक ज्ञान सांस्कृतिक रूप से आधारित NLP सिस्टम विकसित करने के लिए एक व्यावहारिक आधार है।

यह अध्ययन एक महत्वपूर्ण सीमा और अंतर्दृष्टि को रेखांकित करता है: स्थानीय सांस्कृतिक तर्क को मॉडल करने के लक्ष्य के बावजूद, वर्तमान LLMs सांस्कृतिक सामान्य ज्ञान को सबसे प्रभावी ढंग से अंग्रेजी के माध्यम से प्रस्तुत करते हैं, भले ही लक्षित संस्कृति गैर-अंग्रेजी हो। यह निष्कर्ष इस धारणा को चुनौती देता है कि सांस्कृतिक कार्यों के लिए मूल-भाषा आउटपुट स्वाभाविक रूप से बेहतर होता है और यह सुझाव देता है कि वर्तमान मॉडल्स में अंग्रेजी एक सुसंगत सांस्कृतिक तर्क के लिए "पिवट" (pivot) के रूप में कार्य कर सकती है।

लेखक निष्कर्ष निकालते हैं कि जबकि उनकी विधि आशाजनक है, यह एक अनुसंधान प्रोटोटाइप है। वे संभावित जोखिमों, जैसे कि रूढ़िवादिता को बढ़ावा देने, को संबोधित किए बिना निकाले गए कंटेंट को उत्पादन प्रणालियों के लिए एक औपचारिक डेटासेट के रूप में उपयोग करने के प्रति आगाह करते हैं, और भविष्य के कार्य पर जोर देते हैं जो पूर्वाग्रह (bias) की जांच करें और ढांचे को अधिक सूक्ष्म सांस्कृतिक स्तरों तक विस्तारित करें।