🤖 AI

Clustering as Reasoning: A $k$ -Means Interpretation of Chain-of-Thought Graph Learning

यह शोध पत्र KCoT का प्रस्ताव करता है, जो एक एकीकृत ढांचा है जो टेक्स्ट-एट्रिब्यूटेड ग्राफ में चेन-ऑफ-थॉट रीजनिंग को एक पुनरावृत्ति $k$ -मीन्स क्लस्टरिंग प्रक्रिया के रूप में व्याख्यायित करता है, जिससे तर्क क्षमताओं और व्याख्यात्मकता को बढ़ाने के लिए सिमेंटिक प्रॉम्प्टिंग को टोपोलॉजिकल अलाइनमेंट के साथ एकीकृत किया जाता है।

मूल लेखक: Xuanting Xie, Zhaochen Guo, Bingheng Li, Xingtong Yu, Zhifei Liao, Zhao Kang, Yuan Fang

प्रकाशित 2026-05-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xuanting Xie, Zhaochen Guo, Bingheng Li, Xingtong Yu, Zhifei Liao, Zhao Kang, Yuan Fang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जटिल पहेली को हल करने की कोशिश कर रहे हैं, लेकिन इसके बजाय कि आप एक-एक करके टुकड़ों को देखें, आप अलग-अलग तथ्यों को चिल्लाने वाले लोगों की एक शोर भरी भीड़ से घिरे हुए हैं। कुछ मददगार हैं, कुछ अप्रासंगिक हैं, और कुछ भ्रामक भी हो सकते हैं। यह वह चुनौती है जिसका सामना कंप्यूटर तब करते हैं जब वे टेक्स्ट-एट्रिब्यूटेड ग्राफ्स (ऐसे नेटवर्क जहाँ प्रत्येक नोड के साथ टेक्स्ट का एक हिस्सा जुड़ा होता है) को समझने की कोशिश करते हैं।

यह पेपर एक नई विधि पेश करता है जिसे KCOT (K-Means Chain-of-Thought) कहा जाता है। यह तर्क देता है कि जिस तरह से लार्ज लैंग्वेज मॉडल्स (LLMs) किसी समस्या के माध्यम से "सोचते" हैं, वह वास्तव में एक क्लासिक गणितीय एल्गोरिदम जिसे k-means clustering कहा जाता है, के बहुत समान है। यहाँ सरल उपमाओं का विवरण दिया गया है:

1. समस्या: "ब्लैक बॉक्स" और "डिस्कनेक्टेड" टीम

वर्तमान में, जब कंप्यूटर ग्राफ समस्याओं को हल करने की कोशिश करते हैं, तो वे अक्सर दो अलग-अलग उपकरणों का उपयोग करते हैं जो आपस में ठीक से बात नहीं कर पाते:

LLM: एक स्मार्ट पाठक जो टेक्स्ट को समझता है लेकिन नेटवर्क के आकार को नहीं "देख" पाता।
Graph Neural Network (GNN): एक स्ट्रक्चरल विशेषज्ञ जो देखता है कि चीजें कैसे जुड़ी हुई हैं, लेकिन शब्दों के गहरे अर्थ को नहीं समझ पाता।

आमतौर पर, ये दोनों अलग-अलग काम करते हैं। LLM टेक्स्ट पढ़ता है, और GNN कनेक्शनों को देखता है, लेकिन वे एक-दूसरे के विचारों को चरण-दर-चरण परिष्कृत (refine) नहीं करते हैं। यह एक अनुवादक और एक मानचित्र-पाठक के अलग-अलग कमरों में काम करने जैसा है; वे बेहतर उत्तर पाने के लिए कभी भी अपने अंतर्दृष्टि (insights) को साझा नहीं करते।

2. बड़ा विचार: "सोचना" केवल "समूहीकरण" (Grouping) है

लेखकों ने एक छिपा हुआ रहस्य खोजा है: जिस तरह से एक LLM जानकारी को प्रोसेस करता है (जिसे "सेल्फ-अटेंशन" नामक तंत्र कहा जाता है), वह गणितीय रूप से लगभग k-means clustering के समान है।

उपमा:
कल्पना कीजिए कि आप खिलौनों से भरे एक अस्त-व्यस्त कमरे को व्यवस्थित कर रहे हैं।

k-means वह प्रक्रिया है जिसमें सभी खिलौनों को देखना, कुछ "केंद्र बिंदु" (जैसे कारों के लिए एक ढेर, गुड़ियों के लिए एक ढेर) चुनना, और फिर हर खिलole को उस ढेर में ले जाना जिससे वह संबंधित है। आप इसे तब तक दोहराते हैं जब तक कि ढेर एकदम सही न हो जाएं।
KCOT कहता है: "एक LLM जो 'चेन-ऑफ-थॉट' रीजनिंग करता है, वह बिल्कुल यही काम कर रहा है, लेकिन शब्दों के साथ।"

जब एक LLM "चरण-दर-चरण" सोचता है, तो वह अनिवार्य रूप से यह कर रहा होता है:

असाइनिंग (Assigning): यह तय करना कि वर्तमान विचार के लिए कौन से सूचना के टुकड़े (ग्राफ में पड़ोसी) प्रासंगिक हैं।
अपडेटिंग (Updating): उन प्रासंगिक टुकड़ों को एक नए, स्पष्ट "केंद्र बिंदु" (एक परिष्कृत विचार) में सारांशित करना।

3. समाधान: KCOT (एक "स्मार्ट फिल्टर")

पेपर एक फ्रेमवर्क प्रस्तावित करता है जिसे KCOT कहा जाता है, जो कंप्यूटर को इस "समूहीकरण" तर्क का स्पष्ट रूप से उपयोग करने के लिए मजबूर करता है। यह एक विशेष प्रॉम्प्ट (निर्देशों का एक सेट) का उपयोग करता है जो एक सिमेंटिक फिल्टर के रूप में कार्य करता है।

वास्तविक दुनिया में यह कैसे काम करता है:
कल्पना कीजिए कि आप एक विशिष्ट विषय पर शोध कर रहे हैं, जैसे "Dirichlet Mixtures" (एक सांख्यिकीय अवधारणा)। आपके पास एक केंद्रीय नोड (आपका विषय) है और कई पड़ोसी (संबंधित शोध पत्र) हैं।

पुराना तरीका: कंप्यूटर सभी पड़ोसियों से सब कुछ पढ़ लेता है, जिससे वह अप्रासंगिक जानकारी से भ्रमित हो जाता है (जैसे कि एक पेपर जो "Decision Trees" के बारे में है और बस आपके पास मौजूद है)।
KCOT तरीका:
- चरण 1 (असाइनमेंट): कंप्यूटर एक सख्त संपादक की तरह व्यवहार करता है। वह पड़ोसियों को देखता है और पूछता है, "क्या यह वास्तव में मुझे 'Dirichlet Mixtures' को समझने में मदद करता है?" यदि कोई पड़ोसी "Decision Trees" के बारे में है और यह फिट नहीं बैठता, तो कंप्यूटर उसे फिल्टर कर देता है।
- चरण 2 (अपडेट): कंप्यूटर उन प्रासंगिक पड़ोसियों को लेता है और उन्हें एक एकल, सघन पैराग्राफ में सारांशित करता है। यह पैराग्राफ नया "सिमेंटिक सेंट्रॉइड" (मुख्य विचार) बन जाता है।
- चरण 3 (दोहराना): यह इस नए मुख्य विचार का उपयोग ग्राफ को फिर से देखने के लिए करता है, फिर से फिल्टर करने और फिर से सारांशित करने के लिए।

4. यह बेहतर क्यों है: "मानचित्र" और "कहानी" को संरेखित करना

पेपर का दावा है कि ऐसा करके, कंप्यूटर दो चीजों को संरेखित करता है जो आमतौर पर एक-दूसरे से लड़ती हैं:

स्ट्रक्चर (मानचित्र): ग्राफ में कौन किससे भौतिक रूप से जुड़ा हुआ है।
सिमेंटिक्स (कहंतु/कहानी): शब्दों का वास्तविक अर्थ क्या है।

उपमा:
कल्पना कीजिए कि एक शहर का नक्शा (स्ट्रक्चर) और एक यात्रा गाइडबुक (सिमेंटिक्स) है।

कभी-कभी, दो स्थान मानचित्र पर एक-दूसरे के बगल में होते हैं (जुड़े हुए पड़ोसी), लेकिन वे पूरी तरह से अलग होते हैं (एक बेकरी है और दूसरा अंतिम संस्कार गृह)।
KCOT एक गाइड की तरह कार्य करता है जो कहता है, "भले ही ये दोनों मानचित्र पर पड़ोसी हों, लेकिन बेकरी अंतिम संस्कार गृह के साथ फिट नहीं बैठती। आइए बेकरी को अनदेखा करें और पास के अन्य अंतिम संस्कार गृहों पर ध्यान केंद्रित करें।"
यह बार-बार करके, कंप्यूटर "शोर" को साफ करता है और एक बहुत स्पष्ट तस्वीर बनाता है कि प्रत्येक नोड वास्तव में क्या दर्शाता है।

5. परिणाम

लेखकों ने मानक डेटासेट्स (जैसे शैक्षणिक उद्धरण नेटवर्क और ई-कॉमर्स ग्राफ) पर इसका परीक्षण किया।

प्रदर्शन: KCOT ने सभी पिछले शीर्ष तरीकों (जैसे GCN, GraphSAGE और अन्य LLM-आधारित मॉडल) को सटीकता में पीछे छोड़ दिया।
व्याख्यात्मकता (Interpretability): अन्य तरीकों के विपरीत जो "ब्लैक बॉक्स" होते हैं (आपको नहीं पता कि उन्होंने निर्णय क्यों लिया), KCOT पारदर्शी है। आप उस "विचार प्रक्रिया" को देख सकते हैं जहाँ कंप्यूटर ने स्पष्ट रूप से खराब पड़ोसियों को फ़िल्टर किया और अपनी समझ को परिष्कृत किया, ठीक वैसे ही जैसे एक इंसान पहेली सुलझाता है।

सारांश

पेपर तर्क देता है कि रीजनिंग केवल क्लस्टरिंग है। कंप्यूटर को स्पष्ट रूप से प्रासंगिक जानकारी को "असाइन" करने और चरणों में अपनी समझ को "अपडेट" करने के लिए सिखाकर (k-means एल्गोरिदम की नकल करते हुए), यह पहले की तुलना में बहुत बेहतर तरीके से जटिल नेटवर्क को समझ सकता है। यह टेक्स्ट और कनेक्शनों के अराजक मिश्रण को एक स्वच्छ, व्यवस्थित और अत्यधिक सटीक भविष्यवाणी में बदल देता है।

तकनीकी सारांश: क्लस्टरिंग एक तर्क के रूप में: चेन-ऑफ-थॉट ग्राफ लर्निंग का एक k-मीन्स व्याख्या (k-Means Interpretation)

समस्या विवरण
चेन-ऑफ-थॉट (CoT) प्रॉम्प्टिंग ने टेक्स्ट-एट्रीब्यूटेड ग्राफ्स (TAGs) पर लार्ज लैंग्वेज मॉडल्स (LLMs) की तर्क क्षमताओं को बढ़ाने की क्षमता प्रदर्शित की है। हालाँकि, मौजूदा ग्राफ CoT प्रतिमान (paradigms) दो मौलिक सीमाओं का सामना करते हैं:

विभक्त आर्किटेक्चर (Disjoint Architectures): वर्तमान विधियाँ आमतौर पर LLM प्रोसेसिंग को ग्राफ न्यूरल नेटवर्क (GNN) प्रोपेगेशन से अलग-थलग चरणों में विभाजित करती हैं। LLMs केवल स्वतंत्र सिमेंटिक पार्सर के रूप में कार्य करते हैं, जो संरचनात्मक प्रसार तंत्र से अलग एक "निर्वात" (vacuum) में संचालित होते हैं। यह चरण-दर-चरण सिमेंटिक-टोपोलॉजिकल इंटरैक्शन को रोकता है, जिससे टेक्स्टुअल रीजनिंग और ग्राफ स्ट्रक्चर के बीच उप-इष्टतम संरेखण (suboptimal alignment) होता है।
व्याख्यात्मकता का अभाव (Lack of Interpretability): अंतर्निहित तर्क प्रक्रियाएँ अक्सर "ब्लैक बॉक्स" की तरह कार्य करती हैं। इस बात की सीमित सैद्धांतिक नींव है कि कैसे प्राकृतिक भाषा का तर्क नोड रिप्रेजेंटेशन के अनुकूलन को संचालित करता है या प्रॉम्प्टिंग एक सुपरिभाषित गणितीय उद्देश्य के अनुरूप कैसे होती है।

कार्यप्रणाली: KCOT फ्रेमवर्क
लेखक KCOT (k-Means Interpretation of Chain-of-Thought) प्रस्तावित करते हैं, जो "क्लस्टरिंग एक तर्क के रूप में" के सिद्धांत के माध्यम से CoT-आधारित ग्राफ लर्निंग को एक एकीकृत ढांचे के रूप में पुनर्गठित करता है। मुख्य कार्यप्रणाली में शामिल है:

सैद्धांतिक आधार (ट्रांसफॉर्मर एक k-मीन्स के रूप में): पेपर एक ट्रांसफॉर्मर ब्लॉक और k-means एल्गोरिदम के बीच एक औपचारिक गणितीय पत्राचार स्थापित करता है। यह सिद्ध करता है कि एक ट्रांसफॉर्मर सेल्फ-अटेंशन लेयर को सॉफ्ट k-means क्लस्टरिंग असाइनमेंट्स के $\epsilon$ -एप्रोक्सिमेशन (या $\epsilon=0$ के साथ सटीक मिलान) के रूप में कार्य करने के लिए पैरामीटराइज किया जा सकता है। इसका तात्पर्य है कि k-means के पुनरावृत्त (iterative) "असाइनमेंट" (Assignment) और "अपडेट" (Update) चरणों को LLM रीजनिंग की गतिशीलता के रूप में व्याख्यायित किया जा सकता है।
सिमेंटिक डिस्क्रिमिनेटिंग प्रॉम्प्ट (Semantic Discriminating Prompt): k-means व्याख्या का लाभ उठाते हुए, लेखक एक प्रॉम्प्ट डिजाइन करते हैं जो स्पष्ट रूप से क्लस्टरिंग प्रक्रिया को CoT रीजनिंग चरणों में पुनर्गठित करता है:
- असाइनमेंट (Assignment): LLM एक सिमेंटिक फिल्टर के रूप में कार्य करता है ताकि पड़ोसियों के बीच साझा पहलुओं की पहचान की जा सके और कम समानता वाले नोड्स को हटाया जा सके, जो k-means के डिस्टेंस मिनिमाइजेशन स्टेप की नकल करता है।
- अपडेट (Update): LLM चयनित पड़ोसियों के सिमेंटिक वेरिएंस को एक "कॉम्पैक्ट रिफाइंड रिप्रेजेंटेशन" में संकुचित करने के लिए एब्स्ट्रैक्टिव समराइजेशन करता है, जो अपडेटेड "सिमेंटिक सेंट्रॉइड" (Semantic Centroid) के रूप में कार्य करता है।
स्ट्रक्चर-ग्राउंडेड थॉट कंस्ट्रक्शन (Structure-Grounded Thought Construction): निश्चित टोपोलॉजिकल स्ट्रक्चर और विकसित हो रहे सिमेंटिक रीजनिंग के बीच के अंतर को पाटने के लिए, फ्रेमवर्क एक ड्यूल-नेबरहुड रणनीति का उपयोग करता है:
- $N^{str}_i$ : फिक्स्ड स्ट्रक्चरल नेबर्स (1- और 2-हॉप) ताकि ज्योमेट्रिक प्रायर्स (geometric priors) को बनाए रखा जा सके।
- $N^{(t)}_i$ : वर्तमान नोड रिप्रेजेंटेशन $H^{(t)}$ पर K-नेरेस्ट नेबर (KNN) सर्च के माध्यम से प्राप्त रीजनिंग-प्रेरित नेबर्स।
- इन दोनों को सिमेंटिक डिस्क्रिमिनेटिंग प्रॉम्प्ट के माध्यम से प्रोसेस किया जाता है ताकि टेक्स्टुअल रिप्रेजेंटेशन जनरेट किए जा सकें, जिन्हें फिर एनकोड करके एक रीजनिंग स्टेट $z^{(t)}$ में संयोजित (concatenate) किया जाता है।
कंडीशन-नेट (Condition-Net) और इटरेटिव लर्निंग: एक हल्का कंडीशन-नेट (MLP के रूप में कार्यान्वित) रीजनिंग स्टेट $z^{(t)}$ को लेकर एक रीजनिंग मैट्रिक्स $P^{(t)}$ जनरेट करता है। यह मैट्रिक्स एलिमेंट-वाइज मल्टीप्लिकेशन ( $X^{(t+1)} = P^{(t)} \odot X$ ) के माध्यम से नोड फीचर्स को मॉड्युलेट करता है, जो $M$ इंफरेंस इटरेशन्स के दौरान टोपोलॉजिकल प्रायर्स को विकसित होते सिमेंटिक विचारों के साथ गतिशील रूप से संरेखित करता है।

प्रमुख योगदान

सैद्धांतिक आइसोमॉर्फिज्म (Theoretical Isomorphism): पेपर यह सैद्धांतिक प्रमाण प्रदान करता है कि ट्रांसफॉर्मर ब्लॉक्स k-means क्लस्टरिंग डायनेमिक्स को एप्रोक्सिमेट कर सकते हैं, जो पुनरावृत्त असाइनमेंट और अपडेट चरणों के रूप में CoT रीजनिंग की एक ज्योमेट्रिक व्याख्या प्रदान करता है।
एकीकृत फ्रेमवर्क (KCOT): यह एक नया आर्किटेक्चर पेश करता है जो CoT रीजनिंग को ग्राफ रिप्रेजेंटेशन लर्निंग के साथ सीधे एकीकृत करता है, जो अलग-थलग LLM-GNN पाइपलाइनों से आगे बढ़ता है।
सिमेंटिक-स्ट्रक्चरल अलाइनमेंट: लेखक एक लेबल-फ्री मिसअलाइनमेंट मेट्रिक ( $\Delta_t$ ) को परिभाषित करते हैं और सैद्धांतिक रूप से प्रदर्शित करते हैं कि CoT इटरेशन्स इस मिसअलाइनमेंट को संकुचित करते हैं ( $\Delta_{t+1} \leq \rho \Delta_t + \epsilon$ ), जो प्रभावी रूप से सिमेंटिक समानता और स्ट्रक्चरल प्रायर्स के बीच विसंगति को कम करता है।
स्पष्ट प्रॉम्प्ट डिज़ाइन: "सिमेंटिक डिस्क्रिमिनेटिंग प्रॉम्प्ट" LLM को अंधाधुंध समराइजेशन के बजाय क्लस्टरिंग जैसी क्रियाओं (फिल्टरिंग और सेंट्रॉइड अपडेटिंग) को करने के लिए स्पष्ट रूप से निर्देशित करता है।

प्रायोगिक परिणाम
प्रयोग Cora, Pubmed, ogbn-Arxiv, और ogbn-Products सहित मानक TAG बेंचमार्क पर किए गए, जिसमें नोड क्लासिफिकेशन और लिंक प्रेडिक्शन टास्क शामिल थे।

परफॉरमेंस: KCOT ने पारंपरिक GNNs (GCN, GraphSAGE, GAT), ग्राफ ट्रांसफॉर्मर्स (NodeFormer), और मौजूदा LLM-आधारित ग्राफ विधियों (GraphGPT, LLAGA) सहित स्टेट-ऑफ-द-आर्ट बेसलाइन्स को लगातार पीछे छोड़ दिया। उदाहरण के लिए, OGBN-Arxiv डेटासेट पर, KCOT ने नोड क्लासिफिकेशन में 79.25% सटीकता प्राप्त की, जो सर्वश्रेष्ठ बेसलाइन (LLAGA-HO - 76.66%) से अधिक है।
एब्लेशन स्टडीज (Ablation Studies): स्ट्रक्चरल नेबर्स, रीजनिंग-प्रेरित नेबर्स, विशिष्ट प्रॉम्प्ट मैकेनिज्म, या इटरेटिव CoT प्रक्रिया जैसे प्रमुख घटकों को हटाने से प्रदर्शन में महत्वपूर्ण गिरावट आई, जो एकीकृत डिजाइन की आवश्यकता की पुष्टि करता है।
सेंसिटिविटी (Sensitivity): प्रदर्शन $t=2$ की थॉट लेंथ पर चरम पर था, जो सुझाव देता है कि अत्यधिक इटरेशन शोर (noise) को ओवरफिट कर सकते हैं या ओवर-स्मूथिंग का कारण बन सकते हैं, जो k-means व्यवहार के अनुरूप है।
विज़ुअलाइज़ेशन: Cora डेटासेट पर t-SNE विज़ुअलाइज़ेशन ने दिखाया कि KCOT ट्रेनिंग एपोक्स के दौरान निर्णय सीमाओं (decision boundaries) को धीरे-धीरे तेज करता है और क्लास ओवरलैप को कम करता है, जो इटरेटिव सेंट्रॉइड रिफाइनमेंट के सैद्धांतिक दावे के अनुरूप है।

महत्व और दावे
पेपर दावा करता है कि KCOT "क्लस्टरिंग एक तर्क के रूप में" को CoT-आधारित ग्राफ लर्निंग के लिए एक सिद्धांत आधारित तंत्र के रूप में मान्य करता है। प्राकृतिक भाषा के तर्क को एक गणितीय रूप से कठोर क्लस्टरिंग मैकेनिज्म में आधार प्रदान करके, फ्रेमवर्क दो मुख्य लक्ष्य प्राप्त करता है:

बेहतर व्याख्यात्मकता: यह CoT के "ब्लैक बॉक्स" को पुनरावृत्त सिमेंटिक असाइनमेंट और सेंट्रॉइड अपडेट की एक पारदर्शी प्रक्रिया में बदल देता है, जो यह बताता है कि रीजनिंग, रिप्रेजेंटेशन ऑप्टिमाइजेशन को कैसे संचालित करती है।
बेहतर संरेखण: यह पिछले विलगित (disjoint) दृष्टिकोणों में निहित सिमेंटिक-स्ट्रक्चरल मिसअलाइनमेंट को प्रभावी ढंग से हल करता है, जो इटरेटिव रिफाइनमेंट के माध्यम से मैसेज पासिंग को स्थिर करता है और क्रॉस-क्लास कंटैमिनेशन को सीमित करता है।

लेखक निष्कर्ष निकालते हैं कि उनका दृष्टिकोण न केवल स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त करता है, बल्कि ग्राफ लर्निंग के लिए LLMs का उपयोग कैसे किया जा सकता है, इसकी गहरी सैद्धांतिक समझ भी प्रदान करता है, जो भाषाई जनरेशन और ज्योमेट्रिक ऑप्टिमाइजेशन के बीच के अंतर को पाटता है।