GraphInfer-Bench: Benchmarking LLM's Inference Capability on Graphs
यह शोधपत्र GraphInfer-Bench को प्रस्तुत करता है, जो एक व्यापक बेंचमार्क है जिसमें छह वास्तविक दुनिया के ग्राफों के माध्यम से 42,000 नमूने शामिल हैं ताकि बड़े भाषा मॉडल (LLMs) की उन ओपन-एंडेड ग्राफ इन्फरेंस कार्यों को करने की क्षमता का मूल्यांकन किया जा सके जिन्हें एकल नोड्स या पथों को पुनर्प्राप्त करके हल नहीं किया जा सकता है, जिससे यह पता चलता है कि वर्तमान LLM-आधारित विधियाँ इस क्षमता में अभी भी साधारण GNNs से पीछे हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जटिल सामाजिक स्थिति को समझने की कोशिश कर रहे हैं, जैसे कि एक हाई स्कूल कैफेटेरिया या एक कॉर्पोरेट ऑफिस। आपके पास लोगों (नोड्स) की एक सूची है और कौन किससे बात करता है (एजेस) इसकी एक सूची है।
अधिकांश वर्तमान AI परीक्षण सरल प्रश्न पूछते हैं जैसे: "जॉन का जॉब टाइटल क्या है?" या "जॉन का सीधा बॉस कौन है?" इन सवालों के जवाब जॉन के नाम के ठीक बगल में लिखे होते हैं। आपको सोचने की ज़रूरत नहीं है; आपको बस रिकॉर्ड ढूँढना है।
GRAPHINFER-BENCH एक बहुत ही कठिन परीक्षण है। यह ऐसे प्रश्न पूछता है जहाँ उत्तर किसी भी एक व्यक्ति की फ़ाइल में मौजूद नहीं होता है।
इसके बजाय, उत्तर एक "वाइब" (vibe) या एक "पैटर्न" है जो केवल पूरे समूह को एक साथ देखने पर दिखाई देता है।
- कठिन प्रश्न: "इस दोस्तों के समूह में अजीबोगरीब व्यक्ति (weirdo) कौन है?" (आउटलियर डिटेक्शन/Outlier Detection)
- कठिन प्रश्न: "वह गुप्त विषय (secret theme) क्या है जो इन पाँच अजनबियों को जोड़ता है?" (थीम समराइजेशन/Theme Summarization)
- कठिन प्रश्न: "यदि हम इस अस्त-व्यस्त भीड़ को दो टीमों में विभाजित करें, तो हमें इसे कैसे करना चाहिए?" (कम्युनिटी डिटेक्शन/Community Detection)
इनका उत्तर देने के लिए, एक AI को केवल एक फ़ाइल पढ़ने की आवश्यकता नहीं है। उसे पूरे पड़ोस को देखना होगा, हर किसी की तुलना दूसरे से करनी होगी, और एक नया विचार संश्लेषित (synthesize) करना होगा जो कहीं भी स्पष्ट रूप से नहीं लिखा गया था।
बड़ा प्रयोग
लेखकों ने छह वास्तविक दुनियाओं (जैसे अकादमिक पेपर, ऑनलाइन शॉपिंग आदतें, मेडिकल रिसर्च, पेटेंट, आदि) पर आधारित 42,000 पहेलियाँ वाला एक विशाल प्लेग्राउंड बनाया। उन्होंने यह देखने के लिए चार अलग-अलग प्रकार के "AI दिमागों" का परीक्षण किया कि कौन इन पहेलियों को हल कर सकता है:
- "ग्राफ-ट्रांसलेटर" (ग्राफ-टोकन एलाइनमेंट): ये वे AI मॉडल हैं जो ग्राफ संरचना को एक ऐसी भाषा में अनुवाद करने की कोशिश करते हैं जिसे AI समझ सके, जैसे किसी मानचित्र को एक कहानी में बदलना।
- "सुपर-रीडर" (जीरो-शॉट फ्रंटियर LLMs): ये सबसे शक्तिशाली, महंगे AI मॉडल हैं (जैसे GPT-5 या Claude Opus) जिन्हें विशेष रूप से ग्राफ पर प्रशिक्षित नहीं किया गया है। वे केवल लोगों और कनेक्शनों की सूची को सादे टेक्स्ट के रूप में पढ़ते हैं।
- "स्टूडेंट" (Graph2Text SFT): ये वे AI मॉडल हैं जिन्हें विशेष रूप से ग्राफ और उनके उत्तरों के उदाहरणों को देखकर सिखाया (फाइन-ट्यून) गया है।
- "मैथमेटिशियन" (प्लेन GNNs): ये पुराने, विशेष उपकरण हैं जो केवल गणित और पैटर्न के लिए डिज़ाइन किए गए हैं, जिनमें वाक्य बोलने या लिखने की कोई क्षमता नहीं है। वे केवल कनेक्शनों के नंबरों को क्रंच (crunch) करते हैं।
आश्चर्यजनक परिणाम
पेपर ने कुछ ऐसी बातें पाईं जो सामान्य प्रचार (hype) के विपरीत हैं:
- "मैथमेटिशियन" अभी भी पैटर्न का राजा है: जब बात समूहों को खोजने और आउटलियर्स को पहचानने (तुलना वाले कार्यों) की आई, तो साधारण, पुराने ज़माने के गणितीय उपकरणों (Plain GNNs) ने वास्तव में फैंसी, बात करने वाले AI मॉडलों को पीछे छोड़ दिया। गणितीय उपकरण भीड़ के आकार को भाषा मॉडलों की तुलना में बेहतर देख सकते थे।
- "सुपर-रीडर" वर्णन करने में अच्छा है, तुलना करने में बुरा: शक्तिशाली, सामान्य AI मॉडल यह वर्णन करने में बहुत अच्छे थे कि एक समूह क्या है (जैसे, "यह समूह खाना पकाने के बारे में है")। लेकिन जब लोगों की तुलना करने या उन्हें समूहों में विभाजित करने के लिए कहा गया, तो वे संघर्ष करते रहे। वे विवरणों में खो गए।
- "स्टूडेंट" ने वर्णन करना सीखा, लेकिन तुलना करना नहीं: AI को विशेष रूप से ग्राफ पढ़ने के लिए सिखाने से यह चीजों का वर्णन करने में तो बेहतर हुआ, लेकिन यह समूहों को खोजने में अभी भी सरल गणितीय उपकरणों को नहीं हरा सका।
- "ट्रांसलेटर" सबसे कठिन हिस्सों में विफल रहा: वे मॉडल जो ग्राफ को भाषा टोकन में अनुवाद करने की कोशिश करते थे, वे सरल विवरणों में ठीक थे लेकिन तुलना करने या आउटलियर्स खोजने के मामले में पूरी तरह से विफल रहे।
मुख्य निष्कर्ष
पेपर निष्कर्ष निकालता है कि लार्ज लैंग्वेज मॉडल्स (LLMs) में वर्तमान में एक विशिष्ट कौशल की कमी है। वे टेक्स्ट पढ़ने में बहुत अच्छे हैं और सरल लुकअप (lookup) में भी, लेकिन वे "ग्राफ इन्फरेंस" (graph inference) में खराब हैं—यानी एक पूरे नेटवर्क को देखने और एक नया, ओपन-एंडेड निष्कर्ष निकालने की क्षमता, जो उसके किसी भी एक हिस्से में लिखा नहीं गया है।
लेखक कहते हैं कि "सिग्नल" (उत्तर) ग्राफ की संरचना में छिपा है, न कि केवल टेक्स्ट में। जब तक AI "कनेक्शन के गणित" को "भाषा की शक्ति" के साथ बेहतर तरीके से संयोजित नहीं कर पाता, तब तक यह इन विशिष्ट प्रकार के पहेलियों में विफल होता रहेगा।
संक्षेप में: यदि आप AI से पूछते हैं "इस व्यक्ति की नौकरी क्या है?", तो वह स्मार्ट है। यदि आप पूछते हैं "इस पूरे नेटवर्क में अजीबोगरीब व्यक्ति कौन है?", तो वह वर्तमान में केवल अनुमान लगा रहा है, जबकि एक साधारण गणितीय उपकरण इसे सही ढंग से हल कर लेता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।