Detecting Differences Is Not Understanding Structure: Large Language Models Fail at Graph Isomorphism
यह शोध पत्र प्रकट करता है कि ग्राफ आइसोमोर्फिज्म (graph isomorphism) का पता लगाने में लार्ज लैंग्वेज मॉडल्स की स्पष्ट सफलता भ्रामक है, क्योंकि वे नोड लेबल के क्रम परिवर्तन वाले समान ग्राफों को पहचानने में विफल रहते हैं, जो यह दर्शाता है कि वे वास्तविक संरचनात्मक तर्क के बजाय सतही पैटर्न पर निर्भर करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ इस शोध पत्र (paper) का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।
मुख्य विचार: "चेहरा पहचानना बनाम नाम पहचानना"
कल्पना कीजिए कि आपका एक दोस्त है, मान लीजिए उसका नाम बॉब है। आप बॉब को बहुत अच्छी तरह जानते हैं। आप उसका चेहरा, उसकी आवाज़ और उसके चलने के तरीके को जानते हैं।
अब, कल्पना कीजिए कि कोई आपको बॉब की एक फोटो देता है, लेकिन उन्होंने डिजिटल रूप से उसके नाम के टैग को "बॉब" से बदलकर "चार्ली" कर दिया है।
- एक समझदार पर्यवेक्षक (Smart Observer) फोटो को देखता है, चेहरे को पहचानता है, और कहता है, "यह अभी भी बॉब ही है, बस इसका नाम का टैग नया है।"
- एक पैटर्न-मैचिंग रोबोट (Pattern-matching Robot) फोटो को देखता है, देखता है कि नाम का टैग "चार्ली" है, और घबरा जाता है। वह सोचता है, "यह बॉब नहीं है! नाम अलग है, इसलिए व्यक्ति भी अलग होना चाहिए!"
यह पेपर लार्ज लैंग्वेज मॉडल्स (LLMs) का परीक्षण करने के बारे में है कि यह देखने के लिए कि जब वे आकृतियों और संबंधों (ग्राफ) को समझते हैं, तो वे "समझदार पर्यवेक्षक" होते हैं या "पैटर्न-मैचिंग रोबोट"।
परीक्षण: "ग्राफ आइसोमोर्फिज्म" (Graph Isomorphism) पहेली
गणित में, एक पहेली है जिसे ग्राफ आइसोमोर्फिज्म कहा जाता है। यह पूछती है: "क्या ये दो आकृतियाँ वास्तव में एक ही हैं, भले ही वे कागज़ पर अलग दिखती हों?"
एक ग्राफ को सबवे सिस्टम (मेट्रो नेटवर्क) के नक्शे की तरह समझें।
- ग्राफ A स्टेशनों को "स्टॉप 1, स्टॉप 2, स्टॉप 3" के रूप में सूचीबद्ध करता है।
- ग्राफ B उन्हीं स्टेशनों को "स्टेशन अल्फा, स्टेशन बीटा, स्टेशन गामा" के रूप में सूचीबद्ध करता है।
यदि स्टेशनों के बीच के संबंध समान हैं, तो नक्शे एक ही हैं (आइसोमोर्फिक हैं)। नक्शे की वास्तविक समझ का अर्थ है कि आप संरचना (structure) को जानते हैं, चाहे आप स्टेशनों को कुछ भी कहें।
शोधकर्ताओं ने क्या किया
शोधकर्ताओं ने तीन लोकप्रिय AI मॉडल्स (GPT-4o, Gemini, और Llama) को दो भागों वाले परीक्षणों की एक श्रृंखला दी:
भाग 1: "आसान" परीक्षण (अंतर पहचानना)
उन्होंने AI को मानचित्रों (maps) के जोड़े दिखाए। कुछ स्पष्ट रूप से अलग थे (जैसे 5 स्टॉप वाला सबवे बनाम 10 स्टॉप वाला)।
- परिणाम: AI मॉडल अद्भुत थे। वे लगभग 100% सही थे। वे आसानी से बता सकते थे कि दो नक्शे पूरी तरह से अलग कब होते हैं।
भाग 2: "चालाकी भरा" परीक्षण (नाम बदलना)
यहीं असली परीक्षण हुआ। उन्होंने एक नक्शा लिया, उसकी संरचना (structure) को बिल्कुल वैसा ही रखा, लेकिन स्टेशनों के नाम बदल दिए (जैसे "स्टॉप 1" को "स्टॉप 5" में बदल दिया)।
- प्रश्न: "क्या ये दोनों नक्शे एक ही हैं?"
- अपेक्षा: चूंकि संरचना नहीं बदली है, इसलिए उत्तर "हाँ" होना चाहिए।
- वास्तविकता: AI मॉडल बुरी तरह से विफल रहे।
- जब नाम बदल दिए गए, तो मॉडल्स ने कहा, "नहीं, ये अलग हैं!"
- वे लेबल बदलने से धोखा खा गए। उन्होंने अंतर्निहित आकार (underlying shape) को नहीं देखा; उन्होंने केवल यह देखा कि टेक्स्ट लेबल अलग थे।
उपमा: "रेसिपी" बनाम "सामग्री की सूची"
कल्पना कीजिए कि आप एक केक बना रहे हैं।
- संरचना (Structure): रेसिपी (आटा मिलाएँ, फिर अंडे, फिर बेक करें)।
- लेबल (Labels): सामग्री के नाम (जैसे, "आटा" बनाम "गेहूं का पाउडर")।
यदि आप "आटे" के बजाय "गेहूं का पाउडर" का उपयोग करके रेसिपी लिखते हैं, लेकिन चरण (steps) समान हैं, तो केक वही रहता है।
- वास्तविक समझ: आप जानते हैं कि प्रक्रिया केक बनाती है, न कि इस्तेमाल किए गए विशिष्ट शब्द।
- AI की विफलता: AI एक ऐसे शेफ की तरह व्यवहार करता है जो सोचता है, "अगर सामग्री की सूची में 'आटे' के बजाय 'गेहूं का पाउडर' लिखा है, तो यह एक पूरी तरह से अलग रेसिपी है!" वह तर्क के बजाय शब्दों से भ्रमित हो जाता है।
निष्कर्ष: "अंतर का पता लगाना संरचना को समझना नहीं है"
पेपर का मुख्य शीर्षक ही सब कुछ कह देता है: "अंतर का पता लगाना संरचना को समझना नहीं है।"
AI मॉडल सतही अंतर (जैसे नोड्स की अलग संख्या या अलग लेबल) को पहचानने में बहुत अच्छे हैं। लेकिन वे वास्तव में ग्राफ के अमूर्त आकार या संरचना के बारे में तर्क (reasoning) नहीं कर रहे हैं। वे केवल टेक्स्ट के पैटर्न को मैच कर रहे हैं।
- यदि आप नोड्स का नाम बदलते हैं: तो AI सोचता है कि ग्राफ बदल गया है।
- यदि आप संरचना को रखते हैं लेकिन टेक्स्ट बदल देते हैं: तो AI यह समझने में विफल रहता है कि यह वही चीज़ है।
यह क्यों महत्वपूर्ण है (पेपर के अनुसार)
लेखक हमें चेतावनी देते हैं कि AI द्वारा "आसान" ग्राफ परीक्षणों पर प्राप्त उच्च स्कोर से धोखा न खाएं। सिर्फ इसलिए कि एक AI दो अलग नक्शों के बीच अंतर कर सकता है, इसका मतलब यह नहीं है कि वह वास्तव में यह समझता है कि नक्शे कैसे काम करते हैं।
यदि आप इन AI मॉडल्स पर उन कार्यों के लिए भरोसा करते हैं जहाँ संरचना महत्वपूर्ण है (जैसे जटिल नेटवर्क या अणुओं का विश्लेषण करना), तो आपको गलत उत्तर मिल सकता है क्योंकि किसी ने डेटा के लेबल बदल दिए हैं। पेपर सुझाव देता है कि इससे पहले कि हम इन कार्यों के लिए AI पर भरोसा करें, हमें यह परीक्षण करने की आवश्यकता है कि क्या वे "नाम बदलने" के बावजूद घबराए बिना काम कर सकते हैं। वर्तमान में, वे ऐसा नहीं कर सकते।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।