CAPruner: Conceptual-Adjacent Scene Graph Pruner for Enhancing 3D Spatial Reasoning of Large Language Models

तकनीकी सारांश: CAPruner

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) 3D विजन-लैंग्वेज (3D-VL) कार्यों के लिए शक्तिशाली उपकरण के रूप में उभरे हैं, जिनमें एंकर ऑब्जेक्ट्स के साथ स्थानिक संबंधों (spatial relationships) के आधार पर लक्षित वस्तुओं की पहचान करने की आवश्यकता होती है। इसे सुगम बनाने के लिए, वस्तुओं और उनके युग्मवार स्थानिक संबंधों (pairwise spatial relations) को दर्शाने के लिए अक्सर सीन ग्राफ का उपयोग किया जाता है। हालाँकि, सैकड़ों वस्तुओं वाले दृश्यों में (जैसे, InteriorGS डेटासेट प्रति दृश्य औसतन 554 वस्तुएं), युग्मवार संबंधों की संख्या द्विघाती ($\binom{n}{2}$) रूप से बढ़ती है, जिससे टोकन काउंट LLM इनपुट सीमाओं से अधिक हो जाता है और कम्प्यूटेशनल अक्षमता का कारण बनता है।

मौजूदा समाधान, जैसे कि 3DGraphLLM में उपयोग की जाने वाली प्रॉक्सिमिटी-आधारित K-Nearest Neighbors (KNN) रणनीति, केवल एक वस्तु और उसके निकटतम पड़ोसियों के बीच संबंधों को बनाए रखकर इसे कम करने का प्रयास करते हैं। लेखक इस दृष्टिकोण के महत्वपूर्ण दोषों की पहचान करते हैं:

1. कार्य अप्रासंगिकता (Task Irrelevance): स्थानिक निकटता (Spatial proximity) कार्य की प्रासंगिकता की गारंटी नहीं देती है। एक विशिष्ट क्वेरी के लिए आवश्यक संबंध (जैसे, बेड के सापेक्ष कुर्सी) दूर हो सकता है और इस प्रकार हटा दिया जा सकता है, जबकि अप्रासंगिक स्थानीय संबंधों को बनाए रखा जाता है।
2. संरचनात्मक विखंडन (Structural Fragmentation): प्रॉक्सिमिटी-आधारित प्रूनिंग अक्सर सीन ग्राफ को विच्छेदित कर देती है। ScanNet डेटासेट में, KNN प्रूनिंग के बाद 67% से अधिक दृश्य विच्छेदित हो जाते हैं, जो LLM को विभिन्न जुड़े हुए घटकों (connected components) में तर्क करने से रोकता है।
3. कठोरता (Rigidity): निश्चित प्रूनिंग नीतियां विशिष्ट क्वेरी के संदर्भ के अनुकूल होने में विफल रहती हैं, जिससे मॉडल को अनावश्यक जानकारी को एनकोड करने के लिए मजबूर होना पड़ता है और महत्वपूर्ण दीर्घकालिक निर्भरताओं (long-range dependencies) को खोना पड़ता है।

कार्यप्रणाली: CAPruner

लेखक CAPruner (Conceptual-Adjacent Scene Graph Pruner) का प्रस्ताव करते हैं, जो एक हल्का मॉडल है जिसे सीन ग्राफ के उन उपसमुच्चयों (subsets) को चुनने के लिए डिज़ाइन किया गया है जो एक विशिष्ट 3D-VL कार्य के लिए सबसे प्रासंगिक हैं। यह विधि फजी सिमेंटिक प्रासंगिकता (fuzzy semantic relevance) को स्थानिक निकटता के साथ एकीकृत करती है।

1. मुख्य घटक

• फजी सिमेंटिक मैचिंग (Fuzzy Semantic Matching): सख्त एट्रिब्यूट मैचिंग (जैसे, रंग या आकार) पर भरोसा करने के बजाय, जो 3D पॉइंट क्लाउड अलाइनमेंट में त्रुटिपूर्ण हो सकती है, CAPruner ऑब्जेक्ट कैटेगरीज़ पर फजी मैचिंग का उपयोग करता है। यह प्रत्येक वस्तु के लिए एक सिमेंटिक रेलेवेंस स्कोर ($s_i$) की गणना करता है, जो वस्तु की कैटेगरी और नेचुरल लैंग्वेज टास्क डिस्क्रिप्शन के टोकन्स के बीच अधिकतम समानता को मापता है। यह सुनिश्चित करता है कि सभी संभावित उम्मीदवार (जैसे, जब क्वेरी "लाल कुर्सी" का उल्लेख करती है तो सभी "कुर्सियाँ") उच्च भारित हों, जिससे सही लक्ष्य को हटाने का जोखिम कम हो जाता है।
• स्थानिक निकटता वेटिंग (Spatial Proximity Weighting): पर्सपेक्टिव-डिपेंडेंट स्थानिक संबंधों (जैसे, "बाएं", "दाएं") को संभालने के लिए, जो सटीक भविष्यवाणी करना कठिन है, मॉडल वस्तुओं के बीच यूक्लिडियन दूरी के आधार पर किनारों (edges) को वेट देता है, जो ग्राइस के रिलेशन के सिद्धांत (Grice's Maxim of Relation) का पालन करता है (जब सिमेंटिक स्थितियां समान हों तो समीपवर्ती वस्तुओं को प्राथमिकता देना)।
• एज वेट प्रेडिक्शन (Edge Weight Prediction): एक मल्टी-लेयर परसेप्ट्रॉन (MLP) दो एंडपॉइंट ऑब्जेक्ट्स के सिमेंटिक रेलेवेंस स्कोर और उनकी दूरी को इनपुट के रूप में लेता है ताकि एज वेट की भविष्यवाणी की जा सके।

2. प्रशिक्षण रणनीति (नोड-वाइज सुपरविजन)

मौजूदा 3D-VL डेटासेट्स (जो आमतौर पर केवल लक्षित वस्तु को लेबल करते हैं) में युग्मवार संबंध महत्व के लिए ग्राउंड-ट्रुथ एनोटेशन की कमी एक बड़ी चुनौती है। सभी संबंधों को एनोटेट करने की अत्यधिक लागत से बचने के लिए, CAPruner एग्रीगेटेड नोड-लेवल सुपरविजन का उपयोग करता है:

• एकत्रीकरण (Aggregation): एक नोड से जुड़े एज वेट्स को $p$-norm विधि का उपयोग करके एक नोड वेट ($v_i$) में एकत्रित किया जाता है: $v_i = \sigma(\sum_j w_{ij}^p)^{1/p}$।
• लॉस फंक्शन (Loss Function): मॉडल को वेटेड मीन स्क्वेर्ड एरर (WMSE) लॉस का उपयोग करके प्रशिक्षित किया जाता है। यह लॉस लक्षित वस्तुओं के अनुरूप नोड्स को उच्च वेट (1 के करीब) और गैर-लक्ष्य नोड्स को निम्न वेट (0 के करीब) रखने के लिए प्रोत्साहित करता है।
• बैकप्रोपैगेशन (Backpropagation): सुपरविजन सिग्नल एकत्रीकरण ऑपरेशन के माध्यम से वापस फैलता है, जो मॉडल को अप्रत्यक्ष रूप से लक्षित वस्तुओं से जुड़े किनारों को उच्च वेट देने के लिए प्रोत्साहित करता है।

3. इन्फरेंस (Inference)

इन्फरेंस के दौरान, मॉडल एक दिए गए दृश्य और कार्य के लिए एज वेट्स की गणना करता है। सीन ग्राफ को प्रत्येक नोड के लिए उच्चतम वेट वाले किनारों को बनाए रखकर प्रून किया जाता है, जिससे एक कार्य-विशिष्ट सबग्राफ बनता है जो महत्वपूर्ण संबंधों को सुरक्षित रखता है और अनावश्यकता को हटा देता है।

मुख्य योगदान

1. प्रूनिंग आवश्यकताओं की पहचान: लेखक गुणात्मक और मात्रात्मक विश्लेषण के माध्यम से प्रदर्शित करते हैं कि LLM स्थानिक तर्क (spatial reasoning) स्पष्ट रूप से रखे गए संबंधों पर बहुत अधिक निर्भर करता है। वे स्थापित करते हैं कि प्रभावी प्रूनिंग को केवल स्थानिक रूप से समीपवर्ती होने के बजाय कार्य-महत्वपूर्ण संबंधों को संरक्षित करना चाहिए।
2. CAPruner आर्किटेक्चर: एक हल्के प्रूनिंग मॉडल का प्रस्ताव जो फजी सिमेंटिक मैचिंग को स्थानिक निकटता के साथ जोड़ता है। यह दृष्टिकोण सख्त मिलान की "ऑल-ऑर-नथिंग" प्रकृति और निश्चित KNN रणनीतियों की कठोरता से बचता है।
3. नवीन सुपरविजन तंत्र: एक प्रशिक्षण ढांचा विकसित करना जो एज वेट्स को सुपरवाइज करने के लिए एग्रीगेटेड नोड स्कोर का उपयोग करता है, जिससे महंगे संबंध-स्तरीय एनोटेशन की आवश्यकता समाप्त हो जाती है।
4. अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोग जो दिखाते हैं कि CAPruner आवश्यक स्थानिक संबंधों को सुरक्षित रखता है, जिससे डाउनस्ट्रीम 3D-VL कार्यों में महत्वपूर्ण प्रदर्शन लाभ होता है।

प्रयोगात्मक परिणाम

लेखकों ने तीन बेंचमार्क पर CAPruner का मूल्यांकन किया: ScanRefer (3D विजुअल ग्राउंडिंग), ScanQA (3D विजुअल क्वेश्चन अनswering), और SQA3D (Situated 3D VQA)।

• प्रदर्शन लाभ: समान बैकबोन LLMs (Llama-3.2-1B और Llama-3-8B) का उपयोग करते हुए, CAPruner ने बेसलाइन 3DGraphLLM (जो प्रॉक्सिमिटी-आधारित KNN का उपयोग करता है) को लगातार पछाड़ दिया।
  • ScanRefer पर, CAP-runer + Llama-3-8B ने 61.7% सटीकता (A.@0.25) प्राप्त की, जो बेसलाइन 3DGraphLLM-8B (60.2%) से अधिक है।
  • ScanQA पर, इसने 54.6% के मुकाबले 56.0% सटीकता प्राप्त की।
  • SQA3D पर, यह 55.3% तक पहुँचा, जो बेसलाइन के 54.7% से बेहतर है।
• टोकन दक्षता: CAPruner ने उच्च टोकन दक्षता प्रदर्शित की। उदाहरण के लिए, इसने बेसलाइन के 882 टोकन की तुलना में औसतन 582 टोकन के साथ बेहतर प्रदर्शन किया, जिससे टोकन उपयोग में लगभग 34% की बचत हुई।
• प्रूनिंग रणनीति: सीखे गए एज वेट्स पर विभिन्न प्रूनिंग नीतियों (KNN बनाम MST) की तुलना करने वाले प्रयोगों ने दिखाया कि KNN रणनीति (प्रति नोड टॉप-वेटेड किनारों को बनाए रखना) सबसे अच्छा प्रदर्शन करती है, जो वैश्विक ग्राफ कनेक्टिविटी के बजाय स्थानीय कार्य-प्रासंगिक क्षेत्रों को प्राथमिकता देने के दृष्टिकोण को मान्य करती है।
• एब्लेशन स्टडीज (Ablation Studies):
  • फजी मैचिंग: इसने सख्त मिलान और BERT-आधारित एम्बेडिंग्स की तुलना में लगातार बेहतर प्रदर्शन किया, जो 3D फीचर अलाइनमेंट नॉइज़ की उपस्थिति में मजबूत सिमेंटिक प्रासंगिकता के महत्व को उजागर करता है।
  • प्रॉक्सिमिटी बनाम सिमेंटिक्स: जबकि प्रॉक्सिमिटी पहचान में सहायता करती है, सिमेंटिक प्रासंगिकता को प्रमुख कारक पाया गया, जो रिलेशन के सिद्धांत (Maxim of Relation) के अनुरूप है।
  • $p$-norm: $p$ के 3 तक बढ़ने पर सटीकता में सुधार हुआ और उसके बाद स्थिर हो गई, जो यह सुझाव देता है कि उच्च-वेट वाले किनारे वेट के कुल योग की तुलना में अधिक महत्वपूर्ण हैं।

महत्व और दावे

पेपर का दावा है कि CAPruner 3D-VL कार्यों में LLM-आधारित स्थानिक तर्क को बढ़ाने के लिए एक स्केलेबल और प्रभावी रणनीति प्रदान करता है। "स्थानिक निकटता" से "वैचारिक निकटता" (कॉन्सेप्चुअल एडजेसेंसी - कार्य-विशिष्ट सिमेंटिक प्रासंगिकता) की ओर प्रूनिंग प्रतिमान को बदलकर, यह विधि सुनिश्चित करती है कि सीमित टोकन बजट उन संबंधों को आवंटित किया जाए जो वास्तव में क्वेरी का उत्तर देने के लिए उपयोगी हैं।

लेखक इस बात पर जोर देते हैं कि CAP-runer नगण्य इन्फरेंस ओवरहेड (प्रति सैंपल 0.75 ms) के साथ और बिना किसी महंगे संबंध-स्तरीय एनोटेशन के ये सुधार प्राप्त करता है। वे निष्कर्ष निकालते हैं कि कार्य-विशिष्ट सीन ग्राफ प्रूनिंग 3D-VL सिस्टम को स्केल करने का एक व्यवहार्य मार्ग है, जिससे LLM सैकड़ों वस्तुओं वाले जटिल दृश्यों में भी प्रभावी ढंग से तर्क कर सकते हैं।

स्वीकृत सीमाएँ: लेखक नोट करते हैं कि सीन ग्राफ अभी भी अत्यधिक जटिल, मल्टी-हॉप संबंधों (जैसे, "पांचवीं पंक्ति में चौथी कुर्सी...") को दर्शाने में संघर्ष कर सकते हैं, जो सुझाव देता है कि भविष्य के लिए अधिक वर्सटाइल डेटा संरचनाओं की आवश्यकता हो सकती है।