🤖 machine learning

LLM Features Can Hurt GNNs: Concatenation Interference on Homophilous Graph Benchmarks

यह शोध पत्र यह प्रकट करता है कि केवल LLM-जनित नोड विशेषताओं (node features) को GNN इनपुट के साथ जोड़ने से होमोफिलस (homophilous) बेंचमार्क पर प्रदर्शन व्यवस्थित रूप से घट सकता है, एक ऐसी घटना जो ग्राफ होमोफिली के बजाय LLM की स्टैंडअलोन डिस्क्रिमिनेबिलिटी (discriminability) द्वारा संचालित होती है, और यह भविष्यवाणी करने के लिए एक डिस्क्रिमिनेबिलिटी थ्रेशोल्ड (discriminability threshold) प्रस्तावित करता है कि कब ऐसा संयोजन हानिकारक होगा।

मूल लेखक: Zhongyuan Wang, Pratyusha Vemuri

प्रकाशित 2026-06-17

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhongyuan Wang, Pratyusha Vemuri

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र (paper) का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

मुख्य विचार: जब "अतिरिक्त मदद" वास्तव में नुकसान पहुँचाती है

कल्पना कीजिए कि आप एक कठिन पहेली (ग्राफ पर नोड्स को वर्गीकृत करना) सुलझाने की कोशिश कर रहे हैं और आपके पास सुराग बहुत कम हैं (केवल कुछ ही लेबल किए गए उदाहरण)। आपके पास एक स्मार्ट सहायक (एक ग्राफ न्यूरल नेटवर्क, या GNN) है जो आपके द्वारा दिए गए सुरागों (मूल फीचर्स) का उपयोग करके इसे हल करने में काफी अच्छा है।

हाल ही में, कई लोगों ने टीम में एक "सुपर-स्मार्ट" सलाहकार (एक LLM, जैसे GPT-4) को जोड़ना शुरू कर दिया है। विचार यह था: "यदि हम सलाहकार के नोट्स को हमारे मूल सुरागों के ठीक बगल में पेस्ट कर दें, तो टीम और भी बेहतर हो जाएगी।"

यह पेपर कहता है: कभी-कभी, यह सच होता है। लेकिन अक्सर, यह एक आपदा है।

लेखकों ने पाया कि यदि आप टीम को यह नहीं सिखाते कि खराब हिस्सों को कैसे अनदेखा किया जाए, और आप बिना सोचे-समझे LLM के नोट्स को मूल सुरागों के बगल में पेस्ट कर देते हैं, तो टीम वास्तव में पहेली सुलझाने में और खराब हो जाती है। कुछ मामलों में, सटीकता इतनी गिर जाती है कि ऐसा लगता है जैसे सलाहकार मूल सुरागों के ऊपर चिल्लाकर शोर मचा रहा हो, जिससे सब भ्रमित हो जाते हैं।

उपमा (Analogy): भीड़भाड़ वाली कक्षा

ग्राफ न्यूरल नेटवर्क को एक छात्र के रूप में सोचें जो परीक्षा दे रहा है।

मूल फीचर्स (Forig): ये वे पाठ्यपुस्तक के नोट्स हैं जिन्हें छात्र ने पढ़ा है। वे स्पष्ट और सहायक हैं।
LLM फीचर्स (FLLM): ये AI द्वारा तैयार किए गए 384 पृष्ठों के नए नोट्स का एक ढेर है।
समस्या: छात्र के पास एक संक्षिप्त परीक्षा के लिए केवल बहुत कम समय है (कम लेबल वाला एक छोटा डेटासेट)।

यदि आप छात्र को उनकी पाठ्यपुस्तक साथ ही AI नोट्स का वह विशाल 384-पृष्ठों का ढेर थमा देते हैं और कहते हैं, "बस सब कुछ पढ़ो और सवालों के जवाब दो," तो छात्र घबरा जाता है। वे अतिरिक्त शोर (noise) को प्रोसेस करने में इतना समय बिता देते हैं कि वे पाठ्यपुस्तक को भूल जाते हैं। उनके टेस्ट स्कोर में भारी गिरावट आती है।

पेपर ने पाया कि प्रसिद्ध, "होमोफिलस" (homophilous) डेटासेट्स पर (जहाँ समान चीजें एक साथ समूह में होती हैं, जैसे एक लाइब्रेरी जहाँ सभी जीव विज्ञान की किताबें एक ही शेल्फ पर हैं), AI नोट्स जोड़ने से PubMed डेटासेट पर स्कोर 17 अंक गिर गया। यह एक बड़ी विफलता है।

ऐसा क्यों होता है? ("शोर" बनाम "सिग्नल" का नियम)

लेखकों ने यह अनुमान लगाने के लिए एक सरल नियम खोजा कि AI नोट्स कब मदद करेंगे और कब नुकसान पहुँचाएंगे। वे इसे $\Delta_{sig}$ (LLM-alone discriminability) कहते हैं।

नियम: यदि AI नोट्स अपने आप में स्पष्ट और विशिष्ट हैं (High Signal), तो उन्हें जोड़ने से मदद मिलती है।
नियम: यदि AI नोट्स अपने आप में अस्पष्ट या धुंधले हैं (Low Signal), तो वे नुकसान पहुँचाते हैं।

रूपक (Metaphor):

High Signal (सहायक): कल्पना कीजिए कि AI नोट्स एक स्पष्ट, हाइलाइट किया हुआ नक्शा हैं। इसे अपनी पाठ्यपुस्तक में जोड़ने से आपको उत्तर खोजने में मदद मिलती है।
Low Signal (हानिकारक): कल्पना कीजिए कि AI नोट्स एक धुंधला, टेढ़ा-मेढ़ा लेख है जो ऐसा दिखता है जैसे कि वह एक नक्शा हो सकता है लेकिन वह ज्यादातर केवल रैंडम रेखाएं हैं। यदि आप छात्र को पाठ्यपुस्तक पढ़ने के दौरान इस धुंधले ढेर को देखने के लिए मजबूर करते हैं, तो वे भ्रमित हो जाते हैं और गलतियाँ करते हैं।

पेपर ने पाया कि PubMed और Cora जैसे डेटासेट्स पर, AI नोट्स "धुंधले" (low signal) थे। जब उन्हें पेस्ट किया गया, तो उन्होंने मॉडल को भ्रमित कर दिया। लेकिन WikiCS जैसे डेटासेट्स पर, नोट्स "स्पष्ट" (high signal) थे, और मॉडल और स्मार्ट हो गया।

"डायमेंशनलिटी का अभिशाप" (Curse of Dimensionality) के बारे में क्या?

आप सोच सकते हैं, "शायद मॉडल इसलिए भ्रमित हो गया क्योंकि उसे प्रोसेस करने के लिए बहुत अधिक संख्याएँ (dimensions) थीं?"

लेखकों ने इसका परीक्षण किया। उन्होंने AI नोट्स को निम्नलिखित से बदल दिया:

शुद्ध रैंडम शोर (Pure Random Noise): (जैसे रेडियो पर स्टेटिक/शोर)।
समान-स्रोत अतिरेक (Same-source Redundancy): (बस पाठ्यपुस्तक के नोट्स को फिर से कॉपी करना)।

परिणाम:

शुद्ध रैंडम शोर ने AI नोट्स की तुलना में दोगुना नुकसान पहुँचाया।
इससे सिद्ध होता है कि AI नोट्स में कुछ उपयोगी जानकारी (useful information) थी (वे शुद्ध शोर से बेहतर थे)।
हालाँकि, वह उपयोगी जानकारी इतने कम ट्रेनिंग डेटा के साथ बहुत सारी अतिरिक्त संख्याओं को प्रोसेस करने से होने वाले भ्रम को दूर करने के लिए पर्याप्त नहीं थी। अतिरिक्त शोर की "लागत" सूचना के "लाभ" से अधिक थी।

समाधान: "वॉल्यूम नॉब" (The Volume Knob)

यदि आपको AI नोट्स का उपयोग करना ही है (शायद आपका बॉस इसके लिए कहता है), तो आप समस्या को कैसे ठीक करेंगे?

लेखकों ने कई "सस्ते समाधान" आजमाए:

लेयर नॉर्मलाइजेशन (Layer Normalization): नोट्स को स्मूथ करने की कोशिश की। परिणाम: इससे स्थिति और खराब हो गई।
डायमेंशन हटाना (Dropping Dimensions): नोट्स का आधा हिस्सा फेंक देना। परिणाम: थोड़ा मदद मिली, लेकिन पर्याप्त नहीं।
स्केलर गेट (The Scalar Gate - वॉल्यूम नॉब): यह एक सरल स्विच है जो यह सीखता है कि AI नोट्स को कितनी मात्रा में सुनना है।

विजेता: "वॉल्यूम नॉब" ने सबसे अच्छा काम किया। इसने सीखा कि जब नोट्स धुंधले हों, तो AI नोट्स की आवाज़ (volume) को लगभग शून्य (लगभग 10% वॉल्यूम) तक कम कर दिया जाए।

इसने खोई हुई सटीकता का 89% वापस पा लिया।
लेकिन यहाँ एक महत्वपूर्ण बात है: सबसे अच्छा समाधान यह था कि AI नोट्स को पूरी तरह से हटा दिया जाए और केवल मूल पाठ्यपुस्तक पर टिके रहें। "वॉल्यूम नॉब" केवल तभी उपयोगी है जब आपको किसी अन्य कारण से AI नोट्स को सिस्टम में रखना अनिवार्य हो।

निष्कर्षों का सारांश

सिर्फ पेस्ट न करें: ग्राफ फीचर्स के बगल में LLM फीचर्स को बस पेस्ट करने से अक्सर छोटे डेटासेट्स पर प्रदर्शन खराब होता है।
पहले सिग्नल की जाँच करें: यदि LLM फीचर्स अपने आप में बहुत अधिक जानकारीपूर्ण नहीं हैं, तो उन्हें न जोड़ें।
"छोटे डेटा" का जाल: यह समस्या तब सबसे खराब होती है जब आपके पास बहुत कम लेबल किए गए उदाहरण होते हैं (जैसे शोध में उपयोग किए जाने वाले मानक बेंचमार्क)। यदि आपके पास बहुत अधिक डेटा है, तो यह समस्या समाप्त हो जाती है।
समाधान: यदि आपको उनका उपयोग करना ही है, तो उन्हें कब म्यूट (mute) करना है, यह सीखने के लिए एक "गेट" (gate) का उपयोग करें। लेकिन ईमानदारी से कहें तो, अक्सर उन्हें छोड़ देना ही बेहतर होता है।

निचोड़ (Bottom Line): यह पेपर यह नहीं कहता कि ग्राफ के लिए LLMs बुरे हैं। यह कहता है कि आप उन्हें कैसे जोड़ते हैं, यह मायने रखता है। "ब्रूट फ़ोर्स" (brute force) तरीका—यानी उन्हें बस जोड़ देना—अक्सर एक गलती है जो मॉडल को भ्रमित कर देती है, खासकर जब डेटा कम हो। आपको उन्हें एकीकृत करने के तरीके अधिक स्मार्ट बनाने की आवश्यकता है (जैसे कि अन्य सफल पेपर्स में उपयोग किए जाने वाले जॉइंट ट्रेनिंग मेथड्स), अन्यथा आप अपने AI को और कम बुद्धिमान बनाने का जोखिम उठाते हैं।

तकनीकी सारांश: LLM फीचर्स GNNs को नुकसान पहुँचा सकते हैं

समस्या विवरण

जबकि हालिया साहित्य व्यापक रूप से यह रिपोर्ट करता है कि बड़े भाषा मॉडल (LLM) द्वारा जनरेट किए गए नोड फीचर्स को ग्राफ न्यूरल नेटवर्क (GNNs) में एकीकृत करने से मानक बेंचमार्क (जैसे, TAPE, GLEM) पर सटीकता में सुधार होता है, यह शोध पत्र एक विपरीत विफलता मोड की पहचान करता है। विशेष रूप से, जब LLM फीचर्स को शुद्ध इनपुट कॉनकैटिनेशन (pure input concatenation) के माध्यम से पेश किया जाता है—बिना जॉइंट ट्रेनिंग, डिस्टिलेशन, या प्रॉम्प्ट-कंडीशनिंग के—तो वे उन होमोफिलस (homophilous) बेंचमार्क पर प्रदर्शन को व्यवस्थित रूप से कम कर सकते हैं जहाँ एंड-टू-एंड LLM पाइपलाइन आमतौर पर सफल होती हैं।

लेखक "शुद्ध कॉनकैटिनेशन" उप-चरण को अलग करते हैं ताकि यह प्रदर्शित किया जा सके कि विशिष्ट परिस्थितियों में (विशेष रूप से छोटे-सैंपल, उच्च-आयामी सेटिंग्स में), LLM फीचर्स जोड़ना सिग्नल के बजाय हस्तक्षेप (interference) का एक स्रोत बन जाता है, जिससे सटीकता में महत्वपूर्ण गिरावट आती है।

कार्यप्रणाली (Methodology)

यह अध्ययन LLM फीचर्स के प्रभावों को अलग करने के लिए नौ नोड क्लासिफिकेशन डेटासेट्स (होमोफिली स्तर $h \in [0.05, 0.81]$ के विस्तार के साथ) में एक कठोर प्रयोगात्मक डिजाइन का उपयोग करता है।

प्रयोगात्मक सेटअप:
- फीचर्स: मूल फीचर्स ( $F_{orig}$ , जैसे, BoW, Word2Vec) को LLM-जनरेटेड फीचर्स ( $F_{LLM}$ , SBERT-एनकोडेड GPT-4o-mini TAPE एक्सप्लेनेशन) के साथ कॉनकैटिनेट किया गया है।
- बैकबोन्स: आर्किटेक्चरल डिपेंडेंसी का परीक्षण करने के लिए प्रयोगों में एक MLP बैकबोन (प्राथमिक) और GCN/GCNII/GAT बैकबोन्स (द्वितीयक) का उपयोग किया गया है।
- स्प्लिट्स: प्राथमिक परिणाम स्टैंडर्ड प्लैनेटॉइड (Planetoid) पब्लिक स्प्लिट (लो-लेबल रिजीम: 60–140 ट्रेनिंग लेबल्स) का उपयोग करते हैं, जबकि रिजीम डिपेंडेंस को सत्यापित करने के लिए रैंडम स्प्लिट्स का उपयोग किया गया है।
- मेट्रिक्स: मुख्य मेट्रिक $\Delta_{concat}$ है, जो $F_{orig} \parallel F_{LLM}$ और केवल $F_{orig}$ के बीच टेस्ट एक्यूरेसी का अंतर है।
विश्लेणात्मक ढांचे (Analytical Frameworks):
- प्रत्यक्ष तुलना (Direct Contrast): हस्तक्षेप प्रभावों को कम करने से बचने के लिए विशिष्ट गठबंधन (coalitions) (जैसे, $\{F_{orig}, F_{LLM}\}$ बनाम $\{F_{orig}\}$ ) की तुलना करना।
- शाप्ले डिकंपोजिशन (Shapley Decomposition): मार्जिनल योगदानों को असांन करने के लिए 12 प्रभावी गठबंधनों पर एक 4-फैक्टर डिकंपोजिशन (स्ट्रक्चर, $F_{orig}$ , $F_{LLM}$ , डेप्थ) का उपयोग करना, यह स्वीकार करते हुए कि औसत निकालने से विशिष्ट विफलता मोड छिप सकते हैं।
- एब्लेशन स्टडीज (Ablation Studies): डाइमेंशनलिटी पेनल्टी, वेट डिके आर्टिफैक्ट्स, या इन्फॉर्मेशनल कंटेंट प्रभावों के बीच अंतर करने के लिए $F_{LLM}$ को ज़ीरो, $F_{orig}$ के PCA प्रोजेक्शन, या गॉसियन नॉइज़ से बदलने वाले नियंत्रित प्रयोग।
- स्केलिंग एनालिसिस: कॉनकैटिनेशन कॉस्ट और फीचर डायमेंशन के अनुपात $\sqrt{d_l/n}$ के बीच संबंध के लिए पावर-लॉ प्रोफाइल को फिट करना।

मुख्य योगदान और निष्कर्ष

F1: हस्तक्षेप का रिजीम (The Regime of Interference)

लो-लेबल, हाई-डायमेंशनल रिजीम (विशेष रूप से प्लैनेटॉइड पब्लिक स्प्लिट) में, LLM फीचर्स का शुद्ध कॉनकैटिनेशन प्रदर्शन को कम कर देता है।

अवलोकन: PubMed पर, LLM फीचर्स जोड़ने से MLP एक्यूरेसी में $-17.0 \pm 0.3$ पर्सेंटेज पॉइंट्स (pp) की गिरावट आती है। Cora में $-4.3 \pm 0.6$ pp की गिरावट आती है। CiteSeer में शोर (noise) के भीतर नगण्य गिरावट देखी गई है।
तंत्र (Mechanism): यह कोई जेनेरिक "कर्स ऑफ डायमेंशनलिटी" नहीं है। एब्लेशन दिखाता है कि जबकि शुद्ध गॉसियन नॉइज़ के कारण $-37.3$ pp की गिरावट आती है, वास्तविक LLM फीचर्स के कारण $-17.0$ pp की गिरावट आती है। LLM फीचर्स शुद्ध शोर की तुलना में $\sim 20$ pp का "कंटेंट रेस्क्यू" प्रदान करते हैं, लेकिन नेट परिणाम छोटे-सैंपल रिजीम में ओवरफिटिंग के कारण एक महत्वपूर्ण पेनल्टी बना रहता है।
रिजीम डिपेंडेंस: जब बड़े रैंडम स्प्लिट्स (50/25/25) का उपयोग किया जाता है, तो गिरावट का परिमाण दबकर $\le 1.2$ pp रह जाता है, जो पुष्टि करता है कि समस्या इनहेरेंट कंटेंट दोषों के बजाय छोटे-सैंपल ओवरफिटिंग से प्रेरित है।

F2: प्रेडिक्टिव थ्रेशोल्ड (Predictive Threshold via LLM-Only Discriminability)

पेपर $\Delta_{sig}$ (केवल $F_{LLM}$ पर प्रशिक्षित MLP बनाम रैंडम नॉइज़ की एक्यूरेसी गैप) को कॉनकैटिनेशन सफलता के प्रेडिक्टर के रूप में प्रस्तावित करता है।

थ्रेशोल्ड नियम: एक बूटस्ट्रैप-व्युत्पन्न चेंज-पॉइंट $\tau = 13.8$ $τ = 13.8$ pp कॉनकैटिनेशन सफलता के रिजीम्स को अलग करता है।
- यदि $\Delta_{sig} \le \tau$ : कॉनकैटिनेशन कॉस्ट नॉन-पॉजिटिव है (नुकसान पहुँचाने की संभावना है)।
- यदि $\Delta_{sig} > \tau$ : कॉनकैटेशन कॉस्ट पॉजिटिव है (मदद करने की संभावना है)।
परफॉरमेंस: यह नियम 7/9 डेटासेट्स को सही ढंग से वर्गीकृत करता है।
होमोफिली के साथ तुलना: होमोफिली ( $h$ ) एक खराब प्रेडिक्टर है ( $r^2 = 0.06$ ), जबकि $\Delta_{sig}$ काफी बेहतर सहसंबंध ( $r^2 = 0.38$ ) दिखाता है।

F3: मैकेनिज्म आइसोलेशन (Mechanism Isolation)

PubMed पर एब्लेशन के माध्यम से, लेखक वैकल्पिक परिकल्पनाओं को खारिज करते हैं:

डायमेंशनलिटी: LLM फीचर्स को समान-डायमेंशन ज़ीरो से बदलने पर कोई गिरावट नहीं हुई ( $+0.1$ pp), जिससे साधारण डायमेंशन मिसमैच का खंडन होता है।
सेल्फ-इन्फॉर्मेशन: मूल फीचर्स के PCA से बदलने पर केवल मामूली हस्तक्षेप हुआ ($-2.3$ pp)।
रेगुलराइजेशन: वेट डिके को आधा करने से गिरावट में बदलाव नहीं आया, जिससे वेट डिके आर्टिफैक्ट्स का खंडन होता है।
निष्कर्ष: $-17$ pp की गिरावट LLM फीचर्स के इन्फॉर्मेशनल कंटेंट के सीमित-सैंपल बाधा के साथ इंटरैक्शन के कारण विशिष्ट है।

F4: शाप्ले डिकंपोजिशन कॉन्टेक्स्ट (Shapley Decomposition Context)

जबकि प्रत्यक्ष कॉनकैटिनेशन नकारात्मक प्रभाव दिखाता है, एक 4-फैक्टर शाप्ले डिकंपोजिशन दिखाता है कि हेटरोफिलस (heterophilous) डेटासेट्स पर $F_{LLM}$ का कुल योगदान सकारात्मक है। यह उजागर करता है कि पूर्व बेंचमार्क में रिपोर्ट की गई समग्र "सफलता" अक्सर जॉइंट ट्रेनिंग या सेलेक्टर मॉड्यूल्स पर निर्भर करती है जो कच्चे कॉनकैटिनेशन कॉस्ट को कम करते हैं।

F5: स्केलिंग लॉ (Scaling Law)

कॉनकैटिनेशन कॉस्ट, फीचर डायमेंशन और ट्रेनिंग लेबल्स के अनुपात के संबंध में एक पावर-लॉ स्केलिंग का पालन करती है:
$|\Delta_{concat}| \propto \left(\sqrt{\frac{d_l}{n}}\right)^{1.31}$
यह प्रोफाइल ( $r^2 = 0.97$ ) $n=60$ पर $-17$ pp की गिरावट की व्याख्या करता है और जैसे-जैसे $n$ बढ़ता है, लागत के घटने (जैसे, $n \approx 10^4$ पर $<1$ pp तक गिरना) की भविष्यवाणी करता है।

समाधान रणनीतियाँ (Remediation Strategies)

पेपर लो- $\Delta_{sig}$ रिजीम के लिए "सस्ते समाधानों" का मूल्यांकन करता है:

$F_{LLM}$ को हटा दें (Drop $F_{LLM}$ ): सबसे प्रभावी समाधान। LLM चैनल को पूरी तरह से हटाने से बेसलाइन एक्यूरेसी ( $72.1\%$ ) बहाल हो जाती है, जो सभी सीखे गए सुधारों पर स्पष्ट रूप से हावी है।
लर्नेबल स्केलर गेट (Learnable Scalar Gate): एक लर्न करने योग्य स्केलर $g$ $g$ जिसे $F_{LLM}$ $F_{LL M}$ पर लागू किया जाता है (0 पर इनिशियलाइज़ किया गया), 89% गैप को रिकवर करता है। हालांकि, यह अभी भी $\sim 1.8$ $\sim 1.8$ pp ( $p \approx 0.008$ $p \approx 0.008$ ) के साथ "ड्रॉप" बेसलाइन से कम प्रदर्शन करता है।
- सिफारिश: गेट का उपयोग केवल तभी करें जब डाउनस्ट्रीम पाइपलाइन्स संरचनात्मक रूप से LLM चैनल की उपस्थिति की आवश्यकता रखती हों (जैसे, साझा मल्टी-टास्क इनपुट्स)। अन्यथा, चैनल को हटा देना बेहतर है।

महत्व और दावे (Significance and Claims)

यह पेपर यह दावा नहीं करता है कि LLM फीचर्स सार्वभौमिक रूप से हानिकारक हैं। इसके बजाय, यह एक विशिष्ट रिजीम को परिभाषित करता है जहाँ सबसे सरल एकीकरण विधि (शुद्ध कॉनकैटिनेशन) उल्टा असर करती है।

पूर्व कार्य के साथ सामंजस्य: इनके निष्कर्ष उन एग्रीगेट बेंचमार्क (जैसे, Wu et al. [5]) का खंडन नहीं करते हैं जो लाभ की रिपोर्ट करते हैं। उन लाभों का श्रेय जॉइंट ट्रेनिंग, वेरिएशनल EM, या गेटेड-फ्यूजन मॉड्यूल्स (जैसा कि TAPE, GLEM में देखा गया है) को दिया जाता है जो शुद्ध कॉनकैटिनेशन में देखे गए हस्तक्षेप को रोकने के लिए आवश्यक इंडक्टिव बायस प्रदान करते हैं।
व्यावहारिक मार्गदर्शन:
- चिकित्सकों को LLM अपनाने से पहले $F_{orig}$ -ओनली बनाम $F_{orig} \parallel F_{LLM}$ का A/B टेस्ट करना चाहिए।
- $\Delta_{sig}$ रिजीम (मददगार बनाम नुकसानदेह) के लिए एक व्याख्यात्मक लेंस के रूप में कार्य करता है, न कि एक सटीक प्री-A/B फिल्टर के रूप में, क्योंकि इसे मापने के लिए A/B टेस्ट के समान ही कंप्यूट की आवश्यकता होती है।
- लो- $\Delta_{sig}$ , लो-लेबल रिजीम में, LLM फीचर्स को हटाने का "ट्रिवियल फिक्स" अक्सर इष्टतम रणनीति होता है।

पेपर निष्कर्ष निकालता है कि मददगार से हानिकारक में "साइन फ्लिप" (sign flip) छोटे-सैंपल सेटिंग्स में शुद्ध कॉनकैटिनेशन के विशिष्ट डिज़ाइन विकल्प द्वारा संचालित है, और LLM-एन्हांस्ड GNNs की समग्र सफलता अधिक परिष्कृत इंटीग्रेशन स्कैफोल्डिंग पर निर्भर करती है जो इस विशिष्ट हस्तक्षेप को कम करती है।