🤖 AI

Bucketing the Good Apples: A Method for Diagnosing and Improving Causal Abstraction

यह शोध पत्र न्यूरल नेटवर्क में कॉज़ल एब्स्ट्रैक्शन (causal abstraction) के लिए एक नैदानिक पद्धति प्रस्तुत करता है जो इंटरचेंज इंटरवेंशन (interchange interventions) के आधार पर इनपुट स्पेस को सुस्पष्ट (well-interpreted) और अस्पष्ट (under-interpreted) क्षेत्रों में विभाजित करती है, जिससे शोधकर्ताओं को यह सटीक रूप से पहचानने में मदद मिलती है कि व्याख्या कहाँ विफल हो रही है और उच्च-स्तरीय कॉज़ल परिकल्पनाओं को परिष्कृत और बेहतर बनाने के लिए व्यावहारिक ह्यूरिस्टिक्स (heuristics) प्रदान करती है।

मूल लेखक: Li Puyin, Jiyuan Tan, Ahmad Jabbar, Thomas Icard, Atticus Geiger

प्रकाशित 2026-05-06

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Li Puyin, Jiyuan Tan, Ahmad Jabbar, Thomas Icard, Atticus Geiger

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, लेकिन थोड़ी रहस्यमयी, रोबोट शेफ है। आप यह समझना चाहते हैं कि वह बिल्कुल कैसे तय करता है कि कोई व्यंजन "स्वादिष्ट" है या "स्वादिष्ट नहीं" है। आपके पास एक सिद्धांत (परिकल्पना) है कि यह कैसे काम करता है: शायद आपको लगता है कि वह बस यह देखता है कि नमक सही है या नहीं।

इस सिद्धांत का परीक्षण करने के लिए, आप एक मानक विधि का उपयोग करते हैं जिसे कॉज़ल एब्स्ट्रैक्शन (Causal Abstraction) कहा जाता है। यह दो अलग-अलग व्यंजनों के बीच सामग्री को बदलने जैसा है ताकि यह देखा जा सके कि क्या रोबोट का निर्णय ठीक उसी तरह बदलता है जैसा आपका सिद्धांत भविष्यवाणी करता है। यदि आपका सिद्धांत पूर्ण है, तो नमक को बदलने से निर्णय हमेशा एक अनुमानित तरीके से बदलना चाहिए।

समस्या यह है कि वास्तविक दुनिया में, आपका सिद्धांत शायद ही कभी 100% समय पूर्ण होता है। आमतौर पर, आपको एक एकल स्कोर मिलता है, जैसे "78% सटीकता।" यह स्कोर बताता है कि आपका सिद्धांत "ठीक" है, लेकिन यह यह नहीं बताता कि यह क्यों विफल हो रहा है या यह कहाँ विफल हो रहा है। क्या रोबोट तीखे भोजन को लेकर भ्रमित है? क्या यह केवल सूप के लिए काम करता है लेकिन सलाद के लिए विफल हो जाता है? एक एकल संख्या इन सभी विवरणों को छिपा देती है।

यह पेपर इस समस्या को ठीक करने के लिए "बकेटिंग द गुड एप्पल्स" (Bucketing the Good Apples) नामक एक नई विधि पेश करता है। सभी फलों के ढेर (सभी व्यंजनों) को देखकर उन्हें एक औसत स्कोर देने के बजाय, लेखक सुझाव देते हैं कि आपके सिद्धांत के लिए प्रत्येक एक के लिए यह कितना अच्छा काम करता है, इसके आधार पर फलों को अलग-अलग बाल्टियों (buckets) में छाँटा जाए।

यह विधि कैसे काम करती है, इसके चरणों को सरल उपमाओं का उपयोग करके यहाँ दिया गया है:

1. समस्या: "औसत" स्कोर भ्रामक है

कल्पना कीजिए कि आप एक सिद्धांत का परीक्षण कर रहे हैं जो कहता है, "रोबोट किसी व्यंजन को तब अच्छा मानता है जब उसमें चीज़ (cheese) हो।"

परिदृश्य A: आप 100 पिज्जा का परीक्षण करते हैं। आपका सिद्धांत पूरी तरह से काम करता है।
परिदृश्य B: आप 100 सलाद का परीक्षण करते हैं। आपका सिद्धांत पूरी तरह से विफल हो जाता है क्योंकि सलाद में आमतौर पर चीज़ नहीं होती।
पुराना तरीका: आप उन सभी को मिला देते हैं और कहते हैं, "सिद्धांत 50% सटीक है।" यह बेकार है। यह आपको यह नहीं बताता कि आपका सिद्धांत पिज्जा के लिए वास्तव में शानदार है और सलाद के लिए बहुत बुरा है।

2. समाधान: बाल्टियों में छाँटना (Sorting into Buckets)

लेखक इनपुट (व्यंजनों) को "अच्छी बाल्टियों" (जहाँ सिद्धांत काम करता है) और "खराब बाल्टियों" (जहाँ यह विफल हो जाता है) में छाँटने के लिए चार-चरणीय रेसिपी प्रस्तावित करते हैं।

चरण 1: विश्वसनीय व्यंजन चुनें
सबसे पहले, केवल उन व्यंजनों को देखें जिन्हें रोबोट ने वास्तव में सही बनाया है। यदि रोबोट ने पिज्जा बनाने में गलती की, तो हमें उस पिज्जा की परवाह नहीं है; हमें केवल उन पिज्जा की परवाह है जहाँ रोबोट आश्वस्त और सही था। यह सुनिश्चित करता है कि हम अपने सिद्धांत का परीक्षण कर रहे हैं, न कि रोबोट की खाना पकाने की बुनियादी क्षमता का।

चरण 2: "स्वैप" (Swap) कनेक्शन खोजें
इसके बाद, शोधकर्ता व्यंजनों के जोड़ों को देखते हैं। वे पूछते हैं: "यदि मैं पिज्जा A से 'चीज़' वाला हिस्सा लेता हूँ और उसे सलाद B में डाल देता हूँ, तो क्या रोबदान का निर्णय ठीक उसी तरह बदलता है जैसा मेरा सिद्धांत कहता है?"

यदि स्वैप एक जोड़े के लिए पूरी तरह से काम करता है, तो वे "इंटरचेंज-कंसिस्टेंट" (interchange-consistent) हैं।
यदि स्वैप विफल हो जाता है, तो वे नहीं हैं।

चरण 3: "बकेटिंग" (मुख्य विचार)
अब, वे एक मानचित्र बनाते हैं। वे उन व्यंजनों को जोड़ते हैं जो आपस में अच्छी तरह से काम करते हैं।

यदि आपके पास व्यंजनों का एक समूह है जहाँ प्रत्येक एकल जोड़ा स्वैप करने पर अच्छी तरह से काम करता है, तो वह समूह एक घना क्लस्टर, या एक "बकेट" (Bucket) बनाता है।
हमारे उदाहरण में, सभी पिज्जा एक घना बकेट बनाएंगे (क्योंकि पिज्जा के बीच चीज़ को बदलना हमेशा काम करता है)।
सलाद एक बिखला हुआ, असंबद्ध समूह हो सकते हैं जहाँ कुछ भी स्वैप ठीक से नहीं होता।
खोज: शोधकर्ताओं ने पाया कि "अच्छा बकेट" अक्सर एक छिपे हुए नियम को प्रकट करता है। उदाहरण के लिए, उन्हें एहसास हो सकता है कि "ओह! 'चीज़ चेक करने' का सिद्धांत केवल तब काम करता है जब व्यंजन एक पिज्जा हो। जब व्यंजन एक सलाद हो, तो रोबोट वास्तव में कुछ और (जैसे 'ताजगी') की तलाश कर रहा होता है।"

चरण 4: एक जासूस को सिखाना
अंत में, वे एक साधारण कंप्यूटर प्रोग्राम (क्लासिफायर) को प्रशिक्षित करते हैं ताकि वह एक नए व्यंजन को देख सके और अनुमान लगा सके कि वह किस बकेट से संबंधित है।

क्या यह "पिज्जा बकेट" (जहाँ चीज़ का सिद्धांत काम करता है) से संबंधित है?
या यह "सलाद बकेट" (जहाँ चीज़ का सिद्धांत विफल हो जाता है) से संबंधित है?
यदि प्रोग्राम सटीक रूप से यह करने में सक्षम है, तो यह साबित करता है कि बकेटों के बीच का अंतर वास्तविक और संरचनात्मक है, न कि केवल एक यादृच्छिक संयोग।

पेपर से वास्तविक दुनिया के उदाहरण

लेखकों ने तीन अलग-अलग "रसोईयों" (कार्यों) पर इसका परीक्षण किया:

तर्क पहेली (खिलौना कार्य - Toy Task):
उन्होंने एक मॉडल को गणित जैसी तर्क समस्या हल करने के लिए दिया। उनका प्रारंभिक सिद्धांत बहुत सरल था। बकेटिंग के माध्यम से, उन्हें एहसास हुआ कि मॉडल वास्तव में एक दो-चरणीय प्रक्रिया का उपयोग कर रहा था: पहले एक स्थिति की जाँच करना, फिर दूसरी। बकेटिंग ने उन्हें पूरे, सही तर्क को चरण-दर-चरण "रिवर्स इंजीनियर" करने में मदद की, जिससे एक अस्पष्ट अनुमान एक सटीक मानचित्र में बदल गया कि मॉडल कैसे सोचता है।
"किसने क्या कहा?" खेल (एंटिटी बाइंडिंग - Entity Binding):
कल्पना कीजिए कि एक कहानी में कई पात्र हैं। मॉडल को याद रखना होगा कि किसने क्या किया। शोधकर्ताओं ने सोचा कि मॉडल केवल वाक्य में नाम की "स्थिति" (position) को देखता है।

परिणाम: बकेटिंग ने दिखाया कि सिद्धांत केवल कहानी की शुरुआत या अंत में नामों के लिए काम करता है। बीच में आने वाले नामों के लिए, मॉडल भ्रमित हो जाता है। "खराब बकेट" ने खुलासा किया कि मॉडल लंबी सूचियों के बीच में संघर्ष करता है, एक ऐसा सूक्ष्म अंतर जिसे पुराना "औसत स्कोर" पकड़ नहीं पाया।

भाषा मिक्सर (तथ्यात्मक स्मरण - Factual Recall):
उन्होंने मॉडल को "भाषा" (जैसे अंग्रेजी बनाम स्पेनिश) को अन्य तथ्यों (जैसे देश) से अलग करने के लिए प्रशिक्षित करने की कोशिश की।

परिणाम: बकेटिंग ने दिखाया कि मॉडल का "भाषा डिटेक्टर" वास्तव में केवल एक "अंग्रेजी/स्पेनिश डिटेक्टर" था। यह अंग्रेजी और स्पेनिश इनपुट के लिए बहुत अच्छा काम करता था लेकिन अन्य भाषाओं के लिए पूरी तरह से विफल हो गया। बकेटिंग ने खुलासा किया कि मॉडल ने एक सामान्य "भाषा" की अवधारणा नहीं सीखी थी; उसने केवल दो विशिष्ट भाषाओं को याद कर लिया था।

मुख्य निष्कर्ष

यह पेपर तर्क देता है कि हमें केवल यह स्वीकार नहीं करना चाहिए कि एआई के लिए हमारे समझने का एक एकल "अच्छा/बुरा" स्कोर है। इसके बजाय, हमें एआई की दुनिया को विभाजित (partition) करना चाहिए।

इनपुट को "अच्छे सेब" (जहाँ सिद्धांत लागू होता है) और "खराब सेब" (जहाँ यह टूट जाता है) में छाँटकर, हम:

निदान (Diagnose) कर सकते हैं कि सिद्धांत कहाँ विफल होता है।
खोज (Discover) कर सकते हैं कि मॉडल कौन से छिपे हुए चर या चरण उपयोग कर रहा है जिनके बारे में हमें पता नहीं था।
सुधार (Improve) कर सकते हैं हमारे सिद्धांतों को विभिन्न बकेटों से प्राप्त अंतर्दृष्टि को जोड़कर।

यह एआई को समझने की प्रक्रिया को एक अस्पष्ट "यह 70% सही है" से बदलकर, इस बात के सटीक, रचनात्मक मानचित्र में बदल देता है कि मशीन वास्तव में कैसे सोचती है।

तकनीकी सारांश: गुड एप्पल्स की बकेटिंग (Bucketing the Good Apples)

समस्या विवरण (Problem Statement)

कॉज़ल एब्स्ट्रैक्शन (Causal abstraction) एक कठोर ढांचा है जो यह मूल्यांकन करता है कि क्या एक उच्च-स्तरीय कॉज़ल मॉडल ( $H$ ) काउंटरफैक्चुअल हस्तक्षेपों (counterfactual interventions) के तहत एक निम्न-स्तरीय न्यूरल नेटवर्क ( $L$ ) का सटीक रूप से एब्स्ट्रैक्शन करता है। यह मूल्यांकन आमतौर पर इंटरचेंज इंटरवेंशन एक्यूरेसी (Interchange Intervention Accuracy - IIA) पर निर्भर करता है, जो एक स्केलर मीट्रिक है जो हस्तक्षेप के तहत निम्न-स्तरीय मॉडल के व्यवहार और उच्च-स्तरीय मॉडल के भविष्यवाणियों के बीच सहमति का सारांश देता है।

यह शोध पत्र वर्तमान अत्याधुनिक तकनीक में एक महत्वपूर्ण सीमा की पहचान करता है: IIA एक ग्लोबल समरी स्टैटिस्टिक है। जबकि यह इंगित करता है कि क्या कोई परिकल्पना (hypothesis) सामान्य रूप से विश्वसनीय है, यह यह बताने में विफल रहता है कि इनपुट स्पेस में कहाँ पर वह परिकल्पना सफल या विफल होती है। मध्यवर्ती IIA स्कोर विशेष रूप से व्याख्या करने में कठिन होते हैं, जो एक आंशिक रूप से सही परिकल्पना को परिष्कृत करने के लिए बहुत कम मार्गदर्शन प्रदान करते हैं। इसके अलावा, मौजूदा वर्कफ़्लो मुख्य रूप से मूल्यांकनकारी (evaluative) हैं न कि रचनात्मक (constructive); वे यह निदान तो कर सकते हैं कि एक परिकल्पना अपूर्ण है, लेकिन वे इसे सुधारने या लुप्त मध्यवर्ती चरों (variables) की खोज करने का तंत्र प्रदान नहीं करते हैं।

कार्यप्रणाली (Methodology)

लेखक एक चार-चरणीय डायग्नोस्टिक पाइपलाइन प्रस्तावित करते है जो विश्लेषण की इकाई को ग्लोबल स्कोर से बदलकर इनपुट स्पेस की संरचना पर केंद्रित करती है। मूल विचार इनपुट स्पेस को "सुव्यवस्थित व्याख्या वाले" क्षेत्रों (टारगेट बकेट्स) और "अल्प-व्याख्या वाले" क्षेत्रों में विभाजित करना है।

1. औपचारिकीकरण: इंटरचेंज-कंसिस्टेंट सबसेट्स (Formalization: Interchange-Consistent Subsets)

यह विधि एक इंटरचेंज-कंसिस्टेंट पेयर की अवधारणा को औपचारिक रूप देती है: दो इनपुट $i_1, i_2$ तब सुसंगत (consistent) होते हैं जब उनके आंतरिक प्रतिनिधित्व (representations) को बदलने से प्राप्त आउटपुट दोनों दिशाओं में उच्च-स्तरीय काउंटरफैक्चुअल भविष्यवाणियों से मेल खाते हैं।

इंटरचेंजेबिलिटी ग्राफ (Interchangeability Graph): इनपुट स्पेस को एक ग्राफ के रूप में मॉडल किया जाता है जहाँ वर्टिस (vertices) इनपुट हैं और किनारे (edges) इंटरचेंज-कंसिस्टेंट पेयर्स को जोड़ते हैं।
टारगेट बकेट्स (Target Buckets): इनपुट का एक उपसमूह "टारगेट बकेट" माना जाता है यदि वह इस ग्राफ में एक क्लीक (clique) (या एक उच्च-घनत्व वाला $\gamma$ -क्वासी-क्लीक) बनाता है। इन बकेट्स के भीतर, एब्स्ट्रैक्शन लगभग पूर्ण होता है; बकेट्स के बीच, यह विफल हो जाता है।

2. चार-चरणीय डायग्नोसिस पाइपलाइन (The Four-Step Diagnosis Pipeline)

लेखक इस ढांचे को एक व्यावहारिक रेसिपी में स्थापित करते हैं:

कार्य और इनपुट स्पेस निर्दिष्ट करें: एक ऐसा कार्य परिभाषित करें जहाँ निम्न-स्तरीय मॉडल $L$ विश्वसनीय प्रदर्शन करता है। विश्लेषण को केवल सही भविष्यवाणियों ( $I_{correct}$ ) के उपसमूह तक सीमित रखा जाता है ताकि व्याख्यात्मक विफलताओं को कार्य विफलताओं से अलग किया जा सके।
एक कैंडिडेट अलाइनमेंट खोजें: एक उच्च-स्तरीय चर और एक निम्न-स्तरीय फीचर के बीच एक कैंडिडेट अलाइनमेंट $\Pi$ की पहचान करें। यह चरण अक्सर मध्यवर्ती IIA स्कोर देता है जो आगे के निदान के लिए प्रेरित करते हैं।
इनपुट स्पेस को बकेट करें: $I_{correct}$ पर इंटरचेंजेबिलिटी ग्राफ का निर्माण करें। घने क्वासी-क्लीक्स (टारगेट बकेट्स) की खोज करें जहाँ एब्स्ट्रैक्शन बना रहता है। शेष स्थान "अन्य बकेट" (other bucket) बनता है। यह चरण विशिष्ट विफलता मोड को स्थानीयकृत करता है।
सामान्यीकरण और लक्षण वर्णन (Generalize and Characterize): अनदेखे इनपुट के लिए बकेट सदस्यता की भविष्यवाणी करने के लिए एक क्लासिफायर को प्रशिक्षित करें। क्लासिफायर या तो हैंड-लेबल किए गए फीचर्स या मॉडल-आंतरिक फीचर्स (जैसे, स्पार्स ऑटोएनकोडर (SAE) एक्टिवेशन) का उपयोग करता है ताकि यह निर्धारित किया जा सके कि खोजा गया विभाजन एक स्थिर संरचनात्मक सीमा है या सीमित नमूने का आर्टिफैक्ट।

मुख्य योगदान (Key Contributions)

डायग्नोस्टिक शिफ्ट: यह शोध पत्र कॉज़ल एब्स्ट्रैक्शन को शुद्ध वैश्विक मूल्यांकन से एक डायग्नोस्टिक टूल में बदल देता है जो यह प्रकट करता है कि व्याख्या कहाँ काम करती है और कहाँ विफल होती है।
रचनात्मक परिशोधन (Constructive Refinement): सुव्यवस्थित बनाम अल्प-व्याख्या वाले क्षेत्रों की संरचना का विश्लेषण करके, यह विधि व्याख्याओं को सुधारने के लिए ह्यूरिस्टिक्स प्रदान करती है। यह एक उच्च-स्तरीय परिकल्पना में लुप्त अंतरों की पहचान कर सकती है, अनमॉडल किए गए मध्यवर्ती चरों की खोज कर सकती है, और आंशिक व्याख्याओं को संयोजित कर सकती है।
रिकर्सिव हाइपोथेसिस डिस्कवरी: पाइपलाइन एक मोटे (coarse) हाइपोथेसिस को नए खोजे गए विफलता मोड पर रिकर्सिव रूप से लागू करके एक सूक्ष्म-स्तरीय कॉज़ल मॉडल में परिष्कृत करने का समर्थन करती है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखक इस पद्धति को बढ़ती जटिलता के तीन सेटिंग्स में मान्य करते हैं:

टॉय लॉजिक टास्क (Toy Logic Task):
- सेटअप: एक फाइन-ट्यून्ड GPT-2-small मॉडल एक लॉजिक टास्क $o_5 = (o_1 \land o_2) \lor o_3$ को हल करता है।
- परिणाम: केवल आउटपुट वेरिएबल $o_5$ वाली परिकल्पना के साथ शुरू करते हुए, पाइपलाइन ने मध्यवर्ती IIA के साथ एक अलाइनमेंट की पहचान की। बकेटिंग ने खुलासा किया कि अलाइनमेंट केवल तभी सुसंगत था जब $o_1 \land o_2$ गलत (false) था।
- परिशोधन: de facto मध्यवर्ती वेरिएबल $o_4 = o_1 \land o_2$ को प्रमोट करने और डायग्नोसिस को फिर से चलाने के बाद, लेखकों ने पूरी उच्च-स्तरीय पदानुक्रमित संरचना ( $o_1, o_2, o_3 \to o_4 \to o_5$ ) को रिकवर किया, जिससे सिद्ध हुआ कि मॉडल इच्छित फैक्टराइजेशन का उपयोग करता है।
एंटिटी बाइंडिंग टास्क (Entity Binding Task):
- सेटअप: Gemma-2-2B-Instruct का उपयोग करते हुए, कार्य में क्वेरी किए गए ग्रुप पोजीशन ( $q_{group}$ ) के आधार पर टेम्पलेटेड समूहों से संस्थाओं (entities) को प्राप्त करना शामिल है।
- परिणाम: एक पोजीशनल हाइपोथेसिस ने एक U-आकार का अलाइनमेंट कर्व दिखाया (अनुक्रम के किनारों पर उच्च निष्ठा, बीच में कम)। बकेटिंग ने बिना किसी मैनुअल निरीक्षण के इन क्षेत्रों को स्वचालित रूप से अलग कर दिया।
- सामान्यीकरण: आंतरिक SAE फीचर्स पर प्रशिक्षित क्लासिफायर ने सफलतापूर्वक इस सीमा को अनदेखे इनपुट्स पर सामान्यीकृत किया, जिससे लक्षित बकेट पर 98% IIA प्राप्त हुआ, जो पुष्टि करता है कि यह अंतर मॉडल के रिप्रेजेंटेशन में एनकोडेड है।
एंटैंगल्ड फैक्टुअल रिकॉल (RAVEL बेंचमार्क):
- सेटअप: Llama-3.1-8B में एंटैंगल्ड एट्रिब्यूट्स (जैसे, COUNTRY, TIMEZONE) से LANGUAGE एट्रिब्यूट को अलग करना।
- परिणाम: भले ही MDAS को डिसेंटैंगलमेंट के लिए डिज़ाइन किया गया था, ग्लोबल IIA कम (14.3%) था। बकेटिंग ने खुलासा किया कि सीखा गया सबस्पेस "भाषा" का सामान्य एब्स्ट्रैक्शन नहीं था, बल्कि इसने इनपुट स्पेस को मोटे, भाषा-विशिष्ट क्लस्टर्स (जैसे, इंग्लिश और स्पैनिश बकेट जिनमें उच्च IIA है, लेकिन क्रॉस-लैंग्वेज IIA कम है) में समाहित कर दिया।
- अंतर्दृष्टि: इसने एक संरचनात्मक बेमेल (mismatch) को उजागर किया जहाँ रिप्रेजेंटेशन ने भाषा-विशिष्ट संरचना को बनाए रखा लेकिन क्रॉस-लैंग्वेज इंटरचेंजेबिलिटी में विफल रहा।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि इनपुट स्पेस को विभाजित करना अधिक सटीक, रचनात्मक और स्केलेबल मैकेनिस्टिक इंटरप्रिटेबिलिटी की ओर एक महत्वपूर्ण कदम है।

मूल्यांकन से निर्माण की ओर: यह विधि "अपूर्ण" एब्स्ट्रैक्शन को क्रियाशील डायग्नोस्टिक ऑब्जेक्ट में बदल देती है, जिससे शोधकर्ता पोस्ट-हॉक मूल्यांकन से उच्च-स्तरीय परिकल्पनाओं की रचनात्मक खोज की ओर बढ़ सकते हैं।
स्केलेबिलिटी: यह दृष्टिकोण विभिन्न मॉडल आकारों (फाइन-ट्यून्ड और प्री-ट्रेन्ड) और अलाइनमेंट विधियों (DAS, MDAS, पैचिंग) में व्यापक रूप से उपयोगी दिखाया गया है।
सीमाएं: लेखक विनम्रतापूर्वक नोट करते हैं कि विधि एक पूर्व कार्य निर्माण (task construal) और कैंडिडेट एब्स्ट्रैक्शन पर निर्भर करती है (यह एक स्ट्रक्चर्ड प्रोग्राम सर्च है, अनकन्स्ट्रेंड ऑटोमैटिक इंटरप्रिटेशन नहीं) और वर्तमान में सिंगल-वेरिएबल हाइपोथेसिस पर केंद्रित है।

शोध पत्र निष्कर्ष निकालता है कि "गुड एप्पल्स की बकेटिंग" करके, शोधकर्ता उन विशिष्ट स्थितियों की पहचान कर सकते हैं जिनके तहत कॉज़ल एब्स्ट्रैक्शन काम करते हैं, जिससे एब्स्ट्रैक्शन विफलताओं को न्यूरल नेटवर्क के अंतर्निहित तंत्र को परिष्कृत करने और खोजने के साक्ष्य में बदला जा सके।