🤖 machine learning

Prototype-Grounded Concept Models for Verifiable Concept Alignment

यह शोध पत्र प्रोटोटाइप-ग्राउंडेड कॉन्सेप्ट मॉडल्स (PGCMs) को प्रस्तुत करता है, जो एक नवीन ढांचा है जो कॉन्सेप्ट्स को सीखने योग्य विज़ुअल प्रोटोटाइप्स में ग्राउंड करके कॉन्सेप्ट बॉटलनेक मॉडल्स की व्याख्यात्मकता और सत्यापन क्षमता को बढ़ाता है, जिससे सीधे अर्थ संबंधी निरीक्षण और भविष्य कहने वाले प्रदर्शन से समझौता किए बिना गलत संरेखणों को सुधारने के लिए लक्षित मानवीय हस्तक्षेप सक्षम होता है।

मूल लेखक: Stefano Colamonaco, David Debot, Pietro Barbiero, Giuseppe Marra

प्रकाशित 2026-04-20

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Stefano Colamonaco, David Debot, Pietro Barbiero, Giuseppe Marra

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन रहस्यमय शेफ को आपके लिए एक जटिल भोजन पकाने के लिए काम पर रख रहे हैं। आप शेफ से पूछते हैं कि सूप का स्वाद इतना अच्छा क्यों है।

पुराना तरीका (Standard AI): शेफ कहता है, "यह 'फ्लेवर प्रोफाइल' की वजह से है।" लेकिन जब आप पूछते हैं कि इसका क्या मतलब है, तो वे बस एक ब्लैक बॉक्स की ओर इशारा करते हैं और कहते हैं, "मुझ पर भरोसा करो, गणित कहता है कि यह अच्छा है।" आपको उनके शब्दों पर विश्वास करना पड़ता है। आप सामग्री नहीं देख सकते, और आप यह सत्यापित नहीं कर सकते कि उन्होंने वास्तव में ताजी जड़ी-बूटियों का उपयोग किया है या केवल स्वाद बढ़ाने के लिए बहुत अधिक नमक का उपयोग किया है।

"कॉन्सेप्ट बॉटलनेक" वाला तरीका (CBMs): शेफ थोड़ा बेहतर हो जाता है। वह कहता है, "ठीक है, मैंने प्याज, लहसुन और तुलसी का उपयोग किया है।" यह मददगार है! आप इन शब्दों को समझते हैं। लेकिन पेच यह है कि शेफ वास्तव में एक "ब्लैक बॉक्स" है, इसलिए आप देख नहीं सकते कि उन्होंने वास्तवं में कौन सी सामग्री उठाई थी। आपको मान लेना पड़ता है कि जब वे "प्याज" कहते हैं, तो उनका मतलब असली प्याज से है। यदि वे झूठ बोल रहे हैं (या गलत हैं), तो आपका सूप अभी भी खराब होगा, लेकिन आपको पता नहीं चलेगा कि क्यों।

नया तरीका (इस पेपर का PGCM):
लेखक इस पेपर में प्रोटोटाइप-ग्राउंडेड कॉन्सेप्ट मॉडल्स (PGCMs) पेश करते हैं। यह ऐसा है जैसे शेफ अंततः फ्रिज खोलता है और आपको वे वास्तविक सामग्रियां दिखाता है जिनका उसने उपयोग किया है।

यह कैसे काम करता है, एक सरल उपमा का उपयोग करके देखें:

1. "विजुअल प्रोटोटाइप" (सामग्री की फोटो)

केवल यह कहने के बजाय कि "मैंने प्याज का उपयोग किया है," PGCM शेफ कहता है:

"जब मैं 'प्याज' कहता हूँ, तो मैं इस विशिष्ट फोटो के बारे में सोच रहा हूँ जो मैंने एक ताजे, कटे हुए प्याज की सीखी है। और यह दूसरी फोटो एक कैरमेलाइज्ड प्याज की। यदि सूप इन फोटोज जैसा दिखता है, तो मैं जानता हूँ कि इसमें प्याज है।"

पेपर में, इन फोटो को प्रोटोटाइप (Prototypes) कहा जाता है। ये ठोस, दृश्य उदाहरण (जैसे किसी छवि का एक विशिष्ट हिस्सा) हैं जो एक अवधारणा (concept) के लिए "प्रमाण" के रूप में कार्य करते हैं।

2. "कॉन्सेप्ट अलाइनमेंट टेबल" (मेन्यू)

मॉडल एक साधारण टेबल बनाता है जो एक डिक्शनरी की तरह काम करती है।

कॉलम A (कॉन्सेप्ट): "धारियां हैं (Has Stripes)।"
कॉलम B (प्रमाण): वास्तविक इमेज स्निपेट्स का एक ग्रिड जो दिखाता है कि कंप्यूटर के अनुसार "धारियां" कैसी दिखती हैं।

यदि आप टेबल को देखते हैं और देखते हैं कि "धारियों" के उदाहरण वास्तव में केवल "बैकग्राउंड में जेब्रा" या "धारीदार शर्ट" हैं, तो आप तुरंत जान जाते हैं कि मॉडल भ्रमित है। आप कह सकते हैं, "नहीं, वह स्ट्राइप पैटर्न नहीं है, वह एक शर्ट है!" पुराने मॉडल्स में, आप इस गलती को तब तक नहीं देख सकते थे जब तक कि मॉडल गलत उत्तर न दे दे। अब, आप इसे होने से पहले ही पकड़ सकते हैं।

3. "फिक्स-इट" पावर (हस्तक्षेप/Intervention)

यह इस नए मॉडल की सुपरपावर है।

पुराने मॉडल्स में: यदि मॉडल एक बिल्ली की तस्वीर को कुत्ता समझ लेता है क्योंकि उसने गलत "डॉग" कॉन्सेप्ट सीखा है, तो आपको पूरे मस्तिष्क को फिर से प्रशिक्षित (retrain) करना पड़ता है (जिसमें बहुत समय लगता है)।
PGCMs में: आप बस "कॉन्सेप्ट अलाइनमेंट टेबल" पर जा सकते हैं, "डॉग" प्रोटोटाइप को देख सकते हैं, देख सकते हैं कि वह वास्तव में एक बिल्ली की तस्वीर है, और उसे डिलीट कर सकते हैं या असली कुत्ते की तस्वीर से बदल (swap) सकते हैं।
- उपमा: यह एक रेसिपी बुक को एडिट करने जैसा है। यदि "चॉकलेट केक" की रेसिपी में गलती से "चीनी" के बजाय "नमक" लिखा है, तो आप पूरा किचन नहीं जलाते। आप बस "नमक" को काट देते हैं और "चीनी" लिख देते हैं। मॉडल तुरंत सही चीज़ सीख जाता है।

यह क्यों मायने रखता है?

पेपर दिखाता है कि यह नई विधि पुराने, रहस्यमय मॉडल्स जितनी ही स्मार्ट (सटीक) है, लेकिन यह विश्वसनीय है।

पारदर्शिता (Transparency): आप अनुमान नहीं लगा रहे हैं कि AI का क्या मतलब है। आप देख सकते हैं कि निर्णय लेने के लिए वह किस "प्रमाण" (प्रोटोटाइप) का उपयोग कर रहा है।
सत्यापन (Verification): आप जांच सकते हैं, "क्या यह AI वास्तव में जानता है कि 'लाल कार' क्या है, या यह केवल आकाश के रंग को देख रहा है?"
नियंत्रण (Control): यदि AI गलती करता है, तो आप पूरे सिस्टम को तोड़े बिना उस विशिष्ट "प्रमाण" को ठीक कर सकते है जो गलती का कारण बन रहा है।

सारांश

PGCMs को ऐसे मॉडल के रूप में सोचें जो आपको केवल यह नहीं बताता कि उसने क्या निर्णय लिया, बल्कि वह आपको वह फोटो प्रमाण भी दिखाता है जिसका उपयोग उसने वह निर्णय लेने के लिए किया था। यह AI को एक ऐसे "ब्लैक बॉक्स" से बदल देता है जिस पर आपको भरोसा करना पड़ता है, एक "ग्लास बॉक्स" में बदल देता है जहाँ आप सामग्री देख सकते हैं, रेसिपी की जांच कर सकते हैं और अपनी गलतियों को खुद ठीक कर सकते हैं।

यहाँ शोध पत्र "Prototype-Grounded Concept Models for Verifiable Concept Alignment" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

कॉन्सेप्ट बॉटननेक मॉडल्स (CBMs) व्याख्या योग्य (interpretable) डीप लर्निंग मॉडल्स का एक वर्ग है जो भविष्यवाणियों को मानव-समझने योग्य मध्यवर्ती अवधारणाओं (concepts) (जैसे, "धारियाँ हैं," "धात्विक है") के माध्यम से संरचित करते हैं। जबकि CBMs अवधारणा स्तर पर निरीक्षण और हस्तक्षेप की अनुमति देते हैं, वे एक मौलिक सीमा से ग्रस्त हैं: विजुअल ग्राउंडिंग (visual grounding) का अभाव।

एलाइनमेंट गैप (The Alignment Gap): मानक CBMs में, अवधारणाएँ एक अमूर्त स्केलर भविष्यवाणी (abstract scalar prediction) के रूप में सीखी जाती हैं। मानव-पर्यवेक्षित लेबल होने के बावजूद, इस बात की कोई गारंटी नहीं है कि मॉडल का एक अवधारणा (जैसे, "सफेद बाल") का आंतरिक प्रतिनिधित्व, मानव के इच्छित अर्थ के साथ संरेखित (align) है। मॉडल वास्तविक दृश्य विशेषता के बजाय स्प्यूरियस कोरिलेशन (spurious correlations) (जैसे, पृष्ठभूमि की बनावट) पर निर्भर हो सकता है।
वेरिफिकेशन डेफिसिट (The Verification Deficit): क्योंकि अवधारणा भविष्यवाणी के पीछे छिपे निम्न-स्तरीय दृश्य साक्ष्य (low-level visual evidence) छिपे हुए हैं, उपयोगकर्ता यह सत्यापित नहीं कर सकते कि सीखी गई अवधारणा की सिमेंटिक्स (semantics) इच्छित सिमेंटिक्स से मेल खाती है या नहीं। यह उपयोगकर्ताओं को अवधारणा के मॉडल के "ब्लैक-बॉक्स" व्याख्या पर भरोसा करने के लिए मजबूर करता है, जो व्याख्यात्मकता के मूल वादे को कमजोर करता है।

2. कार्यप्रणाली: प्रोटोटाइप-ग्राउंडेड कॉन्सेप्ट मॉडल्स (PGCMs)

लेखक PGCMs का प्रस्ताव करते हैं, जो एक हाइब्रिड आर्किटेक्चर है जो अवधारणाओं को सीखे गए विजुअल प्रोटोटाइप्स (learned visual prototypes) में ग्राउंड करके CBMs को सुदृढ़ करता है। अवधारणा को केवल एक अमूर्त भविष्यवाणी के रूप में दर्शाने के बजाय, PGCMs प्रत्येक अवधारणा को स्थानीयकृत दृश्य पैटर्न (प्रोटोटाइप्स) के एक सेट के साथ जोड़ता है जो स्पष्ट साक्ष्य के रूप में कार्य करते हैं।

मुख्य आर्किटेक्चर (Core Architecture)

मॉडल एक तीन-चरणीय मैपिंग के रूप में कार्य करता है: $x \rightarrow p \rightarrow c \rightarrow y$ (इनपुट $\rightarrow$ प्रोटोटाइप्स $\rightarrow$ अवधारणाएं $\rightarrow$ कार्य)।

सेगमेंटेशन (Segmentation): इनपुट इमेज $x$ को एक सेगमेंटेशन नेटवर्क का उपयोग करके $n$ इमेज पार्ट्स $\{x_i\}$ में विभाजित किया जाता है।
प्रोटोटाइप चयन (डिस्क्रिमिनेटिव) (Prototype Selection - Discriminative): प्रत्येक इमेज पार्ट $x_i$ के लिए, एक प्रोटोटाइप सेलेक्टर $q(S_i|x_i)$ सीखे गए $m$ प्रोटोटाइप्स के सेट पर एक संभाव्यता वितरण (probability distribution) की गणना करता है। यह उस प्रोटोटाइप का चयन करता है जो इमेज पार्ट के साथ सबसे अधिक दृश्य समानता रखता है।
दोहरा प्रतिनिधित्व (जेनरेटिव) (Dual Representation - Generative): प्रत्येक प्रोटोटाइप $j$ $j$ के पास दो सीखे गए प्रतिनिधित्व होते हैं:
- इमेज रिप्रेजेंटेशन: एक इमेज डिकोडर $p(x_i|S_i=j)$ द्वारा उत्पन्न किया जाता है, जो एक मूर्त विजुअल एक्सेम्प्लर (Gaussian के रूप में मॉडल किया गया) बनाता है।
- कॉन्सेप्ट रिप्रेजेंटेशन: एक कॉन्सेप्ट डिकोडर $p(c_i|S_i=j)$ द्वारा उत्पन्न किया जाता है, जो उच्च-स्तरीय अवधारणाओं पर एक संभाव्यता वितरण बनाता है।
भविष्यवाणी (Prediction): अवधारणा भविष्यवाणियाँ चयनित प्रोटोटाइप्स से प्राप्त की जाती हैं। अंतिम कार्य भविष्यवाणी $y$ को एकत्रित अवधारणा भविष्यवाणियों से कंप्यूट किया जाता है।

प्रशिक्षण उद्देश्य (Training Objective)

मॉडल को देखे गए इमेज पार्ट्स, अवधारणाओं और कार्य लेबल के संयुक्त लॉग-लाइक्लीहुड (joint log-likelihood) को अधिकतम करने के लिए प्रशिक्षित किया जाता है, जिसमें चार घटकों के साथ एक एविडेंस लोअर बाउंड (ELBO) का उपयोग किया जाता है:

टास्क लॉस (Task Loss): अंतिम कार्य के लिए मानक वर्गीकरण हानि (classification loss)।
कॉन्सेप्ट लॉस (Concept Loss): यह सुनिश्चित करता है कि चयनित प्रोटोटाइप पर्यवेक्षित अवधारणा लेबल की सही भविष्यवाणी करता है।
रिकंस्ट्रक्शन लॉस (Reconstruction Loss): यह प्रोटोटाइप सेलेक्टर को इनपुट पार्ट के विजुअली समान प्रोटोटाइप चुनने के लिए प्रोत्साहित करता है और सुनिश्चित करता है कि प्रोटोटाइप डेटा का प्रतिनिधि है।
रेगुलराइजेशन (Regularization): यह लोकल मिनिमा से बचने के लिए हाई-एन्ट्रॉपी प्रोटोटाइप चयन को प्रोत्साहित करता है।

मुख्य अनुकूलन (Key Optimization): प्रोटोटाइप "छिपी हुई" जानकारी को एनकोड न करें, यह सुनिश्चित करने के लिए लेखक एक प्रतिबंध लागू करते हैं जहाँ प्रोटोटाइप एम्बेडिंग केवल इसके इमेज रिप्रेजेंटेशन से प्राप्त होती है (एक चक्र के माध्यम से: एम्बेडिंग $\to$ इमेज $\to$ एम्बेडिंग)। इसके अतिरिक्त, एक प्रोटोटाइप स्वैपिंग चरण वास्तविक इमेज पार्ट्स के साथ प्रोटोटाइप को बदल देता है ताकि विजुअल यथार्थवाद सुनिश्चित हो सके।

3. मुख्य योगदान (Key Contributions)

A. वेरिफिएबल कॉन्सेप्ट एलाइनमेंट (Verifiable Concept Alignment)

PGCMs एक कॉन्सेप्ट एलाइनमेंट टेबल पेश करते हैं जो प्रोटोटाइप इंडेक्स को उनके दोहरे प्रतिनिधित्व (विजुअल इमेज और कॉन्सेप्ट वेक्टर) के साथ स्पष्ट रूप से मैप करता है।

तंत्र (Mechanism): एक अवधारणा $C$ की सिमेंटिक्स उन सभी प्रोटोटाइप के इमेज रिप्रेजेंटेशन के विविक्त संघ (disjunction) द्वारा परिभाषित होती है जहाँ $C$ सक्रिय है।
लाभ: मनुष्य प्रोटोटाइप के "इमेज रिप्रेजेंटेशन" का सीधे निरीक्षण करके यह सत्यापित कर सकते हैं कि क्या वह वास्तव में अवधारणा (जैसे, क्या "लाल" के लिए प्रोटोटाइप वास्तव में लाल वस्तुओं को दिखाता है, या केवल लाल बैकग्राउंड को?) को चित्रित करता है। यह एलाइनमेंट की धारणा को एक सत्यापन योग्य तंत्र से बदल देता है।

B. उन्नत इंटरवेनबिलिटी (Enhanced Intervenability)

PGCMs कॉन्सेप्ट एडिटिंग से परे मानवीय हस्तक्षेप के नए रूप खोलते हैं:

एलाइनमेंट इंटरवेंशन (मॉडल एडिटिंग): उपयोगकर्ता सीधे कॉन्सेप्ट एलाइनमेंट टेबल को एडिट कर सकते हैं। यदि कोई प्रोटोटाइप गलत संरेखित है, तो उपयोगकर्ता:
- प्रोटोटाइप से जुड़ी अवधारणाओं को पुनः लेबल (Relabel) कर सकते हैं।
- स्प्यूरियस प्रोटोटाइप्स को हटा (Remove) सकते हैं।
- नए प्रोटोटाइप्स जोड़ (Add) सकते हैं (जैसे, मैन्युअल रूप से निर्मित इमेज पार्ट्स)।
प्रोटोटाइप-लेवल इंटरवेंशन: उपयोगकर्ता केवल एक कॉन्सेप्ट लेबल को टॉगल करने के बजाय प्रोटोटाइप चयन प्रक्रिया में हस्तक्षेप कर सकते हैं (जैसे, एक इमेज पार्ट को एक विशिष्ट प्रोटोटाइप से मैच करने के लिए मजबूर करना)।
प्रोपोगेशन (Propagation): क्योंकि अवधारणाएं साझा प्रोटोटाइप के माध्यम से जुड़ी होती हैं, इसलिए एक प्रोटोटाइप पर एक एकल हस्तक्षेप कई अवधारणा भविष्यवाणियों को एक साथ सुधार सकता है, जबकि मानक CBMs में अवधारणाओं को अक्सर स्वतंत्र माना जाता है।

C. सैद्धांतिक आधार (Theoretical Grounding)

यह पेपर Tarski semantics का उपयोग करते हुए एक तर्क-आधारित दृष्टिकोण (logic-based approach) का उपयोग करके PGCMs की सिमेंटिक्स को औपचारिक रूप देता है, जहाँ अवधारणाएं प्रतीक (symbols) हैं और प्रोटोटाइप वे मूर्त संस्थाएं (entities) हैं जिन्हें वे संदर्भित करते हैं, जिससे मॉडल का "अर्थ" ऑडिट करने योग्य बन जाता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने CelebA (चेहरे के गुण), ColorMNIST+ (अंकों का योग), और CLEVR-Hans (वस्तु के गुण) पर PGCMs का मूल्यांकन किया।

भवि 예측 प्रदर्शन (Predictive Performance): PGCMs, अत्याधुनिक CBMs (CBM, CRM, CMR) और DNNs के समान सटीकता प्राप्त करते हैं।
- नोट: CelebA पर DNNs की तुलना में PGCMs में कार्य सटीकता में थोड़ी गिरावट आती है, जिसका कारण सीमित प्रोटोटाइप सेट का उपयोग करने की क्षमता संबंधी बाधाएं हैं, लेकिन प्रदर्शन अन्य कॉन्सेप्ट-आधारित मॉडल्स के साथ प्रतिस्पर्धी बना रहता है।
व्याख्यात्मकता और एलाइनमेंट (Interpretability & Alignment):
- उपयोगकर्ता कॉन्सेप्ट एलाइनमेंट टेबल का निरीक्षण करके कॉन्सेप्ट एलाइनमेंट को सफलतापूर्वक सत्यापित कर सके।
- मॉडल एडिटिंग प्रयोग: एक शोर वाले डेटासेट (ColorMNIST+) पर, गलत संरेखित प्रोटोटाइप को हटाने या सुधारने से कॉन्सेप्ट सटीकता में महत्वपूर्ण सुधार हुआ (लगs 92.9% से 96.9% और 97.8% तक), जो प्रोटोटाइप-स्तरीय हस्तक्षेप की प्रभावकारिता को प्रदर्शित करता है।
इंटरवेनबिलिटी (Intervenability):
- PGCMs ने मानक CBMs की तुलना में कॉन्सेप्ट इंटरवेंशन के प्रति समान या बेहतर प्रतिक्रिया दिखाई।
- "PGCM*" वेरिएंट (प्रोटोटाइप-स्तरीय हस्तक्षेप का उपयोग करते हुए) ने दिखाया कि एक एकल हस्तक्षेप कई अवधारणाओं को सुधार सकता है, जो ColorMNIST+ पर स्वतंत्र कॉन्सेप्ट मॉडल्स से बेहतर प्रदर्शन करता है।
क्षमता ट्रेड-ऑफ (Capacity Trade-off): सटीकता प्रोटोटाइप की संख्या के साथ स्केल करती है। जबकि अधिक प्रोटोटाइप सटीकता में सुधार करते हैं, वे संज्ञानात्मक भार (cognitive load) भी बढ़ाते हैं, जो व्याख्यात्मकता और मॉडल क्षमता के बीच एक ट्रेड-ऑफ को उजागर करता है।

5. महत्व (Significance)

यह कार्य 'एक्सप्लेनेबल एआई' (XAI) में "ट्रस्ट गैप" को संबोधित करता है। जबकि पिछले व्याख्या योग्य मॉडल्स (जैसे CBMs) पारदर्शिता का वादा करते थे, वे एक अपर驗 (unverified) धारणा पर निर्भर थे कि मॉडल ने सही सिमेंटिक्स सीखे हैं।

PGCMs मौलिक रूप से इस प्रतिमान को बदलते हैं:

सिमेंटिक्स को स्पष्ट बनाना: अमूर्त कॉन्सेप्ट वेक्टर्स से मूर्त विजुअल साक्ष्य की ओर बढ़ना।
सत्यापन सक्षम करना: मनुष्यों को यह ऑडिट करने की अनुमति देना कि मॉडल क्या सोचता है कि एक अवधारणा क्या है, न कि केवल यह कि वह सोचता है कि एक अवधारणा मौजूद है।
मजबूत सुधार की सुविधा प्रदान करना: मॉडल की त्रुटियों को केवल लक्षण (कॉन्सेप्ट लेबल) के बजाय मूल कारण (विजुअल प्रोटोटाइप) पर ठीक करने के लिए एक तंत्र प्रदान करना।

यह ढांचा उच्च-स्तरीय प्रतीकात्मक तर्क (symbolic reasoning) और निम्न-स्तरीय दृश्य धारणा (visual perception) के बीच के अंतर को पाटता है, जो अधिक विश्वसनीय और नियंत्रणीय एआई सिस्टम की ओर एक मजबूत मार्ग प्रदान करता है।