💬 NLP

Retrieving Counterfactuals Improves Visual In-Context Learning

यह शोध पत्र CIRCLES को प्रस्तुत करता है, जो एक नवीन ढांचा है जो एट्रिब्यूट-गाइडेड कंपोज्ड इमेज रिट्रीवल के माध्यम से काउंटरफैक्चुअल-शैली के उदाहरणों को सक्रिय रूप से पुनर्प्राप्त करके विजन-लैंग्वेज मॉडल्स की इन-कॉन्टेक्स्ट लर्निंग को बढ़ाता है, जिससे अधिक सुदृढ़ कारण तर्क (कौज़ल रीजनिंग) सक्षम होता है और विविध डेटासेट्स पर मौजूदा समानता-आधारित विधियों से बेहतर प्रदर्शन करता है।

मूल लेखक: Guangzhi Xiong, Sanchit Sinha, Zhenghao He, Aidong Zhang

प्रकाशित 2026-03-18

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Guangzhi Xiong, Sanchit Sinha, Zhenghao He, Aidong Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े शाब्दिक (literal) रोबोट को पक्षियों के विभिन्न प्रकारों की पहचान करना सिखाने की कोशिश कर रहे हैं। आप उसे एक मैगनोलिया वारब्लर (Magnolia Warbler) की तस्वीर दिखाते हैं और पूछते हैं, "यह कौन सा पक्षी है?"

समस्या: रोबोट की "बुरी आदतें"

वर्तमान में, यदि आप रोबोट को उदाहरणों को देखकर सीखने के लिए कहते हैं (एक विधि जिसे इन-कॉन्टेक्स्ट लर्निंग कहा जाता है), तो वह आमतौर पर उन उदाहरणों को चुनता है जो उस पक्षी के सबसे अधिक समान दिखते हैं।

इसे ऐसे सोचिए जैसे कोई छात्र अपनी परीक्षा की तैयारी करने के लिए केवल अपने सबसे अच्छे दोस्त की तस्वीरें देख रहा हो। यदि उस दोस्त ने लाल टोपी पहनी है, तो छात्र सोच सकता है, "आह, लाल टोपी वाला हर व्यक्ति मेरा दोस्त है!"

पक्षियों की पहचान की दुनिया में, रोबोट एक मैगनोलिया वारब्लर और एक मिर्टल वारब्लर (Myrtle Warbler) देख सकता है। वे 90% एक जैसे दिखते हैं। यदि रोबोट केवल मिर्टल वारब्लर को ही उदाहरण के रूप में देखता है, तो वह मैगनोलिया के लिए "मिर्टल वारब्लर" का अनुमान लगाकर भ्रमित हो सकता है, भले ही सिर पर एक काली पट्टी जैसी छोटी सी चीज़ ही एकमात्र महत्वपूर्ण अंतर हो। रोबोट सतही समानताओं (लाल टोपी) पर निर्भर है, न कि वास्तविक कारण (काली पट्टी) पर।

समाधान: CIRCLES ("क्या होगा अगर?" वाला शिक्षक)

लेखकों ने एक नई विधि बनाई जिसे CIRCLES कहा जाता है। केवल रोबोट को वे तस्वीरें दिखाने के बजाय जो दिखने में समान हैं, CIRCLES एक चतुर शिक्षक की तरह काम करता है जो पूछता है, "क्या होगा अगर?"

यहाँ बताया गया है कि CIRCLES कैसे काम करता है, एक सरल उपमा का उपयोग करते हुए:

1. "फोटो शॉप" वाली ट्रिक (कंपोज्ड इमेज रिट्रीवल)

कल्पना कीजिए कि आपके पास एक पक्षी की तस्वीर है। CIRCLES केवल अन्य तस्वीरें नहीं खोजता; यह पक्षी की विशेषताओं को एक-एक करके बदलने के लिए एक जादुय "फोटो शॉप" का उपयोग करता है।

रोबोट पूछता है: "क्या होगा अगर इस पक्षी का पेट धारीदार होने के बजाय ठोस पीला (solid yellow) हो?"
सिस्टम पाता है: यह डेटाबेस में उन पक्षियों की खोज करता है जो मूल पक्षी के बिल्कुल समान दिखते हैं, सिवाय उस एक बदलाव के।
परिणाम: इसे एक ऐसा पक्षी मिलता है जो लगभग समान दिखता है लेकिन वास्तव में एक अलग प्रजाति है।

2. "नियंत्रित प्रयोग"

ऐसे "क्या होगा अगर?" वाले उदाहरण दिखाकर, CIRCLES रोबोट को यह समझने के लिए मजबूर करता है:

"ओह! जब पेट धारीदार होता है, तो यह मैगनोलिया वारब्लर होता है।"
"लेकिन जब पेट ठोस पीला होता है, तो यह पाइन वारब्लर (Pine Warbler) होता है।"
"इसलिए, पेट का पैटर्न ही निर्णायक कारक है, न कि समग्र आकार या रंग।"

इसे काउंटरफैक्चुअल रीजनिंग (Counterfactual Reasoning) कहा जाता है। यह एक वैज्ञानिक की तरह है जो यह साबित करने के लिए नियंत्रित प्रयोग चलाता है कि वास्तव में किसी परिणाम का कारण क्या है, बजाय इसके कि केवल इस आधार पर अनुमान लगाया जाए कि आमतौर पर क्या होता है।

यह क्यों महत्वपूर्ण है

इस शोध पत्र ने चार डेटासेट्स (पक्षी, फूल और कठिन दृश्य प्रश्न) पर इसका परीक्षण किया। यहाँ उन्हें क्या पता चला:

यह छोटे दिमागों के लिए गेम चेंजर है: यह विधि कम शक्तिशाली AI मॉडल पर सबसे अच्छा काम करती है। यह एक ऐसे छात्र को 'चीट शीट' देने जैसा है जो केवल उत्तरों को दिखाने के बजाय खेल के नियमों को समझाती है।
यह काम करता है जब डेटा कम हो: कल्पना कीजिए कि आपके पास 1,000 तस्वीरों के बजाय अध्ययन करने के लिए केवल 10 तस्वीरें हैं। मानक विधियाँ यहाँ बुरी तरह विफल हो जाती हैं क्योंकि वे पर्याप्त समान दिखने वाली चीजें नहीं ढूंढ पातीं। CIRCLES सफल होता है क्योंकि यह विशेषताओं को बदलकर नए सीखने के क्षण बनाता है, जिससे प्रभावी रूप से रोबोट को बहुत कम उदाहरणों के साथ भी नियम सिखाया जाता है।
यह "स्पूरियस कोरिलेशन" (भ्रामक सहसंबंध) को रोकता है: यह रोबोट को संयोगों (जैसे "इस तस्वीर में मौजूद सभी पक्षियों के पीछे पेड़ हैं") के आधार पर आलसी अनुमान लगाने से रोकता है।

निष्कर्ष

CIRCLES AI को सिखाने का एक नया तरीका है। यह कहने के बजाय कि, "यहाँ 10 तस्वीरें हैं जो इसके जैसी दिखती हैं," यह कहता है, "यहाँ 10 तस्वीरें हैं जो इसके जैसी दिखती हैं, लेकिन इनमें से एक विशिष्ट चीज़ बदली गई है, ताकि आप देख सकें कि वास्तव में क्या महत्वपूर्ण है।"

यह AI को एक नकलची (जो देखता है उसकी नकल करना) से एक तर्क करने वाले (यह समझना कि चीजें वैसी क्यों हैं) में बदल देता है। यह AI को वास्तविक दुनिया की समस्याओं को हल करने में बहुत बेहतर बनाता है जहाँ चीजें हमेशा बिल्कुल एक जैसी नहीं होती हैं, लेकिन उनके अंतर्निहित नियम समान होते हैं।

यहाँ गुआंगज़ी ज़ियोंग (Guangzhi Xiong) और अन्य लेखकों द्वारा लिखित शोध पत्र "Retrieving Counterfactuals Improves Visual In-Context Learning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

विज़न-लैंग्वेज मॉडल्स (VLMs) ने मल्टीमॉडल रीजनिंग कार्यों में महत्वपूर्ण सफलता प्राप्त की है। हालाँकि, वे अक्सर सूक्ष्म दृश्य तर्क (fine-grained visual reasoning) और दृश्य विशेषताओं (visual attributes) तथा परिणामों के बीच कारण संबंधों (causal relationships) को अलग करने (disentangling) में संघर्ष करते हैं।

वर्तमान ICL की सीमा: इन-कॉन्टेक्स्ट लर्निंग (ICL) प्रदर्शन उदाहरणों (demonstration examples) का उपयोग करके VLMs को नए कार्यों के अनुकूल बनाने की अनुमति देता है। मौजूदा रिट्रीवल-ऑगमेंटेड विधियाँ (जैसे, RICES, MUIER) निष्क्रिय, समानता-आधारित रिट्रीवल (passive, similarity-based retrieval) पर निर्भर करती हैं। वे उन उदाहरणों को चुनती हैं जो क्वेरी के दृश्य या अर्थपूर्ण रूप से सबसे करीब होते हैं।
मुख्य समस्या: समानता-आधारित रिट्रीवल अक्सर स्पूरियस कोरिलेशन (spurious correlations) वाले उदाहरणों को चुनने की प्रवृत्ति रखता है (उदाहरण के लिए, एक पक्षी को उसके विशिष्ट बैकग्राउंड कलर के कारण चुनना, बजाय इसके कि पक्षी की प्रजाति-निर्धारित विशेषताओं पर ध्यान केंद्रित किया जाए)। यह मॉडल्स को सतही जुड़ाव (surface-level associations) सीखने के लिए प्रेरित करता है न कि कारण तंत्र (causal mechanisms) को, जिसके परिणामस्वरूप खराब मजबूती (robustness) होती है, विशेष रूप से सूचना की कमी (information scarcity) या वितरण बदलाव (distribution shifts) के तहत।

2. कार्यप्रणाली: CIRCLES फ्रेमवर्क (Methodology: CIRCLES Framework)

लेखक CIRCLES (Composed Image Retrieval for Causal Learning Example Selection) का प्रस्ताव करते हैं, जो रिट्रीवल प्रक्रिया में काउंटरफैक्चुअल रीजनिंग (counterfactual reasoning) को एकीकृत करके प्रदर्शन सेटों का सक्रिय रूप से निर्माण करता है।

यह फ्रेमवर्क तीन चरणों से बना है:

A. विशेषता-निर्देशित कंपोज्ड इमेज रिट्रीवल (CIR) के माध्यम से कारण समझ (Causal Understanding via Attribute-Guided Composed Image Retrieval)

केवल समान चित्र खोजने के बजाय, CIRCLES विशिष्ट विशेषताओं के प्रभाव को अलग करने के लिए काउंटरफैक्चुअल उदाहरण (counterfactual examples) उत्पन्न करता है।

प्रमुख विशेषता की पहचान (Key Attribute Identification): एक क्वेरी इमेज ( $I_q$ ) और प्रश्न ( $Q_q$ ) दिए जाने पर, VLM को निर्णायक 'एट्रीब्यूट-वैल्यू पेयर्स' (जैसे, "breast color: grey") निकालने के लिए प्रॉम्प्ट किया जाता है।
काउंटरफैक्चुअल कैप्शन जनरेशन (Counterfactual Caption Generation): प्रत्येक पहचानी गई विशेषता के लिए, VLM एक काउंटरफैक्चुअल कैप्शन बनाता है जो क्वेरी इमेज का वर्णन उस विशिष्ट विशेषता के साथ करता है जिसे एक प्रशंसनीय वैकल्पिक मान (plausible alternative value) में बदल दिया गया है (जैसे, "breast color: solid"), जबकि अन्य विशेषताओं को स्थिर रखा गया है। यह एक कारण हस्तक्षेप (causal intervention) $do(a_i = v'_i)$ का अनुकरण करता है।
कंपोज्ड रिट्रीवल (Composed Retrieval): सिस्टम इन काउंटरफैक्चुअल कैप्शंस से मेल खाने वाले चित्रों को ट्रेनिंग कॉर्पस से रिट्रीव करता है।
- स्कोरिंग (Scoring): एक कैंडिडेट इमेज $I_j$ $I_{j}$ को इनके आधार पर स्कोर किया जाता है:
  - विजुअल फेथफुलनेस (Visual Faithfulness): इमेज एम्बेडिंग और काउंटरफैक्चुअल कैप्शन एम्बेडिंग के बीच समानता ( $s_{img}$ )।
  - सिमेंटिक रेलेवेंस (Semantic Relevance): क्वेरी प्रश्न और कैंडिडेट प्रश्न के बीच समानता ( $s_{txt}$ ), ताकि संदर्भ प्रासंगिक बना रहे।
- चयन (Selection): प्रत्येक एट्रीब्यूट इंटरवेंशन के लिए टॉप- $k$ उदाहरणों को कॉज़ल रिट्रीवल पूल ( $R_{causal}$ ) बनाने के लिए चुना जाता है।

B. मानक इमेज रिट्रीवल के माध्यम से सहसंबंध संबंधी समझ (Correlational Understanding via Standard Image Retrieval)

व्यापक संदर्भ बनाए रखने के लिए, CIRCLES मानक समानता-आधारित रिट्रीवल (जैसे RICES) भी करता है ताकि क्वेरी के दृश्य रूप से समान चित्र ( $R_{corr}$ ) खोजे जा सकें। यह सुनिश्चित करता है कि मॉडल कार्य के प्रोटोटाइपिकल उदाहरण देख सके।

C. रिट्रीवल-ऑगमेंटेड इन-कॉन्टेक्स्ट लर्निंग (Retrieval-Augmented In-Context Learning)

अंतिम प्रदर्शन सेट, कॉज़ल और कोरिलेशनल उदाहरणों का संघ (union) है:
$R = R_{causal} \cup R_{corr}$
इस समृद्ध सेट को अंतिम उत्तर उत्पन्न करने के लिए क्वेरी के साथ VLM में फीड किया जाता है। इस प्रकार मॉडल को "यह आमतौरतः कैसा दिखता है" (कोरिलेशन) और "क्या होता है यदि यह विशिष्ट विशेषता बदल जाए" (कॉज़लिटी) दोनों का अनुभव होता है।

3. प्रमुख योगदान (Key Contributions)

नया फ्रेमवर्क: CIRCLES का परिचय, जो स्पूरियस कोरिलेशन को तोड़ने के लिए कंपोज्ड इमेज रिट्रीवल (CIR) के माध्यम से स्पष्ट रूप से काउंटरफैक्चुअल उदाहरणों को शामिल करने वाला पहला ICL फ्रेमवर्क है।
मेथडोलॉजिकल इनोवेशन: एक दो-चरणीय रिट्रीवल प्रक्रिया जो मानक समानता (ग्राउंडिंग के लिए) को एट्रीब्यूट-गाइडेड काउंटरफैक्चुअल रिट्रीवल (कॉज़ल डिसेंटैंगलमेंट के लिए) के साथ जोड़ती है।
व्यापक मूल्यांकन: चार विविध डेटासेट्स (CUB, Flowers, OK-VQA, VizWiz) और कई VLM आर्किटेक्चर (Gemma3, Qwen2.5-VL) पर व्यापक प्रयोग।
मजबूती का विश्लेषण (Robustness Analysis): यह प्रदर्शन करना कि CIRCLES सभी बेसलाइन्स की तुलना में लो-डेटा रिजीम (low-data regimes) (सूचना की कमी) में काफी बेहतर प्रदर्शन करता है, जहाँ पारंपरिक रिट्रीवल विधियाँ विफल हो जाती हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

पेपर में CIRCLES का मूल्यांकन Zero-shot (None), Random selection, RICES, MUIER, और MMICES जैसे बेसलाइन्स के विरुद्ध किया गया है।

प्रदर्शन लाभ (Performance Gains): CIRCLES सभी डेटासेट्स और मॉडल साइज़ों में लगातार सभी बेसलाइन्स से बेहतर प्रदर्शन करता है।
- फाइन-ग्रेन्ड क्लासिफिकेशन: CUB (पक्षियों) और Flowers पर, CIRCLES महत्वपूर्ण सटीकता सुधार प्राप्त करता है (जैसे, Gemma3-4B के साथ CUB पर RICES की तुलना में +6.57% Acc)।
- विजुअल क्वेश्चन अनस्विंग (VQA): OK-VQA और VizWiz पर, CIRCLES सटीक मिलान (Exact Match - EM) और F1 स्कोर में निरंतर लाभ दिखाता है।
छोटे मॉडल की दक्षता (Small Model Efficiency): सुधार सबसे अधिक छोटे पैमाने के मॉडल्स (जैसे, Gemma3-4B, Qwen2.5-VL-3B) पर स्पष्ट हैं, जो सुझाव देते हैं कि CIRCLES उच्च-गुणवत्ता वाले बाहरी रीजनिंग सिग्नल प्रदान करके सीमित आंतरिक ज्ञान की भरपाई प्रभावी ढंग से करता है।
सूचना की कमी (Information Scarcity): उन प्रयोगों में जहाँ 75% ट्रेनिंग डेटा हटा दिया गया था, CIRCLES ने RICES पर महत्वपूर्ण बढ़त बनाए रखी (16.28% तक सापेक्ष सुधार), जो इसकी क्षमता को सिद्ध करता है जब प्रासंगिक डेटा कम होता है।
एब्लेशन स्टडीज (Ablation Studies):
- CIR बनाम IR: केवल काउंटरफैक्चुअल उदाहरणों (केवल CIR) का उपयोग करने पर क्लासिफिकेशन कार्यों में खराब प्रदर्शन होता है, जो प्रोटोटाइपिकल उदाहरणों (IR) की आवश्यकता की पुष्टि करता है। संयोजन (IR + CIR) सर्वोत्तम परिणाम देता है।
- एट्रीब्यूट क्वालिटी: ग्राउंड-ट्रुथ एट्रीब्यूट्स का उपयोग करने से VLM-एक्सट्रैक्टेड एट्रीब्यूट्स की तुलना में थोड़े बेहतर परिणाम मिलते हैं, लेकिन VLM एक्सट्रैक्शन पर्याप्त है, जो इस दृष्टिकोण की 'ट्रेनिंग-फ्री' प्रकृति को प्रमाणित करता है।
- क्वेश्चन सिमिलैरिटी: रिट्रीवल स्कोर में क्वेश्चन-टेक्स्ट सिमिलैरिटी जोड़ने से ओपन-एंडेड VQA कार्यों (OK-VQA) पर प्रदर्शन में सुधार होता है लेकिन क्लासिफिकेशन के लिए यह इतना महत्वपूर्ण नहीं है।

5. महत्व और प्रभाव (Significance and Impact)

सतही कोरिलेशन से परे: CIRCLES वर्तमान VLMs की एक मौलिक कमजोरी को संबोधित करता है: डेटा प्रायोरिटी और स्पूरियस कोरिलेशन पर निर्भर रहने की प्रवृत्ति। "क्या होगा यदि" परिदृश्यों के बारे में तर्क करने के लिए मजबूर करके, यह डिसेंटैंगल्ड और कॉज़ल रीजनिंग को बढ़ावा देता है।
व्यावहारिकता: यह विधि ट्रेनिंग-फ्री है (इसके लिए VLM को फाइन-ट्यून करने की आवश्यकता नहीं है) और मौजूदा रिट्रीवल और जनरेशन क्षमताओं पर निर्भर करती है, जिससे इसे आसानी से तैनात किया जा सकता है।
व्याख्यात्मकता (Interpretability): गुणात्मक विश्लेषण (qualitative analysis) दिखाता है कि CIRCLES ऐसे उदाहरण रिट्रीव करता है जो स्पष्ट रूप से महत्वपूर्ण एट्रीब्यूट परिवर्तनों (जैसे, पक्षी के पंखों के पैटर्न को बदलना) को उजागर करते हैं, जो मानक समानता रिट्रीवल की "ब्लैक बॉक्स" प्रकृति की तुलना में सही उत्तर के लिए अधिक व्याख्या योग्य मार्ग प्रदान करता है।
भविष्य की दिशा: यह कार्य सुझाव देता है कि काउंटरफैक्चुअल रिट्रीवल मल्टीमॉडल रीजनिंग को बढ़ाने के लिए एक व्यवहार्य और शक्तिशाली प्रतिमान (paradigm) है, विशेष रूप से उन परिदृश्यों में जहाँ डेटा सीमित है या कार्य के लिए सूक्ष्म एट्रीब्यूट भेदभाव की आवश्यकता होती है।

संक्षेप में, CIRCLES इन-कॉन्टेक्ट लर्निंग की प्रक्रिया को समान उदाहरणों के निष्क्रिय लुकअप से बदलकर एक सक्रिय, कॉज़ल रीजनिंग अभ्यास में बदल देता है, जिससे विज़न-लैंग्वेज मॉडल्स की विश्वसनीयता और सटीकता में उल्लेखनीय सुधार होता है।