Leveraging Foundation Models for Causal Generative Modeling

कल्पना कीजिए कि आपके पास एक जादुई फोटो एडिटर है जो न केवल पिक्सल बदलता है, बल्कि तस्वीर के पीछे की कहानी को भी समझता है। यह मूल रूप से इसी पेपर का परिचय देता है: एक नया सिस्टम जिसे FM-CGM (फाउंडेशन मॉडल पावर्ड कॉज़ल जेनेरेटिव मॉडलिंग) कहा जाता है।

यहाँ बताया गया है कि यह कैसे काम करता है, रोजमर्रा के उदाहरणों (analogies) का उपयोग करते हुए।

समस्या: खराब एडिटिंग का "डोमिनो इफेक्ट" (Domino Effect)

आमतौर पर, जब आप AI का उपयोग फोटो एडिट करने के लिए करते हैं (जैसे, किसी पुरुष को महिला में बदलना), तो AI भ्रमित हो सकता है। वह बालों का रंग, बैकग्राउंड या लाइटिंग भी बदल सकता है, जबकि आप केवल जेंडर बदलना चाहते थे। यह एक फुटबॉल टीम में खिलाड़ी बदलने जैसा है, लेकिन AI गलती से मौसम, स्टेडियम और रेफरी की यूनिफॉर्म भी बदल देता है।

लेखकों का कहना है कि वर्तमान AI टूल्स तस्वीरें बनाने में तो बेहतरीन हैं, लेकिन वे कारण और प्रभाव (cause and effect) को समझने में खराब हैं। वे यह नहीं जानते कि "जेंडर बदलने" से "दाढ़ी गायब होना" होता है, लेकिन इससे "आसमान नीला नहीं होना" चाहिए।

समाधान: एक तीन-सदस्यीय टीम

लेखकों ने एक ऐसा सिस्टम बनाया है जो इस समस्या को ठीक करने के लिए एक तीन-सदस्यीय टीम की तरह काम करता है। वे शक्तिशाली, प्री-ट्रेन्ड AI मॉडल्स (फाउंडेशन मॉडल्स) का उपयोग वर्कर्स के रूप में करते हैं।

1. जासूस (कॉन्सेप्ट एक्सट्रैक्टर - Concept Extractor)

• यह क्या करता है: एडिटिंग से पहले, यह AI फोटो को देखता है और "कॉन्सेप्ट्स" (जैसे "पुरुष," "दाढ़ी," "मुस्कुराता हुआ") की एक सूची लिखता है और एक मैप बनाता है कि वे आपस में कैसे जुड़े हैं।
• उदाहरण: कल्पना कीजिए कि एक जासूस अपराध स्थल (crime scene) में प्रवेश करता है। वह केवल एक बिखरे हुए कमरे को देखने के बजाय लिखता है: "टूटी हुई खिड़की (कारण) की वजह से फर्श पर बारिश का पानी (प्रभाव) आया।" वह दृश्य के तर्क का एक फ्लोचार्ट बनाता है।
• पेपर में: यह एक बड़ा विजन-लैंग्वेज मॉडल (जैसे Qwen3-VL) है जो एक इमेज को देखता है और एक "कॉज़ल ग्राफ" (एक मैप कि क्या चीज़ क्याे करती है) आउटपुट करता है।

2. निर्देशक (कॉन्सेप्ट मैनिपुलेटर - Concept Manipulator)

• यह क्या करता है: आप निर्देशक को बताते हैं, "जेंडर को पुरुष से महिला में बदलें।" निर्देशक उस मैप को देखता है जो जासूस ने बनाया है और तय करता है: "ठीक है, अगर हम जेंडर बदलते हैं, तो दाढ़ी चली जानी चाहिए, लेकिन बैकग्राउंड वैसा ही रहना चाहिए।"
• उदाहरण: एक फिल्म निर्देशक के बारे में सोचें। यदि कोई अभिनेता अपनी वेशभूषा बदलता है, तो निर्देशक जानता है कि उसे मैच करने के लिए लाइटिंग को थोड़ा समायोजित करना होगा, लेकिन वह कैमरा ऑपरेटर को बताता है, "सेट मत हिलाना!" वे योजना बनाते हैं कि वास्तव में क्या बदलना है और किसे स्थिर रखना है।
• पेपर में: यह वही AI मॉडल है, जो अब एक लॉजिक इंजन के रूप में कार्य करता है ताकि यह अनुमान लगाया जा सके कि एक वेरिएबल को बदलने से अन्य वेरिएबल्स पर क्या प्रभाव पड़ेगा।

3. चित्रकार (काउंटरफैक्चुअल जनरेटर - Counterfactual Generator)

• यह क्या करता है: यह AI निर्देशक की योजना लेता है और वास्तव में नई तस्वीर पेंट करता है।
• उदाहरण: यह वह कलाकार है जो अंततः पेंट लगाता है। लेकिन एक सामान्य कलाकार के विपरीत जो अनुमान लगा सकता है, इस कलाकार के पास एक विशेष "जादुई ब्रश" है जो केवल कैनवस के उन विशिष्ट हिस्सों को छूता है जिन्हें निर्देशक ने इशारा किया है।
• पेपर में: यह एक टेक्स्ट-टू-इमेज मॉडल (Stable Diffusion XL) है जो अंतिम इमेज जेनरेट करता है।

गुप्त मंत्र: "कॉज़ल सिमेंटिक गाइडेंस" (CSG)

पेपर एक विशेष तकनीक पेश करता है जिसे Causal Semantic Guidance (CSG) कहा जाता है। यह सबसे महत्वपूर्ण हिस्सा है।

• यह कैसे काम करता है: जब चित्रकार (इमेज जनरेटर) काम कर रहा होता है, तो वह एक "स्पॉटलाइट" सिस्टम का उपयोग करता है।
  • यदि निर्देशक कहता है "दाढ़ी हटाओ," तो स्पॉटलाइट दाढ़ी वाले क्षेत्र पर चमकती है ताकि उसे मिटाया जा सके।
  • यदि निर्देशक कहता है "बाल गीले होने चाहिए क्योंकि बारिश हो रही है," तो स्पॉटलाइट बालों पर चमकती है ताकि उन्हें गीला किया जा सके।
  • महत्वपूर्ण रूप से: स्पॉटलाइट बाकी हर जगह धीमी हो जाती है। यह AI को बताता है, "बैकग्राउंड को मत छुओ, आँखों को मत छुओ, कपड़ों को मत छुओ।"
• उदाहरण: कल्पना कीजिए कि आप टैबलेट पर एक ग्रुप फोटो एडिट कर रहे हैं। आप "सब्जेक्ट सेलेक्ट" टूल का उपयोग करते हैं। जब आप उस व्यक्ति को चुनते हैं जिसे आप बदलना चाहते हैं, तो टूल उन्हें लाल रंग में हाईलाइट करता है। बाकी सब कुछ ग्रे हो जाता है और एडिट करने योग्य नहीं रहता। CSG वही टूल है, लेकिन यह स्मार्ट है क्योंकि यह जानता है कि यदि आप "मौसम" के कॉन्सेप्ट को बदलते हैं, तो इसे "छाता" और "गीली जमीन" को स्वचालित रूप से हाईलाइट करना चाहिए, जबकि "पहाड़ों" को सुरक्षित रखने के लिए ग्रे रखना चाहिए।

उन्होंने क्या पाया

लेखकों ने चेहरों और मौसम के दृश्यों की तस्वीरों पर इस सिस्टम का परीक्षण किया।

• परिणाम: जब उन्होंने सिस्टम को एक पुरुष को महिला में बदलने के लिए कहा, तो नई फोटो प्राकृतिक दिखी, दाढ़ी गायब हो गई, लेकिन बैकग्राउंड और लाइटिंग बिल्कुल वैसी ही रही।
• तुलना: पुराने तरीके (जैसे मानक "इनवर्जन" तकनीकें) अक्सर पूरी तस्वीर को बिगाड़ देते थे, जिससे रैंडम झुर्रियां आ जाती थीं या आसमान बदल जाता था। नया सिस्टम (CSG) "न्यूनतम और वफादार" (minimal and faithful) बदलाव करता था, जिसका अर्थ है कि इसने ठीक वही बदला जो पूछा गया था और उससे ज्यादा कुछ नहीं।

सारांश

यह पेपर एक तरीका प्रस्तुत करता है जिससे AI इमेज एडिटर्स को पेंटिंग शुरू करने से पहले एक "लॉजिक ब्रेन" देकर स्मार्ट बनाया जा सकता है। केवल यह अनुमान लगाने के बजाय कि तस्वीर को कैसे बदला जाए, सिस्टम पहले दृश्य के कारण-और-प्रभाव के नियमों को समझता है, बदलावों की योजना बनाता है, और फिर एक विशेष गाइडिंग तकनीक का उपयोग करता है ताकि यह सुनिश्चित हो सके कि केवल सही हिस्से ही बदलें, और बाकी हिस्सा पूरी तरह से सुरक्षित रहे।