← नवीनतम पेपर
🤖 machine learning

CRIT: Graph-Based Automatic Data Synthesis to Enhance Cross-Modal Multi-Hop Reasoning

यह शोध पत्र CRIT को प्रस्तुत करता है, जो एक ग्राफ-आधारित स्वचालित रूप से संश्लेषित डेटासेट और बेंचमार्क है जिसे वर्तमान विजन-लैंग्वेज मॉडल्स में क्रॉस-मोडल मल्टी-हॉप रीजनिंग की कमी को दूर करने के लिए डिज़ाइन किया गया है, जो यह प्रदर्शित करता है कि इस डेटा पर प्रशिक्षण जटिल तर्क कार्यों पर मॉडल के प्रदर्शन में महत्वपूर्ण सुधार करता है और मतिभ्रम (hallucinations) को कम करता है।

मूल लेखक: Junyoung Sung, Seungwoo Lyu, Minjun Kim, Sumin An, Arsha Nagrani, Paul Hongsuck Seo

प्रकाशित 2026-04-03
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Junyoung Sung, Seungwoo Lyu, Minjun Kim, Sumin An, Arsha Nagrani, Paul Hongsuck Seo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे हैं, लेकिन सुराग अलग-अलग कमरों में बिखरे हुए हैं। कुछ सुराग स्टिकी नोट्स (टेक्स्ट) पर लिखे हैं, जबकि अन्य तस्वीरों (इमेज) के भीतर छिपे हुए हैं। इस रहस्य को सुलझाने के लिए, आप केवल नोट्स पढ़ ही नहीं सकते या केवल फोटो देख ही नहीं सकते; आपको वापस आगे-पीछे जाना होगा, एक नोट पर लिखे नाम को फोटो में एक चेहरे से जोड़ना होगा, फिर उस चेहरे को दूसरे नोट पर दी गई तारीख से जोड़ना होगा, और अंत में तीसरे फोटो में स्थान (लोकेशन) को खोजना होगा।

यह उसी तरह की सोच है जो इंसान हर समय करते हैं। लेकिन आर्टिफिशियल इंटेलिजेंस (AI) के लिए, यह अविश्वसनीय रूप से कठिन है।

यहाँ शोध पत्र "CRIT: Graph-Based Automatic Data Synthesis to Enhance Cross-Modal Multi-Hop Reasoning" का रोजमर्रा के उपमाओं (analogies) का उपयोग करके एक सरल स्पष्टीकरण दिया गया है।

1. समस्या: AI "आलसी" है और रास्ता भटक जाता है

अभी, अधिकांश AI मॉडल (जैसे वे जो आपसे चैट करते हैं या चित्रों का वर्णन करते हैं) ऐसे डेटा पर प्रशिक्षित होते हैं जहाँ उत्तर आमतौर पर उनके ठीक सामने होता है।

  • पुराना तरीका: आप एक AI को बिल्ली की तस्वीर दिखाते हैं और पूछते हैं, "यह क्या है?" AI तस्वीर देखता है और कहता है, "बिल्ली।" आसान है।
  • वास्तविक दुनिया: आप एक AI को एक रेसिपी (टेक्स्ट) और खाना पकाने की प्रक्रिया की एक श्रृंखला (सीरीज) दिखाते हैं। आप पूछते हैं, "इमेज 3 में वह कौन सा उपकरण है जिसका उल्लेख पैराग्राफ 2 में 'जंग लगा हुआ' (rusty) होने के रूप में किया गया है?"

वर्तमान AI यहाँ संघर्ष करते हैं। वे अक्सर:

  • हैलुसिनेट (Hallucinate) करते हैं: वे तथ्य बना लेते हैं क्योंकि वे अनुमान लगा रहे होते हैं।
  • आलसी हो जाते हैं: वे केवल टेक्स्ट या केवल इमेज का उपयोग करके उत्तर देने की कोशिश करते हैं, पहेली के दूसरे आधे हिस्से को अनदेखा कर देते हैं।
  • धागा खो देते हैं: वे कई चरणों (multi-hop) में कड़ियों को जोड़ने में सक्षम नहीं होते।

लेखक इसे "Cross-Modal Multi-Hop Reasoning" की कमी कहते हैं। सरल भाषा में: AI टेक्स्ट →\to इमेज →\to टेक्स्ट →\to इमेज के पथ पर चलकर उत्तर तक नहीं पहुँच पाता।

2. समाधान: एक "ट्रेन ट्रैक" सिस्टम बनाना (CRIT)

इसे ठीक करने के लिए, शोधकर्ताओं ने CRIT नामक एक नया डेटासेट बनाया। लेकिन उन्होंने हजारों प्रश्न लिखने के लिए इंसानों को काम पर नहीं रखा (इसमें बहुत समय और पैसा लगता)। इसके बजाय, उन्होंने प्रश्नों को बनाने के लिए एक रोबोटिक फैक्ट्री बनाई।

उन्होंने एक चतुर तकनीक का उपयोग किया जिसे "ग्राफ" (Graph) कहा जाता है।

उपमा: ट्रेन स्टेशन का नक्शा
एक ट्रेन स्टेशन के नक्शे की कल्पना करें।

  • स्टेशन (Nodes): ये दुनिया की चीजें हैं (जैसे, "एक लैपटॉप," "एलारा नाम की एक छात्रा," "चांदी जैसा रंग")।
  • ट्रैक (Edges): ये उनके बीच के संबंध हैं (जैसे, "एलारा डिजिटल स्वायत्तता का अध्ययन करती है," "लैपटॉप डिजिटल स्वायत्तता का प्रतीक है")।

पुराने तरीके में, AI प्रशिक्षण डेटा बिना ट्रैक वाले ढीले ट्रेन डिब्बों के ढेर जैसा था। AI उन्हें जोड़ना नहीं जानता था।

CRIT में, शोधकर्ताओं ने पहले एक डिजिटल मानचित्र (ग्राफ) बनाया।

  1. चरण 1: वे वास्तविक छवियों और टेक्स्ट को लेते हैं।
  2. चरण 2: वे उन्हें एक संरचित मानचित्र में बदलते हैं। वे सुनिश्चित करते हैं कि टेक्स्ट में एक शब्द को इमेज में एक वस्तु से जोड़ने वाले "ट्रैक" हों।
  3. चरण 3: वे इस मानचित्र का उपयोग करके स्वचालित रूप से प्रश्न उत्पन्न करते हैं। क्योंकि उन्होंने पहले मानचित्र बनाया है, वे जानते हैं कि उत्तर देने के लिए AI को किन ट्रैक्स से गुजरना होगा।

यह विशेष क्यों है?
यदि आप एक सामान्य AI से "एक कठिन प्रश्न बनाने" के लिए कहते हैं, तो वह आमतौर पर ऐसा प्रश्न बनाता है जो वास्तव में आसान होता है (क्योंकि AI पक्षपाती होता है)। लेकिन क्योंकि CRIT प्रश्न को मानचित्र से बनाता है, यह गारंटी देता है कि प्रश्न के लिए AI को टेक्स्ट से इमेज से टेक्स्ट पर कूदना अनिवार्य है। यह AI को कठिन काम करने के लिए मजबूर करता है।

3. फैक्ट्री कैसे काम करती है

शोध पत्र एक तीन-चरणीय असेंबली लाइन का वर्णन करता है:

  1. ब्लूप्रिंट (Blueprint): वे छवियों (जैसे डेस्क या वीडियो फ्रेम की तस्वीरें) को लेते हैं और उन्हें वस्तुओं के ग्राफ में बदलते हैं।
  2. कहानीकार (Storyteller): वे इन वस्तुओं को जोड़ने वाली एक कहानी (टेक्स्ट) लिखने के लिए एक AI का उपयोग करते हैं। उदाहरण के लिए, "इमेज 1 में लैपटॉप स्वतंत्रता का प्रतीक है।"
  3. क्विज़ मास्टर (Quiz Master): वे मानचित्र का उपयोग करके एक ऐसा प्रश्न पूछते हैं जो केवल तभी समझ में आता है जब आप कहानी और फोटो को मिलाते हैं।
    • प्रश्न: "उस वस्तु का रंग क्या है जो उस अवधारणा का प्रतीक है जिसका अध्ययन टेक्स्ट में वर्णित छात्र करता है?"
    • पथ (Path): आपको छात्र को खोजने के लिए टेक्स्ट पढ़ना होगा →\to अवधारणा को खोजना होगा →\to टेक्स्ट में उस प्रतीक को खोजना होगा →\to इमेज में उस प्रतीक को खोजना होगा →\to रंग को पढ़ना होगा।

4. परिणाम: AI को सोचने के लिए प्रशिक्षित करना

शोधकर्ताओं ने इस नए डेटासेट (CRIT) को लिया और इसका उपयोग कई AI मॉडलों को "प्रशिक्षित" (सिखाने) करने के लिए किया।

  • प्रशिक्षण से पहले: मॉडल नक्शे वाले पर्यटकों की तरह थे जिनके पास दिशा-सूचक यंत्र (compass) नहीं था। वे आसानी से भटक जाते थे, गलत अनुमान लगाते थे, या आधे सुरागों को अनदेखा कर देते थे।
  • प्रशिक्षण के बाद: मॉडल जासूसों की तरह बन गए। उन्होंने सीखा कि:
    • टेक्स्ट और इमेज को एक साथ देखना है।
    • सुरागों की श्रृंखला (multi-hop) का पालन करना है।
    • चीजें बनाना (hallucinate) बंद करना है।

शोध पत्र दिखाता है कि CRIT पर प्रशिक्षित मॉडल इन जटिल पहेलियों को सुलझाने में बहुत बेहतर हो गए। वे अन्य मानक परीक्षणों में भी बेहतर हो गए, जिससे सिद्ध हुआ कि "कड़ियों को जोड़ने" को सीखने से उन्हें सामान्य रूप से मदद मिलती है, न कि केवल इस विशिष्ट खेल पर।

5. यह क्यों महत्वपूर्ण है

वर्तमान AI को एक ऐसे छात्र के रूप में सोचें जो फ्लैशकार्ड रटने में बहुत अच्छा है लेकिन वास्तविक दुनिया के रहस्य सुलझाने में बहुत खराब है।

  • पुराना डेटा: "यहाँ कुत्ते की एक तस्वीर है। यह क्या है?" (याद करना)।
  • CRIT डेटा: "यहाँ 'बडी' नाम के एक कुत्ते के बारे में एक डायरी प्रविष्टि है जिसने अपना पट्टा (collar) खो दिया है। यहाँ पार्क की तीन तस्वीरें हैं। कौन सी फोटो बडी द्वारा खोए गए पट्टे को दिखाती है?" (तर्क करना)।

AI को इस "रहस्य सुलझाने" का अभ्यास कराने के लिए अपने ग्राफ-आधारित फैक्ट्री का उपयोग करके, शोधकर्ता AI को अधिक सटीक, कम झूठ बोलने वाला (hallucinate), और टेक्स्ट और इमेज के मिश्रित जटिल, अव्यवस्थित संसार को समझने में बेहतर बना रहे हैं।

संक्षेप में: उन्होंने एक ऐसी मशीन बनाई है जो AI के लिए "कनेक्ट-द-डॉट्स" पहेलियाँ बनाती है, जिससे AI को कई चरणों में शब्दों को चित्रों से जोड़ने के लिए मजबूर किया जाता है, जिससे वह एक स्मार्ट और अधिक विश्वसनीय विचारक बनता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.LG →