🤖 AI

SeePhys Pro: Diagnosing Modality Transfer and Blind-Training Effects in Multimodal RLVR for Physics Reasoning

यह शोध पत्र SeePhys Pro प्रस्तुत करता है, जो यह उजागर करता है कि वर्तमान मल्टीमॉडल मॉडल टेक्स्ट से इमेज में मोडैलिटी ट्रांसफर करने में संघर्ष करते हैं, और यह प्रदर्शित करता है कि मल्टीमॉडल RLVR प्रशिक्षण से होने वाले स्पष्ट लाभ अक्सर वास्तविक विजुअल रीजनिंग के बजाय अवशिष्ट टेक्स्ट संकेतों (residual textual cues) से उत्पन्न होते हैं।

मूल लेखक: Kun Xiang, Terry Jingchen Zhang, Zirong Liu, Bokai Zhou, Yueling Tang, Junjie Yu, Jiacong Lu, Shangrui Huang, Heng Li, Likui Zhang, Kunkun Liu, Changzheng Zhang, Yangle Fang, Boqiang Guo, Hui-Ling Zhe

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kun Xiang, Terry Jingchen Zhang, Zirong Liu, Bokai Zhou, Yueling Tang, Junjie Yu, Jiacong Lu, Shangrui Huang, Heng Li, Likui Zhang, Kunkun Liu, Changzheng Zhang, Yangle Fang, Boqiang Guo, Hui-Ling Zhen, Dandan Tu, Yinya Huang, Xiaodan Liang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक छात्र को भौतिकी (physics) की समस्या हल करना सिखा रहे हैं। आपके पास उन्हें जानकारी देने के दो तरीके हैं:

पाठ्यपुस्तक विधि (The Textbook Method): आप शब्दों में समस्या लिखते हैं, सेटअप, संख्याओं और नियमों का वर्णन करते हैं।
आरेख विधि (The Diagram Method): आप सेटअप का एक चित्र बनाते हैं, उसके हिस्सों को लेबल करते हैं, और चित्र पर ही संख्याएँ लिख देते हैं।

सहज रूप से, आप उम्मीद करेंगे कि एक बुद्धिमान छात्र समस्या को समान रूप से अच्छी तरह से हल करेगा चाहे आप उन्हें शब्द दें या चित्र, जब तक कि जानकारी समान है। लेकिन, इस शोध पत्र, SEEPHYS PRO, ने पाया कि वर्तमान AI मॉडलों के लिए यह सच नहीं है। वास्तव में, जब वे शब्दों से चित्रों की ओर स्विच करते हैं, तो उनका प्रदर्शन काफी खराब हो जाता है।

यहाँ शोधकर्ताओं द्वारा की गई खोजों का विवरण दिया गया है, सरल उपमाओं (analogies) का उपयोग करते हुए।

1. "वही कहानी, अलग प्रारूप" परीक्षण

शोधकर्ताओं ने SEEPHYS PRO नामक एक विशेष परीक्षण बनाया। इसे AI के लिए एक "अनुवाद चुनौती" की तरह समझें।

प्रत्येक भौतिकी समस्या के लिए, उन्होंने चार संस्करण बनाए जो बिल्कुल एक ही कहानी बताते हैं लेकिन जानकारी को प्रस्तुत करने का तरीका बदल देते हैं:

स्तर 1 (केवल टेक्स्ट): "एक ब्लॉक का वजन 5kg है और वह एक ढलान (ramp) पर है।" (सारी जानकारी शब्दों में है)।
स्तर 2 (चित्र में संरचना): वे ढलान और ब्लॉक का चित्र बनाते हैं, लेकिन टेक्स्ट अभी भी "5kg" कहता है। (आकार एक चित्र है, संख्याएँ शब्द हैं)।
स्तर 3 (चित्र में वेरिएबल्स): वे ढलान और ब्लॉक का चित्र बनाते हैं, और चित्र में ब्लॉक पर ही "5kg" लिख देते हैं। (आकार और संख्याएँ अब चित्र में हैं)।
स्तर 4 (पूर्ण चित्र): पूरी समस्या, जिसमें निर्देश और संख्याएँ भी शामिल हैं, कागज पर हाथ से लिखी गई है और एक इमेज के रूप में स्कैन की गई है।

खोज:
जब AI मॉडलों ने इन परीक्षणों को आज़माया, तो जैसे-जैसे जानकारी टेक्स्ट से इमेज की ओर बढ़ी, उनका प्रदर्शन तेजी से गिरता गया।

"लेबल पढ़ने" की बाधा (The "Reading the Label" Bottleneck): प्रदर्शन में सबसे बड़ी गिरावट स्तर 3 पर हुई। यह तब होता है जब AI को चित्र देखना पड़ता है और वेरिएबल्स को "ग्राउंड" (जोड़ना) करना पड़ता है (जैसे, "ठीक है, यह टेढ़ी-मेढ़ी रेखा एक तार है, और इसके बगल में लिखा '12' का मतलब 12 वोल्ट है")।
उपमा: कल्पना कीजिए कि एक शेफ जो एक लिखित रेसिपी (स्तर 1) का पूरी तरह से पालन कर सकता है। यदि आप उसे लेबल वाले सामग्रियों की एक फोटो थमा दें (स्तर 3), तो वह अचानक खाना बनाना भूल जाता है। वह चित्र तो देख सकता है, लेकिन वह लेबल "2 कप आटा" को फोटो में आटे की वास्तविक बोरी से जोड़ने में असमर्थ रहता है। वह विजुअल बाइंडिंग (visual binding) से भ्रमित हो जाता है।

2. "अंधे होकर प्रशिक्षण" प्रयोग (The "Blindfolded Training" Experiment)

शोधकर्ताओं ने फिर दूसरा प्रश्न पूछा: यदि हम इन AI मॉडलों को हजारों भौतिकी समस्याओं के चित्रों के साथ सुदृढीकरण लर्निंग (Reinforcement Learning - RL) का उपयोग करके प्रशिक्षित करते हैं, तो क्या वे चित्रों को पढ़ने में बेहतर होंगे?

इसे टेस्ट करने के लिए, उन्होंने एक "ब्लाइंड ट्रेनिंग" प्रयोग सेट किया।

सामान्य प्रशिक्षण: AI समस्या का टेक्स्ट और चित्र दोनों देखता है।
ब्लाइंड ट्रेनिंग: AI समस्या का टेक्स्ट देखता है, लेकिन चित्र को पूरी तरह से काला (blacked out/masked) कर दिया जाता है। यह एक छात्र को आंखों पर पट्टी बांधकर ड्राइविंग टेस्ट के लिए अभ्यास कराने जैसा है, लेकिन शिक्षक उन्हें लगातार "सही उत्तर" के पुरस्कार देता रहता है।

चौंकाने वाला परिणाम:
भले ही AI को बिना किसी चित्र के (केवल काली स्क्रीन के साथ) प्रशिक्षित किया गया था, फिर भी वह अनमास्क्ड (unmasked) परीक्षणों में बेहतर प्रदर्शन कर सका जहाँ चित्र मौजूद थे।

उपमा: कल्पना कीजिए कि एक छात्र ड्राइविंग टेस्ट के लिए अभ्यास करता है जबकि कार की खिड़कियां पूरी तरह से काली पेंट की हुई हैं। उसने कभी सड़क नहीं देखी। फिर भी, जब वह अंततः खिड़कियां खोलने के साथ वास्तविक टेस्ट देता है, तो वह बेहतर ड्राइविंग करता है।
क्यों? शोधकर्ताओं ने पाया कि AI सड़क को "देखना" नहीं सीख रहा था। इसके बजाय, वह शॉर्टकट (shortcuts) सीख रहा था। उसने टेक्स्ट में पैटर्न, प्रश्नों की शैली, या विशिष्ट उत्तरों को याद कर लिया। उसने केवल टेक्स्ट के "वाइब" (vibe) के आधार पर सही उत्तर का अनुमान लगाना सीख लिया, न कि वास्तव में दृश्य आरेख (visual diagram) का विश्लेषण करके।

3. सटीकता का "जादुई खेल" (The "Magic Trick" of Accuracy)

यह शोध पत्र निष्कर्ष निकालता है कि जब हम किसी AI का स्कोर बढ़ता देखते हैं, तो हमें केवल खुश नहीं होना चाहिए। हमें पूछना चाहिए: क्या उन्होंने वास्तव में देखना सीखा, या वे केवल टेक्स्ट संकेतों के आधार पर अनुमान लगाने में बेहतर हो गए?

"ब्लाइंड गेन" (The "Blind Gain"): AI का स्कोर तब भी सुधरा जब प्रशिक्षण चित्र बेकार (काले) थे। यह साबित करता है कि सुधार टेक्स्ट और डेटासेट के पैटर्न से आया था, न कि दृश्य समझ (visual understanding) से।
अंतराल बना रहता है (The Gap Remains): प्रशिक्षण के बाद भी, AI अभी भी टेक्स्ट-ओनली संस्करणों की तुलना में चित्र-प्रधान संस्करणों (स्तर 3 और 4) के साथ संघर्ष करता रहा। "मोडैलिटी गैप" (टेक्स्ट प्रदर्शन और इमेज प्रदर्शन के बीच का अंतर) कम नहीं हुआ।

सारांश

समस्या: वर्तमान AI मॉडल "टेक्स्ट-हैवी" हैं। वे भौतिकी की समस्याओं को पढ़ने में माहिर हैं लेकिन उन्हें "देखने" में बहुत खराब हैं, खासकर जब उन्हें डायग्राम से सीधे नंबर और लेबल पढ़ने हों।
जाल: मानक प्रशिक्षण विधियाँ (Reinforcement Learning) AI को टेक्स्ट-आधारित अनुमान कौशल में सुधार करके स्मार्ट दिखा सकती हैं, भले ही वह वास्तव में दृश्य साक्ष्य (visual evidence) को समझना न सीखे।
सबक: AI को वास्तव में "देखने" के योग्य बनाने के लिए, हम केवल यह मापकर काम नहीं चला सकते कि क्या वह सही उत्तर प्राप्त करता है। हमें यह परीक्षण करना होगा कि क्या वह सही उत्तर विशेष रूप से चित्र को देखकर प्राप्त करता है, न कि केवल टेक्स्ट पैटर्न को पहचानकर।

यह शोध पत्र मूल रूप से कहता है: उच्च स्कोर से धोखा न खाएं। यदि कोई AI चित्र को देखे बिना किसी समस्या को हल कर सकता है, तो इसका मतलब है कि उसने वास्तव में देखना नहीं सीखा है।

तकनीकी सारांश: SEEPHYS PRO

समस्या विवरण (Problem Statement)

मल्टीमॉडल AI सिस्टम एक महत्वपूर्ण चुनौती का सामना कर रहे हैं: मोडैलिटी निरंतरता (modality consistency); यानी, जब समान जानकारी विभिन्न रूपों (जैसे, टेक्स्ट बनाम आरेख/डायग्राम) में प्रस्तुत की जाती है, तो समान तर्क व्यवहार (reasoning behavior) को बनाए रखने की क्षमता। वर्तमान बेंचमार्क अक्सर एकल इनपुट प्रारूप पर मूल्यांकन करते हैं, जिससे यह छिप जाता है कि अंतिम-उत्तर सटीकता में सुधार वास्तविक, प्रतिनिधित्व-अपरिवर्तनीय तर्क (representation-invariant reasoning) से आया है या किसी विशिष्ट मोडैलिटी से जुड़े शॉर्टकट से। यह अंतराल भौतिकी (physics) में विशेष रूप से गंभीर है, जहाँ आरेख केवल पाठ का चित्रण करने के बजाय भौतिक प्रणाली की संरचना और वेरिएबल बाइंडिंग (variable bindings) को परिभाषित करते हैं। मौजूदा मूल्यांकन डायग्राम धारणा (diagram perception), वेरिएबल पठन, भौतिक अमूर्तता (physical abstraction) और डाउनस्ट्रीम सिम्बोलिक रीजनिंग के बीच के अंतर को स्पष्ट करने में संघर्ष करते हैं।

कार्यप्रणाली (Methodology)

1. SEEPHYS PRO बेंचमार्क

लेखक SEEPHYS PRO पेश करते हैं, जो "समान भौतिकी, भिन्न प्रतिनिधित्व" के सिद्धांत पर आधारित एक सूक्ष्म मोडैलिटी-ट्रांसफर बेंचमार्क है।

डिज़ाइन: प्रत्येक सीड भौतिकी समस्या को चार अर्थपूर्ण रूप से संरेखित वेरिएंट में परिवर्तित किया गया है जो भाषा से विज़न (दृष्टि) की ओर कार्य-महत्वपूर्ण जानकारी को क्रमिक रूप से स्थानांतरित करते हैं:
- लेवल 1 (L1): केवल टेक्स्ट (सभी संरचना, वेरिएबल्स और मात्राएँ भाषा में)।
- लेवल 2 (L2): संरचना-इमेज-में (भौतिक टोपोलॉजी/संबंध इमेज में; वेरिएबल्स टेक्स्ट में रहते हैं)।
- लेवल 3 (L3): संरचना + वेरिएबल्स-इमेज-में (डायग्राम में लेबल और संख्यात्मक मान शामिल हैं)।
- लेवल 4 (L4): पूर्णतः रेंडर की गई इमेज (समस्या विवरण, सूत्र और डायग्राम को एक एकल विजुअल इनपुट में बदल दिया गया है, जिसमें हस्तलिखित टेक्स्ट भी शामिल है)।
डेटा निर्माण: इसे सार्वजनिक डेटासेट, पाठ्यपुस्तकों, ओलंपियाड और परीक्षाओं के 5,000 से अधिक PDF पेजों से निकाला गया है। इस डेटासेट में 1,000 सीड प्रश्न (कुल 4,000 वेरिएंट) शामिल हैं जो छह भौतिक विषयों (मैकेनिक्स, इलेक्ट्रोमैग्नेटिज्म, ऑप्टिक्स, थर्मोडायनामिक्स, वेव्स, मॉडर्न फिजिक्स) को कवर करते हैं।
मेट्रिक्स: बेंचमार्क प्रदर्शन को विघटित करने के लिए विशिष्ट मेट्रिक्स को परिभाषित करता है:
- ट्रांसफर गैप्स (Transfer Gaps): $\Delta S$ (L1→L2 स्ट्रक्चरल ट्रांसफर), $\Delta V$ (L2→L3 वेरिएबल ग्राउंडिंग), $\Delta R$ (L3→L4 रेंडरिंग), और $\Delta T$ (कुल गैप)।
- निरंतरता (Consistency): उन समस्याओं का प्रतिशत जिन्हें चारों स्तरों पर एक साथ सही ढंग से हल किया गया है।

2. ट्रेनिंग-टाइम डायग्नोस्टिक्स (ब्लाइंड ट्रेनिंग)

यह जांचने के लिए कि क्या 'वेरिफिएबल रिवॉर्ड्स के साथ रीइन्फोर्समेंट लर्निंग' (RLVR) वास्तव में विजुअल ग्राउंडिंग में सुधार करता है या केवल सांख्यिकीय शॉर्टकट का लाभ उठाता है, लेखकों ने दो बड़े पैमाने के भौतिकी RL कॉर्पोरा (PhysRL-40K और PhysRL-8K) विकसित किए।

ब्लाइंड ट्रेनिंग कंट्रोल: एक नेगेटिव कंट्रोल सेटिंग जहाँ सभी ट्रेनिंग इमेजेस को मास्क (ब्लैक इमेज से बदल दिया गया) कर दिया गया है, जिससे ट्रेनिंग इंस्टेंस विजुअली अनसॉल्वेबल (दृश्य रूप से हल न होने योग्य) हो गए।
तुलना: मॉडल को मानक RL (इमेज के साथ) और ब्लाइंड RL (इमेज के बिना) के माध्यम से प्रशिक्षित किया जाता है और अनमास्क्ड वैलिडेशन सेट्स पर मूल्यांकन किया जाता है।
मैकेनिज्म विश्लेषण: लेखक ब्लाइंड ट्रेनिंग में प्रदर्शन वृद्धि के स्रोतों को अलग करने के लिए टेक्स्ट-डिलीशन, लक्षित टेक्स्ट डिलीशन, इमेज-मास्क-रेट एब्लेशन और फॉर्मेट-सैचुरेशन कंट्रोल्स का उपयोग करते हैं।

मुख्य परिणाम (Key Results)

इन्फरेंस-टाइम फ्रैजिलिटी (Inference-Time Fragility)

15 क्लोज्ड- और ओपन-वेट मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) के मूल्यांकन से मोडैलिटी ट्रांसफर के तहत महत्वपूर्ण फ्रैजिलिटी (नाजुकता) का पता चलता है:

प्रदर्शन गिरावट: औसत सटीकता 49.2% (L1) से गिरकर 35.8% (L4) हो जाती है, जिसके परिणामस्वरूप औसत कुल ट्रांसफर गैप 13.4 प्रतिशत अंक है।
वेरिएबल ग्राउंडिंग बॉटलनेक: सबसे बड़ी गिरावट लेवल 2→लेवल 3 ( $\Delta V = 7.4$ ) के दौरान होती है, जहाँ मॉडल्स को इमेज से वेरिएबल्स और लेबल्स को ग्राउंड करना होता है। यह इंगित करता है कि डायग्राम संरचना को पहचानना उतना बड़ी समस्या नहीं है जितना कि विशिष्ट संख्यात्मक मात्राओं को भौतिक संस्थाओं (physical entities) के साथ जोड़ना (binding)।
असंगति (Inconsistency): यहाँ तक कि फ्रंटियर मॉडल्स (जैसे, GPT-5.4, Claude-4.7-Opus) भी कम फोर-वे कंसिस्टेंसी (जैसे, GPT-5.4 के लिए 32.6%) प्रदर्शित करते हैं, जिसका अर्थ है कि एक मॉडल जो टेक्स्ट-आधारित समस्या को हल करता है, वह अक्सर विजुअल रूप में प्रस्तुत होने पर विफल हो जाता है।
ह्यूमन बेसलाइन: हाई-स्कूल के छात्र (54.0% L1) अधिक मजबूती दिखाते हैं, जबकि मॉडल्स के विपरीत, टेक्स्ट से स्ट्रक्चर की ओर जाने पर (L1→L2) उनका प्रदर्शन वास्तव में थोड़ा सुधरता है।

ट्रेनिंग-टाइम डायग्नोस्टिक्स

ब्लाइंड ट्रेनिंग गेन्स: आश्चर्यजनक रूप से, ब्लाइंड RL (मास्क की गई इमेजेस के साथ ट्रेनिंग) अनमास्क्ड वैलिडेशन सेट्स पर सटीकता में सुधार करता है। Qwen3-VL-4B के लिए, ब्लाइंड RL ने लेवल-1 सटीकता को 9.9% से बढ़ाकर 20.9% और लेवल-4 सटीकता को 6.4% से बढ़ाकर 13.0% कर दिया।
गैप क्लोजर का अभाव: सटीकता में वृद्धि के बावजूद, ब्लाइंड RL मोडैलिटी-ट्रांसफर गैप्स को भरने में विफल रहता है। कुल गैप ( $\Delta T$ ) और वेरिएबल-ग्राउंडिंग गैप ( $\Delta V$ ) प्रशिक्षण के बाद भी बड़े या और भी विस्तृत बने रहते हैं।
लाभ का तंत्र (Mechanism of Gains): मैकेनिज्म विश्लेषण से पता चलता है कि ब्लाइंड गेन्स अवशिष्ट टेक्स्ट संकेतों (जैसे, समस्या टेम्पलेट्स, उत्तर विकल्प, संख्यात्मक रेंज) और डेटासेट-स्तर की सांख्यिकीय नियमितताओं द्वारा संचालित होते हैं, न कि वैध विजुअल साक्ष्य से।
- ट्रेनिंग डेटा से टेक्स्ट हटाने से ब्लाइंड गेन्स समाप्त हो जाते हैं।
- ब्लाइंड गेन्स तब भी बने रहते हैं जब फॉर्मेट रिवार्ड्स सैचुरेटेड होते हैं, जो यह खारिज करता है कि केवल फॉर्मेट कंप्लायंस ही एकमात्र कारण है।
क्रॉस-बेंचमार्क वैलिडेशन: ये निष्कर्ष बाहरी मैथ और फिजिक्स बेंचमार्क (जैसे, MathVerse, PhyX) पर भी लागू होते हैं, जो सुझाव देते हैं कि केवल आउटकम-ओनली RL अक्सर वास्तविक विजुअल ग्राउंडिंग के बजाय नॉन-विजुअल शॉर्टकट को बढ़ाता है।

महत्व और दावे (Significance and Claims)

यह पेपर तर्क देता है कि वर्तमान मल्टीमॉडल रीजनिंग के मूल्यांकन अपर्याप्त हैं यदि वे केवल अंतिम-उत्तर सटीकता पर निर्भर करते हैं। लेखक दावा करते हैं कि:

प्रतिनिधित्व अपरिवर्तनीयता (Representation Invariance) गायब है: फ्रंटियर MLLMs अभी तक प्रतिनिधित्व-अपरिवर्तनीय तर्ककर्ता नहीं हैं; वे सूचना के एनकोडिंग के प्रति अत्यधिक संवेदनशील हैं, जिसमें वेरिएबल ग्राउंडिंग एक प्राथमिक विफलता मोड है।
RLVR की सीमाएं: आउटकम-ओनी रिवॉर्ड्स के साथ रीइन्फोर्समेंट लर्निंग बेंचमार्क प्रदर्शन में सुधार कर सकता है, बिना वास्तव में मॉडल की विजुअल साक्ष्य का उपयोग करने की क्षमता में सुधार किए। देखे गए "लाभ" काफी हद तक टेक्स्टुअल और डिस्ट्रिब्यूशनल शॉर्टकट का लाभ उठाने से उत्पन्न हो सकते हैं, न कि इमेज में रीजनिंग को ग्राउंड करने से।
डायग्नोस्टिक आवश्यकता: भविष्य के शोध को मल्टीमॉडल रीजनिंग का मूल्यांकन मोडैलिटी-ट्रांसफर रोबस्टनेस और ट्रेनिंग-टाइम ग्राउंडिंग डायग्नोस्टिक्स (जैसे, ब्लाइंड ट्रेनिंग कंट्रोल्स) के माध्यम से करना चाहिए ताकि वास्तविक विजुअल लर्निंग और शॉर्टकट-आधारित प्रदर्शन सुधार के बीच अंतर किया जा सके।

यह कार्य इस बात पर जोर देता है कि भविष्य के बेंचमार्क और ट्रेनिंग प्रोटोकॉल को स्पष्ट रूप से यह परीक्षण करना चाहिए कि क्या सुधार वास्तविक विजुअल साक्ष्य पर निर्भर करते हैं, न कि केवल इस पर कि क्या मॉडल वैकल्पिक, गैर-विजुअल मार्गों के माध्यम से सही उत्तर तक पहुँच सकता है।