कल्पना कीजिए कि आप एक पेचीदा पहेली को सुलझाने की कोशिश कर रहे हैं, लेकिन सुराग एक लिखित नोट और एक रहस्यमय ड्राइंग के बीच बँटे हुए हैं। कभी-कभी नोट आपको सब कुछ बता देता है; अन्य समय में, ड्राइंग ही रहस्य रखती है, और नोट केवल एक भटकाव होता है। यह "मल्टीमॉडल" (multimodal) AI का दैनिक जीवन है—ऐसे कंप्यूटर जो टेक्स्ट पढ़ सकते हैं और चित्रों को देख सकते हैं। लंबे समय तक, ये कंप्यूटर पढ़ने में तो बहुत अच्छे थे लेकिन आरेख (diagram) में छिपे गणित को "देखने" में बहुत खराब थे। वे भौतिकी (physics) की एक समस्या को जटिल ग्राफ के साथ देखते थे और भ्रमित हो जाते थे, उन महत्वपूर्ण संख्याओं या आकृतियों को छोड़ देते थे जिनका उल्लेख टेक्स्ट में नहीं किया गया था।

इसे ठीक करने के लिए, वैज्ञानिकों ने दो मुख्य तरकीबें आजमाई हैं। पहली है "ऑर्केस्ट्रेशन" (orchestration), जो केवल एक विशेषज्ञ के बजाय विशेषज्ञों की एक टीम को काम पर रखने जैसा है। आप तीन अलग-अलग स्मार्ट कंप्यूटरों को समस्या हल करने के लिए कहते हैं, उन्हें अपने उत्तरों पर बहस करने देते हैं, और फिर विजेता को चुनते हैं। दूसरी तरकीब है "अनुवाद" (translation)। चूंकि कंप्यूटर अक्सर चित्रों को देखने की तुलना में शब्दों को पढ़ने में बेहतर होते हैं, इसलिए आप चित्र को एक अत्यंत स्पष्ट विवरण में बदलने की कोशिश करते हैं जिसे कंप्यूटर आसानी से पढ़ सके। यह शोध पत्र एक सरल प्रश्न पूछता है: यदि हम बहस करने वाले कंप्यूटरों की एक टीम को एक अत्यंत सटीक अनुवादक के साथ मिला दें, तो क्या हम अंततः विजुअल फिजिक्स समस्याओं के कोड को तोड़ पाएंगे? और इससे भी महत्वपूर्ण बात यह है कि टीम का कौन सा हिस्सा वास्तव में मुख्य काम (heavy lifting) करता है?

दो चरणों वाला जासूसी दस्ता (The Two-Stage Detective Squad)

इस शोध पत्र के लेखक, KAIST और summary.ai की एक टीम ने "SeePhys Pro" नामक एक उच्च-दांव वाली प्रतियोगिता में भाग लिया। लक्ष्य कॉलेज स्तर के भौतिकी प्रश्नों को हल करना था जहाँ समस्या का विवरण और आरेख कभी केवल टेक्स्ट होते थे, कभी केवल चित्र, और कभी दोनों का एक अस्त-व्यस्त मिश्रण। जीतने के लिए, उन्होंने एक दो-चरणीय पाइपलाइन बनाई, जिसे हम एक "जासूसी दस्ते" के रूप में देख सकते हैं जिसके दो अलग-अलग कार्य हैं: द ट्रांसलेटर (अनुवादक) और द डिबेट क्लब (बहस क्लब)।

चरण 1: द ट्रांसलेटर (दूरी को कम करना)
पहला काम यह सुनिश्चित करना है कि कंप्यूटर वास्तव में समस्या को "देख" सके। पुराने दिनों में, यदि भौतिकी की समस्या केवल एक चित्र होती थी, तो कंप्यूटर बस उसे देखता रहता और अनुमान लगाता था। इस टीम ने महसूस किया कि कंप्यूटर को चित्र को उस भाषा में अनुवादित करने की आवश्यकता है जिसे वह पसंद करता है: टेक्स्ट। लेकिन केवल कोई भी टेक्स्ट नहीं! उन्होंने केवल एक साधारण वाक्य नहीं लिखा जैसे "यहाँ एक गेंद है।" वह बहुत अस्पष्ट है।

इसके बजाय, उन्होंने एक परिष्कृत अनुवादक बनाया जो चित्र को तीन चीजों में बदल देता है:

1. एक साफ कहानी: घटनाक्रम का एक गद्य (prose) विवरण।
2. एक संरचित मानचित्र (SVG): एक डिजिटल ड्राइंग कोड जो सटीक ज्यामिति (geometry), कोणों और कनेक्शनों को सुरक्षित रखता है, ताकि कंप्यूटर आकार को गलत न समझे।
3. एक शार्पनर (तेज करने वाला): सबसे कठिन समस्याओं के लिए (जहाँ टेक्स्ट और चित्र एक ही इमेज में घुसे हुए हैं), उन्होंने चित्र को पूरी तरह से काटने के लिए एक "क्रॉपर" का उपयोग किया, जिससे आरेख को स्पष्ट किया गया और सूक्ष्म संख्याओं को पढ़ने के लिए OCR (ऑप्टिकल कैरेक्टर रिकग्निशन) का उपयोग किया गया।

इस चरण को एक मानव अनुवादक की तरह समझें जो न केवल शब्दों का अनुवाद करता है बल्कि मानचित्र को भी फिर से बनाता है ताकि यात्री कभी रास्ता न भटके। शोध पत्र में पाया गया कि यह "अनुवाद" सबसे कठिन समस्याओं के लिए जादुई समाधान था। जब समस्या पूरी तरह से एक छवि के भीतर "लॉक" थी (लेवल 4), तो केवल कच्चे चित्र को पढ़ने से कंप्यूटर केवल 54% उत्तर सही दे पा रहा था। लेकिन एक बार जब उन्होंने उस चित्र को एक स्पष्ट टेक्स्ट विवरण और एक संरचित मानचित्र में अनुवादित कर दिया, तो सटीकता उछलकर 77.5% हो गई। समस्या जितनी अधिक चित्र के भीतर "बंद" होती, अनुवाद का मूल्य उतना ही अधिक होता जाता।

चरण 2: द डिबेट क्लब (ऑर्केस्ट्रेशन)
एक बार जब समस्या को स्पष्ट टेक्स्ट में अनुवादित कर दिया जाता है, तो यह "डिबेट क्लब" के पास जाती है। यहाँ, तीन अलग-अलग सुपर-स्मार्ट AI मॉडल (अलग-अलग कंपनियों के, ताकि वे अलग-अलग तरह की गलतियाँ करें) स्वतंत्र रूप से समस्या को हल करने की कोशिश करते हैं।

• सॉल्वर 1 (GPT-5.5)
• सॉल्वर 2 (Gemini-3.1-Pro)
• सॉल्वर 3 (Claude-Opus-4.8)

कई पिछले प्रयासों में, विचार यह था कि ये मॉडल एक-दूसरे के साथ बहस करेंगे, उनके तर्क को तब तक सुधारेंगे जब तक वे सत्य तक नहीं पहुँच जाते। लेखकों ने इसका परीक्षण किया, लेकिन उन्हें एक आश्चर्यजनक मोड़ मिला: बहस स्वयं नायक नहीं थी।

इसके बजाय, वास्तविक जीत एक स्मार्ट "रेफरी" (जिसे कैनोनिकलाइज़र कहा जाता है) से मिली जो तीन उत्तरों को सुनता था और उत्तर के मूल्य (value) के आधार पर सबसे अच्छे को चुनता था, न कि केवल शब्दों के आधार पर। उदाहरण के लिए, यदि दो मॉडल कहते हैं "4 मीटर" और एक कहता है "4.00m," तो रेफरी जानता था कि वे एक ही हैं और बहुमत को चुनता था। यदि वे असहमत थे, तो रेफरी ने उन्हें अनंत काल तक बहस करने के लिए नहीं छोड़ा; इसने जाँच की कि क्या तर्क विश्वसनीय था। यदि कोई मॉडल आत्मविश्वास के साथ गलत था, तो रेफरी ने उस खराब तर्क को "मास्क" (छिपा) दिया ताकि दूसरे उससे भ्रमित न हों।

शोध पत्र ने स्पष्ट रूप से एक "अत्यधिक महंगे" टाई-ब्रेकर की आवश्यकता के विचार को खारिज कर दिया। उन्होंने तीन सॉल्वर के बीच असहमति होने पर निर्णय लेने के लिए एक विशाल, प्रीमियम मॉडल का उपयोग करने का प्रयास किया, लेकिन इससे स्कोर में सुधार नहीं हुआ। इसने केवल अधिक पैसा खर्च किया। सरल, मूल्य-जागरूक रेफरी ने काम को उतनी ही अच्छी तरह, या उससे भी बेहतर तरीके से किया।

मुख्य निष्कर्ष

टीम के विश्लेषण ने दो मुख्य सबक प्रकट किए जिन्होंने उनके दृष्टिकोण को बदल दिया:

1. विजुअल समस्याओं के लिए अनुवाद ही राजा है: उनके "ट्रांसलेटर" चरण का मूल्य पूरी तरह से इस बात पर निर्भर था कि समस्या का कितना हिस्सा चित्र में छिपा हुआ था।

   • यदि समस्या केवल टेक्स्ट थी (लेवल 1), तो अनुवादक ने कुछ नहीं किया, और सटीकता पहले से ही उच्च थी।
   • यदि यह एक मिश्रण था (लेवल 2-3), तो अनुवादक ने थोड़ा मदद की।
   • यदि यह केवल एक चित्र था (लेवल 4), तो अनुवादक ही सफलता और विफलता के बीच का अंतर था। शोध पत्र ने दिखाया कि जैसे-जैसे "मोडैलिटी गैप" (टेक्स्ट और इमेज के बीच का अंतर) बढ़ता गया, अनुवाद का मूल्य बहुत बड़ा होता गया।

2. चयन, बहस से बेहतर है: तर्क के पक्ष में, टीम ने पाया कि सुधार मॉडलों के आपस में बहस करने से नहीं आया। यह विश्वसनीय चयन से आया। जब दो मॉडल सहमत थे, तो वे 83% बार सही थे। सिस्टम सबसे अच्छा तब काम करता था जब वह सर्वसम्मति पर भरोसा करता था और केवल उन कुछ मामलों पर अतिरिक्त समय खर्च करता था जहाँ वे असहमत थे। "डिबेट राउंड्स" ने नए सही उत्तर नहीं दिए; उन्होंने केवल गलत उत्तरों को फ़िल्टर करने में मदद की।

परिणाम: एक विजय यात्रा (A Victory Lap)

एक सटीक अनुवादक के साथ एक स्मार्ट, मूल्य-जागरूक चयन प्रणाली को जोड़कर, टीम ने प्रतियोगिता को ध्वस्त कर दिया।

• वे एक एकल AI मॉडल का उपयोग करके 0.643 (लगभग 64% सही) के बेसलाइन से शुरू हुए।
• उनकी दो-चरणीय प्रणाली ने पब्लिक टेस्ट पर इसे बढ़ाकर 0.802 (लगभग 80% सही) कर दिया।
• अंतिम, गुप्त "प्राइवेट" लीडरबोर्ड पर, उन्होंने 0.743 का स्कोर किया, और प्रथम स्थान प्राप्त किया।

दिलचस्प बात यह है कि सबसे कठिन स्तर (लेवल 5) के लिए, जिसमें साफ आरेखों के बजाय वास्तविक दुनिया की वस्तुओं की तस्वीरें शामिल थीं, टीम ने वास्तव में डिबेट क्लब को हटा दिया। उन्होंने पाया कि तीन-मॉडल की टीम वास्तविक फोटो से भ्रमित हो गई और गलत चीजों पर बहस करने लगी। एक एकल, केंद्रित सॉल्वर पर वापस जाने से उस विशिष्ट स्तर पर उनका स्कोर बढ़कर 0.933 हो गया।

यह क्यों मायने रखता है

यह शोध पत्र हमें सिखाता है कि AI की दुनिया में, बड़ा होना हमेशा बेहतर नहीं होता। यदि आपके पास एक अच्छी प्रक्रिया है, तो आपको किसी समस्या को हल करने के लिए अरबों डॉलर के "सुपर-ब्रेन" की आवश्यकता नहीं है। कुंजी यह समझने में थी कि कंप्यूटर को उस भाषा में अनुवादित करने की आवश्यकता थी जिसे वह समझता है (टेक्स्ट और संरचित मानचित्र) और सही उत्तर चुनने के लिए एक स्मार्ट रेफरी का होना एक लंबी, शोर भरी बहस से अधिक महत्वपूर्ण था।

लेखक सुझाव देते हैं कि विजुअल समस्याओं को हल करने का भविष्य केवल मॉडलों को स्मार्ट बनाने के बारे में नहीं है, बल्कि बेहतर "पाइपलाइन" बनाने के बारे में है जो दुनिया को ऐसे प्रारूप में अनुवादित कर सके जिसे AI वास्तव में तर्कसंगत रूप से समझ सके, और फिर सही उत्तर चुनने के लिए सरल, सस्ते और विश्वसनीय तरीकों का उपयोग कर सके। उन्होंने केवल एक प्रतियोगिता नहीं जीती; उन्होंने हमें दिखाया कि कभी-कभी, उत्तर देखने का सबसे अच्छा तरीका चित्र को देखना बंद करना और मानचित्र को पढ़ना शुरू करना है।