FAU at ImageCLEF 2026 Task on Multimodal Reasoning Robust Candidate Scoring and Concise Multilingual Visual Answering
FAU टीम ने बहुभाषी विजुअल रीजनिंग और उत्तर स्वरूपण (answer formatting) को बेहतर बनाने के लिए टास्क-विशिष्ट मॉडल ट्रेनिंग के बजाय रोबस्ट इन्फरेंस इंजीनियरिंग—जैसे कि डायरेक्ट कैंडिडेट स्कोरिंग, स्कोर फ्यूजन, और स्ट्रिक्ट आउटपुट कंट्रोल—को प्राथमिकता देकर ImageCLEF 2026 में विजुअल MCQ में तीसरा स्थान और विजुअल OpenQA में प्रथम स्थान प्राप्त किया।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक उच्च-दांव वाली परीक्षा हॉल में बैठे हैं, लेकिन केवल एक पन्ने पर लिखे शब्दों को पढ़ने के बजाय, वह परीक्षा विभिन्न भाषाओं में घने पाठ्यपुस्तकों, जटिल आरेखों, बिखरे हुए सूत्रों और चार्टों का एक अराजक कोलाज है। आपका काम इस दृश्य अव्यवस्था को देखना और इसके बारे में कठिन प्रश्नों के उत्तर देना है। यह "मल्टीमॉडल रीजनिंग" (Multimodal Reasoning) की दुनिया है, जहाँ कंप्यूटर उन मानव छात्रों की तरह कार्य करने की कोशिश करते हैं जो एक चित्र को "देख" भी सकते हैं और उसके भीतर के टेक्स्ट को "पढ़" भी सकते हैं। लंबे समय तक, बड़ा सवाल यह था: "कंप्यूटर का दिमाग कितना स्मार्ट होना चाहिए ताकि वह पास हो सके?" लेकिन इसमें एक पेच है। भले ही एक सुपर-स्मार्ट कंप्यूटर गणित और विज्ञान को पूरी तरह से समझ ले, फिर भी वह परीक्षा में फेल हो सकता है यदि वह बहुत अधिक बोलता है, गलत भाषा का उपयोग करता है, या अपना उत्तर एक ऐसे बिखरे हुए प्रारूप में लिखता है जिसे शिक्षक की ग्रेडिंग मशीन पढ़ नहीं सकती। यह एक प्रतिभाशाली छात्र की तरह है जो एक शानदार निबंध तो लिखता है लेकिन लाइन पर अपना नाम लिखना भूल जाता है, जिससे उसे शून्य मिल जाता है।
यह पेपर जर्मनी (FAU) की एक टीम की कहानी बताता है जिसने ठीक इसी समस्या को हल करने के लिए ImageCLEF 2026 नामक प्रतियोगिता में भाग लिया। उन्होंने न केवल एक स्मार्ट दिमाग बनाया; उन्होंने एक सख्त शिक्षक भी बनाया। उनकी मुख्य खोज यह है कि आप कंप्यूटर को उत्तर देने के लिए कैसे कहते हैं, यह उतना ही महत्वपूर्ण है जितना कि कंप्यूटर स्वयं। उन्होंने पाया कि बहुविकल्पीय प्रश्नों (multiple-choice questions) के लिए, कंप्यूटर को उत्तर "लिखने" से रोकना और इसके बजाय विकल्पों को एक जज की तरह "स्कोर" देने के लिए कहना बेहतर है। ओपन-एंडेड (open-ended) प्रश्नों के लिए, उन्होंने सीखा कि कंप्यूटर को संक्षिप्त और साफ रहने के लिए मजबूर करने की आवश्यकता है, यानी अंतिम परिणाम जमा करने से पहले उसकी सारी "सोचने की प्रक्रिया" को हटा देना चाहिए। उन्होंने कुछ लोकप्रिय तरकीबें भी आजमाईं, जैसे कंप्यूटर को टेक्स्ट की एक संदर्भ शीट (OCR) देना या उसे नई चीजें सिखाना (fine-tuning), लेकिन आश्चर्यजनक रूप से, उन तरकीबों ने कंप्यूटर का प्रदर्शन वास्तव में खराब कर दिया। सख्त नियमों और उत्तरों को साफ करने पर ध्यान केंद्रित करके, उनके सिस्टम ने लीडरबोर्ड पर शीर्ष स्थान प्राप्त किया, जिससे यह सिद्ध हुआ कि थोड़ा सा इंजीनियरिंग अनुशासन एक शक्तिशाली लेकिन अव्यवस्थित AI को एक विश्वसनीय परीक्षार्थी में बदल सकता है।
चुनौती: दृश्य परीक्षा (The Visual Exam)
प्रतियोगिता में दो मुख्य प्रकार के प्रश्न थे। पहला था विजुअल मल्टीपल चॉइस (Visual MCQ)। कल्पना कीजिए कि बुल्गारियाई भाषा में एक जीव विज्ञान का प्रश्न है जिसमें डेटा की एक तालिका और A से E तक लेबल किए गए पांच विकल्प हैं। कंप्यूटर को सही अक्षर चुनना होगा। दूसरा था विजुअल ओपन क्वेश्चन आंसरिंग (Visual OpenQA)। यहाँ, कोई विकल्प नहीं हैं। कंप्यूटर को एक आरेख (शायद एक अर्थशास्त्र चार्ट) को देखना है और उसी भाषा में एक छोटा, सीधा उत्तर लिखना है जिस भाषा में प्रश्न पूछा गया है।
जटिल बात यह है कि ये चित्र "सघन" जानकारी से भरे हुए हैं। वे केवल बिल्लियों के चित्र नहीं हैं; वे वैज्ञानिक पत्रों के पन्ने हैं जिनमें सूत्र, इकाइयाँ और सूक्ष्म टेक्स्ट शामिल हैं। यदि कंप्यूटर लेआउट से भ्रमित हो जाता है या जब केवल एक संख्या की आवश्यकता होती है तब लंबी व्याख्या लिख देता है, तो वह अंक खो देता है।
रणनीति: "लिखो मत, स्कोर दो" वाला तरीका (The "Score, Don't Write" Trick)
बहुविकल्पीय भाग के लिए, टीम को एहसास हुआ कि कंप्यूटर को "उत्तर यह है क्योंकि..." जैसा वाक्य लिखने देना खतरनाक था। कंप्यूटर सही अक्षर तो चुन सकता है, लेकिन वह इसके साथ बहुत सारा अतिरिक्त टेक्स्ट भी जोड़ सकता है, जिससे ग्रेडिंग सिस्टम भ्रमित हो जाता है।
इसके बजाय, उन्होंने खेल बदल दिया। उन्होंने कंप्यूटर से पूछा कि वह विकल्पों A, B, C, D और E को देखे और प्रत्येक को सही होने की संभावना के आधार पर एक "स्कोर" दे। इसे एक स्पोर्ट्स जज की तरह सोचें जो किसी जिम्नास्ट के प्रदर्शन पर पैराग्राफ लिखने के बजाय 9.5 का स्कोर देता है। कंप्यूटर को टेक्स्ट जेनरेट करने की आवश्यकता नहीं थी; उसे बस यह गणना करनी थी कि किस अक्षर का स्कोर सबसे अधिक है। इससे उत्तर अविश्वसनीय रूप से साफ और संयोजित करने में आसान हो गए। यदि वे तीन अलग-अलग कंप्यूटर दिमागों के साथ परीक्षण चलाते, तो वे तीनों के स्कोर ले सकते थे, उनका औसत निकाल सकते थे और विजेता चुन सकते थे। यह "स्कोर फ्यूजन" उन्हें 0.7108 की उच्च सटीकता तक ले गया, जिससे वे समग्र रूप से तीसरे स्थान पर रहे।
सफाई दल: बातूनी AI को नियंत्रित करना (The Cleanup Crew: Taming the Chatty AI)
ओपन-एंडेड प्रश्नों के लिए, समस्या इसके विपरीत थी। कंप्यूटर बहुत बातूनी थे। वे अपनी तर्क प्रक्रिया समझाने, "यहाँ उत्तर है," कहने या <answer> जैसे फैंसी XML टैग का उपयोग करने में बहुत रुचि रखते थे। हालाँकि, ग्रेडिंग सिस्टम केवल कच्चे (raw) उत्तर को चाहता था।
टीम ने इसे एक सख्त संपादक की तरह माना। उन्होंने एक "संक्षिप्त प्रॉम्प्ट" (concise prompt) का उपयोग किया जिसने कंप्यूटर को बताया: "ज़ोर से सोचना बंद करो। बस मुझे उत्तर दो।" फिर, उन्होंने उत्तरों को एक "क्लीनअप क्रू" (नियमों का एक सेट) के माध्यम से चलाया जिसने किसी भी अतिरिक्त शब्द, तर्क के निशान या फॉर्मेटिंग त्रुटियों को हटा दिया। उन्होंने कई अलग-अलग कंप्यूटर मॉडलों के उत्तरों को भी संयोजित किया। यदि एक मॉडल ने "50 kg" कहा और दूसरे ने "50 kilograms" कहा, तो सिस्टम ने पता लगा लिया कि वे एक ही हैं और सबसे अच्छा विकल्प चुना। इस सावधानीपूर्वक सफाई और संयोजन ने उन्हें COMET नामक मीट्रिक द्वारा मापे गए 0.6488 के स्कोर के साथ ओपन-एंडेड श्रेणी में प्रथम स्थान दिलाया।
आश्चर्यजनक "क्या न करें": क्या काम नहीं आया (The Surprising "Don'ts": What Didn't Work)
टीम ने दो ऐसी चीजें आजमाईं जिन्हें बहुत से लोग सोचते हैं कि मदद करेंगी, लेकिन वास्तव में उन्होंने स्कोर कम कर दिया।
- संदर्भ शीट (OCR): उन्होंने कंप्यूटर को चित्र का एक टेक्स्ट ट्रांसक्रिप्ट (एक टूल का उपयोग करके) खिलाने की कोशिश की ताकि उसे टेक्स्ट पढ़ने में मदद मिले। लेकिन यह उल्टा पड़ गया। ट्रांसक्रिप्ट में अक्सर टाइपो, टूटे हुए सूत्र या शब्दों का गलत क्रम होता था। यह एक छात्र को ऐसी संदर्भ शीट देने जैसा था जो त्रुटियों से भरी हो; इसने कंप्यूटर को चित्र की तुलना में अधिक भ्रमित कर दिया।
- क्रैश कोर्स (Fine-Tuning): उन्होंने LoRA फाइन-ट्यूनिंग नामक एक विधि का उपयोग करके कंप्यूटर को विशेष रूप से परीक्षा के प्रश्नों पर "सिखाने" की कोशिश की। उन्हें लगा कि इससे कंप्यूटर विशेषज्ञ बन जाएगा। इसके बजाय, इसने कंप्यूटर को और खराब बना दिया। पेपर सुझाव देता है कि कंप्यूटर पहले से ही छवियों को पढ़ने के लिए पर्याप्त स्मार्ट था, और उसे एक छोटे, अव्यवस्थित डेटासेट पर फिर से प्रशिक्षित करने की कोशिश ने उसकी प्राकृतिक क्षमताओं को बिगाड़ दिया।
निष्कर्ष (The Takeaway)
इस पेपर का बड़ा सबक एक नया, सुपर-इंटेलिजेंट दिमाग बनाने के बारे में नहीं है। यह इन्फरेंस इंजीनियरिंग (inference engineering) के बारे में है—जो एक फैंसी तरीका है यह कहने का कि "हम कंप्यूटर को अपना काम करने के लिए कैसे कहते हैं।" लेखकों ने पाया कि एक शक्तिशाली कंप्यूटर मॉडल, जब सख्त नियमों, साफ इनपुट और एक अच्छी सफाई प्रक्रिया के साथ दिया जाता है, तो वह एक थोड़े अधिक स्मार्ट मॉडल से बेहतर प्रदर्शन कर सकता है जिसे अव्यवस्थित होने की अनुमति दी गई हो।
उन्होंने दिखाया कि आपको हमेशा AI को बड़ा बनाने या उसे कड़ी ट्रेनिंग देने की आवश्यकता नहीं होती है। कभी-कभी, आपको बस उसे चुप रहने, सही अक्षर चुनने और एक साफ उत्तर थमाने की आवश्यकता होती है। इन व्यावहारिक विवरणों पर ध्यान केंद्रित करके, उन्होंने मजबूत विजन-लैंग्वेज मॉडल्स को विश्वसनीय प्रतियोगिता विजेताओं में बदल दिया, जिससे यह सिद्ध हुआ कि कभी-कभी समस्या को हल करने का सबसे अच्छा तरीका इंजन को अपग्रेड करना नहीं, बल्कि आउटपुट को प्रबंधित करना होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।