SO-Bench: A Structural Output Evaluation of Multimodal LLMs
यह शोधपत्र SO-Bench प्रस्तुत करता है, जो एक व्यापक बेंचमार्क है जिसमें चार दृश्य डोमेन के माध्यम से 6,500 से अधिक विविध JSON स्कीमा और 1,800 क्यूरेटेड इमेज-स्कीमा जोड़े शामिल हैं, ताकि मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स की स्कीमा-अनुपालन संरचित आउटपुट क्षमताओं का व्यवस्थित रूप से मूल्यांकन और सुधार किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, सर्वदर्शी रोबोट सहायक है। आप उसे रेस्टोरेंट के मेनू की एक तस्वीर दिखाते हैं और कहते हैं, "हे, मुझे भूख लगी है! मेरी शॉपिंग लिस्ट में एक व्हॉपर मील (Whopper meal) और एक डबल व्हॉपर मील (Double Whopper meal) डाल दो।"
पुराने दिनों में, आपका रोबोट शायद बस चैट करके जवाब देता: "ठीक है, मैं 8.09 के लिए डबल व्हॉपर मील देख पा रहा हूँ। यह बढ़िया है!"
यह मानवीय बातचीत के लिए तो बहुत अच्छा है। लेकिन क्या होगा अगर आपके रोबोट को किसी कंप्यूटर प्रोग्राम से बात करने की ज़रूरत हो? कंप्यूटर चैट नहीं समझता; उसे एक बहुत ही विशिष्ट, कठोर प्रारूप (format) में डेटा चाहिए (जैसे कि एक डिजिटल फॉर्म जिसमें सटीक बॉक्स भरे हों)। यदि रोबोट "छह दशमलव चार नौ" कहता है बजाय "6.49" के, या यदि वह कीमत को "कीमत" वाले बॉक्स में रखने के बजाय "नाम" वाले बॉक्स में रख देता है, तो कंप्यूटर क्रैश हो जाएगा।
यही वह समस्या है जिसे एप्पल का नया पेपर, "SO-Bench," हल करने की कोशिश कर रहा है।
यहाँ उनके काम का विवरण रोज़मर्रा के उदाहरणों का उपयोग करते हुए दिया गया है:
1. समस्या: "बिखरा हुआ कमरा" बनाम "फाइलिंग कैबिनेट"
मल्टीमॉडल एआई मॉडल (वे रोबोट जो देख और पढ़ सकते हैं) किसी तस्वीर को देखने और उसका वर्णन करने में बहुत अच्छे होते जा रहे हैं। लेकिन जब आप उनसे उस जानकारी को एक विशिष्ट, पूर्व-निर्धारित संरचना (जैसे कि एक JSON फ़ाइल, जो केवल एक फैंसी शब्द है एक डिजिटल फाइलिंग कैबिनेट के लिए) में व्यवस्थित करने के लिए कहते हैं, तो वे अक्सर अव्यवित्त हो जाते हैं।
वे ऐसा कर सकते हैं:
- कीमत को "कीमत" वाले बॉक्स में रखना भूल जाना।
- एक ऐसा बॉक्स बना लेना जो निर्देशों में मौजूद ही नहीं है।
- फॉर्मेट को गलत कर देना (जैसे तारीख को "2026-03-19" के बजाय "मार्च 19" लिखना)।
वास्तविक दुनिया में, यदि कोई एआई आपकी खरीदारी ऑटोमेट करने या आपकी फ्लाइट बुक करने के लिए बनाया गया है, तो ये छोटी संरचनात्मक त्रुटियाँ बड़ी विफलताओं का कारण बनती हैं।
2. समाधान: SO-Bench (एक "सख्त शिक्षक")
एप्पल के शोधकर्ताओं ने SO-Bench नामक एक नया टेस्ट बनाया है। इसे एक सख्त, सुपर-ऑर्गनाइज्ड शिक्षक के रूप में समझें जो एआई को एक तस्वीर और एक बहुत ही विशिष्ट, जटिल "खाली स्थान भरें" (fill-in-the-blank) वाला वर्कशीट देता है।
- टेस्ट: शिक्षक एआई को एक तस्वीर दिखाता है (जैसे कि एक UI स्क्रीन, एक रसीद, एक चार्ट, या एक प्राकृतिक फोटो)।
- नियम: शिक्षक उसे एक "स्कीमा" (Schema) सौंपता है, जो एक कठोर ब्लूप्रिंट की तरह है। यह कहता है: "आपको नाम, कीमत और मुद्रा (Currency) ढूँढना होगा। कीमत एक संख्या होनी चाहिए, शब्द नहीं। आपको उन्हें इसी सटीक क्रम में रखना होगा।"
- लक्ष्य: एआई को उस तस्वीर को देखना होगा और हर एक नियम का पालन करते हुए वर्कशीट को पूरी तरह से भरना होगा।
उन्होंने इन चार अलग-अलग दुनियाओं को कवर करने के लिए 1,800 ऐसे टेस्ट बनाए:
- UI स्क्रीन्स: जैसे कि फोन ऐप को देखना।
- प्राकृतिक चित्र (Natural Images): जैसे सड़क या कुत्ते की फोटो।
- दस्तावेज़ (Documents): जैसे कि रसीद या अनुबंध।
- चार्ट (Charts): जैसे बिक्री डेटा दिखाने वाला ग्राफ।
3. परिणाम: "चैट करने में अच्छे, फाइलिंग में कमजोर"
जब उन्होंने सबसे स्मार्ट उपलब्ध एआई मॉडल्स (GPT-5 और Gemini जैसे बड़े नामों सहित) का परीक्षण किया, तो उन्हें कुछ आश्चर्यजनक बातें पता चलीं:
- "चैट" बेहतरीन है: मॉडल तस्वीर को समझने और उसके बारे में बात करने में अद्भुत हैं। वे आपको बता सकते हैं कि चित्र में क्या है।
- "फाइलिंग" कमजोर है: जब उन्हें उस सख्त "फाइलिंग कैबिनेट" (JSON स्कीमा) में जानकारी डालने के लिए कहा गया, तो वे अक्सर विफल रहे।
- यहाँ तक कि सबसे अच्छे मॉडल भी पूरी संरचना को केवल 19% बार ही सही कर पाए।
- छोटे मॉडल (जूनियर रोबोट) और भी अधिक संघर्ष करते हैं, अक्सर वर्कशीट के बुनियादी नियमों का पालन करने में विफल रहते हैं।
यह एक ऐसे छात्र की तरह है जो एक सुंदर निबंध तो लिख सकता है लेकिन गणित के टेस्ट में फेल हो जाता है क्योंकि वह उत्तर को बॉक्स में भरना भूल गया।
4. प्रशिक्षण: "अभ्यास, अभ्यास, अभ्यास"
शोधकर्ताओं ने केवल टेस्ट ग्रेड करने पर ही नहीं रुके। उन्होंने मॉडल्स को बेहतर करने के लिए सिखाने की भी कोशिश की।
- सुपरवाइज्ड फाइन-ट्यूनिंग (SFT): उन्होंने मॉडल्स को हजारों उदाहरण दिखाए: "तस्वीर + नियम + सटीक उत्तर।" यह एक छात्र को उत्तरों के साथ स्टडी गाइड देने जैसा है। इससे बहुत मदद मिली! मॉडल्स नियमों का पालन करने में बहुत बेहतर हो गए।
- रीइन्फोर्समेंट लर्निंग (RL): उन्होंने एक ऐसी विधि आजमाई जहाँ मॉडल को "रिवॉर्ड" (एक डिजिटल हाई-फाइव) तभी मिलता है जब वह संरचना को बिल्कुल सही करता है। इसने मॉडल्स को अपने काम की जांच करने में और भी बेहतर बनाने में मदद की।
मुख्य निष्कर्ष
यह पेपर हमें बताता है कि हालांकि एआई "देखने" और "बात करने" में स्मार्ट होता जा रहा है, लेकिन इसे एक विश्वसनीय "डेटा क्लर्क" बनने के लिए अभी भी बहुत प्रशिक्षण की आवश्यकता है।
यदि हम चाहते हैं कि एआई एक वास्तविक 'एजेंट' बने जो वास्तव में हमारे लिए काम कर सके (जैसे फ्लाइट बुक करना, इन्वेंट्री मैनेज करना, या फॉर्म भरना) जो देखे जाने वाली चीज़ों के आधार पर, तो उसे केवल अर्थपूर्ण (semantically) रूप से चतुर होने के बजाय, संरचनात्मक रूप से पूर्ण (structurally perfect) होना सीखना होगा। SO-Bench वह नया पैमाना है जिसका उपयोग हम यह मापने के लिए करते हैं कि क्या एआई उस काम के लिए तैयार है।
संक्षेप में: एआई दुनिया का वर्णन करने में तो महान है, लेकिन वह उस वर्णन को एक व्यवस्थित, कंप्यूटर-पठनीय बॉक्स में व्यवस्थित करना अभी भी सीख रहा है। एप्पल ने यह देखने के लिए एक टेस्ट बनाया कि वह कैसा प्रदर्शन कर रहा है, और उन्हें सुधार की बहुत गुंजाइश मिली।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।