MARCA: A Checklist-Based Benchmark for Multilingual Web Search

यहाँ शोध पत्र "MARCA: एक बहुभाषी वेब सर्च के लिए चेकलिस्ट-आधारित बेंचमार्क" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) पर सूचना के स्रोत के रूप में तेजी से भरोसा किया जा रहा है, फिर भी उनकी विश्वसनीयता वेब खोजने, प्रासंगिक साक्ष्य चुनने और बिना मतिभ्रम (hallucinations) के पूर्ण उत्तरों को संश्लेषित करने की क्षमता पर टिकी है। जबकि हालिया बेंचमार्क (जैसे, BrowseComp, WebArena) वेब-ब्राउजिंग और एजेंटिक क्षमताओं का मूल्यांकन करते हैं, वे दो महत्वपूर्ण सीमाओं से ग्रस्त हैं:

1. अंग्रेजी-केंद्रितता (English-Centricity): अधिकांश मूल्यांकन विशेष रूप से अंग्रेजी पर ध्यान केंद्रित करते हैं, अन्य प्रमुख भाषाओं के प्रदर्शन की गतिशीलता की अनदेखी करते हैं।
2. सूक्ष्मता का अभाव (Lack of Granularity): मौजूदा मेट्रिक्स अक्सर कार्य पूर्णता के बजाय पुनर्प्राप्त जानकारी की सत्यता (correctness) और पूर्णता (completeness) को मापते हैं, विशेष रूप से कई संस्थाओं (entities) से जुड़े जटिल प्रश्नों के लिए।

पुर्तगाली, जो 250 मिलियन से अधिक लोगों द्वारा बोली जाती है, वेब-सर्च बेंचमार्क में उल्लेखनीय रूप से कम प्रतिनिधित्व पाती है। इस बात की समझ का अभाव है कि मॉडल अंग्रेजी से पुर्तगाली में कैसे स्थानांतरित होते हैं, वे भाषा-विशिष्ट पुनर्प्राप्ति गतिशीलता को कैसे संभालते हैं, और क्या वे गैर-अंग्रेजी स्रोतों से साक्ष्य को प्रभावी ढंग से संश्लेषित कर सकते हैं।

2. कार्यप्रणाली: MARCA बेंचमार्क (Methodology: The MARCA Benchmark)

लेखक MARCA (Maritaca AI Research Checklist evAluation) पेश करते हैं, जो एक द्विभाषी (अंग्रेजी और पुर्तगाली) बेंचमार्क है जिसे वेब-आधारित सूचना प्राप्ति पर LLMs का मूल्यांकन करने के लिए डिज़ाइन किया गया है।

2.1 डेटासेट निर्माण (Dataset Construction)

• पैमाना (Scale): 9 विषयगत डोमेन में वितरित 52 हस्तनिर्मित प्रश्न।
• कार्य प्रकार (Task Type): बहु-संस्था सूचना प्राप्ति (Multi-entity information seeking)। प्रश्नों के लिए मॉडल को कई अलग-अलग संस्थाओं (जैसे, "82वें गोल्डन ग्लोब्स में सभी फिल्म श्रेणियों के विजेताओं की सूची बनाएं") के लिए पहचानना, पुनर्प्राप्त करना और उनके गुणों (attributes) को जोड़ना आवश्यक है।
• मूल्यांकन रूब्रिक्स (Evaluation Rubrics): प्रत्येक प्रश्न को एक हस्तनिर्मित चेकलिस्ट के साथ जोड़ा गया है।
  • चेकलिस्ट अपेक्षित संस्थाओं और आवश्यक गुणों को निर्दिष्ट करती है।
  • मूल्यांकन प्रत्येक आइटम के लिए बाइनरी (संतुष्ट/असंतुष्ट) है।
  • डायनेमिक चेकलिस्ट (Dynamic Checklists): कुछ प्रश्न डायनेमिक रूब्रिक्स का उपयोग करते हैं जहाँ अपेक्षित मान (जैसे, साइटेशन काउंट) मूल्यांकन के समय स्क्रैप किए जाते हैं ताकि यह सुनिश्चित हो सके कि बेंचमार्क वेब की वर्तमान स्थिति को दर्शाता है न कि किसी स्थिर स्नैपशॉट को।
• द्विभाषी समानता (Bilingual Parity): डेटासेट में समानांतर अंग्रेजी और पुर्तगाली संस्करण शामिल हैं जिनके संगत चेकलिस्ट हैं ताकि भाषा को एक चर (variable) के रूप में अलग किया जा सके।

2.2 मूल्यांकन ढांचे (Evaluation Frameworks)

शोध पत्र कार्य अपघटन (task decomposition) के प्रभाव का अध्ययन करने के लिए दो अलग-अलग इंटरेक्शन आर्किटेक्चर के तहत मॉडल्स का मूल्यांकन करता है:

1. बेसिक फ्रेमवर्क (Basic Framework): एक एकल मॉडल इंस्टेंस के पास सीधे web_search और web_scrape टूल्स तक पहुंच होती है। इसे एक ही कॉन्टेक्स्ट विंडो (अधिकतम 40 इटरेशन) के भीतर संपूर्ण सूचना-खोज लूप (क्वेरी करना, स्क्रैपिंग, संश्लेषण) को प्रबंधित करना होता है।
2. ऑर्केस्ट्रेटर फ्रेमवर्क (Orchestrator Framework): एक पदानुक्रमित बहु-एजेंट प्रणाली।
   • एक शीर्ष-स्तरीय ऑर्केस्ट्रेटर (Orchestrator) जटिल प्रश्न को उप-प्रश्नों (sub-questions) में विभाजित करता है।
   • सब-एजेंट्स (Subagents) (ऑर्केस्ट्रेटर द्वारा सौंपे गए) वास्तविक वेब इंटरैक्शन (सर्च/स्क्रैप) करते हैं।
   • ऑर्केस्ट्रेटर सब-एजेंट्स के आंशिक परिणामों को अंतिम उत्तर में संश्लेषित करता है।
   • प्रतिबंध (Constraint): ऑर्केस्ट्रेटर सीधे वेब के साथ इंटरैक्ट नहीं करता है; वह सब-एजेंट आउटपुट पर निर्भर करता है।

2.3 मूल्यांकन प्रोटोकॉल (Evaluation Protocol)

• स्टोकेस्टिसिटी नियंत्रण (Stochasticity Control): मॉडल की यादृच्छिकता (randomness) को ध्यान में रखते हुए प्रत्येक प्रश्न को 3 बार ($k=3$) निष्पादित किया जाता है।
• स्कोरिंग (Scoring): एक LLM जज (GPT-4.1) चेकलिस्ट के विरुद्ध मॉडल के आउटपुट को ग्रेड देता है, जिससे एक चेकलिस्ट सटीकता (Checklist Accuracy) प्राप्त होती है:
  $$\text{Checklist Accuracy} = \frac{C}{T}$$
  जहाँ $C$ संतुष्ट आवश्यकताओं की संख्या है और $T$ कुल आवश्यकताएं हैं।
• अनिश्चितता परिमाणीकरण (Uncertainty Quantification): रन-लेवल परिवर्तनशीलता को पकड़ने के लिए $k$ रन के माध्यम से परिणाम माध्य ($\mu$) $\pm$ मानक विचलन ($\sigma$) के रूप में रिपोर्ट किए जाते हैं।

3. मुख्य योगदान (Key Contributions)

1. पुर्तगाली के लिए पहला द्विभाषी वेब-सर्च बेंचमार्क: साक्ष्य-आधारित उत्तर देने और बहु-संस्था पुनर्प्राप्ति का मूल्यांकन करने के लिए विशेष रूप से डिज़ाइन किया गया समानांतर अंग्रेजी/पुर्तगाली डेटासेट प्रदान करता है।
2. चेकलिस्ट-आधारित रूब्रिक्स: मानव-सत्यापित चेकलिस्ट का उपयोग करके पूर्णता और सत्यता के सूक्ष्म मूल्यांकन के माध्यम से सरल पास/फेल मेट्रिक्स से आगे बढ़ता है।
3. फ्रेमवर्क तुलना: "फ्लैट" (बेसिक) बनाम "पदानुक्रमित" (ऑर्केस्ट्रेटर) एजेंट आर्किटेक्चर की व्यवस्थित तुलना करता है, जिससे इस बात की अंतर्दृष्टि मिलती है कि कार्य अपघटन प्रदर्शन को कैसे प्रभावित करता है।
4. बहुभाषी विश्लेषण: इस बात का अनुभवजन्य प्रमाण देता है कि वेब-सर्च संदर्भ में अंग्रेजी से पुर्तगाली में जाने पर LLMs कैसे गिरते हैं (या अनुकूलित होते हैं)।

4. मुख्य परिणाम (Key Results)

लेखकों ने 14 मॉडल्स (GPT-4/5, Gemini, Qwen, और Maritaca के Sabia मॉडल्स सहित) का मूल्यांकन किया।

4.1 प्रदर्शन भिन्नता (Performance Variance)

• शीर्ष प्रदर्शन करने वाले (Top Performers): Gemini-3-pro और GPT-5.2 जैसे मॉडल्स ने इष्टतम कॉन्फ़िगरेशन में उच्च चेकलिस्ट कवरेज (~0.90) प्राप्त किया।
• निम्न प्रदर्शन करने वाले (Bottom Performers): कमजोर मॉडल्स (जैसे, Gemini-2.5-Flash-Lite) का स्कोर 0.26 तक कम रहा, जो कई संस्थाओं को विश्वसनीय रूप से सूचीबद्ध करने और उनके गुणों को जोड़ने की क्षमता में महत्वपूर्ण अंतराल को उजागर करता है।
• स्थिरता (Stability): उच्च प्रदर्शन करने वाले मॉडल्स ने आम तौर पर निम्न रन-लेवल विचरण ($\sigma$) दिखाया, जबकि कुछ मॉडल्स (जैसे, Gemini-2.5-Pro) ने स्टोकेस्टिसिटी के प्रति उच्च संवेदनशीलता प्रदर्शित की।

4.2 फ्रेमवर्क का प्रभाव (Basic vs. Orchestrator)

• सामान्य रुझान (General Trend): ऑर्केस्ट्रेटर फ्रेमवर्क ने बेसिक फ्रेमवर्क की तुलना में सामान्य रूप से चेकलिस्ट सटीकता में सुधार किया।
• तंत्र (Mechanism): कार्य अपघटन उन मॉडल्स की मदद करता है जो कॉन्टेक्स्ट मैनेजमेंट में संघर्ष कर रहे हैं, जिससे सब-एजेंट्स विशिष्ट संस्थाओं पर ध्यान केंद्रित कर पाते हैं।
• अपवाद (Exceptions): कुछ मजबूत मॉडल्स (जैसे, GPT-4.1) बेसिक सेटिंग में थोड़ा बेहतर या तुलनीय प्रदर्शन करते हैं, जो यह सुझाव देता है कि अत्यधिक सक्षम मॉडल्स के लिए, समन्वय का ओवरहेड और ऑर्केस्ट्रेटर सेटअप में संभावित कॉन्टेक्स्ट लॉस हानिकारक हो सकता है।

4.3 भाषा का प्रभाव (English vs. Portuguese)

• विषम स्थानांतरण (Heterogeneous Transfer): मॉडल परिवारों के बीच अंग्रेजी से पुर्तगाली में प्रदर्शन का स्थानांतरण असंगत है।
  • मजबूत मॉडल्स (Robust Models): कुछ मॉडल्स (जैसे, GPT-4.1, Sabiazinho-4) ने पुर्तगाली में प्रदर्शन बनाए रखा या थोड़ा सुधार किया।
  • गिरावट वाले मॉडल्स (Degraded Models): अन्य (जैसे, Qwen-3-235B, Gemini-2.5-Pro) ने पुर्तगाली में महत्वपूर्ण गिरावट (>5% सटीकता) दिखाई।
• मूल कारण (Root Cause): गिरावट केवल भाषा की समझ के कारण नहीं है बल्कि पुनर्प्राप्ति व्यवहार (retrieval behavior) के कारण भी है। मॉडल्स स्पष्ट रूप से क्वेरी को अंग्रेजी में अनुवाद कर सकते हैं, जिससे वे पुर्तगाली-विशिष्ट सामग्री (जैसे, स्थानीय सरकारी डेटा या क्षेत्रीय खेल विवरण) तक पहुँचने में विफल रहते हैं जो अंग्रेजी स्रोतों में मौजूद नहीं है।

4.4 प्रदर्शन बनाम लागत (Performance vs. Cost)

• अनुमान लागत (टोकन उपयोग) और चेकलिस्ट सटीकता के बीच एक सामान्य सकारात्मक सहसंबंध है।
• हालांकि, संबंध रैखिक नहीं है; कुछ मॉडल्स बजट बाधाओं के आधार पर बजट के अनुसार मॉडल चुनने के लिए व्यावहारिक मार्गदर्शन प्रदान करते हुए काफी बेहतर सटीकता-प्रति-लागत अनुपात प्रदान करते हैं।

5. महत्व और निष्कर्ष (Significance and Conclusion)

MARCA वेब खोज के लिए एक कठोर, बहुभाषी मानक प्रदान करके एजेंटिक LLMs के मूल्यांकन में एक महत्वपूर्ण अंतर को संबोधित करता है। अध्ययन प्रकट करता है कि:

1. बहुभाषी क्षमता समान नहीं है: अंग्रेजी में उच्च प्रदर्शन पुर्तगाली वेब खोज में दक्षता की गारंटी नहीं देता है, विशेष रूप से साक्ष्य समेकन के संबंध में।
2. आर्किटेक्चर मायने रखता है: जबकि ऑर्केस्ट्रेशन (डेलीगेशन) आम तौर पर जटिल बहु-संस्था कार्यों में सहायता करता है, यह एक सार्वभौमिक समाधान नहीं है और यह बेस मॉडल की तर्क क्षमता पर निर्भर करता है।
3. मूल्यांकन को सूक्ष्मता की आवश्यकता है: केवल कार्य पूर्णता को मापने के बजाय विशिष्ट विफलताओं (जैसे, गायब संस्थाएं बनाम मतिभ्रम वाले गुण) का निदान करने के लिए चेकलिस्ट-आधारित रूब्रिक्स आवश्यक हैं।

यह बेंचमार्क सार्वजनिक रूप से उपलब्ध है, जो वेब-सर्चिंग AI एजेंटों की विश्वसनीयता और बहुभाषी मजबूती में सुधार करने के लिए आगे के अनुसंधान को प्रोत्साहित करता है।