Engineering Reasoning and Instruction (ERI) Benchmark: A Large Taxonomy-driven Dataset for Foundation Models and Agents
इंजीनियरिंग रीजनिंग एंड इंस्ट्रक्शन (ERI) बेंचमार्क एक विशाल, वर्गीकरण-संचालित डेटासेट है जो नौ इंजीनियरिंग क्षेत्रों और विभिन्न कठिनाई स्तरों में फैला हुआ है, जिसे फाउंडेशन मॉडल और एजेंटों को प्रशिक्षित करने और उनका मूल्यांकन करने के लिए डिज़ाइन किया गया है, जिसमें एक कठोर सत्यापन प्रोटोकॉल है जो फ्रंटियर और छोटे मॉडलों के बीच महत्वपूर्ण प्रदर्शन अंतराल को प्रदर्शित करता है और मतिभ्रम (hallucination) के जोखिम को 1.7% तक सीमित करता है।