PlotChain: Deterministic Checkpointed Evaluation of Multimodal LLMs on Engineering Plot Reading
यह शोध पत्र PlotlyChain को प्रस्तुत करता है, जो एक नियतात्मक (deterministic), जनरेटर-आधारित बेंचमार्क है जिसमें सटीक ग्राउंड ट्रुथ और इंटरमीडिएट चेकपॉइंट्स के साथ 450 इंजीनियरिंग प्लॉट्स शामिल हैं, जो यह प्रकट करता है कि जहाँ शीर्ष मल्टीमॉडल LLMs मानक प्लॉट्स को पढ़ने में लगभग 80% सटीकता प्राप्त करते हैं, वहीं वे FFT और बैंडपास रिस्पॉन्स जैसे फ्रीक्वेंसी-डोमेन कार्यों के साथ काफी संघर्ष करते हैं।