DiagnosticIQ: A Benchmark for LLM-Based Industrial Maintenance Action Recommendation from Symbolic Rules
تقدم هذه الورقة DiagnosticIQ، وهو معيار يتكون من 6,690 سؤالاً تم التحقق منها من قبل خبراء، صُممت لتقييم قدرة النماذج اللغوية الكبيرة على ترجمة قواعد الصيانة الصناعية الرمزية إلى إجراءات تصحيحية، مما يكشف أنه بينما تقترب النماذج الرائدة من مستوى أداء البشر، إلا أنها تظل هشة تحت تأثير الاضطرابات الهيكلية وتفتقر إلى المعايرة القوية.