ReplaySCM: A Benchmark for Executable Causal Mechanism Induction from Interventions
تقدم هذه الورقة ReplaySCM، وهو معيار مرجعي جديد يقيم قدرة النماذج اللغوية على استنتاج آليات سببية بولينية قابلة للتنفيذ من البيانات التدخلية عبر تقييم تعميم سلوكها عن طريق إعادة التشغيل بدلاً من مطابقة الصيغ النحوية، مما يكشف عن فجوات أداء كبيرة عندما تكون المعلومات الهيكلية مخفية.