ملخص تقني: APEX–Accounting

بيان المشكلة

بينما أظهرت النماذج اللغوية الكبيرة (LLMs) كفاءة في اجتياز امتحانات الشهادات المهنية (مثل CPA وCMA) وتحسين جودة العمل العامة، إلا أن هناك نقصاً في المعاي actually المرجعية التي تقيم قدرتها على أداء العمل الفعلي واليومي للمحاسبين. تعتمد المعايات الحالية مثل AuditBench وFinMaster وAccountingBench غالباً على معاملات اصطناعية، أو محاكيات نصية فقط، أو دراسات حالة لشركة واحدة، مما يفشل في استيعاب الطبيعة التكرارية والإجرائية والكثيفة المستندة إلى الوثائق لعمليات إغلاق نهاية الشهر ومسك الدفاتر. يرى المؤلفون أن التقييمات الحالية لا تختبر بشكل كافٍ "العمل الحقيقي" للمحاسبين، والذي يتضمن تسوية الحسابات، واستحقاق المصروفات، وترحيل المعاملات، وإصدار التقارير عبر سياقات تجارية متنوعة ومعقدة.

المنهجية

تصميم المعيار (APEX–Accounting)

APEX–Accounting هو معيار مغلق طورته شركة Mercor بالشراكة مع Ramp، ويتكون من 160 مهمة موزعة على 10 عوالم شركات مُولدة اصطناعياً.

• بناء العوالم: يمثل كل عالم شركة مستقلة بذاتها متوقفة عند إغلاق نهاية الشهر، وتلتزم بالمبادئ المحاسبية المقبولة عموماً في الولايات المتحدة (U.S. GAAP) على أساس الاستحقاق. تم بناء العوالم عبر أربع مراحل: تحديد النطاق، المواصفات التفصيلية (بما في ذلك "سجلات الفخ" لزرع التناقضات)، اشتقاق دليل الأسلوب، وتوليد الملفات. جميع الملفات (جداول بيانات، ملفات PDF، صادرات برامج محاسبية) مبتكرة وتم فحصها ضد المصادر العامة لمنع الحفظ والاستذكار.
• فئات المهام: تنقسم المهام الـ 160 إلى أربع فئات:
  1. التسوية (61 مهمة): ربط مصدرين معاً، وتحديد الفروقات، وشرحها أو تصحيحها.
  2. إدخال البيانات (26 مهمة): ترحيل المعاملات، قيود اليومية، والفواتير.
  3. تحليل الانحراف (28 مهمة): مقارنة الأرقام الفعلية مقابل الميزانيات أو التوقعات.
  4. الجداول والاستحقاقات (45 مهمة): بناء الجداول، حساب الاستحقاقات، وحمل الأرصدة.
• مشاركة الخبراء: قام 42 خبيراً محاسبياً (بمتوسط خبرة 11 عاماً، و52% منهم من شركات الـ Big Four) بتأليف المهام، وحلها لإنشاء "استجابات ذهبية"، وكتابة قواعد تقييم ثنائية قائمة على النتائج. تتضمن كل مهمة مطالبة (prompt)، وملفات مدخلات مطلوبة، واستجابة ذهبية، وقاعدة تقييم تحتوي في المتوسط على 13.7 معياراً.

الإعداد التجريبي

• النماذج التي تم تقييمها: تم اختبار تسعة نماذج رائدة، بما في ذلك Claude-Fable-5 وMuse-Spark-1.1 وGPT-5.6-Sol وغيرها. نفذ كل نموذج كل مهمة 8 مرات، مما أنتج 11,520 مساراً (trajectory).
• أدوات التشغيل (Harnesses): تم استخدام نوعين من أدوات التشغيل:
  • أداة الحلقة (Loop Harness): بنية قياسية تعتمد على حلقة "while" مع الأدوات.
  • أداة Ramp (Ramp Harness): أداة متخصصة تم بناؤها مع Ramp تتميز بالوعي بإعادة المحاولة، والقوائم البيضاء للأدوات، والتحقق من الصحة، وتفويض الوكلاء الفرعيين لمحاكاة قيود العالم الحقيقي.
• التقييم: استُخدم نموذج DeepSeek-v4-Flash، المحسن بـ prompt من نوع GEPA، ليعمل كحكم. تم التحقق من صحة الحكم مقابل الحقيقة الأرضية لخبراء بشريين (1,687 معياراً)، حيث حقق دقة بنسبة 97.1% (F1 = 0.970). يقوم الحكم بتقييم المخرج النهائي مقابل معايير القواعد الثنائية دون الوصول إلى سجل المسار الوسيط.
• المقاييس:
  • Mean Criteria@3: المقياس الأساسي، وهو متوسط نسبة المعايير المستوفاة من أصل 3 تشغيلات مختارة عشوائياً لكل مهمة.
  • Pass@k / Pass^k: يقيس سقف القدرة (Pass@8: النجاح مرة واحدة على الأقل في 8 محاولات) والاستمرارية (Pass^8: النجاح في جميع المحاولات الثمانية).
  • تحليل التكلفة (Cost Ablation): تجارب تباينت فيها ميزانية الرموز (tokens) من 1 دولار إلى 50 دولاراً لكل مهمة لتحليل العلاقة بين الإنفاق والأداء.

النتائج الرئيسية

أداء لوحة الصدارة

• الأفضل أداءً: حقق Claude-Fable-5 (Max) أعلى نتيجة في Mean Criteria@3 بنسبة 56.4%، يليه Muse-Spark-1.1 بنسبة (52.6%)، ثم GPT-5.6-Sol بنسبة (51.5%).
• فجوة الاستمرارية: رغم ارتفاع درجات Mean Criteria@3، إلا أن الاستمرارية لا تزال منخفضة للغاية. لم يحقق أي نموذج درجة Pass^8 أعلى من 2.6% (GPT-5.6-Sol). أعلى درجة Pass@8 كانت 21.5% (Muse-Spark-1.1)، مما يشير إلى أنه بينما يمكن للنماذج حل المهمة أحياناً، إلا أنها لا تستطيع القيام بذلك بشكل موثوق من البداية حتى النهاية.
• صعوبة الفئة: ثبت أن فئة "الجداول والاستحقاقات" هي الأكثر صعوبة، حيث سجلت جميع النماذج درجات أقل بنسبة 7-21 نقطة مئوية عن الفئات الأخرى، مما يعكس طبيعتها متعددة الخطوات والتي تعتمد على التقدير.

تحليل التكلفة والميزانية

• تأثير ميزانية الرموز (Tokens): أدت زيادة الميزانية من 1 دولار إلى 50 دولاراً إلى تحسين الدرجات بشكل كبير للنماذج المكلفة (على سبيل المثال، زاد Claude-Fable-5 بنسبة 43.4 نقطة مئوية)، بينما شهدت النماذج الأرخص (مثل Muse-Spark-1.1) مكاسب طفيفة.
• مفارقة سمبسون (Simpson's Paradox): لاحظت الدراسة حالة من مفارقة سمبسون: بينما أدت زيادة الميزانية الإجمالية إلى رفع الدرجات، إلا أنه داخل ميزانية ثابتة، ارتبطت المهام التي أنفقت فيها النما_ل رموزاً أكثر بـ درجات أقل. ويُعزى ذلك إلى صعوبة المهمة؛ فالمهام الأصعب تستهلك رموزاً أكثر ولكنها تظل أصعب في الحل.
• تأثير أداة التشغيل (Harness): أدى الانتقال من Loop Harness القياسية إلى Ramp Harness المتخصصة إلى تغيير طفيف في المتوسط (+1.2 نقطة مئوية)، مما يشير إلى أن قدرة النموذج هي المحرك الأقوى للأداء في هذه المهام أكثر من بنية الوكيل (agent architecture) المحددة.

تحليل الفشل

كشف تحليل المسارات منخفضة الدرجات لأفضل ثلاثة نماذج عن ملف فشل متشابه بشكل صارخ:

• هيمنة الاستنتاج: شكلت إخفاقات الاستنتاج (Reasoning failures) ما بين 59-79% من جميع الأخطاء الموضحة.
• أنماط الفشل المحددة: كانت أكثر أنماط الفشل شيوعاً هي الاستنتاج غير الرقمي (تطبيق منطق خاطئ على بيانات غير رقمية) وأخطاء التعامل مع البيانات (خطأ في التصفية، أو الربط، أو التجميع).
• المعلومات مقابل المنطق: نجحت النماذج في العثور على ملفات المدخلات الصحيحة (كانت إخفاقات جمع المعلومات نادرة). نمط الفشل الرئيسي كان سوء التعامل مع الاستنتاج متعدد الخطوات على تلك المدخلات: مثل استبدال منطق التفويض الصحيح بمنطق خاطئ، أو إسقاط النتائج الوسيطة الصحيحة، أو الفشل في نقل الاستنتاجات إلى الإجابة النهائية.
• استخدام الأدوات: لم تتضمن أي من الإخلالات الموضحة أخطاء في استخدام الأدوات، مما يشير إلى أن بنيات الوكلاء الحالية كافية للتفاعل مع الأدوات، ولكن قدرات الاستنتاج الأساسية هي العائق.

الأهمية والادعاءات

يزعم البحث أن APEX–Accounting يوفر أول تقييم صارم للنماذج الرائدة في سير عمل المحاسبة الواقعي، متجاوزاً امتحانات الشهادات إلى التطبيق العملي.

• القيود الحالية: تشير النتائج إلى أنه بينما يمكن للنماذج الرائدة استرجاع المعلومات وأداء خطوات معزولة، إلا أنها ليست قادرة بعد على إغلاق الدفاتر بشكل مستقل وموثوق. تسلط درجات Pass^8 المنخفضة (الحد الأقصى 2.6%) الضوء على فجوة كبيرة بين "سقف القدرة" و"النشر الموثوق".
• الاتجاه المستقبلي: يرى المؤلفون أن التقدم سيأتي على الأرجح ليس من تحسين أدوات التشغيل (التي أظهرت تأثيراً ضئيلاً)، بل من تحسين النماذج نفسها. وبشكل محدد، يقترحون الحاجة إلى تدريب متخصص في المحاسبة لغرس الانضباط المطلوب لمتابعة النتائج متعددة الخطوات، وكشف التناقضات في الوثائق، ورفض ترحيل القيود دون أدلة كافية.
• فائدة المعيار: كمعيار مغلق، يسمح APEX–Accounting بتقييم أي نموذج رائد عند الطلب، مما يوفر مقياساً معيارياً للصناعة لتتبع التقدم في أتمتة العمل المعرفي الماهر.