Accounting Reasoning in Large Language Models: Concepts, Evaluation, and Empirical Analysis
تقدم هذه الورقة مفهوم "الاستدلال المحاسبي"، وتقترح إطار تقييم جديداً قائماً على خصائص بيانات تدريب النموذج، وتثبت من خلال الاختبار التجريبي أنه على الرغم من تصدر GPT-4 للأداء الحالي، إلا أن النماذج اللغوية الكبيرة الحالية لا تزال تتطلب تحسيناً كبيراً قبل أن يمكن نشرها بشكل موثوق في سيناريوهات المحاسبة المهنية للمؤسسات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
مشكلة "الطالب العبقري ذو الآلة الحاسبة المعطلة": شرح
تخيل أن لديك طالباً مثقفاً للغاية؛ لقد قرأ كل رواية، وكل كتاب تاريخ، وكل مقال إخباري في العالم. إنه بارع في المحادثة ويمكنه كتابة مقالات رائعة في أي موضوع تقريباً. هذا هو النموذج اللغوي الكبير (LLM)، مثل GPT-4.
الآن، تخيل أنك سلمت هذا الطالب مجموعة معقدة من وثائق الضرائب الخاصة بشركة ما، وطلبت منه مراجعة حسابات الشركة. ستتوقع من هذا العبقري أن يتفوق، أليس كذلك؟
هذه الورقة البحثية هي بمثابة "اختبار جهد" لمعرفة ما إذا كان هؤلاء الطلاب العباقرة جيدين حقاً في المحاسبة، أم أنهم مجرد بارعين جداً في "التظاهر" بأنهم يعرفون عما يتحدثون.
1. المفهوم الجوهري: "الاستنتاج المحاسبي"
يجادل الباحثون بأن المحاسبة ليست مجرد معرفة بالحقائق (مثل "ما هو الأصل؟")؛ بل هي تتعلق بـ الاستنتاج المنطقي.
فكر في المحاسبة مثل لعبة "جينجا" (Jenga) عالية المخاطر.
- الحقائق: هي هذه الكتل الخشبية.
- الاستنتاج: هو منطق كيفية رصّها فوق بعضها البعض.
إذا وضعت كتلة واحدة (عملية مالية) بشكل خاطئ قليلاً، فإن البرج بأكمله (القائمة المالية) سيتمايل في النهاية وينهار. أراد الباحثون معرفة ما إذا كان الذكاء الاصطناعي يستطيع التعامل مع عملية "الرص" هذه دون أن يسقط البرج.
2. الاختبار: "مضمار عقبات المحاسبة"
لم يطرح الباحثون أسئلة بسيطة على الذكاء الاصطناعي، بل صمموا له مضمار عقبات متخصصاً يتكون من ثلاث مستويات:
- سباق الرياضيات السريع: هل يستطيع الذكاء الاصطناعي إجراء عمليات حسابية متعددة الخطوات؟ (مثلاً: "إذا اشتريت هذا، اطرح الضريبة، أضف الاستهلاك، ثم اقسم على خمسة...")
- متاهة المنطق: هل يمكن للذكاء الاصطناعي اتباع قواعد صارمة؟ (مثلاً: "إذا انطبق القانون (أ)، ولكن تم تفعيل القانون (ب)، فماذا سيحدث بعد ذلك؟")
- الامتحان المهني: قدموا لهم أسئلة فعلية وصعبة من امتحانات المحاسب القانوني المعتمد (CPA) الصينية.
3. النتائج: "خلل في المصفوفة"
الجزء المفاجئ هنا هو: الذكاء الاصطناعي "مخادع".
وجد الباحثون أنه بينما تعد نماذج مثل GPT-4 ذكية للغاية، إلا أنها تعاني عندما تصبح العمليات الحسابية طويلة والقواعد معقدة.
تأثير "الهاتف المكسور" (تراكم الأخطاء):
تخيل أنك تلعب لعبة "الهاتف المكسور" حيث تهمس برقم لصديقك. إذا همس الشخص الأول بـ "105" بدلاً من "150"، فسيكون كل شخص يليه مخطئاً. في المحاسبة، إذا ارتكب الذكاء الاصطناعي خطأً حسابياً بسيطاً في الخطوة الأولى، فإنه يحمل هذا الخطأ عبر الخطوة الثانية والثالثة والرابعة. وبحلول النهاية، تكون عملية "المراجعة" كارثة حقيقية.
مشكلة "القواعد مقابل الانطباعات":
غالباً ما يفهم الذكاء الاصطناعي "الانطباع العام" للمحاسبة، لكنه يفتقر إلى الدقة في تطبيق "القانون". قد يعرف أن "المصاريف سيئة بالنسبة للربح"، ولكنه قد يفشل في تطبيق القاعدة القانونية المحددة والصارمة لكيفية تصنيف نوع معين من الضرائب. الأمر يشبه طباخاً يعرف كيف يجعل الطعام مذاقه جيداً، لكنه ينسى باستمرار اتباع قوانين سلامة الغذاء.
4. الحكم النهائي: "مساعد رائع، محاسب سيء"
تخلص الورقة البحثية إلى أنه بينما يعد الذكاء الاصطناعي متدرباً رائعاً —يمكنه المساعدة في تلخيص النصوص أو شرح مفهوم ما— إلا أنه ليس جاهزاً بعد ليكون المدير المالي (CFO).
استعارة الملخص:
الذكاء الاصطناعي الحالي يشبه محامياً جذاباً للغاية ولكنه سيء جداً في الرياضيات. يمكنه الدفاع عن قضية ببراعة ويبدو مقنعاً للغاية، ولكن إذا طلبت منه موازنة دفتر شيكات، فلن تتطابق الأرقام.
المستقبل: لجعل الذكاء الاصطناعي مفيداً حقاً في عالم الأعمال، لا نحتاج فقط لأن يكون "أذكى" أو "أكبر"؛ بل نحتاج إلى تعليمه كيف يكون دقيقاً، ومنضبطاً، ومهووساً بالقواعد.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.