Ebisu: Benchmarking Large Language Models in Japanese Finance
تقدم هذه الورقة Ebisu، وهو معيار مرجعي جديد يتكون من مهمتين تم تعليمهما من قبل خبراء، صُممتا لتقييم التحديات التي تواجهها النماذج اللغوية الكبيرة في فهم الفروق اللغوية والثقافية المعقدة للتمويل الياباني، مما يكشف أن حتى النماذج المتطورة تعاني في استخراج الالتزامات الضمنية والمصطلحات الهرمية رغم الحجم أو التكيف.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول فهم محادثة مهذبة للغاية ومعقدة للغاية بين شركة يابانية ومستثمريها. في هذه المحادثة، نادراً ما تقول الشركة "لا" بشكل مباشر. بدلاً من ذلك، قد يقولون: "سندرس الاحتمالات"، أو "من الصعب إعطاء إجابة حاسمة في الوقت الحالي". بالنسبة لمتحدث أصلي، هذه العبارات هي إشارات واضحة للرفض. ولكن بالنسبة لذكاء اصطناعي تدرب غالباً على اللغة الإنجليزية، حيث يميل الناس إلى أن يكونوا أكثر صراحة، تبدو هذه العبارات وكأنها "ربما" أو حتى "نعم".
هذه الورقة البحثية، التي تحمل عنوان EBISU، تقدم "امتحاناً" جديداً مصمماً لاختبار مدى قدرة الذكاء الاصطناعي (AI) على فهم هذه المحادثات المالية المعقدة والمحددة ثقافياً في اليابان.
إليك تفصيل للورقة البحثية باستخدام تشبيهات بسيطة:
1. المشكلة: فخ "الضياع في الترجمة"
يرى المؤلفون أن نماذج الذكاء الاصطناعي الحالية تشبه السياح الذين درسوا كتاباً مدرسياً يابانياً لكنهم لم يزوروا البلاد فعلياً أبداً.
- العقبة اللغوية: اللغة اليابانية هي لغة "تنتهي بالفعل" (يأتي الفعل في نهاية الجملة) وتستخدم ثلاثة أنظمة كتابة مختلفة مختلطة معاً. الأمر يشبه محاولة قراءة جملة حيث الكلمة الأكثر أهمية مخفية في النهاية تماماً، والكلمات مكتوبة بثلاثة خطوط مختلفة في آن واحد.
- العقبة الثقافية: في ثقافة الأعمال اليابانية، يُعتبر كونه مباشراً جداً أمراً غير مهذب. تستخدم الشركات تواصلاً "عالي السياق"، مما يعني أن المعنى الحقيقي مخفي في النبرة، أو الصمت، أو الطريقة المحددة التي تنتهي بها الجملة، وليس في الكلمات الصريحة.
- النتيجة: حتى أذكى نماذج الذكاء الاصطناعي "تضيع" في هذه الوثائق المالية. إنها تفوت الـ "لا" الضمنية والمصطلحات المالية المعقدة لأنها تبحث عن إجابات مباشرة على الطريقة الإنجليزية.
2. الحل: معيار EBISU
لإصلاح ذلك، أنشأ الباحثون EBISU، وهو اختبار متخصص يتكون من تحديين متميزين (مهام). فكر في الأمر كاختبار قيادة مكون من جزئين.
المهمة 1: اختبار "القراءة ما بين السطور" (JF-ICR)
- السيناريو: يطرح مستثمر سؤالاً صعباً، فتقدم الشركة إجابة مهذبة وغامضة.
- التحدي: يجب على الذكاء الاصطناعي أن يقرر: هل تقول الشركة "نعم، سنفعل ذلك"، أم "ربما، لكن الأمر ينطوي على مخاطرة"، أم "لا، قطعاً ليس كذلك"؟
- الفخ: غالباً ما يخطئ الذكاء الاصطناعي في اعتبار الـ "لا" المهذبة على أنها "ربما" لأنه لا يفهم القواعد الثقافية للرفض غير المباشر.
- البيانات: استخدموا نصوصاً حقيقية من 4 شركات يابانية كبرى على مدار 3 سنوات، تم تصنيفها بعناية من قبل خبراء بشريين يدركون الفرق بين التهرب المهذب والرفض القاطع.
المهمة 2: اختبار "البحث عن إبرة في كومة قش" (JF-TE)
- السيناريو: التقارير المالية اليابانية تشبه غابات كثيفة من النصوص. المصطلحات المالية المهمة غالباً ما تكون مدفونة في عبارات طويلة ومتداخلة ومختلطة بكلمات مستعارة من الإنجليزية والصينية التي تغيرت معانيها بمرور الوقت.
- التحدي: يجب على الذكاء الاصطناٍء العثور على مصطلحات مالية محددة وترتيبها حسب الأهمية.
- الفخ: نظراً لأن الكلمات مختلطة (كانجي، هيراجانا، كاتاكانا) ومتداخلة داخل بعضها البعض، فإن الذكاء الاصطناعي غالباً ما يرتبك حول أين ينتهي مصطلح ما وأين يبدأ الآخر. الأمر يشبه محاولة العثور على مكونات محددة في حساء حيث الملصقات مكتوبة بثلاث لغات مختلفة والمكونات ملتصقة ببعضها البعض.
3. النتائج: الذكاء الاصطناعي يعاني
اختبر الباحثون 22 نموذجاً مختلفاً من نماذج الذكاء الاصطناعي، بما في ذلك أشهر النماذج من الولايات المتحدة (مثل GPT-4 و Claude) ونماذج مدربة خصيصاً على البيانات اليابانية أو المالية.
- بطاقة النتائج: كانت النتائج سيئة بشكل مفاجئ. حتى "أذكى" نماذج الذكاء الاصطناعي حصلت على حوالي 40% فقط من الإجابات الصحيحة.
- الأكبر ليس الأفضل: جعل الذكاء الاصطناعي "أكبر" (بإضافة المزيد من البيانات والمعاملات/parameters) ساعد قليلاً، لكن ليس بما يكفي لحل المشكلة.
- التخصص لم يساعد: من المثير للدهشة أن النماذج التي تم تدريبها خصيصاً على البيانات المالية اليابانية كان أداؤها أسوأ من النماذج العامة في بعض الحالات. يبدو الأمر كما لو أن دراسة كتاب مدرسي محدد جعلت الطالب واثقاً بنفسه أكثر من اللازم وأقل مرونة.
- التحيز: تميل نماذج الذكاء الاصطناعي المدربة على بيانات إنجليزية إلى أن تكون متفائلة للغاية. عندما تكون شركة يابانية غامضة، يفترض الذكاء الاصطناعي المدرب على الإنجليزية أنهم يوافقون، بينما هم في الواقع يرفضون.
4. الخاتمة
تخلص الورقة إلى أنه لا يمكننا مجرد "زيادة حجم" الذكاء الاصطناعي أو ترجمة القواعد المالية الإنجليزية إلى اليابانية. لكي يفهم الذكاء الاصطناعي التمويل الياباني حقاً، يحتاج إلى تعلم الفروق الثقافية الدقيقة والغرابة اللغوية للغة، وليس فقط المفردات.
باختصار: معيار EBISU هو بمثابة "فحص للواقع". إنه يظهر أنه بينما يتفوق الذكاء الاصطناعي في كثير من الأشياء، فإنه حالياً سيء جداً في فهم الطريقة المهذبة وغير المباشرة والمعقدة التي تتحدث بها الشركات اليابانية عن المال. لقد أصدر المؤلفون بيانات الاختبار والأدوات الخاصة بهم حتى يتمكن الباحثون الآخرون من محاولة بناء "مترجمين ثقافيين" أفضل للتمويل.
ملاحظة: يذكر المؤلفون صراحة أن هذه النماذج مخصصة للبحث والتقييم فقط. ويحذرون من أنه حتى إذا سجل الذكاء الاصطناعي درجة جيدة في هذا الاختبار، فلا ينبغي استخدامه لاتخاذ قرارات استثمارية حقيقية أو للامتثال القانوني دون مراجعة الخبراء البشريين لكل شيء.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.