Building Korean linguistic resource for NLU data generation of banking app CS dialog system
تقدم هذه الورقة بناء مجموعة البيانات المالية المشروحة (FIAD)، وهي مورد لغوي كوري مستمد من مراجعات تطبيقات الخدمات المصرفية ورسوم بيانية للقواعد المحلية (Local Grammar Graphs)، والتي تُستخدم لتوليد بيانات تدريب مشروحة تعمل على تحسين أداء نماذج فهم اللغة الطبيعية (NLU) المختلفة في أنظمة الحوار لخدمة العملاء المصرفيين بشكل كبير.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت كيف يتحدث مع الأشخاص الغاضبين أو المرتبكين بشأن حساباتهم المصرفية. وللقيام بذلك، يحتاج الروبوت إلى "كتاب مدرسي" مليء بالأمثلة لما يقوله الناس بالفعل. ولكن تكمن المشكلة في أن البشر الحقيقيين فوضويون؛ فهم يستخدمون لغة عامية، ويغضبون، ويستخدمون مستويات مختلفة من الأدب، ويقولون الشيء نفسه بألف طريقة مختلفة. إن جمع أمثلة حقيقية كافية يدويًا يشبه محاولة التقاط كل قطرة مطر في عاصفة باستخدام دلو؛ الأمر يستغرق وقتًا طويلاً ومكلفًا للغاية.
تقدم هذه الورقة البحثية حلاً يسمى FIAD (مجموعة البيانات المالية المشروحة). فكر في FIAD ليس كدلو لجمع المطر، بل كـ "مصنع جمل عالي التقنية".
إليك كيف يعمل هذا المصنع، مقسمًا إلى خطوات بسيية:
1. المخطط الهندسي (تحليل البيانات)
أولاً، لم يكتفِ الباحثون بالتخمين فيما يقوله الناس، بل ذهبوا إلى "المصدر": فقد اطلعوا على أكثر من 126,000 مراجعة لتطبيقات البنوك. ركزوا على المراجات غير الراضية (التقييمات المنخفضة) لأن الناس هناك هم الأكثر عرضة لقول عبارات مثل "أصلحوا هذا!" أو "لا يمكنني فعل ذلك!". استخدموا أداة حاسوبية لتجزئة هذه المراجعات إلى أصغر وحداتها البنائية (الكلمات والأجزاء القواعدية) لمعرفة الأنماط الناشئة.
2. سيور النقل الثلاثة (بناء الموارد)
بدلاً من كتابة الجمل واحدة تلو الأخرى، قاموا ببناء آلة تحتوي على ثلاثة سيور نقل رئيسية. يضيف كل سير جزءًا محددًا إلى الجملة:
السير (أ): "الماهية" (الموضوع - TOPIC)
هذا السير يحتوي على الأسماء. ويتكون من حاويتين:- الكيانات (Entities): أسماء محددة مثل "كاكاو بنك" أو "توس آب".
- الميزات (Features): كلمات مصرفية عامة مثل "قرض"، "حساب"، أو "سرعة".
- التشبيه: هذا يشبه صندوق مكعبات "ليجو"؛ يمكنك اختيار مكعب أحمر (كاكاو بنك) أو مكعب أزرق (توس آب)، لكنهما جميعًا لهما نفس الشكل (اسم).
السير (ب): "الفعل" (الحدث - EVENT)
هذا السير يحتوي على الأفعال والمنطق. وهو يحدد الفعل الذي يحدث، مثل "إنشاء"، "إرسال"، أو "شراء".- الفلتر الذكي: هذا السير ذكي؛ فهو يعرف أنه يمكنك "إنشاء" حساب، ولكن لا يمكنك "إنشاء" سرعة. إنه يتحقق من القواعد للتأكد من أن الفعل يتناسب مع الاسم. إذا حاولت وضع "إنشاء" بجانب "سرعة"، فإن الآلة ترفض ذلك.
السير (ج): "النبرة" (علامات الخطاب - DISCOURSE MARKER)
هذا هو الجزء الأكثر تميزًا. في اللغة الكورية، كيفية إنهاء الجملة تغير معناها ومستوى أدبها. هذا السير يضيف "النكهة".- يمكنه إضافة نهاية مهذبة ("هل يمكنك من فضلك...؟")، أو أمر مباشر ("افعل ذلك!")، أو سؤال ("هل يمكنك...؟").
- كما أنه يتعامل مع صيغ التبجيل/الاحترام (honorifics) (مستويات الاحترام). تمامًا كما قد تتحدث بشكل مختلف مع مديرك مقابل صديقك المقرب، يمكن لهذا السير توليد جمل رسمية، أو مهذبة، أو غير رسمية.
3. خط التجميع (توليد البيانات)
الآن، يحدث السحر. تقوم الآلة بربط هذه السيور الثلاثة:
- تختار اسمًا من السير (أ).
- تختار فعلًا مطابقًا من السير (ب).
- تغلفه بنبرة محددة من السير (ج).
ولأن الآلة يمكنها دمج هذه الأجزاء بطرق ملايين، يمكنها توليد 60 تريليون جملة محتملة! ومع ذلك، لا يستخدم الباحثون جميعها؛ بل يستخدمون معادلة لاختيار الجمل الأكثر طبيعية وقصرًا أولاً (لأن الناس عادة ما يحاولون الاختصار).
4. تجربة القيادة (التجارب)
أخذ الباحثون الجمل التي ولدها هذا المصنع واستخدموها لتدريب نموذج ذكاء اصطناعي (دماغ رقمي) لفهم الطلبات المصرفية.
- النتيجة: تعلم الذكاء الاصطناعي بشكل جيد جدًا. استطاع تخمين ما يريده المستخدم (الهدف/النية) بدقة 95% من الوقت، واستطاع تحديد التفاصيل المحددة (الكيان، مثل أي بنك أو أي منتج) بدقة 86% من الوقت.
- المقارنة: اختبروا "أدمغة" مختلفة (نماذج مدربة مسبقًا) لمعرفة أي منها يعمل بشكل أفضل مع هذه البيانات الجديدة. النموذج الذي استخدم دماغًا لغويًا كوريًا محددًا (KorBERT) كان الأفضل أداءً.
الخلاصة
تزعم الورقة البحثية أنه بدلًا من توظيف مئات الأشخاص لكتابة آلاف الجمل يدويًا، يمكنك بناء "كتاب وصفات لغوي" (FIAD). يحتوي هذا الكتاب على قواعد القواعد، ومفردات الخدمات المصرفية، وقواعد الأدب. ومن خلال اتباع هذه القواعد، يمكنك تلقائيًا خبز "كعكة" ضخمة وعالية الجودة من بيانات التدريب. يتيح لك ذلك تعليم روبوت الدردشة المصرفي فهم العملاء الكوريين بسرعة، وبتكلفة منخفضة، وبدقة، دون الحاجة للانتظار حتى يكتب البشر الحقيقيون كل تنوع ممكن للطلب.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.