KorNAT: LLM Alignment Benchmark for Korean Social Values and Common Knowledge
تقدم هذه الورقة KorNAT، وهو أول معيار لتقييم مدى توافق النماذج اللغوية الكبيرة مع كوريا الجنوبية من خلال تقييم فهمها للقيم الاجتماعية الخاصة بالدولة عبر استطلاع واسع النطاق والمعرفة العامة عبر أسئلة مستندة إلى الكتب المدرسية، مما يكشف أن النماذج الحالية غالباً ما تفتقر إلى معايير التوافق المطلوبة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناائي المتطور بسرعة، أصبحت النماذج اللغوية الكبيرة أدوات قوية قادرة على كتابة القصص، وحل المشكلات، والإجابة على الأسئلة بطلاقة كانت تبدو مستحيلة في السابق. يتم تدريب هذه الأنظمة على كميات هائلة من النصوص من الإنترنت، حيث تتعلم أنماط اللغة والمعرفة البشرية. ومع ذلك، ظهرت فجوة كبيرة في كيفية تفاعل هذه النماذج مع الثقافات المختلفة. فبينما تتفوق هذه النماذج في فهم المفاهيم العامة، فإنها غالبًا ما تجد صعوبة في استيعاب القيم الاجتماعية المحددة، والسياق التاريخي، والمعرفة العامة اليومية التي تحدد ملامح الحياة في بلد معين. قد يعرف النموذج حقائق الفيزياء، وهي حقائق عالمية، لكنه قد يفشل في فهم الآراء الدقيقة لمجتمع ما بشأن القوانين المحلية، أو الطريقة المحددة التي تتذكر بها أمة ما تاريخها. ولكي يكون الذكاء الاصطناعي مفيدًا وآمنًا حقًا في بلد معين، يجب أن يتوافق مع العقلية الجماعية والمعرفة الأساسية لشعب ذلك البلد.
لقد اتخذ باحثون في كوريا الجنوبية خطوة رئيسية نحو حل هذه المشكلة من خلال ابتكار طريقة جديدة لقياس مدى فهم هذه العقول الرقمية لطريقة الحياة الكورية. فقد قدموا معيارًا يُسمى "KorNAT"، والذي يعمل كاختبار شامل للذكاء الاصطناعي، مصمم خصيصًا لمعرفة ما إذا كان بإمكان النموذج أن يفكر ويشعر مثل المواطن الكوري. وقد بنى الفريق هذا الاختبار حول ركيزتين أساسيتيْن: القيم الاجتماعية والمعرفة العامة. تشير القيم الاجتماعية إلى الآراء المشتركة التي يحملها الناس حول القضاية المجتمعية الهامة، مثل ما إذا كان ينبغي تغيير قوانين معينة أو كيفية التعامل مع الصراعات الاجتماعية. وتغطي المعرفة العامة الحقائق الأساسية والرموز الثقافية التي يتعلمها معظم الناس في المدرسة، من التاريخ والأدب إلى العلوم والجغرافيا. ومن خلال اختبار النماذج على هذين الجبهتين، تمكن الباحثون من تحديد ما إذا كان الذكاء الاصطناعي يكتفي بمجرد سرد الحقائق أم أنه يفهم حقًا النسيج الثقافي للأمة.
ولبناء هذا الاختبار، لم يكتفِ الباحثون بسؤال عدد قليل من الخبراء عن آرائهم، بل أجروا مسحًا ضخمًا شمل 6,174 مشاركًا كوريًا فريدًا. لقد طرحوا على هؤلاء الأشخاص الحقيقيين مجموعة واسعة من الأسئلة حول القضايا الاجتماعية الراهنة، وجمعوا مجموعة متنوعة من الاستجابات لتحديد شكل الإجابة "الصحيحة" بالنسبة للبلد. وبالنسبة لجزء القيم الاجتماعية في الاختبار، لا توجد إجابة واحدة صحيحة؛ بل الهدف هو أن يتطابق الذكاء الاصطناعي مع توزيع الآراء الموجودة لدى عامة السكان. فإذا اتفق معظم الناس مع عبارة ما، يجب أن يتفق النموذج معها أيضًا. أما بالنسبة لجزء المعرفة العامة، فقد استُمدت الأسئلة من الكتب المدرسية والمواد التعليمية الكورية القياسية، لتغطي موضوعات مثل التاريخ الكوري، والدراسات الاجتماعية، والعلوم. وهذه الأسئلة لها إجابات صحيحة محددة، تشبه الاختبار المدرسي، لاختبار ما إذا كان النموذج يعرف الحقائق الأساسية التي ينبغي لكل شخص كوري متعلم معرفتها.
بعد ذلك، وضع الفريق سبعة من أكثر نماذج الذكاء الاصطناعي تقدمًا في العالم تحت الاختبار. وكشفت النت النتائج عن انقسام واضح بين النماذج القادرة بشكل عام وتلك المتوافقة حقًا مع الثقافة الكورية. وبينما قدمت بعض النماذج العالمية الرائدة أداءً جيدًا إلى حد ما، إلا أنها غالبًا ما أخفقت في الوصول إلى المعيار الذي وضعه المسح الاستقصائي. وقد برز نموذج واحد، تم تدريبه خصيصًا على كمية كبيرة من النصوص الكورية، كأكثر النماذج توافقًا؛ حيث أظهر فهمًا أعمق بكًا لكل من القيم الاجتماعية والمعرفة العامة للبلد، متفوقًا على الآخرين بشكل ملحوظ. وهذا يشير إلى أنه بينما يعد الذكاء العام قويًا، إلا أنه ليس كافيًا بمفرده؛ إذ يحتاج النموذج إلى تدريب ثقافي محدد لكي يتردد صداه حقًا لدى السكان المحليين.
كما سلطت الدراسة الضوء على أن حتى أفضل النماذج أداءً لديها مجال للتحسين. ففي قسم القيم الاجتماعية، تمكنت نماذج قليلة فقط من الوصول إلى مستوى التوافق الذي اعتبره الباحثون درجة مرجعية. وفي قسم المعرفة العامة، كانت النتائج مماثلة، حيث عانت معظم النماذج للوصలు إلى عتبة المعرفة الأساسية المتوقعة من شخص بالغ في البلاد. وأشار الباحثون إلى أن بعض النماذج كانت مترددة في الإجابة على الأسئلة المتعلقة بالقيم الاجتماعية، ربما لأنها بُرمجت لتجنب اتخاذ مواقف في المواضيع المثيرة للجدل. وهذا التردد، رغم كونه حسن النية، يعني أنها فشلت في عكس الآراء الفعلية للناس الذين كان من المفترض أن تخدمهم. وتشير النتائج إلى أنه لكي يتم نشر الذكاء الاصطناعي بفعالية في بلد معين، يجب ضبطه بعناً ليفهم ليس فقط اللغة، بل أيضًا قيم ومعرفة المجتمع.
يمثل هذا العمل المرة الأولى التي يتم فيها إنشاء معيار لقياس التوافق الوطني بهذه الطريقة المحددة، متجاوزًا مجرد الترجمة اللغوية البسيطة لاختبار الفهم الثقافي. وقد تمت مراجة واعتماد مجموعة البيانات، التي تحتوي على آلاف الأسئلة المختارة بعناً، من قبل منظمة تابعة للحكومة مكرسة لضمان جودة البيانات. ومن خلال إتاحة هذا الاختبار، يأمل الباحثون في تشجيع تطوير ذكاء اصطناعي أكثر شمولاً وملاءمة للاحتياجات المتنوعة لمختلف الأمم. والهدف النهائي هو ضمان أنه مع تحول هذه الأدوات القوية إلى جزء من الحياة اليومية، يمكنها مساعدة الناس بطرق تبدو طبيعية، ومحترمة، ومتجذرة في واقع ثقافتهم الخاصة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.