💬 NLP

KMMMU: Evaluation of Massive Multi-discipline Multimodal Understanding in Korean Language and Context

تقدم هذه الورقة KMMMU، وهو معيار مرجعي شامل للغة الكورية الأصلية يتكون من 3,466 سؤالاً امتحانياً متعدد الوسائط عبر تسعة تخصصات، يكشف عن فجوات كبيرة في الأداء في نماذج الذكاء الاصطناعي الحالية نتيجة التحديات في فهم الاصطلاحات والمعايير المحلية والمعرفة الخاصة بكل مجال بدلاً من عمق الاستنتاج.

المؤلفون الأصليون: Nahyun Lee, Guijin Son, Hyunwoo Ko, Chanyoung Kim, JunYoung An, Kyubeen Han, Il-Youp Kwak

نُشر 2026-04-16

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Nahyun Lee, Guijin Son, Hyunwoo Ko, Chanyoung Kim, JunYoung An, Kyubeen Han, Il-Youp Kwak

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول اختبار مدى ذكاء مجموعة من الروبوتات. لقد كنت تقدم لها اختبارات باللغة الإنجليزية، وكانت تحصل على درجات جيدة جدًا؛ حيث يمكنها قراءة اللافتات، والنظر إلى الصور، وحل المسائل الرياضية. ولكن الآن، تريد أن ترى ما إذا كان بإمكانها التعامل مع اختبار مكتوب باللغة الكورية، وتحديدًا اختبار يتعامل مع القوانين الكورية، والعادات المحلية، والامتحانات التقنية التي لا توجد إلا في كوريا الجنوبية.

الورقة البحثية التي شاركتَها تقدم KMMMU، وهو بالضبط هذا: امتحان صعب جديد صُمم خصيصًا لاختبار قدرة نماذج الذكاء الاصطناعي على فهم العالم الكوري، وليس العالم الإنجليائي فقط.

إليك قصة الورقة البحثية، مقسمة إلى مفاهيم بسيطة:

1. المشكلة: فخ "الترجمة"

فكر في اختبارات الذكاء الاصطناعي السابقة مثل قوائم الطعام المترجمة. إذا أخذت قائمة طعام من مطعم فرنسي وترجمتها إلى الإنجليزية، فقد تصيب في الكلمات، لكنك ستفقد "النكهة". قد تفوتك حقيقة أن "الإسكارغو" (Escargot) هو طبق ثقافي محدد، أو أن أحجام الحصص تختلف.

معظم اختبارات الذكاء الاصطناعي اليوم تشبه ذلك. فهي إما مكتوبة بالإنجليزية أو مترجمة من الإنجليزية. وهذا يعني أن الذكاء الاصطناعي يقوم فقط بالتعرف على الأنماط التي يعرفها بالفعل. إنه لم يتعلم فعليًا كيفية التعامل مع القواعد واللوائح والأنماط البصرية الخاصة بمكتب كوري، أو مخطط هندسي كوري، أو وثيقة قانونية كورية.

KMMMU هو "قائمة الطعام المحلية الأصيلة". لم يتم ترجمته؛ بل كُتب بلغته الأصلية الكورية باستخدام امتحانات حقيقية من امتحانات الخدمة المدنية الكورية، وشهادات الهندسة، والأولمبياد الجامعية.

2. الامتحان: "لغز قطع التركيب العملاق"

جمع الباحثون 3,466 سؤالاً. تخيل لغز قطع تركيب (Jigsaw puzzle) عملاق حيث كل قطعة هي نوع مختلف من التحديات:

المواضيع: يغطي 9 مجالات مختلفة، من الهندسة والقانون إلى الفن والتصميم.
العناصر البصرية: الأمر لا يقتصر على النصوص فقط. يجب على الذكاء الاصطناعي النظر إلى مخططات الدوائر الكهربائية، والخرائط، وصور الكاميرا الحرارية، والجداول المعقدة.
"القطع الكورية فقط": هناك قسم خاص يتكون من 300 سؤال يستحيل الإجابة عليها دون معرفة قوانين كورية محددة (مثل كيفية تعريف "المركبة الصغيرة" بموجب قواعد المرور الكورية) أو السياق الثقافي.

3. النتائج: الروبوتات تصطدم بحائط

اختبر الباحثون أذكى نماذج الذكاء الاصطناعي المتاحة (سواء المجانية مفتوحة المصدر أو النماذج "الاحترافية" المكلفة) في هذا الامتحان.

الدرجة: حتى أفضل نماذج الذكاء الاصطناعي حصلت فقط على حوالي 52% في الأسئلة الأكثر صعوبة. هذه بالكاد تعتبر درجة نجاح لطالب في المدرسة الثانوية، ناهيك عن كونها لـ "روبوت فائق الذكاء".
الفجوة: عندما تطلبت الأسئلة معرفة كورية محددة (مثل القوانين المحلية)، انخفض أداء الذكاء الاصطناعي بشكل كبير. إنه يشبه السائح الذي يعرف كيف يطلب القهوة في سيول، ولكنه يضيع عندما يُطلب منه ملء نموذج ضريبي.
نقاط الاختناق: عانى الذكاء الاصطناعي أكثر في مجال القانون والأخلاق والفنون والتصميم. لماذا؟ لأن هذه المجالات تعتمد على حفظ قواعد وتسميات محددة وصارمة للغاية لا توجد في "المعرفة العامة بالعالم" التي تعلمها الذكاء الاصطناعي من الإنترنت.

4. لماذا فشلوا؟ (السبب وراء الدرجة)

نظر الباحثون في كيفية فشل الذكاء الاصطناعي، ولم يكن السبب أن الروبوتات كانت "غبية". لقد فشلوا لثلاثة أسباب محددة:

مشكلة "القاموس": كان بإمكان الذكاء الاصطناعي قراءة الكلمات الكورية، لكنه لم يكن يعرف التعريف الرسمي.
- التشبيه: تخيل أن روبوتًا يرى صورة سيارة. هو يعرف أنها "سيارة". لكن القانون الكوري يقول: "إذا كانت تمتلك محركًا بين 1000 و1600 سم مكعب، فهي 'مركبة صغيرة' ولها معدل ضريبة مختلف". الذكاء الاصطناعي يرى "سيارة" ولكنه يفتقد التسمية القانونية المحددة "مركبة صغيرة". الأمر يشبه معرفة ما هو "الكلب"، لكن عدم معرفة السلالة المحددة المطلوبة في عرض للكلاب.
مشكلة "النمط": طلبت بعض الأسئلة من الذكاء الاصطناعي استنتاج قاعدة سرية من بعض الأمثلة (مثل لغز منطقي).
- التشبيه: إذا أظهرت لروبوت ثلاث صور لوجه "سعيد" وصورة واحدة لوجه "حزين"، وسألته أن يخمن القاعدة، فقد يخمن أن "الابتسامة تعني السعادة". لكن إذا كانت القاعدة هي في الواقع أن "العيون الزرقاء تعني السعادة"، فسيصاب الروبوت بالارتباك لأنه يخمن بناءً على ما يعتقد أنه شائع، وليس بناءً على القاعدة المحددة أمامه.
ضجيج "الترجمة": في بعض الأحيان، حاول الذكاء الاصطناعي ترجمة السؤال الكوري إلى الإنجليزية في ذهنه لحله، وفي هذه العملية، فقد الفروق الدقيقة.
- التشبيه: الأمر يشبه محاولة حل لغز مكتوب بلهجة لا تتحدثها عن طريق ترجمة كل كلمة حرفيًا إلى لغتك الأم. ستفقد النكتة معناها لأن السياق الثقافي قد ضاع.

5. "الوضع الصعب"

أنشأ الباحثون أيضًا "مجموعة فرعية صعبة" مكونة من 627 سؤالاً أخفقت حتى أذكى النماذج في حلها. أرادوا معرفة ما إذا كان بإمكان الذكاء الاصطناعي التعلم من أخطائه.

النتيجة: حتى مع نماذج "التفكير" (الذكاء الاصطناعي الذي يتحدث مع نفسه قبل الإجابة)، لم يتحسنوا كثيرًا. هذا يثبت أن المشكلة ليست في أن الذكاء الاصطناعي لا "يفكر بعمق كافٍ". المشكلة هي أنه لا يمتلك المعلومات الصحيحة (القواعد المحلية) أو لا يستطيع ربط الأدلة البصرية بالتسميات الصحيحة.

الخلاصة الكبرى

هذه الورقة البحثية هي بمثابة جرس إنذار. إنها تخبرنا أن كونك جيدًا في اللغة الإنجليزية والعلوم العامة لا يجعلك خبيرًا في بلد معين.

إذا أردنا للذكاء الاصطناعي أن يساعد الأطباء والمحامين والمهندسين في كوريا، فلا يمكننا مجرد ترجمة الاختبارات الإنجليزية. نحن بحاجة إلى بناء أنظمة تفهم الثقافة المحلية، والقوانين المحددة، واللغة البصرية الفريدة لذلك البلد. KMMMU هي الخطوة الأولى في بناء هذا الجسر، لضمان أن الذكاء الاصطناه المستقبلي ليس مجرد "سائح عالمي"، بل "خبير محلي".

إليك ملخص تقني مفصل لورقة البحث بعنوان: "KMMMU: تقييم الفهم متعدد الوسائط واسع النطاق ومتعدد التخصصات في اللغة والسياق الكوري."

1. بيان المشكلة

أظهرت النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) قدرات قوية في الاختبارات المرجعية التي تركز على اللغة الإنجليزية (مثل MMMU). ومع ذلك، تفشل التقييمات الحالية في تقييم الأداء بدقة في السياقات غير الإنجليزية، لا سيالما في المهام التي تشكلها:

الأعراف المؤسسية المحلية: المعايير القانونية والإدارية والتعليمية المحددة والفريدة لكل دولة.
التنسيقات البصرية الخاصة بالتخصصات: الرسوم البيانية التقنية، والجداول التنظيمية، والرموز الثقافية التي تختلف عن المعايير العالمية.
المواد كثيفة المعلومات: الوثائق المعقدة التي تتطلب دمجاً عميقاً بين الاستدلال البصري والنصي.

غالباً ما تفتقر الاختبارات المرجعية المترجمة إلى هذه الفروق الدقيقة، مما يؤدي إلى "فجوة التوطين" حيث تؤدي النماذج بشكل جيد في المعرفة العامة ولكنها تفشل في المهام المتخصصة والمتجذرة ثقافياً. هناك نقص في وجود اختبار مرجعي واسع النطاق باللغة الكورية الأصلية يغطي تخصصات متنوعة ويتحدى النماذج بمسائل متعددة الوسائط وكثيفة المعلومات.

2. المنهجية

أ. بناء مجموعة البيانات (KMMMU)

قام المؤلفون ببناء KMMMU، وهو اختبار مرجعي كوري أصلي يحتوي على 3,466 سؤالاً مستمداً من الامتحانات والمسابقات الرسمية في كوريا.

المصادر: التوظيف للخدمة المدنية (PSAT)، المؤهلات الفنية الوطنية (NTQ)، معايير الكفاءة الوطنية (NCS)، والأولمبياد الأكاديمية.
النطاق والتنوع: تغطي مجموعة البيانات 9 تخصصات (الهندسة، العلوم الطبيعية، علوم الحاسب وتكنولوجيا المعلومات، الأعمال والقطاع العام، العلوم الاجتماعية، الرياضيات والإحصاء، العام، القانون والأخلاق، الفنون والتصميم) و 9 فئات للوسائط البصرية (الرسوم البيانية، الجداول، النصوص/الأكواد، الصور، إلخ).
خط إنتاج التعليقات التوضيحية:
1. الجمع: تم جمع حوالي 68,000 حالة خام عبر الزحف الشبكي والتعرف الضوئي على الحروف (MinerU-2.5).
2. التحقق: قام خمسة معلقين بشريين بالتحقق من صيغ LaTeX، وقص الصور، ووضوح القراءة.
3. التصفية التنافسية: قامت عملية تصفية متعددة المراحل بإزالة الأسئلة التي يمكن حلها بواسطة أربعة نماذج أساسية قوية (Phi-3.5-Vision, InternVL-3.5, Gemini-2.5-Flash-Lite, Gemini-2.5-Flash) في إعداد الصفر-محاولة (zero-shot). يضمن ذلك أن يحتوي الاختبار المرجعي النهائي فقط على الحالات الصعبة وغير المحلولة.
4. التصنيف: يتم وسم العناصر حسب التخصص، والوسائط البصرية، وتنسيق السؤال، وعلامة "خاص بالكورية" (لتحديد الأسئلة التي تتطلب معرفة مؤسسية محلية).

ب. المجموعات الفرعية الخاصة

المجموعة الفرعية الصعبة: 627 سؤالاً (18% من الإجمالي) أخفقت فيها ثلاثة نماذج رائدة (Gemma-3-27B, Qwen3-VL-235B, GPT-5-nano).
المجموعة الفرعية الخاصة بالكورية: 300 سؤال تستهدف تحديداً المعرفة القانونية والإدارية والثقافية المحلية.

ج. الإعداد التجريبي

النماذج التي تم تقييمها: مجموعة متنوعة من النماذج مفتوحة المصدر (Gemma-3, Qwen3-VL, Llama-4, VARCO-VISION, HyperCLOVAX) والنماذج المملوكة (GPT-5, Claude-Opus/Sonnet, Gemini-3, Grok-4).
بروتوكول التقييم: إعداد الصفر-محاولة (zero-shot) مع مطالبة موحدة. تم تقييم الاستجابات باستخدام إطار عمل LLM-Judge، والذي تم التحقق من صحته مقابل التعليقات البشرية (مما أظهر توافقاً عالياً، $\kappa \approx 0.88-0.98$ ).

3. المساهمات الرئيسية

أول اختبار مرجعي خبير كوري أصلي: يعد KMMMU أول اختبار مرجعي متعدد الوسائط واسع النطامل باللغة الكورية الأصلية والمصمم للاستدلال على مستوى الخبراء، متجاوزاً مجموعات البيانات المترجمة لالتقاط الخصوصية اللغوية والثقافية.
التصفية التنافسية للصعوبة: يضمن استخدام خط أنابيب تصفية تنافسي متعدد النماذج بقاء الاختبار المرجعي غير مشبع وصعباً أمام النماذج الرائدة الحالية.
التحليل التفصيلي لأنماط الفشل: تقدم الورقة تصنيفاً مفصلاً للأخطاء، مع التمييز بين فشل عمق الاستدلال وفشل استدعاء المعرفة، ورسم الخرائط الاصطلاحية، والاستنتاج الرمزي.
فجوة الأداء الخاصة بالكورية: يسمح إدخال "علامة خاصة بالكورية" بعزل فجوات الأداء الناتجة عن المعرفة المحلية مقابل القدرة متعددة الوسائط العامة.

4. النتائج الرئيسية

أ. الأداء العام

دقة منخفضة: حتى أقوى النماذج تعاني. حقق أفضل نموذج مفتوح المصدر (Qwen3-VL-235B-A22B-Thinking) نسبة 42.05% فقط على المجموعة الكاملة. بينما وصل أفضل نموذج مملوك (Gemini-3-Pro) إلى 52.42% في المجموعة الصعبة.
الحجم مقابل الاستدلال: بينما يحسن حجم النموذج الأداء بشكل عام، فإن الاستدلال الصريح (سلسلة الأفكام - Chain-of-Thought) يحقق مكاسب غير متسقة. في كثير من الحالات، يساعد الاستدلال في تنسيق الإجابة ولكنه يفشل في استعادة المعرفة المفقودة في المجال.

ب. التباين في التخصصات

الاختناقات: تظل تخصصات العام والفنون والتصميم اختناقات مستمرة لجميع النماذج، حيث تكون الدقة غالباً أقل من 30% حتى بالنسبة لأفضل النماذج.
نقاط القوة: تؤدي النماذج بشكل أفضل نسبياً في الهندسة والعلوم الطبيعية، وإن كانت لا تزال بعيدة عن المثالية.

ج. التحديات الخاصة بالكورية

فجوة الأداء: تظهر النماذج متعددة اللغات القوية انخفاضاً كبيراً في الدقة في الأسئلة الخاصة بالكورية مقارنة بغير الكورية.
- مثال: انخفض نموذج Qwen3-VL-235B-A22B-IT من 40.62% (غير كوري) إلى 27.11% (خاص بالكورية)، بفجوة قدرها -13.51%.
التوطين مقابل التعميم: تظهر النماذج التي تركز على الكورية (مثل HyperCLOVAX) أداءً أفضل قليلاً في العناصر الخاصة بالكورية ولكنها تعاني من قدرة إجمالية أقل، مما يشير إلى أن التخصص اللغوي وحده غير كافٍ للاستدلال الخبير.

د. نتائج تحليل الأخطاء

حددت الورقة أن الإخفاقات نادراً ما تعود إلى عدم كفاية عمق الاستدلال، بل تنبع من:

رسم خرائط الاصطلاح إلى الملصقات (Convention-to-Label Mapping): تفشل النماذج في ربط الإشارات البصرية بالمصطلحات التنظيمية المحددة والمحلية (على سبيل المثال، الخلط بين "المركبة الصغيرة" و"المركبة الركابية" في قوانين المرور الكورية).
الاستنتاج الرمزي من أمثلة قليلة (Few-Shot Symbolic Induction): صعوبة في استنتاج القواعد الكامنة من أمثلة شحيحة (شائع في مهام العام/اللغويات).
استدعاء المعرفة المحلية: عدم القدرة على استرجاع المعايير المؤسسية المحددة (مثل أنصاف أقطار الدوران المحددة في لوائح الطرق الكورية).
إكمال الإجابة: غالباً ما تولد نماذج الاستدلال خطوات وسيطة منطقية ولكنها تفشل في إنهاء الإجابة بشكل صحيح أو تنسيقها وفقاً للقيود الصارمة.

5. الأهمية

ما وراء التقييم المرتكز على الإنجليزية: يثبت KMMMU أن الأداء العالي في الاختبارات المرجعية الإنجليزية لا يضمن القوة في السياقات الثقافية والمؤسسية المحددة.
أداة تشخيصية: يعمل الاختبار المرجعي كمنصة اختبار تشخيصية لتحديد نقاط الضعف المحددة في النماذج (MLLMs)، مثل عدم القدرة على التعامل مع الوثائق المحلية "كثيفة المعلومات" أو المصطلحات التقنية المتخصصة.
الاتجاهات المستقبلية: تشير النتائج إلى أن تحسين النماذج (MLLMs) للمهام الخبيرة في العالم الحقيقي يتطلب:
- التدريب المسبق على مواد تقنية متخصصة ونادرة.
- التدريب اللاحق (Post-training) باستخدام بيانات تعليمية تفرض الالتزام الصارم بالمعايير والأعراف المحلية.
- تعزيز آليات الاستنتاج الرمزي من أمثلة قليلة والاسترجاع الدقيق للمعرفة.

في الختام، يضع KMMMU معياراً صارماً لتقييم الفهم متعدد الوسائط في السياقات الكورية، كاشفاً أن النماذج الحالية بعيدة كل البعد عن المتانة في السيناريوهات الخبيرة والمتجذرة ثقافياً، ويرجع ذلك أساساً إلى الفجوات في المعرفة المحلية ورسم خرائط الاصطلاحات بدلاً من قدرات الاستدلال.