💬 NLP

TARAZ: Persian Short-Answer Question Benchmark for Cultural Evaluation of Language Models

تقدم هذه الورقة البحثية TARAZ، وهو معيار جديد للإجابات القصيرة باللغة الفارسية وإطار تقييم هجين يتغلب على قيود خيارات متعددة ومقاييس المطابقة التامة الحالية لتقييم الكفاءة الثقافية للنماذج اللغوية الكبيرة بشكل أكثر دقة من خلال التطبيع الصرفي وتسجيل التشابه الدلالي.

المؤلفون الأصليون: Reihaneh Iranmanesh, Saeedeh Davoudi, Pasha Abrishamchian, Ophir Frieder, Nazli Goharian

نُشر 2026-03-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Reihaneh Iranmanesh, Saeedeh Davoudi, Pasha Abrishamchian, Ophir Frieder, Nazli Goharian

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيفية فهم الثقافة البشرية. تقدم له اختباراً، لكن الاختبار مكتوب بلغة يتقنها الروبوت جيداً (الإنجليزية)، والأسئلة هي مجرد صيغ بسيطة مثل "نعم/لا" أو "اختيار من متعدد". قد يحصل الروبوت على درجة عالية لمجرد حفظ الحقائق، لكنه لا يستوعب في الواقع "الجو العام"، أو الفكاهة، أو القواعد غير المكتوبة للثقافة.

هذه الورقة البحثية، TARAZ، تشبه اختباراً جديداً، أكثر صعوبة، وأكثر إنصافاً، صُمم خصصاً للمتحدثين باللغة الفارسية ليرى ما إذا كانت نماذج الذكاء الاصطناعي تفهم ثقافتهم حقاً.

إليك تفاصيل ما قام به الباحثون، باستخدام بعض التشبيهات من الحياة اليومية:

1. المشكلة: فخ "الاختيار من متعدد"

تخيل أنك تختبر معرفة طالب بكرة القدم الأمريكية.

الطريقة القديمة (الاختيار من متعدد): تسأله: "من فاز بـ السوبر بول في عام 2020؟". يختار الطالب "أ". لقد أصاب الإجابة. ولكن هل يفهم اللعبة؟ لا، لقد حفظ حقيقة فحسب.
المشكلة مع الفارسية: معظم اختبارات الذكاء الاصطناعي للثقافة الفارسية كانت هكذا. كانت تستخدم أسئلة الاختيار من متعدد (MCQs) وتتحقق مما إذا كانت الإجابة تطابق النص الأصلي تماماً.
اللمسة الفارسية: اللغة الفارسية لغة "متغيرة الشكل". كلمة مثل "خبز" يمكن كتابتها بشكل رسمي، أو غير رسمي، أو بلكنات مختلفة، أو باستخدام أرقام مختلفة (الأرقام العربية مقابل الأرقام الفارسية). إذا قال الروبوت "خبز" وكانت ورقة الإجابة تقول "خبز (بصيغة غير رسمية)"، فإن الكمبيوتر الصارم سيقول: "خطأ!" رغم أن المعنى متطابق. الاختبارات القديمة كانت كمعلم يرسب طالباً لأنه كتب "colour" بدلاً من "color".

2. الحل: "الإجابة القصيرة" كالمحادثة

أنشأ الباحثون إطار عمل TARAZ، الذي يعامل الذكاء الاصطناعي كبشر في محادثة، وليس كآلة تملأ ورقة إجابات.

تنسيق الاختبار: بدلاً من اختيار أ، ب، ج، أو د، يتعين على الذكاء الاصطناعي كتابة إجابة حرة.
- مثال: "ماذا يفعل الناس عادةً في المطار الإيراني قبل الرحلة؟"
- إجابة الذكاء الاصطنا stick: "يطلبون السماح/الاستغفار".
- الاختبار القديم: كان سيفشل إذا لم يطابق العبارة الموجودة في قاعدة البيانات بدقة.
- TARAZ: يفهم أن "طلب السماح" هو السلوك الثقافي الصحيح، حتى لو اختلفت الصياغة قليلاً.

3. "المترجم السحري" (المعالجة اللاحقة)

اللغة الفارسية صعبة لأن بها الكثير من المتغيرات. ولحل هذه المشكلة، بنى الفريق مترجماً رقمياً يعمل كمحرر ذكي جداً قبل تقييم الذكاء الاصطناعي.

التشبيه: تخيل أنك تصحح مقال طالب، لكن الطالب كتب "56" بينما ورقة الإجابة تقول "۵۶" (أرقام فارسية)، أو استخدم كلمة معقدة لـ "و" بينما ورقة الإجابة تستخدم كلمة بسيطة.
ما يفعله TARAZ: قبل التقييم، يقوم بعملية "تنميط" لكل شيء. يحول جميع الأرقام إلى نفس التنسيق، ويزيل الحركات غير الضرورية، ويقسم الجمل الطويلة إلى أجزاء منطقية. الأمر يشبه المعلم الذي يقول: "حسناً، أرى أنك قصدت '56' و'و'، دعونا نتجاهل الاختلافات في الخط وننظر إلى المعنى".

4. "الصالات الرياضية الثقافية الثلاث" (مجموعات البيانات)

لاختبار الذكاء الاصطناعي بشكل شامل، استخدموا ثلاثة أنواع مختلفة من "الصالات الرياضية" (مجموعات البيانات):

BLEnD (المعرفة اليومية): مثل ليلة الأسئلة العامة (Trivia). "ما هي الوجبة الخفيفة الشائعة للأطفال؟" (فاكهة، سندوتشات، إلخ).
PerCul-SAQ (وقت القصة): يقرأ الذكاء الاصطناعي قصة قصيرة عن موقف ثقافي، وعليه أن يخمن ماذا سيحدث بعد ذلك أو ما هو الشيء المستخدم. يشبه الأمر قراءة رواية غموض وعليك حل اللغز الثقافي.
ISN-SAQ (القواعد الاجتماعية): يختبر هذا "القواعد غير المكتوبة". "ما هو التصرف المهذب في بازار مزدحم؟" (الإجابة: المساومة). هذا هو الاختبار الأصعب لأنه يتطلب فهم الفروق الاجتماعية الدقيقة، وليس مجرد الحقائق.

5. النتائج: من اجتاز الاختبار؟

اختبر الباحثون 15 نموذجاً مختلفاً من الذكاء الاصطناعي (بعضها نماذج شهيرة مثل GPT-5 و Claude، وبعضها نماذج أصغر مخصصة للفارسية).

الفائزون الكبار: حققت النماذج الضخمة والمغلقة (مثل GPT-5 و Claude Opus) أفضل أداء. إنها تشبه "رياضيي الأولمبياد" في عالم الذكاء الاصطناعي؛ فقد رأت كميات هائلة من البيانات لدرجة أنها تفهم الفروق الثقافية الدقيقة بالفطرة.
المفاجأة: حققت بعض النماذج مفتوحة المصدر والأصغر حجماً (مثل Gemma-2) أداءً جيداً بشكل مفاجئ، وكادت تلحق بالعمالقة.
الصعوبات: النماذج التي تم "ضبطها بدقة" (Fine-tuned) خصيصاً للفارسية أدت في الواقع بشكل أسوأ من النماذج العامة الضخمة.
- لماذا؟ الأمر يشبه طالباً حفظ القاموس لكنه لم يتحدث مع الناس أبداً. كان يعرف الكلمات لكنه لم يفهم الثقافة. يشير الباحثون إلى أن هذه النماذج تحتاج إلى تدريب ثقافي واقعي أكثر، وليس مجرد ترجمة لغوية.

6. "الإنسان مقابل الروبوت": من هو الحكم الأفضل؟

أخيراً، سألوا: "من هو المصحح الأفضل: الإنسان أم الذكاء الاصطناعي؟"

استخدموا مصححاً جديداً يعتمد على الذكاء الاصطناعي (يسمى Maux) والذي يستخدم "المترجم السحري" المذكور سابقاً.
النتيجة: اتفق المصحح الآلي الجديد مع الحكام البشر بنسبة 95%.
الخلاصة: طريقة "المطابقة التامة" القديمة كانت تشبه روبوتاً بقواعد جامدة. أما طريقة TARAZ الجديدة فهي تشبه المعلم البشري الذي يفهم السياق، واللغة العامية، والطرق المختلفة لقول الشيء نفسه.

ملخص

TARAZ هو طريقة جديدة وأكثر إنصافاً لاختبار ما إذا كان الذكاء الاصطناعي يفهم الثقافة الفارسية. إنه يمنع الذكاء الاصطناعي من الغش عبر حفظ الإجابات الدقيقة، ويجبره على فهم المعنى الكامن وراء الكلمات فعلياً. وقد وجد أن بينما النماذج الضخمة من الذكاء الاصطناعي أصبحت جيدة في هذا، فإن النماذج الفارسية المتخصصة لا تزال أمامها الكثير لتتعلمه لتدرك الجانب الإنساني من اللغة حقاً.

إليك ملخص تقني مفصل لورقة البحث المعنونة بـ "TARAZ: معيار الأسئلة قصيرة الإجابة باللغة الفارسية للتقييم الثقافي للنماذج اللغوية."

1. بيان المشكلة

على الرغم من التقدم السريع في النماذج اللغوية الكبيرة (LLMs)، إلا أن هناك فجوة كبيرة في تقييم كفاءتها الثقافية، لا سيما بالنسبة للغة الفارسية. تعاني المعايير الحالية من ثلاث قيود رئيسية:

قيود التنسيق: تعتمد معظم المعايير الثقافية الفارسية على أسئلة الاختيار من متعدد (MCQs)، والتي تختبر الاستدعاء الحقائقي بدلاً من الفهم المفاهيمي أو الدلالي العميق.
مقاييس التقييم: غالباً ما تستخدم طرق التقييم الحالية مطابقة النصوص الدقيقة أو المقاييس المتمحورة حول اللغة الإنجليزية. وتفشل هذه الطرق في مراعاة التعقيد الصرفي للغة الفارسية (مثل اللواصق، والكلمات المركبة)، والاختلافات الإملائية (الرسم الرسمي مقابل غير الرسمي، والأرقام/الحروف العربية مقابل الفارسية)، والفروق الدلالية حيث تعبر أشكال سطحية مختلفة عن نفس المعنى.
عدم استقرار "النموذج كحكم" (LLM-as-a-Judge): يؤدي استخدام النماذج اللغوية الكبيرة كحكام إلى مشكلات مثل الحساسية للمطالبات (prompts)، والتحيز الموقعي، وعدم الاتساق، مما يؤدي غالباً إلى الفشل في التوافق مع الأحكام البشرية فيما يتعلق بالتكافؤ الدلالي.

2. المنهجية

يقترح المؤلفون TARAZ، وهو إطار تقييم شامل مصمم خصيصاً لفهم الثقافة الفارسية باستخدام الأسئلة قصيرة الإجابة (SAQs).

أ. مجموعات البيانات (تكييف الأسئلة قصيرة الإجابة)

يستخدم الإطار ويقوم بتكييف ثلاث مجموعات بيانات متميزة لتغطية جوانب مختلفة من المعرفة الثقافية:

BLEnD (الجزء الفارسي): 500 سؤال تغطي المعرفة الثقافية اليومية (الطعام، العائلة، العطلات) مع وجود إجابات بشرية متعددة وصحيحة لكل سؤال.
PerCul-SAQ: مستمدة من مجموعة بيانات PerCul الاختيارية، وتقوم بتحويل 592 سيناريو ثقافي قائم على القصص إلى مهام توليد مفتوحة. وهي تختبر الاستدلال السردي عبر 11 فئة (مثل الطقوس، العمارة، الموسيقى).
ISN-SAQ: مستمدة من مجموعة بيانات الأعراف الاجتماعية الإيرانية (ISN)، وتحتوي على 535 سؤالاً يركز على السلوكيات الاجتماعية المعيارية في سياقات محددة (مثل المطارات، البازارات، المساجد).

ب. إطار التقييم والمقاييس

بدلاً من الاعتماد فقط على المطابقة الدقيقة، يستخدم TARAZ نهج تقييم هجين:

المعالجة اللاحقة الخاصة بالفارسية: خطوة معالجة مسبقة حاسمة تُطبق على كل من مخرجات النموذج والحقائق المرجعية لتوحيد الاختلافات. وتشمل:
- توحيد الأرقام: تحويل الأرقام الإنجليزية والعربية إلى نظيراتها الفارسية.
- توحيد الحروف: رسم الحروف ذات المتغيرات العربية (مثل Ye، Kaf، He) إلى نظيراتها الفارسية.
- التوحيد الصرفي: إزالة علامات التشكيل، وتجريد اللاحقات الشائعة (الجذع)، وإزالة كلمات التوقف.
- التقطيع (Segmentation): تقسيم النص حسب أدوات الربط (مثل "و"، "أو") للتعامل مع الإجابات المركبة.
مقاييس التسجيل الهجينة:
- المقاييس المعجمية: المطابقة الدقيقة (EM) ودرجات ROUGE (تُحسب على النص الموحد).
- المقاييس الدلالية:
  - النموذج كحكم (LLM-Judge): استخدام GPT-5 للحكم على التكافؤ الدلالي.
  - تشابه التضمين (Embedding Similarity): استخدام maux-gte-persian-v3 (وهو نموذج تضمين جمل عالي الأداء للغة الفارسية) لحساب تشابه جيب التمام (cosine similarity).
  - النهج الهجين (Maux+Post): المساهمة الجوهرية، حيث يجمع بين خط معالجة ما بعد المعالجة ومقياس تشابه جيب التمام. وهذا يسمح بـ "المطابقة الناعمة" حيث يتم تسجيل الإجابات المتطابقة دلالياً ولكن المختلفة تركيبياً بشكل صحيح.

ج. النماذج التي تم تقييمها

قيم الإطار 15 نموذجاً من أحدث النماذج عبر ثلاث فئات:

النماذج مغلقة المصدر: GPT-5، Claude Opus 4.1، Claude Sonnet 4.5، Gemini 2.5 Flash-Lite.
النماذج مفتوحة الأوزان: LLaMA-3.1-70B، DeepSeek-V3، Gemma-2-27B، Phi-4-14B، Qwen2.5-72B.
النماذج الفارسية الضبط الدقيق: PersianMind، ParsT5، Dorna، PersianLLaMA، Maral، AVA-LLaMA.

3. المساهمات الرئيسية

أول معيار معياري للأسئلة قصيرة الإجابة باللغة الفارسية: يوفر TARAZ أول معيار معياري مخصص لقياس الفهم الثقافي في اللغة الفارسية عبر توليد الإجابات القصيرة، متجاوزاً أسئلة الاختيار من متعدد.
خط أنابيب تقييم قوي: تقديم تقييم هجين تركيبي-دلالي يتعامل مع الاختلافات المورفولوجية والخطية الخاصة باللغة الفارسية.
مقاييس متوافقة مع البشر: تظهر الدراسة أن مقياس التشابه الدلالي المقترح (Maux+Post) يحقق توافقاً أعلى بكثير مع الأحكام البشرية (Cohen's $\kappa$ = 0.384) مقارم بالنماذج اللغوية كحكم ( $\kappa$ = 0.244).
تحليل شامل: تقييم منهجي لـ 15 نموذجاً عبر ثلاث مجموعات بيانات متجذرة ثقافياً، مما يكشف عن نقاط القوة والضعف المحددة في الاستدلال الثقافي.

4. النتائج

تفوق المقاييس: حسن النهج الهجين (Maux+Post) اتساق التسجيل بنسبة +10% مقارنة بالأساسات القائمة على المطابقة الدقيقة، حيث نجح في التقاط المعنى الذي فاتته الطرق السطحية.
أداء النماذج:
- النماذج مغلقة المصدر: تفوقت باستمرار على جميع الفئات الأخرى. حقق كل من Claude Opus 4.1 و GPT-5 أعلى الدرجات عبر جميع مجموعات البيانات.
- النماذج مفتوحة الأوزان: قدم Gemma-2-27B أداءً رائعاً في BLEND (مقترباً من مستويات النماذج مغلقة المصدر)، بينما أظهر DeepSeek-V3 أداءً قوياً في PerCul-SAQ و ISN-SAQ.
- النماذج الفارسية الضبط الدقيق: من المثير للدهشة أن النماذج التي تم ضبطها بدقة على الفارسية (مثل Maral، PersianMind) تأخرت بشكل كبير عن النماذج متعددة اللغات. أنتجت العديد منها رموزاً مكررة أو عديمة المعنى، مما أدى إلى درجات ROUGE تقترب من الصفر. يشير هذا إلى أن استراتيجيات الضبط الدقيق الحالية (التي تعتمد غالباً على البيانات المترجمة آلياً أو عدد قليل من المعلمات) غير كافية للاستدلال الثقافي العميق.
صعوبة المهمة: ثبت أن ISN-SAQ (الأعراف الاجتماعية) هي الأكثر صعوبة لجميع النماذج، مما يشير إلى أن الاستدلال في الأعراف الاجتماعية الإيرانية يظل تحدياً مفتوحاً حتى أمام النماذج الرائدة.

5. الأهمية

معيار التقييم الثقافي: يضع TARAZ أساساً قابلاً لإعادة الإنتاج للتقييم عبر الثقافات للنماذج اللغوية الكبيرة، ويثبت أن الكفاءة الثقافية تتطلب أكثر من مجرد الطلاقة اللغوية.
تحول منهجي: يسلط الضوء على ضرورة وجود تقييم مدرك للصرف (morphology-aware) للغات ذات الموارد المنخفضة أو الغنية صرفياً. الاعتماد على المقاييس المتمحورة حول الإنجليزية أو المطابقة الدقيقة يؤدي إلى التقليل المنهجي من قدرات النماذج في لغات مثل الفارسية.
الاتجاهات المستقبلية: تشير النتائج إلى أن مجرد الضبط الدقيق للنماذج الصغيرة على البيانات المترجمة غير فعال. يجب أن تعطي عمليات تطوير النماذج اللغوية الفارسية المستقبلية الأولوية للبيانات التعليمية الأصلية والتدريب المسبق المتجذر ثقافياً بدلاً من التكيف السطحي.
الإصدار المفتوح: ينشر المؤلفون إطار التقييم، ومجموعات البيانات، ووحدات المعالجة اللاحقة، مما يتيح مزيداً من البحث في معالجة اللغات الطبيعية الفارسية والذكاء الاصطناك الثقافي.