ADAGE: A Language-Agnostic Pipeline for Analogical Reasoning Evaluation
تقدم الورقة البحثية ADAGE، وهو مسار عمل غير مرتبط بلغة معينة ينشئ معايير قياس للاستدلال التناظري الخالي من الترجمة في اللغات العربية والأمهرية واليابانية، مما يكشف عن فجوة أداء كبيرة حيث تعاني النماذج الماهرة في اللغة الإنجليزية من صعوبة في الاستدلال القائم على الثقافة في هذه اللغات الأصلية.
المؤلفون الأصليون:Ahmed Haj Ahmed, Alvin Grissom II
تخيل أنك تحاول تعليم روبوت كيفية فهم النكات البشرية. قد تعتقد أن أفضل طريقة هي أخذ كتاب من النكات الشهيرة المكتوبة باللغة الإنجليزية، وترجمتها إلى الإسبانية أو اليابانية أو العربية، ثم تطلب من الروبوت شرحها. ولكن إليك العائق: النكتة غالبًا ما تعتمد على الثقافة التي ولدت فيها. إذا ترجمت نكتة عن عطلة أمريكية محددة إلى لغة لا توجد فيها هذه العطلة، فستفقد النكتة سحرها. قد يخمن الروبوت الإجابة لأنها تبدو مضحكة، وليس لأنه يفهم معناها حقًا. هذه هي المشكلة التي يواجهها العلماء عند اختبار الذكاء الاصطناي "متعدد اللغات". فهم غالبًا ما يكتفون بترجمة الاختبارات الإنجليزية إلى لغات أخرى، مما يخلق وهمًا زائفًا بأن الذكاء الاصطناعي ذكي في تلك اللغات.
لاختبار ما إذا كان بإمكان الذكاء الاصطناعي التفكير مثل البشر حقًا، نحتاج إلى معرفة ما إذا كان بإمكانه فهم القواعد العميقة وغير المعلنة للثقافة—مثل معرفة أن عبارة "لا تعد دجاجاتك قبل أن تفقس" تعني أنه لا ينبغي أن تكون واثقًا جدًا حتى يحدث الشيء بالفعل. هذا النوع من التفكير يسمى الاستدلال التناظري (Analogical Reasoning). وهو القدرة على أخذ فكرة قديمة وتطبيقها على موقف جديد تمامًا. إذا كان بإمكان الذكاء الاصطناعي القيام بذلك في اللغة الإنجليزية فقط، ولكنه فشل عندما يتم تقديم نفس المنطق في ثقافة مختلفة، فهو لم يتعلم التفكير حقًا؛ بل قام فقط بحفظ الأنماط الإنجليزية. تسأل هذه الورقة سؤالًا بسيطًا ولكنه مخيف: هل نماذج الذكاء الاصطناعي لدينا ذكية حقًا في اللغات الأخرى، أم أنها مجرد بارعة جدًا في الترجمة؟
يقدم الباحثون أداة جديدة تسمى ADAGE (التقييم القائم على الصعوبة التناظرية المصممة للتقييم المرتكز على الواقع). فكر في ADAGE كشيف ماهر لا يكتفي بمجرد ترجمة الوصفات من كتاب طهي فرنسي؛ بل يذهب بدلاً من ذلك إلى الأسواق المحلية في العربية والأمهرية واليابانية للعثور على أكثر المكونات المحلية طزاجة وأصالة (الأمثال) ويطبخ أطباقًا جديدة تمامًا (سيناريوهات) لاختبار ما إذا كان بإمكان الذكاء الاصطناعي تمييز الفرق في المذاق.
إليك كيف طبخوا تجربتهم:
المكونات: جمعوا الآلاف من الأمثال (أقوال قصيرة وحكيمة مثل "من لا يعرف الصقر سيحمسه/يشويه") من متحدثين أصليين باللغات العربية والأمهرية واليابانية.
الوصفة: بدلًا من مجرد مطالبة الذكاء الاصطناعي بشرح المثل، استخدموا حيلة ذكية. قاموا بتجميع الأمثال حسب "نكهتها" أو موضوعها (مثل "الصبر" أو "الحذر"). ثم طلبوا من ذكاء اصطناعي كتابة قصة حديثة لكل مثل.
الفخ: لجعل الاختبار صعبًا، أنشأوا سؤال اختيار من متعدد. قدموا للذكاء الاصطناعي قصة وأربعة أمثال للاختيار من بينها. واحد منها هو المطابق المثالي. أما الثلاثة الأخرى فهي "المشتتات":
واحد من نفس مجموعة الموضوع (خداع يبدو صحيحًا ولكنه ليس دقيقًا تمامًا).
واحد من موضوع مختلف ولكنه يبدو مشابهًا (إجابة قريبة من الصواب).
واحد عشوائي تمامًا (الإجابة الخاطئة السهلة).
اختبار التذوق: قدموا هذه الاختبارات لـ 14 نموذجًا مختلفًا من نماذج الذكاء الاصطناي، تتراوح من النماذج الصغيرة إلى الضخمة، وراقبوا أداءهم.
ما وجدوه
كانت النتائج صادمة، مثل اكتشاف أن طالبًا نجح في اختبار الإنجليزية رسب في اختبار الرياضيات بلغة أخرى.
"فخ الترجمة" حقيقي: عندما تم اختبار نماذج الذكاء الاصطناي على الأمثال الإنجليزية، حققت أداءً جيدًا جدًا، حيث سجلت حوالي 80% أو أكثر. ولكن عندما اختبرهم الباحثون باستخدام معايير اللغة العربية والأمهرية واليابانية الأصلية، انخفضت الدرجات بشكل حاد. فقدت أفضل النماذج ما بين 12 إلى 52 نقطة مئوية. على سبيل المثال، النموذج الذي حصل على 83% في الإنجليزية قد يحصل على 70% فقط في العربية، و70% بالكاد في الأمهرية.
واقع "الموارد المنخفضة": كان اختبار الأمهرية هو الأصعب. حتى أكبر النماذج وأذكاها بالكاد سجلت درجة أفضل من التخمين العشوائي (الذي سيكون 25% لسؤال من أربعة خيارات). بدا أن نماذج الذكاء الاصطناي عالقة في اللغة نفسها، غير قادرة حتى على فهم الكلمات، ناهيك عن المعنى العميق.
الحجم ليس كل شيء: توقع الباحثون أن النماذج الأكبر (ذات "القدرة الذهنية" الأعلى) ستؤدي بشكل أفضل. وبينما تحسنت النماذج الأكبر في العربية واليابانية، إلا أن التحسن كان طفيفًا. أما في الأمهرية، فلم يساعد جعل النموذج أكبر في حل المشكلة على الإطلاق. وهذا يشير إلى أن مجرد إضافة المزيد من البيانات أو الحجم لا يعالج المشكلة إذا لم يكن لدى الذكاء الاصطناي أساس ثقافي عميق يقف عليه.
خدعة المشتت نجحت: نجحت استراتيجية "المشتت" الذكية تمامًا. ارتكبت نماذج الذكاء الاصطناي معظم أخطائها في الإجابات "القريبة من الصواب" (تلك التي تبدو مشابهة ولكنها خاطئة)، مما يثبت أنها كانت تحاول بالفعل التفكير والاستدلال وليس مجرد التخمين العشوائي.
الخلاصة الكبرى
تخلص الورقة إلى أن الطريقة الحالية لاختبار الذكاء الاصطناي—ببساطة ترجمة الاختبارات الإنجليزية إلى لغات أخرى—تخدعنا. إنها تجعل الذكاء الاصطناي يبدو أذكى في اللغات الأخرى مما هو عليه في الواقع. نماذج الذكاء الاصطناي بارعة في الاستدلال الثقافي باللغة الإنجليزية، لكنها تكافح لتطبيق نفس المنطق على الثقافات الغنية والمعقدة للعربية والأمهرية واليابانية.
يقترح المؤلفون أنه حتى نبني اختبارات أصلية لكل ثقافة، باستخدام الأمثال والقصص المحلية، لن نعرف ما إذا كان الذكاء الاصطناي لدينا متعدد اللغات حقًا أم أنه مجرد مترجم جيد جدًا. لقد أطلقوا "مطبخهم" الجديد (مسار ADAGE) و"وصفاتهم" (المعايير) لكي يتمكن علماء آخرون من طبخ اختباراتهم الخاصة لأي لغة في العالم، لضمان أن يكون الذكاء الاصطناي المستقبلي قادرًا حقًا على فهمنا، بغض النظر عن المكان الذي نأتي منه.
يعتمد تقييم الاستدلال متعدد اللغات الحالي بشكل مفرط على ترجمة الآلة للمعايير المتمحورة حول اللغة الإنجليزية. ويرى المؤلفون أن هذه الممارسة تخلق "وهماً بالكفاءة متعددة اللغات" بسبب عيبين جوهريين:
الآثار اللغوية: تُدخل الترجمة الآلية صياغات غير طبيعية ("لغة الترجمة" - translationese) وأخطاءً دقيقة تسبب الارتباك في القياس، مما يجعل إخفاقات النموذج تعكس سوء الترجمة بدلاً من سوء الاستدلال.
النزوح الثقافي: تحافظ الترجمة على افتراضات المصدر الثقافي مع التخلص من أنماط الاستدلال في اللغة المستهدفة. فالاستدلال التناظري المجرد، ولا سيما فيما يتعلق بالأمثال، يعتمد على استعارات ومعايير مشتركة ثقافياً غير قابلة للنقل. وبناءً على ذلك، فإن المعايير القائمة على الترجمة تختبر قدرة النموذج على تطبيق التناظرات المتمحورة حول الإنجليزية في لغة أخرى، بدلاً من قدرته على الاستدلال ضمن إطار ثقافي مختلف.
تعالج المعايير التي ألفها أصحاب اللغة الأصليون (مثل MultiNRC وJawaher وProverbEval) هذه الفجوة، لكنها تعاني من كونها تُبنى بشكل "ارتجالي" (ad hoc) للغات منفردة دون مسار قابل للتكرار، كما أن معظمها يختبر شرح الأمثال (استرجاع المعرفة) بدلاً من التطبيق التناظري (ربط المعنى المجرد بسيناريوهات جديدة).
2. المنهجية: مسار ADAGE
يقدم المؤلفون ADAGE (التقييم القائم على تصميم الصعوبة التناظرية للتقييم المرتكز على السياق)، وهو مسار شبه اصطناعي، لغوي محايد، مصمم لبناء معايير استدلال مرتكزة ثقافياً دون استخدام الترجمة. يعمل المسار عبر سبع مراحل:
الحصول على البيانات: تطبيع وإزالة التكرار من مجموعة أمثال أصلية.
التجميع الموضوعي:
المرحلة الأولى: يقوم نموذج لغوي كبير (LLM) بتعيين تسميات موضوعية إنجليزية موجزة لكل مثل بناءً على الشروحات الأصلية. تُستخدم الإنجليزية كهدف وسيط للاستفادة من قدرات اتباع التعليمات الأقوى.
المرحلة الثانية: يتم تضمين (Embedding) تسميات المواضيع باستخدام محول جمل متعدد اللغات وتجميعها عبر التجميع الهرمي (Ward's linkage). يتم تحسين عدد المجموعات (k) لتعظيم معامل السيلويت الموزون.
المرحلة الثالثة: تُمنح المجموعات أسماء وصفية.
المنطق التصميمي: يتجنب التجميع بناءً على تسميات المواضيع المجردة بدلاً من النص الخام التشابه اللفظي السطحي، مما يضمن اتساق المجموعات موضوعياً.
توليد السيناريوهات: يقوم نموذج لغوي كبير (GPT-OSS-120B) بتوليد 10 سيناريوهات مرشحة لكل مثل. وهي عبارة عن روايات قصيرة وحديثة في اللغة المستهدفة توضح معنى المثل عبر التناظر عبر 10 مجالات اجتماعية متناوبة (مثل: مكان العمل، العائلة، السياسة).
التصفية الآلية: يتم تصفية السيناريوهات بناءً على تحديد اللغة، والطول، وتداخل الكلمات المفتاحية (لمنع التسرب اللفظي)، والتشابه في التضمين (embedding similarity) مع المثل.
تدقيق الجودة البشري: فحص سريع من قبل متحدثين أصليين للتأكد من الاتساق والملاءمة الثقافية.
اختيار المشتتات وتجميع الأسئلة متعددة الخيارات (MCQ): تستخدم استراتيجية المشتتات المبتكرة لبناء تدرج صعوبة محكم لكل سؤال اختيار من متعدد:
مشتت من نفس المجموعة: مثل من نفس المجموعة الموضوعية (فخ الارتباك الموضوعي).
مطابقة قريبة من موضوع مختلف: المثل الأكثر تشابهاً في التضمين من مجموعة مختلفة (فخ النماذج التي تعتمد على التشابه السطحي).
مشتت من مجموعة عشوائية: مثل من مجموعة بعيدة (خط الأساس للاعتبارية).
يتم استبعاد المرشحين ذوي التشابه العالي في التضمين (>0.85) لمنع المترادفات القريبة.
التحقق عبر الوكلاء المتعددين: يقوم ثلاثة حكام من النماذج اللغوية الكبيرة (ذات الأوزان المفتوحة) بتقييم العناصر من حيث الأمانة، والطبيعية، ومعقولية المشتتات باستخدام مقياس ليكرت من 1 إلى 5. يتم تمييز العناصر إذا انخفضت درجاتها عن العتبات أو كان الاتفاق بين الحكام منخفضاً.
تنسيق مجموعة البيانات: يتم إنشاء تقسيمات التدريب/التطوير/الاختبار النهائية على مستوى المثل لمنع حفظ الارتباطات بين المثل والموضوع.
3. المساهمات الرئيسية
مسار ADAGE: منهجية قابلة للتكرار ولغوية محايدة لبناء معايير استدلال مرتكزة ثقافياً، تم التحقق من صحتها عبر ثلاث لغات متنوعة نوعياً.
ثلاثة معايير جديدة: إصدار CAPR-ar (العربية)، وCAPR-am (الأمهرية)، وCAPR-ja (اليابانية). وهي أول معايير تستهدف الاستدلال التناظري للأمثال المجردة في هذه اللغات المحددة.
دليل تجريبي على فجوة الاستدلال الثقافي: إثبات أن التقييم القائم على الترجمة يبالغ بشكل كبير في تقدير قدرات الاستدلال متعدد اللغات.
4. النتائج التجريبية
تم التحقق من المسار عبر بناء معايير للغات العربية والأمهرية واليابانية، وتقييم 14 نموذجاً ذا أوزان مفتوحة (تتراوح من 270 مليون إلى 35 مليار معلمة) في ظروف "التعلم الصفري" (zero-shot).
انخفاض الأداء: النماذج التي أدت جيداً في استدلال الأمثال بالإنجليزية (معيار ePiC) واجهت صعوبات كبيرة في المعايير الأصلية. انخفضت الدقة بمقدار 12 إلى 52 نقطة مئوية مقارنة بالإنجليزية.
العربية: حقق أفضل نموذج (Gemma 3 27B) نسبة 70.1% (مقابل 83.0% في الإنجليزية).
الأمهرية: حقق أفضل نموذج 41.3% فقط (مقابل 25% كنسبة تخمين عشوائي)، مما يشير إلى فشل حقيقي في الموارد المنخفضة.
اليابانية: حقق أفضل نموذج 93.0%، وإن كان المؤلفون يشيرون إلى أن هذا قد يتأثر بالتغطية العالية أثناء التدريب المسبق والكلمات المتشابهة عبر اللغات.
سلوك التوسع (Scaling Behavior):
العربية: أظهرت مكاسب نمو خطي لوغاريتمي مع حجم النموذج. పు اليابانية: أظهرت عوائد متناقصة؛ حيث حقق التوسع مكاسب لكنه وصل إلى مرحلة الثبات.
الأمهرية: تلاشت تأثيرات التوسع تقريباً؛ حيث تجمعت النماذج بالقرب من مستوى التخمين العشوائي بغض النظر عن حجمها، مما يشير إلى وجود عنق زجاجة في كفاءة اللغة بدلاً من قدرة الاستدلال.
تحليل المشتتات: عملت استراتيجية المشتتات كما هو مخطط لها. في العربية واليابانية، جذبت المشتتات من نوع "المطابقة القريبة من موضوع مختلف" أعلى معدلات الخطأ، مما خلق تدرج صعوبة واضحاً. أما في الأمهرية، فكان التوزيع مسطحاً، وهو ما يتوافق مع التخمين العشوائي.
تحيز الموضع: أظهرت النماذج الصغيرة (مثل Gemma 3 270M) تحيزاً موضعياً شديداً (اختيار الخيار D بنسبة 89.6%)، بينما أظهرت النماذج الأكبر (>4B) توزيعات منتظمة.
5. الأهمية والادعاءات
يزعم البحث أن ADAGE يوفر المنهجية الأولى التي تمكن مجتمعات المتحدثين الأصليين من بناء معايير استدلال صارمة ومتحكم في صعوبتها دون الحاجة لبنية تحتية للترجمة.
تتمثل الأهمية الرئيسية للعمل في الكشف عن فجوة استدلال ثقافي ثابتة. يجادل المؤلفون بأن الأداء "متعدد اللغات" ليس قدرة واحدة بل هو مزيج من الكفاءات الخاصة بكل لغة والتي تتباين بفوارق هائلة. وتحديداً:
التقييم القائم على الترجمة يحجب حقيقة أن النماذج غالباً ما تفتقر إلى كفاءة اللغة للانخراط في المهام المرتكزة ثقافياً في البيئات ذات الموارد المنخفضة (كما يتضح من نتائج الأمهرية).
حتى في البيئات ذات الموارد العالية (العربية)، تفشل النماذج في نقل قدرات الاستدلال من الإنجليزية إلى السياقات الأصلية، مما يشير إلى أن النماذج الحالية تعتمد على الاستدلالات المتمحورة حول الإنجليزية بدلاً من استدلال قوي ومستقل عن الثقافة.
الفجوة لا تغلق بمجرد زيادة عدد المعلمات (Scaling)؛ إذ يبدو تكوين بيانات التدريب (مثل تدريب Aya Expanse المستهدف متعدد اللغات) حاسماً بقدر حجم النموذج.
يخلص المؤلفون إلى أن التقييم عبر الترجمة يبالغ في تقدير قدرات الاستدلة متعدد اللغات، وأن المعايير الأصلية التي لا تعتمد على الترجمة ضرورية لتقييم قدرة النموذج بدقة على الاستدلال ضمن المخططات الثقافية المختلفة.