💬 NLP

LLMs Struggle with Abstract Meaning Comprehension More Than Expected

تكشف هذه الورقة أنه على الرغم من قدراتها العامة، تعاني النماذج اللغوية الكبيرة بشكل كبير في استيعاب المعنى التجريدي مقارنة بالنماذج المضبوطة بدقة، ولكنها تقترح مصنفاً يعتمد على الانتباه ثنائي الاتجاه مستوحى من الإدراك البشري، والذي ينجح في تعزيز أداء النماذج المضبوطة بدقة في معيار SemEval-2021 Task 4 (ReCAM).

المؤلفون الأصليون: Hamoud Alhazmi, Jiachen Jiang

نُشر 2026-04-15

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hamoud Alhazmi, Jiachen Jiang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

🧠 المشكلة الكبرى: لماذا يخطئ الذكاء الاصطناعي في المفاهيم "المجردة"

تخيل أنك تعلم روبوتاً ذكياً جداً كيف يقرأ. تظهر له قصة عن قطة تطارد فأراً. لا يواجه الروبوت أي مشكلة هنا؛ فهو يعرف شكل القطة والفأر، فهما أشياء ملموسة.

ولكن بعد ذلك، تطلب من الروبوت قراءة قصة عن الحرية، أو العدالة، أو الاقتصاد. فجأة، يصاب الروبوت بالارتباك. هذه أفكار "مجردة"؛ لا يمكنك لمسها، أو رؤيتها، أو الإمساك بها بيدك. إنها تشبه سحباً غير مرئية من المعنى.

الاكتشاف الرئيسي للورقة البحثية:
وجد الباحثون أن أكثر نماذج الذكاء الاصطناعي شهرة وذكاءً (مثل GPT-4o، وهو "العقل" الذي يقف وراء العديد من برامج الدردشة الآلية) هي في الواقع سيئة جداً في فهم هذه السحب غير المرئية.

الاختبار: استخدموا لعبة تسمى "ReCAM". وهي تشبه اختبار "ملء الفراغات" حيث يتعين عليك اختيار الكلمة المجردة الصحيحة لإكمال الجملة.
النتيجة: حصلت نماذج الذكاء الاصطناعي فائقة الذكاء (LLMs) على حوالي 65% إلى 73% فقط. قد يبدو هذا جيداً، ولكن في عالم الذكاء الاصطناعي، تعتبر هذه درجة رسوب. بينما حصلت أفضل النماذج المصممة بشرياً على 95%.
الخلاصة: مجرد قدرة الذكاء الاصطناعي على كتابة قصيدة أو الدردشة عن يومك لا يعني أنه يفهم حقاً المفاهيم المجردة العميقة. الأمر يشبه ببغاءً يمكنه تكرار كلمة "حرية" بشكل مثالي، لكنه لا يعرف معناها الحقيقي.

🛠️ الحل: تعليم الذكاء الاصطناعي كيفية "النظر ذهاباً وإياباً"

بما أن نماذج الذكاء الاصطناعي الضخمة والمكلفة كانت تعاني، قرر الباحثون تجربة شيء مختلف. بدلاً من استخدام النماذج الضخمة "الأساسية"، أخذوا نموذجاً أصغر قليلاً وأكثر تركيزاً (يسمى ELECTRA) ومنحوه ترقية خاصة لعقله.

أطلقوا على هذه الترقية اسم مصنف الانتباه ثنائي الاتجاه (Bi-Directional Attention Classifier).

التشبيه البشري: عملية المحقق ذات الخطوتين

تخيل أنك محقق تحاول حل لغز ما. لديك دليل (النص) وقائمة من المشتبه بهم (خيارات الإجابة).

الخطوة 1 (النص $\leftarrow$ السؤال): تنظر إلى الدليل أولاً. تفكر: "حسناً، هذا الدليل يذكر 'المال' و'النمو'. أي مشتبه به يناسب ذلك؟" ثم تمسح قائمة المشتبه بهم للعثور على المطابق.
الخطوة 2 (السؤال $\leftarrow$ النص): الآن، تنظر إلى المشتبه بهم. تفكر: "المشتبه به (أ) هو 'الأمان'. هل يذكر الدليل شيئاً عن الأمان؟" فتمسح الدليل مرة أخرى لترى ما إذا كان يدعم هذا المشتبه به.

البشر يفعلون هذا الذهاب والإياب بشكل طبيعي. نحن ننظر إلى القصة، ثم السؤال، ثم القصة مرة أخرى، حتى تتطابق القطع مع بعضها البعض.

القوة الخارقة الجديدة للذكاء الاصطناي:
برمج الباحثون الذكاء الاصطناعي للقيام بهذا بالضبط.

الطريقة القديمة: كان الذكاء الاصطناعي يقرأ القصة مرة واحدة، ثم يخمن الإجابة.
الطريقة الجديدة (ثنائية الاتجاه): ينظر الذكاء الاصطناعي إلى القصة أثناء النظر إلى الخيارات، ثم ينظر إلى الخيارات أثناء النظر إلى القصة. إنه يخلق "حواراً" بين النص والخيارات.

النتيجة

عندما منحوا الذكاء الاصطناعي هذه القدرة على "النظر في اتجاهين"، ارتفعت درجته بشكل كبير!

المهمة 1 (فهم المفاهيم غير المرئية): تحسنت بنسبة 4%.
المهمة 2 (فهم الفئات الواسعة): تحسنت بنسبة 3.4%.

لم يكن مجرد ارتفاع طفيف؛ بل كان كافياً لجعل نظامهم واحداً من أفضل 3 أنظمة في العالم لهذا الاختبار المحدد.

🏆 الفائزون والخاسرون

إليك ملخص سريع لمن فعل ماذا في السباق:

المتنافس	الاستراتيجية	النتيجة
نماذج الذكاء الاصطناعي العملاقة (مثل GPT-4o، إلخ)	حاولت تخمين الإجابة عن طريق قراءة النص مرة واحدة.	عانت. حصلت على حوالي 70% فقط. هي رائعة في الدردشة، لكنها سيئة في المنطق المجرد العميق.
الذكاء الاصطناعي القياسي (مثل RoBERTa، ELECTRA)	حاول تعلم المهمة من خلال دراسة أمثلة كثيرة (Fine-tuning).	أفضل. حصلت على حوالي 85-89% صحيحة.
ذكاء الباحثين (ELECTRA + ثنائي الاتجاه)	درس الأمثلة واستخدم طريقة "المحقق ذو الخطوتين".	البطل. حصل على أكثر من 90% صحيحة. لقد أثبتوا أن النهج الذكي والمركز يتفوق على النهج الضخم وغير المركز.

💡 "ما الفائدة لك؟"

لماذا يهم هذا الأمر؟

الذكاء الاصطناعي ليس سحراً بعد: حتى أكثر نماذج الذكاء الاصطنا_ط تطوراً لديها نقاط عمياء. يمكنها محاكاة اللغة البشرية، لكنها لا تزال تعاني مع الأجزاء "غير المرئية" من المعنى التي يستوعبها البشر بسهولة.
تغييرات صغيرة، مكاسب كبيرة: لا تحتاج دائماً إلى حاسوب خارق لحل مشكلة ما. أحياناً، مجرد تغيير كيفية نظر الذكاء الاصطنال للمعلومات (مثل تعليمه النظر ذهاباً وإياباً) يكون أكثر فعالية من جعل الذكاء الاصطناعي أكبر حجماً.
المستقبل: لجعل الذكاء الاصطناعي ذكياً حقاً، نحتاج لتعليمه ليس فقط حفظ الحقائق، بل فهم العلاقات بين الأفكار المجردة، تماماً كما يفعل المحقق البشري.

باخت خلاص: تقول الورقة البحثية: "مهلاً، نماذج الذكاء الاصطناي الضخمة سيئة في التفكير المجرد. ولكن إذا علمنا نموذجاً أصغر أن ينظر إلى المشكلة من زاويتين مختلفتين في نفس الوقت، فسيصبح عبقرياً".

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تُعاني النماذج اللغوية الكبيرة في استيعاب المعنى المجرد أكثر مما هو متوقع" من إعداد هامود الحازمي وجياشن جيانغ.

1. بيان المشكلة

تتناول الورقة البحثية تحدي استيعاب المعنى المجرد في معالجة اللغات الطبيعية (NLP). فخلافًا للكلمات الملموسة (مثل "قطة")، تفتقر الكلمات المجردة (مثل "حرية"، "عدالة"، "اقتصاد") إلى مراجع حسية مباشرة، وغالبًا ما تنتمي إلى تسلسلات هرمية تصنيفية عالية المستوى.

يقيم المؤلفون هذه القدرة باستخدام مهمة SemEval-2021 Task 4 (ReCAM)، وهي مهمة استيعاب قرائي بأسلوب "الفراغات" (cloze-style)، حيث يجب على النماذج اختيار المفهوم المجرد الصحيح من بين خمسة خيارات لاستبدال مكان شاغر في نص معطى. تنقسم المهمة إلى ثلاث مهام فرعية:

المهمة 1 (عدم الإدراك الحسي - Imperceptibility): فهم المفاهيم التي لا يمكن إدراكها مباشرة في العالم المادي.
المهمة 2 (عدم التحديد - Nonspecificity): فهم المفاهيم التي تقع في مستويات عليا من الهرم التصنيفي (عام مقابل محدد).
المهمة 3 (القابلية للنقل - Transferability): تقييم نموذج تم تدريبه على نوع واحد من المهام الفرعية واختباره على النوع الآخر لقياس القدرة على التعميم.

القضية الجوهرية: رغم ظهور النماذج اللغوية الكبيرة (LLMs) التي تُظهر "شرارات من الذكاء الاصطناعي العام"، يفترض المؤلفون أن هذه النماذج تعاني بشكل كبير في استيعاب المعنى المجرد مقارنة بالبنيات المتخصصة والمصقولة (fine-tuned).

2. المنهجية

تعتمد الدراسة نهجًا ثنائي المسار: تقييم النماذج اللغوية الكبيرة (LLMs) واقتراح بنية جديدة للنماذج اللغوية سابقة التدريب (PLMs) التي يتم صقلها.

أ. تقييم النماذج اللغوية الكبيرة (LLMs)

اختبر المؤلفون نماذج متنوعة مفتوحة المصدر (Llama-3.1, Vicuna, Qwen, Gemma-2) ومغلقة المصدر (GPT-3.5, GPT-4o, GPT-4o-Mini) على مجموعة بيانات ReCAM.

استراتيجية التلقين (Prompting Strategy): نظرًا لأن النماذج اللغية الكبيرة هي نماذج توليدية، فقد قام المؤلفون بتكييفها للاختيار من متعدد باستخدام التلقين متعدد الخيارات (Multi-Choice Prompting). يتضمن ذلك تقديم النص، والسؤال، وجميع الخيارات الخمسة في تلقين واحد، مع توجيه النموذج لإخراج رمز (token) واحد يمثل فهرس الخيار (0–4).
إعدادات التعلم: أُجريت التجارب تحت إعدادات Zero-shot (بدون أمثلة)، و One-shot (مثال واحد)، و Two-shot (مثاليْن - Few-shot) لتحديد ما إذا كان تقديم الأمثلة يحسن الأداء.

ب. الحل المقترح: مصنف الانتباه ثنائي الاتجاه (Bi-Directional Attention Classifier)

إدراكًا للقصور في النماذج اللغوية الكبيرة، ركز المؤلفون على تحسين النماذج اللغوية سابقة التدريب المصقولة (وتحديدًا RoBERTa و ELECTRA). وقد قدموا آلية مصنف الانتباه ثنائي الاتجاه مبتكرة مستوحاة من الاستراتيجيات المعرفية البشرية لفهم المفاهيم المجردة:

العملية المعرفية البشرية: يقوم البشر أولاً بإعادة فحص النص للعثور على أدلة تدعم الخيارات، ثم يعودون لزيارة الخيارات لاستبعاد غير الصحيح منها بناءً على سياق النص.
بنية النموذج:
- المُشفّر (Encoder): يستخدم نموذجًا سابق التدريب (مثل ELECTRA) لتشفير التسلسل المدمج من النص ( $P$ )، والسؤال ( $Q$ )، والخيارات ( $O$ ).
- آلية الانتباه ثنائي الاتجاه: بدلاً من الانتباه أحادي الاتجاه القياسي، يستخدم النموذج طبقتي انتباه متعدد الرؤوس (MHA) متوازيتين:
  - الاتجاه 1: يعمل النص كـ استعلام (Query)، بينما يعمل السؤال والخيارات كـ مفتاح/قيمة (Key/Value). (النص ينتبه للخيارات).
  - الاتجاه 2: تعمل الأسئلة والخيارات كـ استعلام (Query)، بينما يعمل النص كـ مفتاح/قيمة (Key/Value). (الخيارات تنتبه للنص).
- الدمج (Fusion): يتم حساب متوسط مخرجات آليات الانتباه ودمجهما لتشكيل تمثيل شامل.
- التصنيف: تقوم طبقة خطية مع دالة Softmax بالتنبؤ بتوزيع الاحتمالات عبر الخيارات الخمسة.

3. المساهمات الرئيسية

أدلة تجريبية على محدودية النماذج اللغوية الكبيرة: تقدم الدراسة بيانات ملموسة تظهر أن حتى النماذج المتطورة مثل (GPT-4o) تؤدي بشكل أسوأ بكثير من النماذج المتخصصة المصقولة في مهام المعنى المجرد، مع وجود فجوة كبيرة مقارنة بالمعيار المرجعي.
مصنف الانتباه ثنائي الاتجاه المبتكر: وحدة بنيوية جديدة تنتبه ديناميكيًا لكل من السياق (النص) والمرشحين (الخيارات) في كلا الاتجاهين، محاكية عمليات التحقق البشرية.
ದ أداء رائد (State-of-the-Art): حقق الجمع بين مُشفر ELECTRA ومصنف الانتباه ثنائي الاتجاه نتائج رفيعة المستوى في معيار SemEval-2021 Task 4.

4. النتائج التجريبية

أداء النماذج اللغوية الكبيرة (Zero/Few-Shot)

Zero-Shot: كان أفضل نموذج لغوي كبير أداءً هو GPT-4o-Mini بنسبة دقة بلغت 65.83%. سجلت نماذج أخرى مثل Vicuna و GPT-3.5 Turbo نتائج أقل بكثير (حوالي 20-24%).
Few-Shot: تحسن الأداء مع تقديم الأمثلة، لكن السقف ظل منخفضًا. وصل نموذج Gemma-2-9B إلى 73.60% في إعداد Two-shot، ووصل GPT-4o-Mini إلى 72.28%.
المقارنة: هذه النتائج أقل بكثير من أعلى نتيجة في المعيار المرجعي وهي 95.1% (التي حققتها الأنظمة المتخصصة في عام 2021)، مما يسلط الض الضوء على تراجع أو ركود في الاستدلال المجرد للنماذج اللغوية العامة.

أداء النماذج المصقولة (Fine-Tuned Models)

الأساس (Baseline): تفوق نموذج ELECTRA-large المصقول بشكل كبير على RoBERTa-large، حيث حقق 85.89% في المهمة 1 و 89.06% في المهمة 3.
تأثير آليات الانتباه:
- الانتباه أحادي الاتجاه (Uni-Directional Attention): حسن الدقة بنسبة ~1.24% عن النموذج الأساسي.
- الانتباه ثنائي الاتجاه (Bi-Directional Attention): وفر دفعة كبيرة، حيث حسن الدقة بنسبة 4.06% في المهمة 1 و 3.41% في المهمة 2.
- النتيجة النهائية: حقق نموذج ELECTRA + Bi-Directional Attention نسبة 89.95% (المهمة 1) و 91.41% (المهمة 2)، محتلًا أحد المراكز الثلاثة الأولى في قائمة المتصدرين لـ SemEval-2021 Task 4.

5. الأهمية والخاتمة

محدودية النماذج اللغوية الكبيرة: تتحدى الورقة الافتراض بأن زيادة حجم النماذج اللغوية الكبيرة تحل تلقائيًا مهام الاستدلال الدلالي المعقدة. وتشير إلى أنه بالنسبة للاستيعاب المجرد عالي المستوى، تظل البنيات المتخصصة ذات الآليات الموجهة والصقل المستهدف متفوقة على النماذج التوليدية العامة.
المحاكاة المعرفية: يشير نجاح وحدة الانتباه ثنائي الاتجاه إلى أن نمذجة العمليات المعرفية البشرية للتحقق (التحقق التكراري بين السياق والخيارات) هي مسار قابل للتطبيق لتحسين أنظمة معالجة اللغات الطبيعية.
التطبيق العملي: توفر الطريقة المقترحة حلاً قويًا وفعالًا حاسوبيًا (باستخدام ELECTRA) للمهام التي تتطلب فهمًا مجردًا عميقًا، مثل تحليل المشاعر، وتفسير الاستعارات، وتحليل الوثائق القانونية والمالية.

يخلص المؤلفون إلى أنه على الرغم من أن النماذج اللغوية الكبيرة تُظهر وعودًا في الاستدلال العام، إلا أنها تفتقر حاليًا إلى الآليات المتخصصة المطلوبة لإتقان استيعاب المعنى المجرد، مما يستلزم تطوير مناهج هجينة أو مصقولة ومتخصصة.