A Dual-Task Paradigm to Investigate Sentence Comprehension Strategies in Language Models

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "نموذج المهمة المزدوجة لاستقصاء استراتيجيات فهم الجمل في النماذج اللغوية الكبيرة."

1. بيان المشكلة

بينما أظهرت النماذج اللغوية الكبيرة (LMs) سلوكيات تشبه سلوك البشر عندما يتم تقييد مواردها المعرفية (مثل التنبؤ بأوقات القراءة)، لا يزال من غير الواضح ما إذا كانت هذه القيود تغير استراتيجيات فهم الجمل لديها. وتحديداً، هل تتحول هذه النماذج، مثل البشر، نحو الاستدلال العقلاني (إعطاء الأولوية للمعقولية الدلالية على حساب البنية النحوية الصارمة) عندما تكون تحت حمل معرفي عالٍ؟

تعاني الطرق الحالية لتقييد النماذج اللغوية الكبيرة (مثل تقليص طول المدخلات أو تقليل بارامترات النموذج) من عيوب منهجية:

• غالباً ما تفشل في محاكاة التوازن الديناميكي بين تخزين الذاكرة والمعالجة الذي يميز الذاكرة العاملة لدى البشر.
• عادة ما تقارن بين تكوينات مختلفة للنماذج بدلاً من مراقبة كيفية تكيف نموذج واحد مع استراتيجيته تحت ظروف متغيرة.

2. المنهجية

2.1 نموذج المهمة المزدوجة

يقترح المؤلفون نموذجاً تجريبياً جديداً مستوحى من مهام نطاق العمليات (Operation Span tasks) في علم النفس اللغوي البشري. في هذا الإعداد، يجب على النماذج اللغوية القيام بمهمتين في وقت واحد:

1. فهم الجملة: الإجابة بـ "نعم/لا" على أسئلة حول جملة.
2. الحساب الحسابي: حل مسائل حسابية متداخلة داخل الجملة.

يتضمن تنسيق المدخلات تداخلاً بين الكلمات والمسائل الحسابية (مثال: "The 2 cocktail + blended 3 = ..."). يتم اختبار النماذج تحت ثلاثة ظروف:

• المهمة الفردية: قراءة جملة والإجابة على سؤال (بدون عمليات حسابية).
• المهمة الفردية المشوشة: قراءة جملة تحتوي على عمليات حسابية مضمنة مع تجاهل الحساب والإجابة على السؤال.
• المهمة المزدوجة: قراءة الجملة، وحـل المسائل الحسابية، ثم الإجابة على سؤال فهم الجملة.

2.2 مجموعة البيانات والمحفزات

• المصدر: مجموعة فرعية من مجموعة بيانات GELP (Asami and Sugawara, 2024).
• المتغيرات:
  • المعقولية (Plausibility): الجمل إما أن تكون معقولة (مثل: "The bartender blended the cocktail") أو غير معقولة (مثل: "The cocktail blended the bartender").
  • البناء التركيبي: تم اختبار ستة هياكل نحوية (المتعدي، المبني للمجهول، المفعول به غير المباشر، فاعل التجربة، مفعول به التجربة، المستفيد).
  • الحساب: عشرة أنواع من مسائل الجمع تختلف في طول الأرقام (1، 3، 5، 10، 30 رقماً) وعدد المضافات (2 أو 3).
• إجمالي البيانات: 2,560 زوجاً من (الجملة-السؤال).

2.3 النماذج والمشاركون البشريون

• النماذج اللغوية التي تم تقييمها: GPT-4o، o3-mini، o4-mini، GPT-4.1، DeepSeek-V3، Llama-3.3، و Gemma-3.
  • معايير الاختيار: تم تصفية النماذج لضمان دقة >70% في الجمل غير المعقولة في المهمة الفردية، ودقة >80% في الحساب المكون من رقم واحد في المهمة المزدوجة.
• التجربة البشرية: شارك 33 متحدثاً أصلياً للغة الإنجليزية تم استقطابهم عبر Prolific. قاموا بنفس المهام (مع الاقتصار على الحساب المكون من رقم واحد نظراً لصعوبته)، مما وفر خط أساس لتأثيرات الحمل المعرفي البشري.

2.4 مقاييس التقييم

تستخدم الدراسة نهج "الفرق في الفروق" (difference-in-differences) لقياس "تأثير المعقولية" (الفجوة في الدقة بين الجمل المعقولة وغير المعقولة).

• الفرضية: إذا تبنى النموذج استدلالاً عقلانياً تحت الحمل، فإن فجوة الدقة بين الجمل المعقولة وغير المعقولة يجب أن تتسع في المهمة المزدوجة مقارنة بالمهام الفردية/المشوشة. وذلك لأن النموذج سيفشل بشكل أكبر في الجمل غير المعقولة (بسبب تفسيرها على أنها معقولة) مع الحفاظ على دقة عالية في الجمل المعقولة.

3. النتائج الرئيسية

3.1 التحول نحو الاستدلال العقلاني

• أظهرت نماذج GPT-4o و o3-mini و o4-mini تحولاً ملحوظاً نحو الاستدلال العقلاني في حالة المهمة المزدوجة.
  • أظهرت هذه النماذج فجوة دقة أكبر بين الجمل المعقولة وغير المعقولة في المهمة المزدوجة مقارنة بالمهام الفردية/المشوشة.
  • وتحديداً، انخفضت دقتها في الجمل غير المعقولة بشكل كبير في المهمة المزدوجة، بينما ظلت الدقة في الجمل المعقولة عالية. وهذا يشير إلى أنها بدأت في تفسير الجمل غير المعقولة بناءً على المعرفة بالعالم (على سبيل المثال، معاملة جملة "The cocktail blended the bartender" كأنها "The bartender blended the cocktail") بدلاً من البنية النحوية.
• النماذج الأخرى (GPT-4.1، DeepSeek-V3، Llama-3.3، Gemma-3): أظهرت انخفاضاً في الدقة في كل من المهام المشوشة والمزدوجة، لكنها لم تظهر زيادة متميزة في فجوة المعقولية، مما يشير إلى أنها اعتمدت على أنماط فشل مختلفة أو لم تتحول استراتيجياتها بقوة.

3.2 أنماط الخطأ المحددة

• الهشاشة النحوية: كانت النماذج الأكثر عرضة لأخطاء الاستدلال العقلاني (GPT-4o، o3-mini، o4-mini) هي الأكثر معاناة مع التراكيب المبنية للمجهول (Passive)، والمفعول به غير المباشر (Dative)، والمستفيد (Benefactive).
  • السبب: عندما يتم تجاهل الكلمات الوظيفية (مثل "by" أو "to" أو "for") بسبب الحمل المعرفي، فإن الكلمات المحتويّة المتبقية غالباً ما تشكل تسلسلاً دلالياً معقولاً (مثلاً: "bartender blend cocktail"). تعتمد النماذج هنا على ترتيب الكلمات السطحي والمعرفة بالعالم بدلاً من الكلمات الوظيفية.
• تحيز الموافقة (Acquiescence Bias): كانت الأخطاء أكثر تكراراً عندما كانت الإجابة الصحيحة هي "لا". مالت النماذج للإجابة بـ "نعم"، وهو ما يحاكي تحيز "القول بنعم" (yea-saying) لدى البشر تحت الحمل المعرفي.
• تدرج الحمل المعرفي: زادت معدلات الخطأ مع زيادة تعقيد العمليات الحسابية (مثل المسائل المكونة من 30 رقماً)، مما يؤكد أن التأثير مدفوع باستنزاف الموارد.

3.3 المقارنة البشرية

أظهر المشاركون البشريون نفس النمط: دقة إجمالية أقل وفجوة معقولية أكبر بكثير في المهمة المزدوجة (فرق 0.064) مقارنة بالمهمة الفردية (0.025) والمهمة المشوشة (0.035). وهذا يؤكد أن سلوك النماذج اللغوية يحاكي القيود المعرفية البشرية.

4. المساهمات الرئيسية

1. نموذج مبتكر: تقديم نموذج المهمة المزدوجة الذي ينجح في تقييد التوازن بين تخزين الذاكرة والمعالجة في النماذج اللغوية، مما يحاكي الذاكرة العاملة البشرية بدقة أكبر من القيود القائمة على الطول أو عدد البارامترات.
2. دليل على الاستدلال العقلاني: إثبات أن نماذج متقدمة معينة (GPT-4o، o3-mini، o4-mini) تتحول نحو الاستدلال العقلاني (إعطاء الأولوية للمعقولية على النحو) عندما تُستنزف مواردها المعرفية، وهو سلوك لوحظ سابقاً لدى البشر فقط.
3. تحديد الآلية: تحديد أن النماذج، تحت الحمل، تعتمد على التسلسلات السطحية للكلمات والمعرفة بالعالم مع إهمال الكلمات الوظيفية، خاصة في التراكيب النحوية المعقدة مثل المبني للمجهول والمفعول به غير المباشر.
4. التوسع النظري: توسيع فهم فهم اللغة البشرية من "تكاليف القراءة" (سرعة المعالجة) إلى "استراتيجيات القراءة" (منطق التفسير)، مما يدعم الرؤية القائلة بأن تخصيص الموارد أمر جوهري للفهم الشبيه بالبشر.

5. الأهمية والآثار المترتبة

• النمذجة المعرفية: توفر الدراسة دليلاً قوياً على أن النماذج اللغوية ليست مجرد مطابقة للأنماط الإحصائية، بل تستخدم آليات مشابهة للذاكرة العاملة البشرية. وعندما تُجهد هذه الموارد، فإنها تتبع نفس استراتيجيات المعالجة "الجيدة بما يكفي" (good-enough processing) كما يفعل البشر.
• السلامة والموثوقية: تشير النتائج إلى أنه تحت الحمل المعرفي العالي (مثل الاستدلال المعقد متعدد الخطوات)، قد تضعف النماذج اللغوية قدراتها في المعالجة النحوية، مما يؤدي إلى حدوث هلاوس حيث تفرض تفسيرات معقولة دلالياً ولكنها غير صحيحة واقعياً.
• الأبحاث المستقبلية: يوفر هذا النموذج أداة قوية لاستقصاء الآليات الداخلية للنماذج اللغوية (مثل آليات الانتباه كذاكرة عاملة) ولإجراء مقارنات أكثر صرامة بين البشر والنماذج اللغوية.

الخاتمة

تخلص الورقة إلى أن الحمل المعرفي الناجم عن المهمة، وليس فقط طول المدخلات، هو عامل حاسم في تقييد النماذج اللغوية. ومن خلال إجبار النماذج على الموازنة بين تخزين الذاكرة (حل الرياضيات) والمعالجة (فهم الجمل)، تكشف الدراسة أن النماذج اللغوية المتقدمة تتبنى استراتيجيات استدلال عقلاني تشبه البشر، حيث تعطي الأولوية للمعقولية الدلالية عندما تكون مواردها المعرفية غير كافية للحفاظ على تحليل نحوي صارم.