ملخص تقني: هل يمكن للنماذج اللغوية الكبيرة تفسير اللغة المجازية كما يفعل البشر؟

بيان المشكلة

بينما تولد النماذج اللغوية الكبيرة (LLMs) نصوصاً تشبه المخرجات البشرية، إلا أن مدى توافقها مع الأحكام البشرية في تفسير اللغة المجازية والمترسخة اجتماعياً يظل غير مؤكد. تشير الأدبيات الحالية إلى أن النماذج اللغوية قد تطابق البشر في الأحكام السطحية (مثل الدقة النحوية أو المشاعر الأساسية)، لكنها تتباعد في العمليات التفسيرية الأعمق التي تتضمن البراغماتية (التداولية)، والسياق، والخبرة الذاتية. وتحديداً، ليس من الواضح ما إذا كانت هذه النماذج تمتلك التجذر المعرفي اللازم لتنظيم المعنى في مساحة دلالية مشتركة مع البشر، لا سيما بالنسبة للسمات اللغوية المعقدة مثل الاصطلاحات (Idioms)، والسخرية، والفكاهة، والنبرة العاطفية، ولغة جيل زد (Gen Z slang). تعتمد الأبحاث الحالية غالباً على التوافق الإجمالي (التشابه السطحي)، وهو ما قد يحجب الإخفاقات في التقاط التمايزات الدقيقة المطلوبة للظواهر البراغماتية المعقدة.

المنهجية

لمعالجة ذلك، أجرى المؤلفون دراسة تقارن بين المشاركين البشر وأربعة نماذج لغوية كبيرة مضبوطة بالتعليمات (GPT-4، وGemma-2-9B، وLlama-3.2، وMistral-7B) باستخدام تحليل التشابه التمثيلي (RSA).

البيانات والمثيرات

• المثيرات: تم تجميع مجموعة بيانات مكونة من 240 جملة حوارية، مقسمة إلى 120 جملة "منطقية" (تحتوي على سمة لغوية محددة) و120 جملة "غير منطقية" (مشابهة هيكلياً ولكنها تفتقر إلى السمة الرئيسية).
• الفئات: تم تصنيف الجمل إلى ست سمات لغوية: تقليدية (Conventional)، واصطلاحية (Idiomatic)، وعاطفية (Emotional)، وفكاهية (Funny)، وساخرة (Sarcastic)، ولغة جيل زد (Gen Z Slang).
• التقييم: تم إقران كل جملة بـ 40 سؤالاً تفسيرياً (مثل: "هل هذا ساخر؟"، "هل هذا ذو صلة بك؟") مصممة لتقييم المعنى، والنبرة، والجودة التعبيرية.
• المقياس: قام كل من البشر والنماذج بتقييم الجمل على مقياس ليكرت المكون من 10 نقاط، مما نتج عنه 9,600 زوج من (الجملة–السؤال).

المشاركون

• البشر: 211 مشاركاً من طلاب المرحلة الجامعية من جامعة تكساس إيه آند إم (Texas A&M University).
• النماذج: أربعة نماذج لغوية كبيرة من نوع (decoder-only) ومضبوطة بالتعليمات، تم الوصول إليها عبر API أو Hugging Face.
• الظروف: أُجريت دراستان؛ استخدمت الدراسة الأولى مطالبة (prompt) قياسية بنمط "الصفر محاولة" (zero-shot). بينما قدمت الدراسة الثانية قيوداً منقحة (حدود تقييم صارمة من 1 إلى 10 وتبريرات من جملة واحدة) لتقييم الحساسية تجاه المطالبة.

الإطار التحليلي

ميزت الدراسة بين مستويين من التوافق:

1. التشابه على المستوى السطحي (SLS): يتم حسابه عبر معاملات ارتباط بيرسون بين تقييمات البشر والنماذج لفئات جمل محددة. يقيس هذا مستوى الاتفاق في المخرجات.
2. التشابه التمثيلي (RSA): تفحص هذه الطريقة البنية الداخلية للتفسير.
   • تم حساب المسافات الإقليدية الزوجية بين جميع أزواج الجمل بناءً على ناقلات التقييم ذات الـ 40 بُعداً، مما أنشأ مصفوفة عدم تشابه تمثيلي (RDM) لكل من البشر وكل نموذج.
   • قام تحليل RSA بقياس التوافق من خلال ربط المدخلات في المثلث العلوي لـ RDM البشري مع مصفوفات RDM الخاصة بكل نموذج.
   • الأهمية: يشير ارتباط RSA المرتفع إلى أن البشر والنماذج ينظمون الجمل بطرق هيكلية متشابهة داخل مساحاتهم الدلالية، حتى لو اختلفت قيم التقييم المطلقة. يشير ارتباط RSA المنخفض إلى هندسات تمثيلية داخلية متباعدة.

النتائج الرئيسية

التشابه على المستوى السطحي (SLS)

• التوافق العام: أظهرت النماذج، وخاصة GPT-4، توافقاً قوياً على المستوى السطحي مع البشر (ارتباط $r \approx 0.60–0.90$ للجمل المنطقية).
• التدرج الهرمي للنماذج: تفوق GPT-4 باستمرار على النماذج الأخرى. أظهرت نماذج Gemma وMistral توافقاً متوسطاً، بينما أظهر Llama-3.2 أضعف توافق، خاصة في الفئات المجازية.
• اختلاف الفئات: حققت الجمل التقليدية والعاطفية ارتباطات أعلى من الجمل الفكاهية والساخرة ولغة جيل زد.
• الحساسية للمطالبة: أظهرت الدراسة الثانية (المطالبات المنقحة) تحسناً طفيفاً في SLS عبر النماذج، لكن الجمل "غير المنطقية" ظلت تشكل تحدياً.

التشابه التمثيلي (RSA)

• التباعد: رغم التوافق العالي على المستوى السطحي، كشف RSA عن تباعد منهجي بين المساحات التمثيلية للنماذج والبشر.
• اللغة المجازية: كان التوافق أضعف بشكل ملحوظ في الفئات الغنية براغماتياً (الاصطلاحات، السخرية، لغة جيل زد) مقارنة بالجمل التقليدية أو العاطفية.
  • أظهر GPT-4 أقوى توافق تمثيلي ($r \approx 0.50–0.85$ للجمل المنطقية) ولكنه لا يزال دون مستوى الاتساق (بشر-بشر) الذي يتراوح بين ($r \approx 0.75–0.85$).
  • أظهرت النماذج الأصغر (Llama, Mistral) توافقاً تمثيلياً منخفضاً جداً ($r \approx 0.10–0.35$) للفئات المجازية.
• الجمل غير المنطقية: واجهت النماذج صعوبة في التمييز بين النسخ المنطقية وغير المنطقية في تمثيلاتها الداخلية، حيث انخفضت الارتباطات بشكل كبير مقارنة بالخطوط المرجعية البشرية.
• تأثير المطالبة: بينما حسنت المطالبات المنقحة التقييمات على المستوى السطحي، إلا أنها لم تغير بشكل جوهري التنظيم الدلالي الداخلي للنماذج، لا سيما لنموذج Llama.

المساهمات الرئيسية

1. التمييز المنهجي: تميزت الدراسة بفصل الاتفاق السلوكي على المستوى السطحي عن التوافق الهيكلي التمثيلي، مما يثبت أن الارتباط العالي في التقييمات لا يضمن وجود تنظيم دلالي داخلي مشترك.
2. الدليل التجريبي على التباعد: تقدم الدراسة دليلاً على أن النماذج اللغوية الكبيرة، حتى الأكثر تطوراً مثل GPT-4، تفشل في محاكاة الهندسات التمثيلية البشرية للغة المجازية، خاصة للسمات المعتمدة على السياق مثل السخرية واللغة العامية.
3. التدرج الهرمي للنماذج: ترسي الدراسة تدرجاً ثابتاً حيث يقترب GPT-4 من الأنماط التمثيلية البشرية أكثر من النماذج الأصغر، ومع ذلك لا يصل أي نموذج إلى موثوقية (بشر-بشر).
4. رؤى حول الآليات: تشير النتائج إلى أن أهداف التدريب الحالية (التنبؤ بالرمز التالي) غير كافية لضبط التنظيم الداخلي للمعنى من أجل الاستدلال البراغماتي، مما يؤدي بالنماذج إلى الاعتماد على الاستدلالات السطحية بدلاً من التجذر الدلالي المستقر.

الأهمية والادعاءات

يدعي البحث أنه بينما يمكن للنماذج اللغوية الكبيرة تقريب الأحكام البشرية على مستوى سطحي، إلا أنها لا تمتلك بعد البنية التمثيلية المطلوبة للتفسير البشري الحقيقي للغة المجازية والمترسخة اجتماعياً.

• محدودية النماذج الحالية: تدعم النتائج وجهة النظر القائلة بأن النماذج اللغوية الكبيرة تعتمد على مطابقة الأنماط التوزيعية بدلاً من التجذر الدلالي المستقر. إن عدم القدرة على التوافق في الهندسة التمثيلية للاصطلاحات واللغة العامية يشير إلى نقص في الإشراف الحساس للسياق والتجذر الاجتماعي في البنى الحالية.
• الآثار على التقييم: يرى المؤلفون أن تقييم النماذج اللغوية الكبيرة بناءً على دقة المخرجات أو الارتباطات السطحية فقط هو أمر غير كافٍ. يجب أن تختبر الأطر المستقبلية كيفية تنظيم المعنى داخلياً (عبر طرق مثل RSA) بدلاً من مجرد ما يتم توليده من مخرجات.
• النطاق المحدود: يقر المؤلفون بوجود قيود، بما في ذلك حجم مجموعة البيانات الصغير نسبياً، ونقص الإشارات السياقية الغنية في المثيرات (وهي ضرورية للسخرية والفكاهة)، والافتراض بأن البشر والنماذج يتشاركون أطراً داخلية متقاربة. وبناءً على ذلك، فإن الادعاءات تقتصر على التفسير البراغماتي المستقل عن السياق، مما يشير إلى أن الفجوات الملحوظة قد تتفاقم في غياب سياق الخطاب الواقعي.

ختاماً، تفترض الدراسة أن النماذج اللغوية الكبيرة الحالية تشفر اللغة المجازية في مساحات تمثيلية متوافقة جزئياً فقط مع التنظيم الدلالي البشري، مما يسلط الضوء على فجوة جوهرية بين توليد نص يشبه النص البشري وبين امتلاك تجذر معرفي بشري للغة البراغماتية.