Beyond Memorization: Assessing Semantic Generalization in Large Language Models Using Phrasal Constructions

ملخص تقني: ما وراء الحفظ: تقييم التعميم الدلالي في النماذج اللغوية الكبيرة باستخدام التراكيب العبارية

بيان المشكلة
يمثل تدريب النماذج اللغوية الكبيرة (LLMs) مسبقاً على بيانات بمقياس الويب تحدياً نقدياً في التقييم: وهو التمييز بين الكفاءة اللغوية الحقيقية وبين مجرد حفظ الأنماط المتكررة. فبينما تؤدي النماذج أداءً جيداً في المهام المتعلقة بالبيانات الممثلة جيداً في مجموعات بيانات التدريب الخاصة بها، تظل قدرتها على التعميم إلى حالات لغوية إبداعية، أو خارج النطاق، أو أقل شيوعاً، غير واضحة. وتحديداً، يصعب تحديد ما إذا كانت النماذج تفهم حقاً الدلالات المجردة للبنى النحوية أم أنها تعتمد على الارتباطات الإحصائية المستمدة من العناصر المعجمية عالية التكرار. وتكافح طرق التقييم الحالية غالباً لضمان استقلال الاختبار عن بيانات التدريب المسبق أو تفشل في عزل ظواهر لغوية محددة مثل الدلالات التركيبية.

المنهجية
لمعالجة هذه التحديات، وضع المؤلفون إطار تقييم تشخيصي قائماً على "نحو البناء" (Construction Grammar - CxG). يفترض نحو البناء أن اللغة تُتعلم من خلال الاستخدام، حيث يتجرد المتحدثون من الفراغات النحوية لتفسك وإنتاج تجليات جديدة للتراكيب، حتى مع وجود عناصر معجمية غير مألوفة. وقد استفاد المؤلفون من هذا الإطار لتصميم تجربتين تستخدمان "الاستدلال اللغوي الطبيعي" (Natural Language Inference - NLI) كبديل للفهم:

1. التجربة الأولى (CxNLI): تختبر هذه التجربة قدرة النموذج على تعميم الدلالات التركيبية إلى تجليات إبداعية وغير متكررة للتراكيب العبارية الشائعة. تتكون مجموعة البيانات من 435 ثلاثية (NLI) مشتقة من 8 تراكيب إنجليزية عالية التكرار (مثل: النتيجة، السببية الحركية، "Let-Alone"). تستخدم المقدمات قوالب تركيبية "متجذرة"، ولكن يتم تجليها بعناصر معجمية أو أفعال غير نمطية من غير المرجح ظهورها في ذلك التركيب ضمن بيانات التدريب المسبق. تتطلب المهمة من النموذج تحديد ما إذا كانت الفرضية (المشتقة من المعنى المجرد للتركيب) تستلزم، أو تناقض، أو لا علاقة لها بالمقدمة.

2. التجربة الثانية (CxNLI-Distinction): تختبر هذه التجربة قدرة النموذج على التمييز بين التراكيب المتطابقة نحوياً والتي تمتلك معانٍ دلالية متباينة. تحتوي مجموعة البيانات على 99 ثلاثية (NLI) تتميز بتراكيب (مثل: الوصفي مقابل النتيجة) تشترك في نفس البنية السطحية (مثل: NP V NP ADJ) ولكنها تختلف في المعنى (مثل: حالة ناتجة عن فعل مقابل حالة موجودة أثناء الفعل). الهدف هو تقييم ما إذا كانت النماذج يمكنها تجنب التعميم الزائد لدلالات التراكب الأكثر تجذراً على المشتتات المتطابقة نحوياً والأقل تجذراً.

يتضمن التقييم اختبار نماذج حديثة، بما في ذلك GPT-4o، وGPT-o1، وGPT-3.5، وLlama 3 (8B و70B)، عبر إعدادات التعلم بدون أمثلة (zero-shot) والتعلم داخل السياق (in-context learning - ICL). تستخدم إعدادات التعلم داخل السياق أمثلة من مجموعة بيانات المؤلفين الخاصة (CxNLI) ومجموعة بيانات ستانفورد للاستدلال اللغوي الطبيعي (SNLI) القياسية لسبر قدرة النماذج على الاعتماد على المعرفة التركيبية المحددة مقابل القدرات العامة للاستدلال اللغوي الطبيعي.

المساهمات الرئيسية

1. مجموعة بيانات تشخيصية مبتكرة: قدم المؤلفون مجموعة بيانات تم التحقق منها يدوياً مكونة من 534 ثلاثية (NLI) مصممة خصيصاً لاختبار التعميم والتمييز التركيبي، متجاوزة مهام التحديد الميتا-لغوي لتقييم الفهم الدلالي الكامن.
2. إطار تقييم قائم على نحو البناء (CxG): على عكس الأعمال السابقة التي تركز على تراكيب مفردة أو مهام ميتا-لغوية، تستخدم هذه الدراسة مهمة الاستدلال اللغوي الطبيعي (NLI) المعهودة لسبر الفهم الوظيفي للمعنى التركيبي، واختبار كل من التجسيد الإبداعي والغموض النحوي.
3. تقييم واسع النطاق للنماذج: تدرس الدراسة مجموعة من النماذج، بما في ذلك الأكبر المتاح حالياً (GPT-o1، Llama 3 70B)، مما يوفر رؤية شاملة للحالة الراهنة للتعميم التركيبي في النماذج اللغوية الكبيرة.
4. موارد مفتوحة: يتم إتاحة مجموعة البيانات، والمطالبات (prompts)، واستجابات النماذج للجمهور لتسهيل المزيد من الأبحاث في التعميم اللغوي للنماذج اللغوية الكبيرة.

النتائج
تكشف التجارب عن تفاوت كبير بين أداء البشر والنماذج، لا سيما في القدرة على التمييز بين التراكيب المتطابقة نحوياً:

• التجربة 1 (التعميم): أظهرت النماذج، وخاصة GPT-4o وGPT-o1، دقة عالية (تصل إلى 90%) في تعميم الدلالات التركيبية إلى تجليات إبداعية. تحسن الأداء مع التعلم داخل السياق باستخدام أمثلة خاصة بالتركيب، مما يشير إلى أن النماذج يمكنها تعلم الخريطة المجردة عند توفير إشارات ذات صلة.
• التجربة 2 (التمييز): حدث انخفاض حاد في الأداء عندما طُلب من النماذج التمييز بين التراكيب المتطابقة نحوياً. حتى النماذج الأكثر تقدماً (GPT-o1، GPT-4o) شهدت انخفاضاً في دقتها بأكثر من 40% مقارنة بالتجربة 1. على سبيل المثال، انخفضت دقة GPT-o1 من 90% في التجربة 1 إلى 46% في التجربة 2.
• الأهمية الإحصائية: أكدت اختبارات A/B البايزية أن الانخفاض في الأداء في التجربة 2 هو انخفاض ذو دلالة إحصائية وأكثر وضوحاً بالنسبة للنماذج اللغوية الكبيرة مقارنة بالبشر. بينما ظل أداء البشر قوياً (اتفاق بين المقيّمين IAA بنسبة 83%)، عانت النماذج في رفض دلالات التراكيب شديدة التجذر عند تقديم مشتتات متطابقة نحوياً وأقل تجذراً.
• تحليل الخطأ: فشلت النماذج بشكل متكرر في التمييز بين التراكيب مثل "النتيجة" (الفعل يسبب حالة) و"الوصفي" (الحالة موجودة أثناء الفعل)، وغالباً ما أساءت تفسير العلاقة السببية. يشير هذا إلى فشل في الاستدلال السببي واعتماد مفرط على الارتباطات المعجمية-الدلالية الأكثر تكراراً.

الأهمية والادعاءات
يزعم المؤلفون أن نتائجهم تسلط الضوء على قصور جوهري في بنيات النماذج اللغوية الكبيرة الحالية: فبينما يمكن للنماذج معالجة الدلالات التركيبية إلى حد ما، إلا أنها تفشل في تعميم هذا الفهم إلى تجليات جديدة عند ظهور غموض نحوي. وتتحدى النتائج نموذج "كلما زادت البيانات كان أفضل"، مما يشير إلى أن توسيع نطاق بيانات نصوص الويب قد يعزز التحيزات نحو المعاني التركيبية الأكثر تكراراً بدلاً من تعزيز التفكير المجرد الحقيقي.

وتجادل الورقة بأن عدم القدرة على التمييز بين التراكيب المتطابقة نحوياً يمثل فشلاً في الاستدلال السببي مع وجود آثار محتملة على السلامة، حيث إن سوء فهم الفرق بين حالة متزامنة ونتيجة مسببة قد يؤدي إلى أخطاء كارثية في وكلاء الذكاء الاصطناي. علاوة على ذلك، تؤكد الدراسة على الحاجة إلى معايير تشخيصية تباينية لتقييم الكفاءة اللغوية بدقة، حيث إن المعايير واسعة النطاق قد تبالغ في تقدير القدرات الحقيقية للنموذج. ويخلص المؤلفون إلى أنه بينما تظهر النماذج الحالية متانة في التعامل مع التراكيب المتجذرة، فإن قدرتها على تعميم المعنى التركيبي إلى أشكال أخرى متطابقة نحوياً ومتمايزة دلالياً تتخلف بشكل كبير عن المعرفة اللغوية البشرية.