How Useful are LLMs for Grammar Engineering? Cantonese ParGram Resources and Controlled Experimental Evaluation with English Baselines
تقدم هذه الورقة موارد جديدة لـ ParGram للغة الكانتونية وتقدم تقييماً منضبطاً يظهر أنه بينما تستطيع النماذج اللغوية الكبيرة المتقدمة توليد مكونات قواعدية معقولة محلياً، إلا أنها تواجه صعوبة في التعامل مع القيود الشكلية المعقدة، مما يشير إلى أن الخبرة اللغوية البشرية تظل ضرورية لهندسة القواعد.
اللغة كائن حي يتنفس، ولكن لتعليم الكمبيوتر فهمها، يتعين على اللغويين غالباً بناء هيكل عظمي صلب أولاً. هذا المجال، المعروف باسم هندسة القواعد، يتضمن كتابة كتب قواعد تفصيلية تصف بدقة كيفية ترابط الكلمات مع بعضها لتكوين المعنى. فكر في كتب القواعد هذه ليس كمجرد قوائم للجمل الصحيحة، بل كأدلة تعليمات معقدة تخبر الآلة كيفية تفكيك الجملة إلى أجزائها الوظيفية، وتحديد من يفعل ماذا لمن، وكيف ترتبط تلك الأدوار عبر اللغات المختلفة. لعقود من الزمن، كان إنشاء هذه الأدلة عملية بطيئة ومضنية تتطلب خبرة بشرية عميقة، حيث يجب على المهندسين ترميز المنطق الدقيق لكل بنية جملة يدوياً. ومؤخراً، دخلت أداة جديدة إلى ورشة العمل: النماذج اللغوية الكبيرة، وهي أنظمة الذكاء الاصطناعي القوية ذاتها التي يمكنها كتابة المقالات أو الإجابة على الأسئلة. والسؤال الكبير الذي يواجه اللغويين هو ما إذا كانت أنظمة الذكاء الاصطناعي هذه يمكنها حقاً المساعدة في بناء كتب القواعد المعقدة اللازمة لتعليم الحواسيب عن اللغة، أم أنها ببساطة عرضة للخطأ بشكل كبير بالنسبة لمثل هذا العمل الدقيق.
لقد شرع باحث في اختبار هذا السؤال باستخدام اللغة الكانتونية، وهي لغة واسعة الانتشار افتقرت تاريخياً للموارد الرقمية التفصيلية المتاحة للغة الإنجليزية. قام بإنشاء مجموعة جديدة من المواد المرجعية عالية الجودة، والتي تعد بمثابة "المعيار الذهبي" لبنيات الجمل الصحيحة وعلاقاتها المنطقية الكامنة، لتكون بمثابة معيار قياس. ومع وضع هذا الأساس، أجرى سلسلة من التجارب المنضبطة لمعرفة ما إذا كان بإمكان نموذجين مختلفين من الذكاء الاصطناعي توليد قواعد النحو اللازمة من الصفر. لم يطلب الباحث من الذكاء الاصطناعي مجرد ترجمة نص؛ بل طلب منه أن يعمل كمهندس قواعد، ينتج المكونات التقنية المحددة المطلوبة لجعل الكمبيوتر يحلل الجمل بشكل صحيح. واختبر النماذج تحت ظروف مختلفة: أحياناً عبر إعطائها جملة خام فقط، وأحياناً أخرى عبر إعطائها الجملة الخام مع الهيكل المنطقي الصحيح الذي يُفترض بها استهدافه. كما قام بتغيير مستوى الصعوبة، حيث طلب من الذكاء الاصطناعي التعامل مع أنواع مفردة من الجمل مقابل مجموعات من الجمل المرتبطة التي تتفاعل بطرق معقدة.
كشفت النتائج عن تسلسل هرمي واضح للقدرة. فقد تفوق نموذج الذكاء الاصطناعي الأكثر تقدماً باستمرار على الآخر، منتجاً قواعد نحوية كانت أكثر عرضة للصحة والفائدة. ومع ذلك، فإن طريقة التوجيه (prompting) كانت لا تقل أهمية عن النموذج نفسه. فعندما زود الباحث الذكاء الاصطناعي بالهيكل المنطقي المستهدف جنباً إلى جنب مع الجملة، كانت قواعد النحو الناتجة أفضل بكثير مما لو كان على الذكاء الاصطناعي تخمين الهيكل من الجملة وحدها. وهذا يشير إلى أنه بينما يمكن للذكاء الاصطناعي التعرف على الأنماط، فإنه يعاني في استنتاج المنطق العميق وغير المرئي للغة دون دليل واضح. وحتى النموذج الأفضل أداءً، عندما واجه تحدي التعامل مع أنواع مختلفة من الجمل في آن واحد، بدأ في التعثر. فقد كان بإمكانه غالباً توليد قواعد تبدو صحيحة في الظاهر، لكنها تفشل عندما يتعين على تلك القواعد العمل معاً لتحليل جملة معقدة. وكثيراً ما فات الذكاء الاصطناعي الروابط الدقيقة بين أجزاء القواعد المختلفة، مثل كيفية مطابقة كلمة معينة في جزء من الجملة منطقياً مع دور معين في جزء آخر.
يخلص البحث إلى أن أنظمة الذكاء الاصطناعي هذه ليست جاهزة بعد لاستبدال اللغويين البشر في بناء هذه الأنظمة اللغوية المعقدة. فهي لا تستطيع بشكل مستقل إنشاء قواعد نحوية قوية وعاملة من مجرد قائمة من الجمل. بدلاً من ذلك، يبدو أن دورها الأكثر فائدة هو العمل كمساعد داعم. ويقترح البحث مسار عمل يمكن فيه للذكاء الاصطناعي توليد مسودة أولية للهياكل المنطقية أو مرشحات القواعد، والتي يقوم خبير بشري بعد ذلك بمراجعتها وتصحيحها وتنقيحها. وفي هذه الشراكة، يتولى الذكاء الاصطناعي القيام بالأعمال الشاقة المتمثلة في توليد الاحتمالات، بينما يقدم الإنسان الحكم النقدي اللازم لضمان أن يكون النظام النهائي سليماً ومنطقياً ودقيقاً. وتؤكد النتائج أنه بينما يمكن للذكاء الاصطناعي تسريع أجزاء من العملية، فإن الفهم الهيكلي العميق المطلوب لبناء محرك قواعد موثوق يظل راسخاً في مجال الخبرة البشرية.
ملخص تقني: موارد "كانتونيز بارغرام" (Cantonese ParGram) والتقييم التجريبي المنضبط مع خطوط أساس إنجليزية
بيان المشكلة لا تزال هندسة القواعد —وهي تصميم وتنفيذ القواعد الصورية حاسوبيًا للتحليل اللغوي وتطبيقات معالجة اللغات الطبيعية (NLP)— عملية تتطلب جهداً مكثفاً وخبرة عميقة في الصورية اللغوية والتنفيذ الحاسوبي. وبينما أظهرت النماذج اللغوية الكبيرة (LLMs) إمكانات في توليد البنى اللغوية، إلا أن فائدتها في إنشاء قواعد لغوية كافية لغويًا، ودقيقة صوريًا، وقابلة للاستخدام حاسوبيًا ضمن المسارات الرمزية القائمة (وتحديدًا "نظرية القواعد الوظيفية-التركيبية" المطبقة في بيئة "زيروكس اللغوية" XLE) لا تزال غير واضकीة. ركزت الدراسات السابقة إما على أداء الترجمة أو على تقييمات محدودة للبنى الوظيفية دون تقييم السلامة الصورية أو جودة مستوى الإعراب للقواعد الناتجة. تعالج هذه الورقة الفجوة في فهم كيفية أداء النماذج اللغوية الكبيرة الحالية في توليد قواعد XLE قابلة للمعالجة آليًا، لا سيما للغات ذات الموارد المحدودة مثل اللغة الكانتونية، وكيفية تعاملها مع تنسيق القيود الصورية المتفاعلة.
المنهجية تستخدم الدراسة نموذجًا تجريبيًا منضبطًا لتقييم نموذجين من نماذج OpenAI: النموذج مفتوح الأوزان gpt-oss-120b والنموذج الرائد المملوك لشركة OpenAI وهو GPT-5.4. يستخدم التقييم موارد "كانتونيز بارغرام" (Cantonese ParGram) المطورة حديثًا كمعايير ذهبية، مع خطوط أساس لغة إنجليزية (English ParGram) للمقارنة.
تتنوع التجارب عبر بُعدين:
مصدر المعلومات: ما إذا كان يتم توجيه النموذج باستخدام جمل خام أو بنى وظيفية مستهدفة (f-structures) مشتقة من "بنك الشجر" (treebank) المعياري الذهبي.
نطاق التوليد:
التجربة 1 (بناء مفرد): توليد قواعد XLE لجملة أو بناء واحد.
التجربة 2 (بناء متعدد): توليد قواعد عامة قادرة على إعراب مجموعة من الجمل ذات التعقيد المتفاوت (أساسي، متوسط، متقدم) في آن واحد.
مقاييس التقييم:
الدقة حسب القاعدة (AR): النسبة المئوية للقواعد في القواعد المولدة التي تلتزم بصورية LFG وتدوين XLE.
موارد جديدة: تقدم الورقة موارد "كانتونيز بارغرام" جديدة، بما في ذلك قواعد XLE مصممة يدويًا وبنك شجر تم توليده آليًا يغطي أول 50 جملة من مجموعة اختبار ParGram. تلتقط هذه الموارد ظواهر معقدة مثل بناء التحكم (control constructions)، وتقديم المفعول به (باستخدام العلامة zoeng)، وبناءات المبني للمجهول (باستخدام bei)، مما يجعلها معايير ذهبية للتقييم المستقبلي.
إطار تقييم منضبط: تؤسس دراسة تجريبية منضبطة لعزل المتغيرات (نوع النموذج، مصدر التوجيه، نطاق البناء) في هندسة القواعد، متجاوزةً مقاييس الكفاءة من البداية إلى النهاية للتركيز على الدقة الصورية على مستوى القاعدة وجودة الإعراب على مستوى البنية.
توصيف الأخطاء: تقدم الدراسة تحليلًا تفصيليًا للأخطاء يحدد أوضاع الفشل المحددة في القواعد المولدة بواسطة النماذج اللغوية الكبيرة، لا سيما فيما يتعلق بتنسيق قواعد بنية العبارة، والمدخلات المعجمية، والقوالب، والقيود الوظيفية.
النتائج
أداء النماذج: تفوق نموذج GPT-5.4 باستمرار على gpt-oss-120b في كلتا التجربتين وفي كل من مقياسي AR وQR. في التجربة 1، حقق GPT-5.4 دقة (AR) بنسبة 90% وتقييم جودة (QR) قدره 2.88 (نطاق جيد/ممتاز) عند تزويده بالبنى الوظيفية (f-structures)، مقارنة بـ 75% لـ AR و2.02 لـ QR لنموذج gpt-oss-120b.
تأثير مصدر التوجيه: أدى توفير البنى الوظيفية المستهدفة كجزء من التوجيه (prompt) إلى تحسين الأداء بشكل كبير مقارنة بتوفير الجمل وحدها. وقد ثبت ذلك لكلا النموذجين ولوحظ أيضًا في حالات خط الأساس الإنجليزية، مما يشير إلى أن الفائدة ليست مرتبطة بلغة محددة.
التعقيد والتعميم: تدهور الأداء في التجربة 2 (إعدادات البناء المتعدد). وبينما حافظ GPT-5.4 على تقييم جودة (QR) قدره 2.50 في حالة البنى الوظيفية المتعددة، عانى gpt-oss-120b بشكل كبير، حيث صُنفت 90% من مخرجاته في حالة الجمل المتعددة على أنها "سيئة".
أنماط الخطأ: استطاع كلا النموذجين توليد قواعد بنية عبارة ومدخلات معجمية مقبولة محليًا، لكنهما فشلا كثيرًا في تنسيق القيود الصورية المتفاعلة. شملت الأخطاء الشائعة نقص أو خطأ في أطر التبعية (subcategorization frames)، ونقص التوصيفات الوظيفية، والفشل في تنفيذ معادلات مشاركة البنية الضرورية (مثل بناءات التحكم والمبني للمجهول). غالبًا ما ولدت النماذج قواعد صحيحة صوريًا ولكنها غير ذات صلة بالتحليل المطلوب، أو فشلت في التقاط التناوبات (مثل تقديم المفعول به) عبر القواعد المعجمية.
الأهمية والادعاءات تدعي الورقة أن النماذج اللغوية الكبيرة الحالية تمتلك قدرات محددة ولكنها تواجه قيودًا واضحة عند تطبيقها في هندسة القواعد القائمة على المعرفة:
دور داعم، وليس استبداليًا: قد تدعم النماذج اللغوية الكبيرة المراحل المتوسطة لتطوير القواعد، مثل توليد البنى الوظيفية الأولية أو مكونات القواعد المرشحة. ومع ذلك، لا يمكنها بعد استبدال الخبرة اللغوية البشرية.
سير عمل "الإنسان في الحلقة" (Human-in-the-Loop): تشير النتائج إلى سير عمل قابل للتطبيق حيث تقوم النماذج اللغوية الكبيرة بتوليد التحليلات الأولية (مثل البنى الوظيفية من الجمل)، والتي يتم بعد ذلك التحقق منها وصقلها من قبل خبراء بشريين. ويمكن استخدام هذه البنى المصححة لتوجيه توليد قواعد أكثر قوة.
القصور في التنسيق: يتمثل القصور الرئيسي في عدم قدرة النماذج الحالية على تنسيق التفاعلات المعقدة بين المكونات النحوية المتعددة (القواعد، القوالب، القيود) المطلوبة لقواعد واسعة النطاق ومتعددة البناءات.
نطاق متواضع: يشير المؤلف صراحةً إلى أن هذه التجارب لا تعيد إنتاج التعقيد الكامل للقواعد الناضجة واسعة النطاق (مثل قواعد ParGram للإنجليزية أو الألمانية) ولكنها تعمل على عزل المتغيرات وتوصيف القدرات. ولا تدعي الدراسة أن النماذج اللغوية الكبيرة يمكنها حاليًا تطوير قواعد جاهزة للإنتاج للغات ذات الموارد المحدودة بشكل مستقل دون تدخل بشري كبير.
ختامًا، تصنف الدراسة النماذج اللغوية الكبيرة كأدوات محتملة لمساعدة مهندسي القواعد الخبراء بدلاً من كونها وكلاء مستقلين، مؤكدة أن الخبرة البشرية تظل مركزية في التحليل والتحقق وصقل القيود الصورية.