Grammar Engineering Meets LLMs: Development of Cantonese and Irish ParGram Treebanks
تُفصّل هذه الورقة تطوير بنوك شجرية للغتين الكانتونية والأيرلندية ضمن مشروع القواعد المتوازية مع تقييم مدى فائدة النماذج اللغوية الكبيرة متعددة اللغات في هندسة القواعد، حيث وجدت أنه بينما تقدم هذه النماذج قيمة محدودة في اقتراح تحليلات بديلة، فإنها تفتقر حاليًا إلى قدرات التجريد عبر اللغات الضرورية لاستبدال التحقق اللغوي الذي يقوده الخبراء.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول بناء مترجم عالمي للعقل البشري، ليس للكلمات فحسب، بل للقواعد العميقة وغير المرئية التي تجعل الجمل تعمل. هذا هو عالم هندسة القواعد. فكر في الأمر كأنك مهندس معماري لا يكتفي برسم منزل، بل يكتب الكود الفعلي الذي يخبر الروبوت بكيفية بنائه، طوبة تلو الأخرى، لضمان عدم انهيار السقف. وللقيام بذلك، يستخدم اللغويون خرائط خاصة تسمى المخازن الشجرية (treebanks). إذا كانت الجملة عبارة عن مبنى، فإن المخزن الشجري هو المخطط الذي يوضح بالضبط كيف ترتبط كل كلمة بالأخرى، ملتقطاً من فعل ماذا ولمن. ولكن هنا يكمن الجزء الصعب: عندما تحاول بناء هذه المخططات للغتين مختلفتين تماماً — مثل لغة تتدفق كالنهر وأخرى تقفز كالضفدع — فأنت بحاجة إلى خطة رئيسية تحافظ على الهيكل الأساسي ثابتاً بينما تسمح للتفاصيل السطحية بالاختلاف. هذا هو تحدي القواعد المتوازية: التأكد من أن "روح" الجملة متطابقة عبر اللغات، حتى لو كانت "الملابس" التي ترتديها مختلفة تماماً.
الآن، لندخل على "الوافد الجديد" في الساحة: نماذج اللغات الكبيرة (LLMs). هذه هي روبوتات الدردشة الذكية للغاية التي قرأت كل شيء تقريباً على الإنترنت. إنها بارعة في تخمين الكلمة التالية في الجملة، ولكن هل يمكنها حقاً فهم القواعد المعمارية العميقة للقواعد؟ هل يمكنها مساعدة المهندسين البشريين في بناء هذه المخططات بشكل أسرع، أم أنها مجرد "مخمنات بارعة" قد تبني بالخطأ منزلاً بباب في السقف؟ هذه الورقة تسأل هذا السؤال تحديداً، باستخدام لغتين متميزتين جداً: الكانتونية (لغة من جنوب الصين ذات نهايات كلمات قليلة جداً) والأيرلندية (لغة سلتية مليئة بنهايات الكلمات وترتيب مختلف للكلمات). أراد الباحثون معرفة ما إذا كان بإمكان الذكاء الاصطنا esquive الترجمة بين هاتين اللغتين ورسم المخططات القواعدية الصحيحة لهما، ليعمل كمساعد مفيد للخبراء البشريين.
التجربة: الذكاء الاصطناعي كمتدرب قواعد
أجرى الباحثون اختبار قيادة باستخدام نموذج ذكاء اصطناعي محدد (gpt-oss-120b من OpenAI) وأعطوه مجموعة من 50 جملة. كانت هذه الجمل بمثقابة "اختبار رخصة قيادة" للقواعد، حيث غطت كل شيء من الجمل البسيطة إلى الجمل المعقدة التي تحتوي على جمل صلة وهياكل أفعال مخادعة. طلبوا من الذكاء الاصطناعي القيام بمهمتين رئيسيتين:
- الترجمة: تحويل جملة من الكانتونية إلى الأيرلندية، أو العكس.
- رسم المخطط: إنشاء خريطة قواعدية رسمية (تسمى f-structure) توضح العلاقات العميقة بين الكلمات، متجاهلة الترتيب السطحي.
جربوا ذلك بطرق مختلفة: عبر الطلب من الذكاء الاصطناعي باللغة الإنجليزية، أو باللغة المستهدفة، أو بطلب الترجمة والرسم في وقت واحد.
النتائج: مزيج من العبقرية والارتباك
كانت النتائج تشبه إلى حد كبير مشاهدة متدرب موهوب ولكنه مرتبك. أظهر الذكاء الاصطناعي أنه يمكنه أحياناً رؤية الصورة الكبيرة، لكنه غالباً ما يتعثر في التفاصيل.
مشاكل الترجمة
عندما تعلق الأمر بالترجمة، عانى الذكاء الاصطناعي بشدة. كان الأمر يشبه طالباً يعرف المفردات ولكنه يخلط باستمرار بين اللهجات.
- خلط "الماندارين": عندما طُلب منه التحدث بالكانتونية، كان الذكاء الاصطناعي ينزلق غالباً إلى الماندارين. على سبيل المثال، استخدم كلمة hǎo bàng (رائع) بدلاً من الكلمة الكانتونية الصحيحة hóu lèk. الأمر يشبه أن تطلب من شخص التحدث بلكنة اسكتلندية، فيستخدم بالخطأ مصطلحات أمريكية.
- الكلمات "المخترعة": عند الترجمة إلى الأيرلندية، لم يكتفِ الذكاء الاصطناعي بارتكاب الأخطاء، بل اخترع كلمات. فكلمة "جرار" (tarracóir) تحولت أحياناً إلى "غطاء مشمع"، أو "لص"، أو "أرنب"، أو حتى "سارق". بدا وكأنه يخمن بناءً على كيفية "صوت" الكلمة أو السياق الذي وردت فيه، بدلاً من معرفة معناها الفعلي.
- معدل النجاح: كانت الأرقام واقعية ومحبطة. عندما طُلب منه الترجمة من الأيرلندية إلى الكانتونية، كانت حوالي 22% إلى 24% فقط من الترجمات دقيقة في المعنى وطبيعية في الصياغة. أما من الكانتونية إلى الأيرلندية، فكانت النسبة أقل، حيث حققت 6% إلى 8% فقط من الترجمات الهدف. ومن المثير للاهتمام أن تغيير لغة التعليمات (الـ prompt) لم يساعد على الإطلاق؛ فقد كان أداء الذكاء الاصطناعي سيئاً بنفس القدر سواء طُلب منه ذلك بالإنجليزية أو باللغة المستهدفة.
رسم المخطط
عندما تعلق الأمر برسم المخططات القواعدية (f-structures)، كان أداء الذكاء الاصطناعي أفضل قليلاً، لكن لا يزال أمامه طريق طويل.
- الإنجليزية كانت سهلة: في الجمل الإنجليزية، أصاب الذكما الاصطناعي (بتقييم "ممتاز" أو "جيد") حوالي 46% من المرات.
- الكانتونية كانت مقبولة: تمكن من إجراء تحليل هيكلي صحيح للكانتونية حوالي 34% من المرات.
- الأيرلندية كانت صعبة: انخفض معدل النجاح في الأيرلندية إلى 20% فقط. يشتبه الباحثون في أن هذا بسبب امتلاك الأيرلندية نهايات كلمات أكثر تعقيداً وترتيب جمل مختلف (فعل-فاعل-مفعول به)، وهو ما لم يكن الذكاء الاصطناعي مألوفاً به.
- تحدي المخطط "المشترك": كانت المهمة الأصعب هي طلب إيجاد الهيكل العميق المشترك بين الكانتونية والأيرلندية. هنا، فشل الذكاء الاصطناعي في الغالب، حيث تم تصنيف 44% من محاولات الكانتونية-إلى-الأيرلندية و 38% من محاولات الأيرلندية-إلى-الكانتونية على أنها "سيئة". لقد كافح لتجريد القواعد المشتركة مع تجاهل الاختلافات السطحية.
ما أخطأ فيه الذكاء الاصطناعي (وما أصاب فيه)
لم يكن الذكاء الاصطناعي عديم الفائدة تماماً. فقد نجح في التقاط علاقات "من فعل ماذا" الأساسية في حوالي 70% من الحالات، حتى لو كانت التفاصيل فوضوية. كما اقترح أحياناً طرقاً بديلة مثيرة للاهتمام للنظر في الجملة، مما قد يثير فكرة لدى اللغوي البشري.
ومع ذلك، كانت الأخطاء كاشفة.
- الصور النمطية: افترض الذكاء الاصطناعي أن "المزارعين" و"السائقين" دائماً ذكور، حيث أسند إليهم وسوماً مذكرة رغم أن الكانتونية والأيرلندية لا تتطلبان جنساً لهذه الكلمات قواعدياً. لقد اعتمد على "معرفته بالعالم" بدلاً من قواعد اللغة.
- خلط المفاهيم: غالباً ما خلط بين أنواع الهياكل الجملية المختلفة، حيث عامل جملة صلة (مثل "السيارة التي اشتريتها") كما لو كانت مفعولاً به مباشراً، مما أظهر أنه لم يستوعب تماماً الفروق النظرية.
- الهلوسة: اخترع الذكاء الاصطناعي كلمات ومعانٍ، مثل ترجمة "استحم في النهر" إلى "أغرق نفسه في النهر"، مما غير القصة تماماً.
الخلاصة
تخلص الورقة إلى أنه على الرغم من قوة نماذج الذكاء الاصطناعي هذه، إلا أنها ليست جاهزة لاستبدال الخبراء البشريين في بناء قواعد معقدة. يمكنها تقديم "مسودة أولية" أو تلميح لفكرة، لكن لا يمكن الوثوق بها للحصول على التفاصيل الصحيحة. الذكاء الاصطناعي يشبه طالباً سريعاً وواثقاً جداً قرأ الكثير من الكتب، لكنه لم يمارس الحرفة فعلياً لبناء منزل متين.
يؤكد الباحثون أن الخبرة البشرية لا تزال ضرورية. يجب فحص مخرجات الذكاء الاصطناعي والتحقق منها بعناية من قبل أشخاص يفهمون اللغات حقاً. تشير الدراسة إلى أنه حتى يتم تدريب نماذج الذكاء الاصطناعي على بيانات أكثر تحديداً وعالية الجودة لهذه اللغات "قليلة الموارد"، ستظل مجرد فضول أكثر من كونها شريكاً موثوقاً في العمل الجاد لهندسة القواعد. إن حلم بناء قواعد مؤتمتة بالكامل لا يزال بعيد المنال، لكن هذه التجربة ساعدت في رسم خريطة توضح بالضبط أين تتعثر التكنولوجيا الحالية في أقدامها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.