Creating ConLangs to Probe the Metalinguistic Grammatical Knowledge of LLMs
تقدم هذه الورقة نظام IASC، وهو نظام وكيل تفاعلي يسخر النماذج اللغوية الكبيرة لبناء لغات اصطناعية، ليعمل كأداة إبداعية وإطار عمل مبتكر لسبر أغوار الفهم الميتا-لغوي للنماذج تجاه المفاهيم اللغوية، ويكشف بشكل خاص أن النماذج اللغوية الكبيرة تتعامل مع الأنماط الصرفية والنحوية الشائعة نمطيًا بفعالية أكبر من تلك النادرة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك طاهٍ يرغب في ابتكار مطبخ جديد تمامًا من الصفر. أنت لا تريد مجرد طهي وجبة؛ بل تريد تصميم قواعد المطبخ، ومكوناته، وطرق الطهي، وحتى طريقة تقديم الطعام.
هذه الورقة البحثية تتحدث عن فريق من الباحثين (من جامعة نوتردام وشركة Sakana AI) قاموا ببناء طاهٍ آلي (نظام ذكاء اصطناعي يسمى IASC) لمساعدة البشر في ابتكار لغات مُصطنعة (ConLangs)—مثل لغة "كلينغون" من مسلسل "ستار تريك" أو لغة "إلفيش" من "سيد الخواتم".
ولكن هنا تكمن المفاجأة؛ لم يبنوا الروبوت لمجرد صنع لغات رائعة فحسب، بل استخدموا الروبوت كـ اختبار لمعرفة مدى فهم الذكاء الاصطناعي الفعلي لكيفية عمل اللغة، بدلاً من مجرد حفظ الحقائق عن اللغات الموجودة.
إليك تفصيل تجربتهم بكلمات بسيطة:
1. الطاهي الآلي (IASC)
النظام يشبه خط تجميع معياري. بدلاً من طلب "صنع لغة" من الذكاء الاصطناً في خطوة واحدة ضخمة (والتي عادة ما تؤدي إلى فوضى غير متسقة)، قاموا بتقسيم المهمة إلى محطات محددة:
- محطة الأصوات: تحديد الأصوات التي تستخدمها اللغة (مثل "p" أو "k"، أو صوت خاص باللغة الويلزية مثل "lh").
- محطة القواعد: تحديد كيفية تركيب الكلمات معاً (على سبيل المثال: هل يأتي الفعل أولاً، أم في الآخر، أم في المنتصف؟).
- محطة القاموس: إنشاء الكلمات.
- محطة الكتابة: تحديد كيفية كتابتها (الحروف اللاتينية، السيريلية، إلخ).
- محطة الدليل: كتابة كتاب قواعد للغة الجديدة.
يعمل الروبوت في حلقة: يصنع مسودة، ثم يراجع عمله الخاص، يحصل على ملاحظات، ثم يصحح الأخطاء. يُسمى هذا النهج "الوكيل" (Agentic)، مما يعني أن الذكاء الاصطناعي يعمل كوكيل يمكنه نقد وتحسين مخرجاته الخاصة.
2. الاختبار الحقيقي: "صالة ألعاب القواعد" (Grammar Gym)
أدرك الباحثون أن ابتكار لغة هو وسيلة رائعة لاختبار المعرفة اللغوية العليا (Metalinguistic knowledge) لدى الذكاء الاصطناعي.
- المعرفة اللغوية العليا هي مثل معرفة قواعد اللعبة بدلاً من مجرد معرفة كيفية لعب مباراة محددة.
- تشبيه: إذا سألت ذكاءً اصطناعيًا: "ما هي عاصمة فرنسا؟"، فهذه مجرد معلومات عامة (معرفة موسوعية). ولكن إذا قلت له: "خذ هذه الجملة الإنجليزية وأعد كتابتها بحيث يأتي المفعول به قبل الفاعل، وأضف سابقة خاصة لكل فعل"، فإن هذا يتطلب من الذكاء الاصطناعي فهم مفهوم القواعد بحد ذاته.
لقد ركزوا بشدة على محطة القواعد (Morphosyntax). فقد أعطوا الذكاء الاصطناعي مجموعة من الجمل الإنجليزية ومجموعة من القواعد الغريبة والمحددة (مثلاً: "استخدم ترتيب كلمات نادر جداً في العالم الحقيقي، مثل المفعول به-الفعل-الفاعل"). ثم طلبوا منه ترجمة الجمل وفقاً لهذه القواعد.
3. النتائج: "فخ النمطية" (The Typology Trap)
اختبر الباحثون نماذج ذكاء اصطناعي مختلفة (مثل GPT-4 وClaude وGemini) مقابل تسعة "مخططات لغوية" مختلفة. بعض المخططات كانت مبنية على لغات شائعة (مثل الفرنسية أو التركية)، وكان أحدها "نمطاً صعباً" يحتوي على مزيج من القواعد النادرة والمتناقضة.
ما وجدوه:
- انحياز "المنطق السليم": كانت نماذج الذكاء الاصطناعي بارعة في اتباع القواعد التي تبدو كاللغات البشرية الشائعة (مثل وضع الفعل في النهاية، كما في اليابانية). لكنها واجهت صعوبة كبيرة عندما كانت القواعد غريبة أو نادرة (مثل وضع المفعول به قبل الفاعل).
- تشبيه: الأمر يشبه لاعبة الجمباز التي تبدع في الروتين الأرضي القياسي، لكنها تتعثر في قدميها عندما يُطلب منها القيام بحركة لم ترها قط في الكتب المدرسية.
- الحجم يصنع الفرق: النماذج الأكبر والأذكى (مثل Gemini 2.5 Pro وGPT-5) حققت أداءً أفضل بكثير من النماذج الأصغر. فقد استطاعت التعامل مع القواعد المعقدة والغريبة بنجاح أكبر.
- تعزيز "المراجعة": عندما أعطى الباحثون الذكاء الاصطناعي "ورقة غش" (بضع أمثلة على القواعد قبل مطالبته بالترجمة)، قفز الأداء بشكل كبير. وهذا ما يسمى "التعلم في السياق" (In-Context Learning). إنه يشبه عرض مسألة رياضية محلولة على طالب قبل أن تطلب منه حل مسألة جديدة.
- مشكلة "التحليل": من المثير للاهتمام أن الذكاء الاصطناعي واجه صعوبة أكبر مع اللغات التي تعتمد على ترتيب الكلمات (مثل الفيتنامية) مقارنة باللغات التي تستخدم الكثير من النهايات (مثل اللاتينية أو التركية). بدا وكأن الذكاء الاصطناعي يرتبك عندما يتعين عليه تجريد الكلمات إلى صيغها الأساسية دون مساعدة اللواحق الواضحة.
4. لماذا هذا مهم؟
تثبت هذه الورقة أن الذكاء الاصطناعي، رغم براعته في محاكاة اللغة البشرية، لا يزال يمتلك "منطقة راحة".
- هو يعرف الأنماط التي رآها ملايين المرات في بيانات التدريب الخاصة به.
- ويواجه صعوبة عندما يُطلب منه تطبيق مفاهحات قواعدية مجردة على أنماط نادرة جداً.
خلص الباحثون إلى أن الذكاء الاصطناعي أصبح أداة قوية لعلماء اللغويات وصناع اللغات، لكنه ليس بعد "عبقري لغوي" مثالي. إنه أشبه بمتدرب موهوب للغاية يحتاج إلى تعليمات وأمثلة واضحة للتعامل مع الأمور الغريبة حقاً.
باختصار: صنع المؤلفون روبوتاً لابتكار اللغات، لكنهم استخدموا الروبوت لخوض اختبار. أظهر الاختبار أن حتى أذكى أنظمة الذكاء الاصطناعي لا تزال "عنيدة" نوعاً ما عندما يتعلق الأمر بكسر العادات اللغوية التي تعلمتها من الإنترنت. إنهم بارعون في كل ما هو مألوف، لكنهم لا يزالون يتعلمون كيف يكونون مبدعين حقاً في التعامل مع الغريب.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.