💻 computer science

Diagnosing CFG Interpretation in LLMs

تقدم هذه الورقة إطار عمل "RoboGrid" لتقييم النماذج اللغوية الكبيرة كمفسرات في سياق القواعد النحوية الجديدة الخالية من السياق، مما يكشف عن أن هذه النماذج غالباً ما تحافظ على البنية السطحية، لكنها تعاني من تدهور هرمي وفشل دلالي تحت التعقيد البنيوي بسبب اعتمادها على التمهيد الدلالي القائم على الكلمات المفتاحية بدلاً من الاستقراء الرمزي الصرف.

المؤلفون الأصليون: Hanqi Li, Lu Chen, Kai Yu

نُشر 2026-04-23

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Hanqi Li, Lu Chen, Kai Yu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك استأجرت طباخاً بارعاً ومثقفاً (النموذج اللغوي الكبير أو LLM) ليطهو لك وجبة. عادةً ما يكون هذا الطباخ مذهلاً لأنه قد طهى ملايين الوجبات من قبل؛ فهو يعرف تماماً كيف يصنع "سباغيتي كاربونارا" أو "يخنة اللحم" بمجرد سماع الاسم.

لكن اليوم، أنت لا تعطيه وصفة مألوفة، بل تسلمه كتاب طهي جديداً وغريباً مكتوباً بلغة لم يرها من قبل، بكلمات مخترعة وقواعد غريبة. وتطلب منه طهي طبق بناءً على هذه التعليمات الجديدة فقط.

هذه الورقة البحثية، بعنوان "تشخيص تفسير قواعد اللغة الخالية من السياق (CFG) في النماذج اللغوية الكبيرة"، هي بمثابة اختبار جهد لهذا الطباخ. أراد الباحثون معرفة: هل يمكن لهذا الذكاء الاصطناعي أن يتعلم ويتبع مجموعة جديدة من القواعد فعلياً أثناء العمل، أم أنه يكتفي بالتخمين بناءً على ما يتذكره من الماضي؟

إليك تفصيل تجربتهم ونتائجهم، باستخدام تشبيهات بسيطة.

1. المطبخ التجريبي: ROBOGRID

بنى الباحثون عالماً افتراضياً يسمى ROBOGRID. فكر فيه كإنسان آلي (روبوت) يتنقل في شبكة، يلتقط الصناديق، ويتحرك في الأرجاء.

القواعد: أعطوا الذكاء الاصطناعي "قواعد لغوية" (مجموعة من القواعد) لكيفية كتابة التعليمات للروبوت.
الخدعة: صنعوا نسختين من كتاب القواعد:
1. النسخة "الطبيعية": تستخدم كلمات مثل loop (حلقة تكرارية)، و if (إذا)، و move (تحرك). لقد رأى الذكاء الاصطناعي هذه الكلمات مليارات المرات في بيانات تدريبه.
2. النسخة "الفضائية":ية: استبدلت كل تلك الكلمات بكلمات غير مفهومة مثل v_xkqm و v_gsqe. لا يمكن للذكاء الاصطناعي الاعتماد على الذاكرة هنا؛ بل يجب عليه اتباع القواعد الجديدة المقدمة في النص بدقة.

2. مستويات الفشل الثلاثة

لم يكتفِ الباحثون بالتحقق مما إذا كان الروبوت قد تحرك فحسب، بل تحققوا من أداء الذكاء الاصطناعي على ثلاثة مستويات مختلفة، مثل لعبة فيديو تزداد صعوبة:

المستوى 1: النحو (شرطة القواعد)
- السؤال: هل كتب الذكاء الاصطناعي الجملة بشكل صحيح وفقاً للقواعد الجديدة؟ (مثلاً: هل وضع الأقواس في مكانها الصحيح؟)
- النتيجة: كان الذكاء الاصطناعي جيداً في هذا عادةً. استطاع محاكاة شكل الجملة.
المستوى 2: السلوك (الفعل)
- السؤال: هل قام الروبوت بالفعل بما طُلب منه؟ (مثلاً: هل التقط الصندوق؟)
- النتيجة: في بعض الأحيان، كان الذكاء الاصطناعي يكتب جملة تبدو مثالية، لكن الروبوت يفعل الشيء الخطأ. "المنطق" كان معطلاً حتى لو كان "النحو" صحيحاً.
المستوى 3: الدلالة (المعنى العميق)
- السؤال: هل فهم الذكاء الاصطناعي الهيكل الدقيق والهدف من التعليمات المعقدة المتداخلة؟
- النتيجة: هنا انهار الذكاء الاصطناعي تماماً. عندما أصبحت التعليمات عميقة ومعقدة (مثل "حلقة داخل حلقة داخل حلقة")، فقد الذكاء الاصطناعي القدرة على المتابعة.

3. الاكتشاف الكبير: جدار "التكرار العميق"

أهم نتيجة تتعلق بـ التعقيد.

العمق الضحل: إذا كانت التعليمات بسيطة (مثل "تحرك للأمام، ثم توقف")، كان أداء الذكاء الاصطنيلاً جيداً.
العمق الكبير: بمجرد أن تتطلب التعليمات تداخلاً عميقاً (مثل "كرر هذا الإجراء 10 مرات، وداخل ذلك، افعل هذا الشيء الآخر 5 مرات...")، انهار أداء الذكاء الاصطناعي.

التشبيه: تخيل محاولة تذكر رقم هاتف.

إذا كان مكوناً من 3 أرقام، يمكنك حفظه في رأسك بسهولة.
إذا كان 10 أرقام، قد تحفظه.
أما إذا كان 20 رقماً بنماط معقدة، فقد ينسى عقلك (أو "نافذة السياق" لدى الذكاء الاصطناعي) البداية بحلول الوقت الذي تصل فيه إلى النهاية. يتوقف الذكاء الاصطناعي عن تتبع "حالة" البرنامج.

4. مشكلة "الغش"

وجد الباحثون أنه عندما استخدموا الكلمات "الطبيعية" (مثل loop)، كان أداء الذكاء الاصطناعي أفضل بكثير.

ماذا يعني هذا: لم يكن الذكاء الاصطناعي يتعلم القواعد الجديدة فعلياً. بل كان يغش. لقد تعرّف على كلمة "loop" وظن: "أوه، أنا أعرف ماذا تفعل حلقة التكرار من بيانات تدريبي!" لقد استخدم معرفته القديمة لتخمين الإجابة.
اختبار "الكلمات الفضائية": عندما استخدموا الكلمات غير المفهومة، لم يستطع الذكاء الاصطناعي الغش. كان عليه أن يقوم بعملية الحساب المنطقي فعلياً. وبدون الكلمات المألوفة، عانى الذكاء الاصطناعي بشكل كبير، مما يثبت أنه يعتمد بشدة على الاستناد الدلالي (استخدام المفاهيم المألوفة كعكاز) بدلاً من المنطق الصرف.

5. سلسلة الأفكوت (CoT): عكاز "التفكير بصوت عالٍ"

حاول الباحثون طلب "التفكير خطوة بخطوة" (سلسلة الأفكوت) من الذكاء الاصطناعي.

الأخبار الجيدة: ساعد ذلك كثيراً! فقد أجبر الذكاء الاصطناعي على التمهل وتتبع القواعد بشكل أفضل.
الأخبار السيئة: حتى مع "التفكير بصوت عالٍ"، ظل الذكاء الاصطناعي يفشل عندما تصبح التعليمات عميقة جداً. الأمر يشبه طالباً يعرف كيف يوضح خطوات الحل، لكنه لا يزال ينفد منه الورق عندما تصبح المسألة طويلة جداً.

الخلاصة

تخبرنا هذه الورقة البحثية أنه بينما يتميز نماذج الذكاء الاصطناعي بالقدرة على الظهور بمظهر فصيح واتباع قواعد بسيطة، إلا أنها ليست بعد "محركات منطقية" موثوقة للأنظمة الجديدة والمعقدة.

هم محاكون، وليسوا مدركين.
يمكنهم اتباع شكل القاعدة، لكنهم غالباً ما يفقدون المعنى عندما تتعقد الأمور.
يعتمدون كثيراً على الكلمات المألوفة لتخمين ما يجب فعله.

لماذا يهم هذا؟
بينما بدأنا في استخدام الذكاء الاصطناعي للتحكم في أشياء في العالم الحقيقي (مثل السيارات ذاتية القيادة، أو الروبوتات الطبية، أو الأنظمة المالية)، لا يمكننا مجرد الأمل في أن "يفهم الجو العام". إذا أخطأ الذكاء الاصطناعي في تفسير تعليمات معقدة وجديدة بسبب فقدانه تتبع التداخل، فقد تكون النتائج كارثية. نحن بحاجة إلى ذكاء اصطناعي يمكنه حقاً استيعاب القواعد الجديدة، وليس مجرد التخمين بناءً على العادات القديمة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "تشخيص تفسير قواعد السياق الحر (CFG) في النماذج اللغوية الكبيرة (LLMs)":

١. بيان المشكلة

مع تزايد نشر النماذج اللغوية الكبيرة (LLMs) كوكلاء مستقلين، يجب عليها التفاعل مع واجهات محددة ديناميكيًا وقابلة للتفسير من قبل الآلات (مثل مخططات JSON، أو تواقيع الدوال، أو لغات النطاق المحدد). التحدي الجوهل يكمن في تحديد ما إذا كانت النماذج اللغوية الكبيرة يمكنها العمل كـ مفسرات داخل السياق (in-context interpreters): أي عند إعطائها مواصفات "قواعد سياق حر" (CFG) جديدة وقت الاستدلال، هل يمكن للنموذج توليد مخرجات ليست فقط صحيحة بنيويًا، بل أيضًا وظيفية سلوكيًا وأمينة دلاليًا؟

تعتمد التقييمات الحالية غالبًا على لغات مألوفة (مثل Python) حيث قد ينبع الأداء من الحفظ المسبق أثناء التدريب بدلاً من الاستنتاج الحقيقي للقواعد. تعالج هذه الورقة الفجوة في فهم قدرة النماذج اللغوية الكبيرة على التعميم المنهجي—أي استنتاج وتطبيق القواعد الهيكلية من تعريفات سياقية جديدة دون الاعتماد على الإشارات الدلالية المألوفة.

٢. المنهجية: إطار عمل ROBOGRID

قدم المؤلفون ROBOGRID، وهو معيار تشخيصي وإطار تقييم مصمم لتفكيك تفسير القواعد إلى ثلاث طبقات متميزة.

أ. البيئة والقواعد

ROBOGRID: بيئة عالم شبكي حتمي (grid-world) حيث يتحرك روبوت، يلتقط الأشياء، ويدير المخزون. يوفر هذا البيئة دلالات تنفيذ غير غامضة، مما يسمح بربط واضح بين الكود والسلوك.
مواصفات القواعد: تُعرف القواعد باستخدام صيغة "باكوس-ناور الموسعة" (EBNF). يدعم إطار العمل التوليف القابل للتحكم (Controllable Synthesis) عبر ثلاثة أبعاد:
1. الاستدعاء الذاتي (Recursion): تغيير أقصى عمق للتداخل ( $D$ ) وكثافة تفرع التحكم في التدفق (احتمالية فرع Else).
2. التعبير (Expression): تغيير عمق التداخل في العمليات الحسابية والمنطقية البوليانية ( $E$ ).
3. التحقق السطحي (Surface Realization): اختبار أنماط تركيبية مختلفة (Block، C-style، S-expr) والألفة المعجمية (Lexical Familiarity).
المعجم "الفضائي" (The "Alien" Lexon): آلية تحكم حاسمة حيث يتم استبدال الكلمات المفتاحية القياسية (مثل "loop"، "if") برموز مبهمة وعشوائية (مثل "v_xkqm"). هذا يجبر النموذج اللغوي الكبير على الاعتماد حصريًا على مواصفات EBNF المقدمة، مما يعزل الاستقراء الرمزي الصرف عن الأولويات الدلالية.

ب. مهام التقييم

يقيم إطار العمل النماذج اللغوية الكبيرة عبر ثلاث مهام متدرجة الصعوبة:

الحكم على الصحة النحوية (Grammaticality Judgment): تصنيف النصوص كصحيحة أو غير صحيحة بناءً على قواعد CFG.
التوليد المشروط بالهدف (Goal-Conditioned Generation): تخليق برنامج للوصចំណ إلى حالة مستهدفة محددة.
توليد الكود من التعليمات (Instruction-to-Code Generation): ترجمة تعليمات اللغة الطبيعية إلى كود ينفذ المنطق المحدد بواسطة القواعد بأمانة.

ج. المقاييس الهرمية

يُقاس الأداء باستخدام تسلسل هرمي للاحتواء ( $SCR \leq BER \leq SVR$ ):

معدل صلاحية النحو (SVR): نسبة المخرات التي يتم تحليلها بنجاح مقابل قواعد CFG.
معدل التكافؤ السلوكي (BER): نسبة المخرات التي تؤدي، عند تنفيذها، إلى الحالة النهائية الصحيحة.
معدل الصحة الدلالية (SCR): نسبة المخرات حيث تكون شجرة الإعراب المجردة (AST) المستنتجة متطابقة هيكليًا مع الحقيقة الأرضية (ground truth).
المقاييس الشرطية (CBER, CSCR): نسب تعزل الأداء المنطقي/الهيكلي عن الكفاءة النحوية الأساسية.

٣. المساهمات الرئيسية

معيار ROBOGRID: أداة تشخيصية جديدة تستخدم تسلسلًا تقييميًا ثلاثي الطبقات لتحديد مواضع الفشل في الاستدلال الهيكلي (النحو مقابل السلوك مقابل الدلالة).
صياغة تفسير القواعد داخل السياق: تحويل التركيز التقييمي من مطابقة الأنماط السطحية إلى الاستقراء الرسمي للقواعد، وتحديدًا اختبار القدرة على التعامل مع قواعد جديدة.
توصيف الحدود التشغيلية: الكشف عن فجوة هائلة بين الالتزام النحوي والمحاذاة الدلالية، مما يثبت أن النماذج اللغوية الكبيرة المتطورة تعتمد بشدة على التمهيد الدلالي (semantic bootstrapping) بدلاً من الاستقراء الرمزي الصرف.

٤. النتائج التجريبية والمكتشفات

قيم المؤلفون مجموعة متنوعة من النماذج (Qwen3، DeepSeek، سلسلة GPT-5، إلخ) تحت ظروف عالية الصعوبة (العمق $D=10$ ، المعجم الفضائي، 0-shot CoT).

التدهور الهرمي: لوحظ نمط ثابت من $SCR < BER < SVR$ . غالبًا ما تحافظ النماذج اللغوية الكبيرة على النحو السطحي لكنها تفشل في الحفاظ على الدلالات الهيكلية.
فجوة "النحو-المنطق": حتى أقوى النماذج تعاني مع المحاذاة الهيكلية. على سبيل المثال، حقق نموذج GPT-5-mini نسبة 93.1% في CBER (التكافؤ السلوكي الشرطي) ولكن 9.2% فقط في CSCR (الصحة الدلالية الشرطية)، مما يشير إلى أنه يمكنه الوصول إلى الهدف عبر مسارات منطقية خاطئة.
تأثير عمق الاستدعاء الذاتي (Recursion Depth): يظهر الأداء تدهورًا حادًا وغير خطي مع زيادة عمق الاستدعاء الذاتي. عند $D=20$ ، تكاد الصحة الدلالية (SCR) تتلاشى (0.5%)، بينما ينخفض صلاح النحو (SVR) إلى 10%.
الألفة المعجمية: يتسبب المعجم "الفضائي" في انخفاض حاد في الأداء مقارنة بالكلمات المفتاحية الطبيعية. هذا يؤكد أن النماذج اللغوية الكبيرة تستخدم الكلمات المفتاحية المألوفة كمرتكزات دلالية لتخمين السلوك بدلاً من إجراء استقراء سياقي صرف.
استراتيجيات التلقين (Prompting):
- سلسلة الأفكار (CoT): ضرورية للحفاظ على تتبع الحالة الهرمية. بدون CoT، يكون الأداء سيئًا للغاية حتى في الأعماق الضحلة.
- التعلم بلقطات قليلة (Few-Shot Learning): يظهر عوائد متناقصة. لم يؤدِ زيادة اللقطات من 0 إلى 5 إلى تحسين الأداء باستمرار في الهياكل الاستدعائية العميقة، بل أدى أحيانًا إلى إدخال الضجيج.
أنماط الفشل:
- الهشاشة النحوية: عدم تطابق المحددات (delimiters) وانتهاكات النطاق (scoping).
- عدم المحاذاة السلوكية: انعكاسات المحمول المنطقي (logical predicate inversions) أو الإنهاء المبكر لتدفقات التنفيذ.
- الانجراف الدلالي: "تسطيح AST" (التقييم المبكر للتعبيرات) و"الصدى التكراري الذاتي" (تكرار الكتل المنطقية بشكل زائد).

٥. الأهمية

يسلط هذا العمل الضوء على قصور حرج في الجيل الحالي من النماذج اللغوية الكبيرة: فهي ليست وكلاء موثوقين ومستقلين عن القواعد (grammar-agnostic). بينما يمكنها محاكاة البنية السطحية للغات الرسمية، إلا أنها تفتقر إلى تتبع الحالة الهرمية القوي المطلوب لتنفيذ منطق متداخل ومعقد تم تعريفه بقواعد جديدة بأمانة.

تشير النتائج إلى أنه لكي يتم الوثوق بالنماذج اللغوية الكبيرة في سير عمل الوكلاء الذي يتطلب التزامًا صارمًا بالواجهات الديناميكية، يجب على المجال الانتقي الانتقال إلى ما وراء هندسة الأوامر السطحية. تتطلب الحلول المستقبلية آليات لـ الاستقراء الرمزي القوي وتتبع الحالة الموثوق الذي لا يعتمد على الأولويات الدلالية أو الكلمات المفتاحية المألوفة. توفر هذه الورقة إطارًا تشخيصيًا صارمًا لقياس التقدم نحو هذه القدرات.