What's the plan? Metrics for implicit planning in LLMs and their application to rhyme generation and question answering

ملخص تقني: "ما هي الخطة؟ مقاييس التخطيط الضمني في النماذج اللغوية الكبيرة وتطبيقها على توليد القوافي والإجابة على الأسئلة"

بيان المشكلة
بينما يتم تدريب النماذج اللغوية الكبيرة (LLMs) على التنبؤ بالرمز التالي (next-token prediction)، هناك جدل متزايد حول ما إذا كانت هذه النماذج تُظهر "تخطيطاً ضمنياً" (implicit planning)—أي القدرة على تمثيل أهداف مستقبلية في التنشيطات الخفية لتكييف التوليد الوسيط. أشارت أدلة سابقة، مثل دراسة Lindsey et al. (2025) على نموذج Claude 3.5 Haiku باستخدام المحولات عبر الطبقات (cross-layer transcoders)، إلى أن النماذج قد تخطط مسبقاً للكلمات المقفاة. ومع ذلك، كانت هذه النتائج مقتصرة على نموذج واحد مغلق المصدر واعتمدت على طرق مكلفة حوسبياً ويصعب إعادة إنتاجها. علاوة على ذلك، لا يزال الشك قائماً بشأن قدرات التخطيط العامة للنماذج اللغوية الكبيرة، حيث تشير بعض الحجج إلى أن توليد الرموز في وقت ثابت (constant-time token generation) يحول دون التفكير المنهجي. تهدف هذه الورقة إلى تحديد ما إذا كان التخطيط الضمني آلية عالمية موجودة عبر عائلات وأحجام نماذج متنوعة، وتطوير طرق كمية قابلة للتوسع لتقييمها.

المنهجية
يقترح المؤلفون مجموعة من التقنيات الأبسط والأكثر قابلية للتوسع للكشف عن التخطيط الأمامي والخلفي الضمني وقياسه، وتجنب الحاجة إلى تعلم القواميس المعقد أو المحولات عبر الطبقات. تعتمد المنهجية على توجيه فرق متوسط التنشيط (mean activation difference steering) (Arditi et al., 2024) المطبق على مواضع محددة في تسلسل المدخلات.

1. تعريفات التخطيط:

   • التخطيط الأمامي (Forward Planning): إنشاء تمثيلات في المواضع المبكرة تشفر خصائص رموز الأهداف المستقبلية.
   • التخطيط الخلفي (Backward Planning): استخدام تلك التمثيلات لتكييف توليد الرموز الوسيطة وصولاً إلى الهدف.
   • التخطيط الضمني (Implicit Planning): وجود التمثيلات داخل التنشيطات الخفية بدلاً من المخرجات الصريحة (مثل سلسلة الأفك "Chain of Thought").

2. المهام التجريبية:

   • توليد القوافي (Rhyme Generation): يتم توجيه النماذج لإكمال بيت شعري. الهدف هو التنبؤ بعائلة القافية للسطر الثاني بناءً على السطر الأول.
   • الإجابة على الأسئلة (QA): تجيب النماذج على أسئلة حيث تحدد الكلمة المستهدفة أداة التعريف النكرة ("a" مقابل "an"). الهدف هو التنبؤ بالاسم الإجابة.

3. إجراء التوجيه (Steering Procedure):

   • تقدير المتجه (Vector Estimation): يتم حساب متجهات التوجيه كمتوسط الفرق في التنشيطات الخفية بين فئتين (على سبيل المثال، الأسطر التي تنتهي بـ "-ight" مقابل "-ake") عند مواضع محددة (مثل الكلمة الأخيرة من السطر الأول، رمز السطر الجديد، أو علامة الاستفهام).
   • التدخل (Intervention): أثناء التوليد، يتم إضافة متجه التوجيه إلى المجرى المتبقي (residual stream) عند الموضع والطبقة المختارين.
   • المقاييس:
     • التخطيط الأمامي: يُقاس بـ "نسبة صحة عائلة القافية/الإجابة" في التوليدات الموجهة.
     • التخطيط الخلفي: يُقاس بـ "مقاييس إعادة التوليد". يُطلب من النموذج إعادة توليد الكلمة الأخيرة من سطر تم توليده بدون السياق الأصلي. إذا نجح النموذج في التخطيط للخلف، فيجب أن تظل الكلمة المعاد توليدها متوافقة مع عائلة القافية/الإجابة المقصودة.
     • مقاييس الاحتمالية: تحليل تباعد KL وتحولات الرمز (top-1 token) في الخطوات الوسيطة للكشف عن التغيرات في توزيعات الاحتمالات الناتجة عن التوجيه.

4. مجموعات البيانات والنماذج:

   • مجموعات البيانات: 1,050 سطراً لـ 10 عائلات قافية و500 سؤال لـ 20 زوجاً من الأسماء (التي تميز بين الأسماء التي تبدأ بحروف علة/ساكنة).
   • النماذج: 23 نموذجاً مفتوح الأوزان من أربع عائلات (Gemma2, Gemma3, Qwen3, Llama3.1/3.2) تتراوح أحجامها من 1 مليار إلى 32 مليار معلمة، بما في ذلك النسخ الأساسية (base) والنسخ المضبوطة للتعليمات (instruction-tuned).

النتائج الرئيسية

• عالمية التخطيط الضمني: وُجدت أدلة على نجاح التخطيط الأمامي والخلفي عبر جميع النماذج الـ 23، بما في ذلك النماذج الصغيرة بحجم 1 مليار معلمة. هذا يشير إلى أن التخطيط آلية عالمية، وليست مقتصرة على النماذج الضخمة.
• فعالية التوجيه:
  • نجح التوجيه في نهاية السطر الأول (الكلمة الأخيرة أو رمز السطر الجديد) في تغيير عائلة القافية المولدة في السطر الثاني.
  • نجح التوجيه في تغيير اختيار أداة التعريف ("a" مقابل "an") في مهام الإجابة على الأسئلة قبل توليد الاسم الإجابة، مما يؤكد التخطيط الخلفي.
  • أظهرت النماذج المضبوطة للتعليمات (instruction-tuned) عموماً سلوكيات تخطيط أقوى وفعالية توجيه أعلى من نظيراتها الأساسية.
• التحقق من التخطيط الخلفي: أظهرت مقاييس إعادة التوليد أن الأسطر التي تم توليدها تحت التوجيه كانت أكثر عرضة للاكتمال مع عائلة القافية/الإجابة المستهدفة حتى عند إزالة السياق الأصلي. يشير هذا إلى أن تمثيل التخطيط أثر على الرموز الوسيطة، وليس فقط على المخرج النهائي.
• تحليل الدارة (Gemma2 9B): حدد المؤلفون رؤوس انتباه محددة (L30H3 و L31H15) تقرأ من اتجاه التوجيه وتتجه نحو الكلمة الأخيرة من السطر الأول ورمز السطر الجديد. استعاد "ترقيع" (patching) هذه الرؤوس بالتنشيطات الموجهة ما نسبته 59-93% من تأثير التوجيه، مما يشير إلى وجود دارة مخصصة لتخطيط القافية.
• الاختلافات بين النماذج: بينما الآلية عالمية، فإن التنفيذ المحدد يختلف. على سبيل المثال، يستخدم نموذجا Gemma2 9B و Gemma3 27B رمز السطر الجديد للتخطيط، بينما تعتمد نماذج Llama بشكل أساسي على رمز الكلمة الأخيرة.

الأهمية والادعاءات
تدعي الورقة أنها تقدم أول دليل كمي واسع النطاق على أن التخطيط الضمني هو سمة منتشرة في النماذج اللغوية الكبيرة، وموجودة حتى في النماذج ذات المليار معلمة. ومن خلال تقديم منهجية قابلة للتوسع بسهولة عبر العديد من النماذج دون الحاجة إلى تدريب مكلف، يقدم المؤلفون طريقة مباشرة لدراسة هذه القدرات.

يؤكد المؤلفون أن نتائجهم تدعم وجهة النظر القائلة بأن النماذج اللغوية الكبيرة تشارك في تخطيط استدلالي مشابه للبشر، بدلاً من كونها مجرد تنبؤ تفاعلي للرموز. ويجادلون بأن فهم دوائر التخطيط هذه أمر بالغ الأهمية لسلامة الذكاء الاصطناعي والتحكم فيه، حيث يسمح التخطيط الضمني للنماذج بالتلاعب بالخطوات الوسيطة لتحقيق أهداف محددة، وربما خفية. وتخلص الدراسة إلى أنه بينما تختلف الدوائر المحددة بين النماذج والمهام (القافية مقابل الإجابة على الأسئلة)، فإن القدرة الكامنة على تمثيل الأهداف المستقبلية والعمل بناءً عليها هي خاصية عامة للبنية التحتية.

القيود والتوجهات المستقبلية
أشار المؤلفون إلى أن توجيه الكلمات المحددة (مثل فرض كلمة معينة مثل "rabbit" بدلاً من عائلة قافية) أقل فعالية من توجيه مستوى العائلة، مما يشير إلى أن تخطيط الكلمات المحددة قد يتطلب نماذج أكبر. كما أقروا بأن الطبيعة الدقيقة لدوائر التخطيط في النماذج الأخرى غير Gemma2 9B تظل سؤالاً مفتوحاً. وتُقترح المنهجية كقاعدة لمزيد من التحليل للتخطيط في مجالات أخرى، مثل اتباع التعليمات والاستدلال عبر سلسلة الأفك (Chain of Thought).