Function Induction and Task Generalization: An Interpretability Study with Off-by-One Addition

إليك ملخص تقني مفصل للورقة البحثية بعنوان "استقراء الوظائف وتعميم المهام: دراسة تفسيرية باستخدام عملية الجمع بزيادة واحد".

1. بيان المشكلة

تُظهر النماذج اللغوية الكبيرة (LLMs) قدرات مذهلة في التعلم داخل السياق (ICL)، مما يسمح لها بأداء مهام غير مرئو مسبقاً بناءً على أمثلة قليلة. ومع ذلك، لا تزال الآليات الداخلية التي تقود التعميم على مستوى المهمة — وتحديداً كيف تتعلم النماذج تطبيق وظائف جديدة متعددة الخطوات بدلاً من مجرد نسخ الرموز (tokens) — غير مفهومة بشكل جيد.

يركز المؤلفون على مهمة مضادة للواقع محددة وهي: الجمع بزيادة واحد (Off-by-One Addition).

• الجمع القياسي: $1+1=2, 2+2=4$.
• مهمة الزيادة بواحد: $1+1=3, 2+2=5, 3+3=?$ (النتيجة المتوقعة: 7).
• التحدي: يجب على النموذج تنفيذ خطوتين متمايزتين: (1) عملية الجمع الحسابي القياسية، و (2) زيادة غير متوقعة بمقدار $+1$ إلى النتيجة. الهدف هو تحديد كيف يكتشف النموذج ويطبق وظيفة الـ $+1$ هذه داخلياً أثناء الاستدلال.

2. المنهجية

تستخدم الدراسة التفسير الآلي (Mechanistic Interpretability)، وبالتحديد تقنية تجزئة المسار (Path Patching)، للهندسة العكسية لمخطط الحوسبة الخاص بالنموذج.

• النماذج التي تم تقييمها: ستة نماذج لغوية كبيرة معاصرة (Llama-2, Mistral, Gemma-2, Qwen-2.5, Llama-3, Phi-4) ذات بنيات وأنظمة ترميز (tokenization) متنوعة.
• تقنية تجزئة المسار:
  1. تشغيل عمليات التمرير الأمامي (forward passes) على مطالبة أساسية (الجمع القياسي، مثل $1+1=2$) و مطالبة مقابلة (الجمع بزيادة واحد، مثل $1+1=3$).
  2. استبدال التنشيطات (activations) في المطالبة المقابلة بشكل منهجي بتنشيطات من المطالبة الأساسية (أو العكس) عبر رؤوس انتباه (attention heads) وطبقات محددة.
  3. قياس فرق اللوغاريتم النسبي ($r$): إذا أدى استبدال تنشيط رأس معين إلى جعل النموذج يعود من الإجابة الصحيحة للزيادة بواحد (7) إلى الإجابة القياسية (6)، فإن هذا الرأس يُعتبر مسبباً (causal) لوظيفة الـ $+1$.
• اكتشاف الدائرة (Circuit Discovery): حدد المؤلفون بشكل تكراري رؤوس الانتباه التي تؤثر بشكل كبير على نواتج اللوغاريتم (logits)، وتتبع تدفق المعلومات من الطبقات المبكرة (حيث يحدث الجمع القياسي) إلى الطبقات المتأخرة (حيث يتم تطبيق تعديل الـ $+1$).
• التحقق من الصحة:
  • استئصال الرؤوس (Head Ablation): إزالة الرؤوس المحددة لمعرفة ما إذا كان النموذج سيعود إلى الجمع القياسي.
  • التدخل السببي (Causal Intervention): حقن مخرجات رؤوس معينة في مطالبة "ساذجة" (مثل $2=2$) لمراقبة ما إذا كانت هي التي تستقرئ وظيفة الـ $+1$.
  • تعميم المهمة: اختبار ما إذا كانت الدائرة المحددة تُعاد استخدامها في مهام أخرى (Shifted MMLU, Caesar Cipher, Base-8 Addition).

3. المساهمات والنتائج الرئيسية

أ. اكتشاف "استقراء الوظيفة" (Function Induction)

حدد المؤلفون دائرة محددة مسؤولة عن التعميم من الجمع القياسي إلى الجمع بزيادة واحد. وقد أطلقوا على هذه الآلية اسم "استقراء الوظيفة" (Function Induction).

• البنية: تتكون الدائرة من ثلاث مجموعات من رؤوس الانتباه التي تعمل بالتوازي:
  1. رؤوس الرمز السابق (Previous Token - PT): تقع في الطبقات المتوسطة. وهي تنتبه إلى رمز الإجابة ($c_i$) في أمثلة السياق وتلاحظ الفرق بين المجموع القياسي المتوقع والجواب الفعلي المقدم (على سبيل المثال، رؤية $1+1=3$ بدلاً من $2$). إنها تسجل فعلياً أن حدوث إزاحة (shift) قد وقع.
  2. رؤوس استقراء الوظيفة (Function Induction - FI): تقع في الطبقات المتأخرة. وهي تسترجع معلومات "الإزاحة" التي سجلتها رؤوس الـ PT وتكتب متجه وظيفة متميزاً (يمثل $f(x) = x+1$) في مسار البقايا (residual stream).
  3. رؤوس الدمج (Consolidation Heads): تقع في الطبقات النهائية. وهي تجمع المعلومات من رؤوس الـ FI ونتائج الجمع القياسي لإنهاء التنبؤ بالرمز التالي.
• مستوى التجريد: على عكس رؤوس الاستقراء (Induction Heads) القياسية (التي تنسخ الرموز، مثل $[A][B]...[A] \to [B]$)، تقوم رؤوس استقراء الوظيفة باستقراء وظيفة خطية من الدرجة الأولى ($f(x) = x+1$). ويمثل هذا تحولاً من مطابقة الأنماط على مستوى الرمز إلى الاستدلال على مستوى الوظيفة.

ب. التمثيل الموزع للوظائف

لا يتم تخزين وظيفة الـ $+1$ في رأس واحد، بل هي موزعة عبر عدة رؤوس FI (على سبيل المثال، 6 رؤوس في Gemma-2).

• يساهم كل رأس بجزء محدد من الوظيفة. على سبيل المثال، قد يقوم أحد الرؤوس بتقليل $x-1$، وآخر يعزز $x+1$، وآخر يقلل $x$.
• الأثر التراكمي لهذه المسارات المتوازية يعيد بناء وظيفة الـ $+1$ الكاملة. وهذا يوضح بنية قابلة للتركيب (composable) حيث تنبثق السلوكيات المعقدة من مجموع إجراءات فرعية أبسط وأكثر تخصصاً.

ج. الشمولية وإعادة الاستخدام

تؤكد الدراسة أن هذه الآلية ليست فريدة من نوعها لعملية الجمع بزيادة واحد، بل هي دائرة قابلة للتعميم تُعاد استخدامها عبر مهام متنوعة:

• الجمع بزيادة $k$ (Off-by-k Addition): تتكيف نفس الرؤوس مع إزاحات مختلفة ($k$).
• الأسئلة متعددة الخيارات المزاحة (Shifted Multiple-Choice QA): تقوم الآلية بإزاحة مفاتيح الإجابات (مثلاً من A إلى B).
• تشفير قيصر (Caesar Cipher): تتعامل الآلية مع إزاحة الحروف.
• الجمع في النظام الثماني (Base-8 Addition): يستخدم النموذج هذه الآلية لتعديل نتائج النظام العشري إلى النظام الثماني، رغم أنه يعاني مع المنطق الشرطي المعقد (الترحيل/carry-over)، مما يشير إلى حدود في الاستقراء متعدد الخطوات.

4. النتائج

• الأداء: نجحت جميع النماذج التي تم تقييمها في تعلم مهمة الزيادة بواحد عبر التعلم داخل السياق، مع زيادة الدقة مع زيادة عدد الأمثلة (shots).
• تأثير الاستئصال (Ablation Impact): عندما تم استئصال رؤوس الـ FI المحددة (استبدالها بمخرجات الجمع القياسي)، انخفض أداء النماذج في مهام الزيادة بواحد إلى 0%، بينما ظل أداؤها في الجمع القياسي مرتفعاً أو تحسن. وهذا يؤكد أن الرؤوس ضرورية لسلوك الـ $+1$.
• الاتساق بين النماذج: وُجدت بنية الدائرة (PT $\to$ FI $\to$ Consolidation) في Llama-2 و Llama-3 و Mistral و Gemma، وإن اختلفت مؤشرات الرؤوس وعمق الطبقات قليلاً.
• التمييز عن متجهات الوظائف (Function Vectors): يميز المؤلفون بين رؤوس الـ FI هذه وبين رؤوس "متجه الوظيفة" (Function Vector) التي تم تحديدها في أعمال سابقة (مثل Todd et al., 2024). رؤوس متجهات الوظيفة عادة ما تكون في الطبقات المبكرة/المتوسطة وتتعامل مع خرائط الخطوة الواحدة، بينما رؤوس الـ FI الخاصة بالمؤلفين تقع في الطبقات المتأخرة وتتعامل خصيصاً مع الخطوة الثانية من سلسلة استدلال متعددة الخطوات.

5. الأهمية والآثار المترتبة

• الرؤية الميكانيكية: تقدم الورقة تفسيراً ميكانيكياً ملموساً لكيفية قيام النماذج اللغوية الكبيرة بـ الاستدلال متعدد الخطوات الكامن. فهي توضح أن النماذج لا تقوم فقط بـ "تخمين" الرمز التالي، بل يمكنها تفكيك المهمة، وحساب نتيجة وسيطة، ثم تطبيق تحويل مستقر على تلك النتيجة.
• القابلية للتركيب: تسلط الضوء على الطبيعة القابلة للتركيب للبيئات الداخلية للنماذج اللغوية الكبيرة. حيث يمكن إعادة استخدام نفس الدائرة للتعامل مع الحساب، وإزاحة النصوص، والألغاز المنطقية، مما يشير إلى وجود آلية موحدة للتعامل مع متغيرات المهام الجديدة.
• الحذر عند التقييم: تكشف الدراسة أن الدقة العالية في المهام الخوارزمية (مثل الجمع في النظام الثماني) قد تعتمد على اختصارات غير مقصودة أو تعميم جزئي بدلاً من الاستدلال المثالي. لذا، فإن تحليل التفسير الآلي أمر بالغ الأهمية للتمييز بين الفهم الحقيقي وبين الاستدلالات التي تكتفي بتقديم "نتائج جيدة بما يكفي".
• الاتجاهات المستقبلية: تشير النتائج إلى إمكانية تصميم مناهج تدريب تعزز هذه الدوائر صراحةً (على سبيل المثال، التدريب على مهام الخطوة الواحدة قبل مهام الخطوات المتعددة)، كما أن آليات مماثلة قد تكون كامنة وراء سلوكيات ناشئة أخرى مثل "المداهنة" (sycophancy) أو تغيير المعتقدات.

باختصار، يتجاوز هذا العمل مجرد ملاحظة أن النماذج تتعمم، إلى شرح كيف تفعل ذلك من خلال تحديد دائرة موزعة وقابلة لإعادة الاستخدام تستقرئ الوظائف بدلاً من مجرد نسخ الرموز.