ملخص تقني: الحساب في البرية

بيان المشكلة

تتقصى هذه الورقة البحثية الدور الخوارزمي لهندسة التمثيل في النماذج اللغوية الكبيرة (LLMs)، مع التركيز بشكل خاص على كيفية استدلال النماذج بشأن المفاهيم الدورية (مثل الأشهر، أيام الأسبوع، الساعات). وبينما أثبتت الأعمال السابقة أن النماذج اللغوية الكبيرة تمثل هذه المفاهيم باستخدام هندسة دائرية (Engels et al., 2025)، وأن نماذج "ترانسفورمر" الصغيرة المدربة على الحساب الموديولي (Modular Arithmetic) تعمل عبر قواعد دورية (Nanda et al., 2023)، إلا أن سؤالاً جوهرياً لا يزال قائماً: هل تقتضي البنية الدائرية للتمثيل المدخل عملية حسابية دائرية؟

يفترض المؤلفون أن نموذج Llama-3.1-8B قد يحسب الإجابات على أسئلة مثل "ما هو الشهر الذي يأتي بعد ستة أشهر من أغسطس؟" عن طريق الدوران على طول متشعب (Manifold) دائري. ومع ذلك، وجدوا أن النموذج لا يقوم بعمليات حساب موديولي مباشرة ضمن الفترة المحددة للمفهوم (على سبيل المثال، مودولو 12 للأشهر). بدلاً من ذلك، يستخدم النموذج آلية جمع بنظام الأساس 10 عامة وغير مرتبطة بمهمة محددة قبل إعادة رسم النتيجة إلى الفضاء الدوري.

المنهجية

تستخدم الدراسة مزيجاً من التحليل السببي والاستقصاء الهندسي لتشريح الآليات الداخلية لنموذج Llama-3.1-8B.

1. التجريد السببي عبر البحث عن المحاذاة الموزعة (DAS):

   • يستخدم المؤلفون تقنية DAS (Geiger et al., 2023) لتحديد المواقع الفرعية منخفضة الرتبة في "تيار المتبقي" (Residual Stream) التي تشفر المتغيرات السببية: المفهوم المدخل، الإزاحة (Offset)، والمفهوم المخرج.
   • يقيسون دقة تدخل التبادل (IIA) لتحديد متى وأين يتم دمج هذه المتغيرات. يتضمن ذلك "رقع" (Patching) الحالات المخفية من مطالبات مضادة للواقع (Counterfactual Prompts) في مطالبات أصلية لمعرفة ما إذا كان مخرج النموذج سيتغير بشكل يمكن التنبؤ به.
   • يعزل هذا التحليل الطبقة وموضع الرمز (Token Position) المحدد حيث تتم العملية الحسابية.

2. الرقع عبر المهام (Cross-Task Patching):

   • لاختبار فرضية وجود آلية مشتركة، يقوم المؤلفون بتجارب "الرقع" بين مهام الحساب القياسية ($a+b=$) والمهام الدورية (مثل الأشهر).
   • يقومون برقع "تيار المتبقي" من مطالبة جمع إلى مطالبة دورية (والعكس بالعكس) ضمن مساحات DAS المشتركة لمراقبة ما إذا كان النموذج سيخرج ناتج الجمع أو المفهوم الدوري، على التوالي.

3. استقصاء فورييه والتوجيه (Fourier Probing and Steering):

   • يدرب المؤلفون مستكشفات خطية للكشف عن سمات فورييه (التمثيلات الجيبية) بفترات محددة $T \in \{2, 5, 10, 20, 50, 100\}$، المعروفة بتمثيل أرقام النظام العشري (Kantamneni & Tegmark, 2025).
   • يتحققون مما إذا كانت هذه السمات، التي تم تدريبها على الجمع القياسي، موجودة وسببية في المهام الدورية.
   • يستخدمون هذه المستكشفات لـ توجيه الحالة الداخلية للنموذج، مما يجبر "مجموع ما قبل المودولو" على قيمة مضادة للواقع لرؤية ما إذا كان المخرج سيتغير وفقاً لذلك.

4. تحديد الخلايا العصبية والاستئصال (Neuron Identification and Ablation):

   • يحدد المؤلفون مجموعة نادرة من خلايا MLP العصبية في الطبقة 18 التي تكتب في مساحات مخرجات DAS.
   • يحللون أنماط التنشيط لهذه الخلايا، ويقسمونها إلى مجموعات بناءً على دوريتها.
   • يجرون دراسات الاستئصال (تصفير خلايا معينة) لقياس مساهمتها السببية في أداء النموذج.

النتائج الرئيسية

1. آلية مشتركة للجمع بنظام الأساس 10

خلافاً للفرضية القائلة بالحساب الدائري، يحسب النموذج المهام الدورية باستخدام آلية جمع بنظام الأساس 10.

• عملية من خطوتين: يحسب النموذج أولاً مجموع المدخلات في الفضاء العددي (على سبيل المثال، $6 + 8 = 14$) ثم يقوم فقط في طبقات لاحقة برسم هذا المجموع إلى فضاء المفهوم الدوري (على سبيل المثال، $14 \to \text{February}$).
• تحديد الموقع في الطبقة 18: يكشف التحليل السببي أن المفاهيم المدخلة والإزاحات يتم دمجها في الطبقة 18 (MLP) عند آخر موضع للرمز. ومن المهم ملاحظة أن الهندسة الدائرية للمفهوم المخرج (مثل "دائرة أيام الأسبوع") ليست موجودة في الطبقة 18؛ بل تظهر فقط في الطبقات 22-25.
• الرقع عبر المهام: يؤدي رقع مطالبة جمع ($6+8=$) في مطالبة دورية إلى جعل النموذج يخرج المفهوم الدوري المقابل للمجموع (على سبيلما: فبراير). وعلى العكس من ذلك، فإن رقع مطالبة دورية في مطالبة جمع يؤدي بالنموذج إلى إخراج مجموع ما قبل المودولو (على سبيل المثال، 14)، حتى لو فشل النموذج في إنتاج الإجابة الدورية الصحيحة في تشغيل نظيف.

2. سمات فورييه وتجاهل المهمة

يستخدم النموذج سمات فورييه غير مرتبطة بمهمة محددة لإجراء عملية الجمع.

• تحترم التمثيلات الداخلية دوريات النظام العشري القياسية ($T \in \{2, 5, 10, 20, 50, 100\}$) بدلاً من الفترة المحددة للمفهوم الدوري (مثل 12 للأشهر أو 7 لأيام الأسبوع).
• تنجح مستكشفات فورييه المدربة على الجمع القياسي في توجيه المهام الدورية، مما يؤكد أن نفس السمات الهندسية هي التي تقود الحساب عبر المجالات المختلفة.

3. دائرة عصبية نادرة

يحدد المؤلفون مجموعة نادرة مكونة من 28 خلية عصبية (MLP) في الطبقة 18 (حوالي 0.2% من طبقة MLP) المسؤولة عن هذا الجمع.

• مصنفة حسب الفترة: يمكن تقسيم هذه الخلايا إلى مجموعات منفصلة، حيث تحسب كل مجموعة المجموع لفترة فورييه محددة (مثلاً، مجموعة لـ $T=2$، وأخرى لـ $T=5$، إلخ).
• الآلية: تعمل الخلايا العصبية بطريقة موزعة. تُظهر بعض الخلايا أنماط تنشيط "منقسمة" (تقرأ المفهوم المدخل عبر متجه البوابة والإزاحة عبر متجه الصعود)، بينما تكون أخرى "مختلطة". وتكون نواقل الإسقاط السفلي (Down-projection vectors) الخاصة بها عبارة عن مجموع يشير إلى الزاوية الصحيحة على مستوى فورييه، مما يشفر المجموع مودولو $T$.
• تأثير الاستئصال: يؤدي استئصال هذه الخلايا الـ 28 (Zero-ablating) إلى انخفاض حاد في الدقة (على سبيل المثال، من 95% إلى 24% للجمع)، بينما يحافظ استئصال جميع خلايا الطبقة 18 الأخرى على معظم الأداء.

الأهمية والادعاءات

تدعي الورقة تقديم فهم ميكانيكي لكيفية تنفيذ النماذج اللغوية الكبيرة للحساب على المفاهيم الدورية، مما يسد الفجوة بين هندسة التمثيل والحساب السببي.

• الهندسة مقابل الحساب: يوضح العمل أنه بينما قد تكون التمثيلات دائرية، فإن الحساب الأساسي ليس بالضرورة حساباً موديولياً على تلك الدائرة. بدلاً من ذلك، يعيد النموذج استخدام دائرة جمع عامة بنظام الأساس 10، ويرسم النتيجة إلى المجال المستهدف فقط بعد اكتمال الحساب.
• تداخل الأساليب: تسلط الدراسة الضوء على قوة الجمع بين التجريد السببي (لتحديد أين تتم معالجة المعلومات) والتحليل الهندسي (لفهم كيف يتم تمثيلها). حدد التحليل السببي موقع الحساب في الطبقة 18، بينما كشف التحليل الهندسي أن الحساب يعتمد على سمات فورييه للأساس 10 بدلاً من الهياكل الدائرية الخاصة بالمهمة.
• الدوائر النادرة: يشير تحديد مجموعة صغيرة وقابلة لإعادة الاستخدام من الخلايا العصبية (28 خلية) التي تقوم بالجمع عبر مهام متنوعة (أشهر، أيام، ساعات، أرقام) إلى أن النماذج اللغوية الكبيرة تطور دوائر فرعية مشتركة وعالية الكفاءة للعمليات الحسابية الأساسية، بغض النظر عن المجال الدلالي للمدخلات.

يظل المؤلفون متواضعين فيما يتعلق بالتعميم، مشيرين إلى أن هذه الآليات المحددة تم تحديدها في Llama-3.1-8B وقد لا تعمم على جميع النماذج أو جميع أنواع الاستدلال الدوري (مثل الإزاحات العكسية أو استعلامات المسافة التي كانت خارج نطاق الدراسة). ومع ذلك، تقدم النتائج مثالاً ملموساً لكيفية تنفيذ "الحساب في البرية" من خلال التفاعل بين الخلايا العصبية النادرة وهندسة فورييه.