ملخص تقني: تنافر الميزات والارتباط الطيفي (Spectral Lock-in)

بيان المشكلة

يمكن تفسير ظاهرة "الاستيعاب المفاجئ" (Grokking)—وهي الظاهرة التي تنتقل فيها الشبكات العصبية فجأة من مرحلة الحفظ إلى مرحلة التعميم بعد فترة طويلة من استقرار خسارة التدريب—من خلال عدسات متنوعة، بما في ذلك التفسير الآلي (mechanistic interpretability) والانتظام الضمني (implicit regularization). قدم تيان [2025] إطارًا مبدئيًا يفكك ديناميكيات الاستيعاب في الشبكات ذات الطبقتين إلى ثلاث مراحل، تنتهي بمرحلة "تعلم الميزات التفاعلي" (المرحلة الثالثة). ضمن هذه المرحلة، تفترض "مبرهنة 6" الخاصة بتيان وجود "مبدأ تنافر": حيث تتنافر الميزات المخفية المتشابهة بسبب البنية غير القطرية للمصفوفة $B = (\tilde{F}^\top \tilde{F} + \eta I)^{-1}$.

ومع ذلك، ترك إطار تيان سؤالين تجريبيين دون إجابة:

1. التوقيت: في أي نقطة محددة من التدريب يصبح آلية التنافر هذه قابلة للملاحظة تجريبيًا؟
2. القابلية للرصد: هل تتجلى هذه الآلية كعلامة قابلة للقياس عبر الإنترنت (online signature) في كميات يمكن للممارسين حسابها دون الحاجة إلى تشخيصات مكتبية (offline diagnostics) مكلفة؟

تعالج هذه الورقة هذين السؤالين من خلال اختبار مبرهنة 6 ومؤشر طيفي مرشح على إعداد "الجمع النمطي" (modular-addition) الدقيق الخاص بتيان.

المنهجية

تكرر الدراسة إعداد الجمع النمطي لتيان [2025] ($M=71$ فئة، $K=2048$ وحدة مخفية، كسر التدريب $p \approx 0.40$) باستخدام تحسين Adam مع اضمحلال الأوزان $\eta$. يستخدم المؤلفون اختبارين متكاملين عبر عدة بذور عشوائية (random seeds):

1. التحقق المباشر من مبرهنة 6:

   • يحسب المؤلفون المصفوفة $B$ بدقة باستخدام متطابقة وودبري (Woodbury identity) لتقليل التعقيد الحسابي.
   • عند نقاط تحقق حتمية، يحددون أكثر أزواج الميزات تشابهًا (أعلى 200 زوج) بناءً على تشابه جيب التمام (cosine similarity).
     • يتحققون من قاعدة الإشارة: $\text{sgn}(B_{j\ell}) = -\text{sgn}(\tilde{f}_j^\top P_{\eta, -j\ell} \tilde{f}_\ell)$، حيث $P$ هي مصفوفة إسقاط تستثني الأعمدة $j$ و $\ell$.
   • يتم إجراء هذا التحقق عبر دوال تنشيط مختلفة ($\sigma(x)=x^2$ و $\sigma(x)=\text{ReLU}$).

2. رصد العلامة الطيفية (Spectral Signature Detection):

   • يراقب المؤلفون مصفوفة غرام (Gram matrix) المتحركة لنوافذ تحديثات المعلمات ($\Delta W$).
   • يتتبعون نسبة الفجوة الطيفية $\sigma_2/\sigma_3$ (نسبة القيمة الذاتية الثانية إلى الثالثة).
   • يحدد كاشف يعتمد على الميل (slope-based detector) لحظة "الارتباط" (lock-in) عندما تدخل هذه النسبة في صعود مستدام، بافتراض أن التنافر يدمج الميزات الزائدة في بنية منخفضة الرتبة (تحديدًا رتبة-2).
   • تُجرى تحليلات الحساسية على حجم النافذة ($W$) واضمحلال الوزن ($\eta$).

النتائج الرئيسية

1. التحقق من مبرهنة 6 (عام بالنسبة للتنشيط)

تثبت قاعدة الإشارة لمبرهنة 6 تجريبيًا عبر دوال تنشيط مختلفة، مما يؤكد أن الآلية عامة بالنسبة للتنشيط (activation-general).

• $\sigma(x) = x^2$: ترتفع مطابقة الإشارة التجريبية لأعلى 200 زوج متشابه من 0.865 عند الحقبة (epoch) 50 إلى تشبع ضيق قدره 0.985 بحلول الحقبة 300. يحدث التشبع ($\ge 0.95$) باستمرار عند الحقبة 175 عبر البذور المختلفة.
• $\sigma(x) = \text{ReLU}$: تظل قاعدة الإشارة صالحة أيضًا، وتصل إلى التشبع بشكل أسرع (1.000 بحلول الحقبة 500).
• الاستنتاج: آلية التنافر، التي تحكمها بنية $\tilde{F}^\top \tilde{F}$، تعمل بغض النظر عما إذا كان التنشيط دالة قوة أو ReLU.

2. الارتباط الطيفي (خاص بالنسبة للتنشيط)

بينما الآلية عامة، فإن العلامة الطيفية لتحديث المعلمات خاصة بنوع التنشيط.

• $\sigma(x) = x^2$ (الحفظ المركز - Focused Memorization): يعمل الكاشف المعتمد على الميل في 15/15 من بذور الاستيعاب عند الحقبة 174. هناك فصل هائل في المقدار ($229\times$) في نسبة $\sigma_2/\sigma_3$ في المرحلة المتأخرة بين بذور الاستيعاب (الوسيط $\approx 300$) وبذور التحكم ($\eta=0$، الوسيط $\approx 1.31$). تنهار الطيف إلى رتبة-2، مما يشير إلى أن الميزات تندمج في اتجاهين مستمرين.
• $\sigma(x) = \text{ReLU}$ (الحفظ المنتشر - Spreading Memorization): يعمل الكاشف في 0/15 من بذور الاستيعاب. ينهار الفصل في المقدار إلى $1.4\times$، ويظل الطيف مهيمنًا على الرتبة-1 ($\sigma_1 \gg \sigma_2 \approx \sigma_3$).
• الاستنتاج: علامة الارتباط من الرتبة-2 تظهر فقط في نظام "الحفظ المركز" (دوال القوة) حيث تندمج الميزات في قمم حادة. في نظام "الحفظ المنتشر" (ReLU)، تظل الميزات موزعة، مما يمنع تكوين علامة طيفية متميزة للرتبة-2.

3. الضوابط المنهجية والتحجيم

• حساسية حجم النافذة: يتطلب الكاشف حجم نافذة $W \in \{20, 30\}$. النوافذ الأصغر ($W \le 10$) تنتج نتائج إيجابية كاذبة في ظروف التحكم.
• تحجيم $\eta$: تؤكد تجربة ممتدة عند $\eta = 10^{-5}$ توقع تيان لزمن الاستيعاب $1/\eta$ (الاستيعاب عند الحقبة 1527). ومع ذلك، ينخفض مقدار الارتباط ($\sigma_2/\sigma_3$) بشكل كبير ($\approx 25$ مقابل $\approx 300$)، مما يشير إلى أن بنية الرتبة-2 لم تكتمل تمامًا عند هذا المقياس الزمني البطيء.
• مقياس المستوى ($\rho_{tian}$): يتنبأ مقياس أبسط يعتمد على البنية غير القطرية لمصفوفة غرام التنشيط ببداية الاستيعاب مع وقت تقدم إيجابي لـ $\sigma=x^2$ ولكنه يفشل في التعميم على ReLU أو تكوينات $(M, p)$ المختلفة، مما يجعله مؤشرًا على بدء ديناميكيات الميزات وليس الاستيعការ الناجح.

الأهمية والادعاءات

ترسم الورقة تمييزًا حاسمًا بين البنية والآلية:

1. الآلية (عامة): مبرهنة 6 لتيان تحكم بنية إشارة القيم غير القطرية لـ $B$ عبر خصائص مصفوفة غرام الميزات $\tilde{F}^\top \tilde{F}$. هذه الآلية قوية ومستقلة عن دالة التنشيط $\sigma$ المحددة.
2. العلامة (خاصة): تعتمد العلامة الطيفية المرصودة في تحديثات المعلمات على كيفية ترجمة التنافر إلى تحديثات أوزان، وهو أمر يتوسطه المشتق $\sigma'$.
   • دوال القوة ($\sigma=x^2$) تنتج ميزات مركزة تندمج في اتجاهين، مما يعطي ارتباطًا طيفيًا من الرتبة-2.
   • دالة ReLU تنتج ميزات منتشرة تظل مهيمنة على الرتبة-1، وتفتقر إلى علامة الارتباط الطيفي رغم وجود آلية التنافر الأساسية.

يربط المؤلفون هذا الانفصال التجريبي بمبرهنة 5 لتيان، والتي تميز رسميًا بين أنظمة الحفظ المركز والمنتشر. وتخلص الورقة إلى أنه بينما تعد آلية التنافر عالمية في المرحلة الثالثة، فإن الاقتراب الطيفي لتشخيصات الاستيعاب يعتمد على التنشيط. لا يمكن للممارسين افتراض أن مقياسًا طيفيًا واحدًا (مثل $\sigma_2/\sigma_3$) سيكتشف الاستيعاب عبر جميع دوال التنشيط؛ إذ يجب أن يتوافق اختيار التشخيص مع نظام الحفظ المحدد الذي تسببه دالة التنشيط.