ملخص تقني: تعلم البنية الكامنة التركيبية باستخدام الشبكات المتجهية (Vector Networks)

بيان المشكلة

تعتمد الشبكات العميقة الحديثة عادةً على ركيزة بارامترية كثيفة مشتركة لتنفيذ عمليات متنوعة. ومن خلال الانتشار العكسي للخطأ، يتم تشفير الميزات والمهارات والسلوكيات المتميزة في اتجاهات متداخلة من نفس مصفوفات الأوزان، وهي ظاهرة يطلق عليها المؤلفون اسم تشابك الأوزان (weight entanglement). في هذا النظام، غالبًا ما تؤدي التحسينات لأحد السلوكيات إلى التأثير بشكل غير مقصود على سلوكيات أخرى لأن التدرجات يتم تجميعها عند المخرج وتمريرها عبر جميع الطبقات. بناءً على ذلك، تفتقر الشبكات القياسية إلى "المسؤولية القابلة للعنونة" في فضاء الأوزان: فهي لا تخزن المكونات المتعلمة طبيعيًا ككائنات مستمرة وقابلة لإعادة الاستخدام يمكن عزلها أو إعادة دمجها أو تحديثها بشكل مستقل. وبينما يمكن لطرق التفسير اللاحقة (post-hoc interpretability) تحديد الدوائر الوظيفية أحيانًا، إلا أن البنية نفسها لا تفرض التفكيك إلى وحدات قابلة لإعادة الاستخدام. يعيق هذا القصور التعميم التركيبي (compositional generalization)، حيث يجب على النظام إعادة دمج العوامل المألوفة في تكوينات جديدة دون الحاجة لإعادة التدريب. تقدم الأساليب الحالية مثل "خليط الخبراء" (Mixture-of-Experts) أو النماذج المتمحورة حول الأشياء (object-centric models) توجيهًا أو نمطية، لكنها غالبًا ما تعمل عبر توجيه أمامي (feedforward) فوق وحدات كثيفة، أو لا تجعل المسؤولية لكل عينة صريحة في فضاء الأوزان نفسه.

المنهجية: الشبكة المتجهية (VN)

تعالج بنية الشبكة المتجهية (VN) هذه القيود باستبدال مصفوفات الأوزان الكثيفة الثابتة بمكتبة من الذرات الوزنية ذات الرتبة الأولى (rank-1 weight atoms) القابلة لإعادة الاستخدام. وتتضمن الآلية الجوهرية عملية من مرحلتين: الاستدلال السريع لتركيب تحويلات خاصة بالمدخلات، والتعلم البطيء لتحديث القاموس الأساسي.

1. البنية والذرات من الرتبة الأولى

كل طبقة $l$ في الشبكة المتجهية (VN) لا تُعرف بمصفوفة $W$ واحدة، بل بقاموس من $K_l$ من الذرات الوزنية من الرتبة الأولى. تُعرف كل ذرة $i$ بزوج من متجهات الكود المتعلمة: متجه مدخل $s_{l,i}$ ومتجه مخرج $u_{l,i}$. معًا، يشكلان مؤثرًا من الرتبة الأولى:
$$A^{(l,i)} = u_{l,i} s_{l,i}^\top$$
لأي مدخل $x_l$ معطى، تستنتج الشبكة مجموعة متفرقة من المعاملات $g_l$ (حيث يقوم $g_{l,i}$ بتغيير حجم مساهمة الذرة $i$). ويتم تركيب مصفوفة الوزن الفعالة والمحددة للمدخل $W^*_l(x_l)$ كتركيبة خطية من هذه الذرات:
$$W^*_l(x_l) = \sum_{i=1}^{K_l} g^*_{l,i}(x_l) A^{(l,i)}$$
يسمح هذا للشبكة بتركيب تحويل مخصص لكل عينة باستخدام مجموعة فرعية صغيرة من القاموس المشترك، بدلاً من تطبيق مصفوفة ثابتة متجانسة.

2. الاستدلال السريع عبر تقليل الطاقة

لكل عينة، تقوم الشبكة المتجهية بعملية استدلال سريع لتحديد المعاملات المتفرقة $g_l$. ويتحقق ذلك من خلال تقليل دالة طاقة محلية للطبقة $E_l$ توازن بين ثلاثة حدود:

1. إعادة بناء المدخلات: تقليل الخطأ بين المدخل $x_l$ وإعادة البناء $S_l g_l$ (حيث تحتوي $S_l$ على متجهات الكود من جانب المدخل).
2. الاتساق من الأعلى إلى الأسفل: تقليل الخطأ بين الهدف القادم من الأعلى $h_{l,target}$ (الموفر من الطبقة التي تعلوها) ورسالة الواجهة $U_l g_l$ (حيث تحتوي $U_l$ على متجهات الكود من جانب المخرج).
3. التشتت (Sparsity): عقوبة $\ell_1$ بقيمة $\lambda_l \|g_l\|_1$ لفرض مجموعة نشطة متفرقة.

يسير الاستدلال عبر عمليات مسح تكرارية صاعدة وهابطة (تشبه استقرار المشفر-فك التشفير) باستخدام خطوات التدرج التقريبي (من نوع ISTA/FISTA). وتتقارب العملية إلى نقطة ثابتة متفرقة حيث تكون عدد قليل من الذرات نشطة فقط. قد تفرض الطبقة العليا بالإضافة إلى ذلك قيد "أعلى $k$" (top-$k$) صارمًا.

3. التعلم البطيء: تحديثات "أتوميك-هيب" (Atomic-Hebb)

بمجرد تقارب الاستدلال السريع، يقوم التعلم البطيء بتحديث الذرات الوزنية. ومن الأهمية بمكان أن التحديثات تُطبق فقط على الذرات ذات المعاملات غير الصفرية ($g^*_{l,i} \neq 0$). قاعدة التحديث، المسماة Atomic-Hebb، هي تحديث متبقي محلي يتم قياسه بالمسؤولية المستنتجة:
$$S_l \leftarrow S_l + \rho^S_l r^x_l (g^*_l)^\top$$
$$U_l \leftarrow U_l + \rho^U_l r^h_l (g^*_l)^\top$$
حيث $r^x_l$ و $r^h_l$ هما المتبقيات الخاصة بإعادة البناء والهدف من الأعلى، على التوالي. يثبت التحليل النظري (عبر نظرية Danskin) أن هذه التحديثات المحلية تعادل تمامًا التدرجات الضمنية للطاقة الحرة العالمية، رغم أن عملية الاستدلال تُعامل كصندوق أسود. يضمن هذا تخصيص الائتمان (credit assignment) محليًا للذرات الوزنية المحددة المسؤولة عن التفسير الحالي، مما يمنع انتشار تشابك الأوزان الذي يُرى في الانتشار العكسي القياسي.

المساهمات الرئيسية

1. الذرات الوزنية من الرتبة الأولى كبنات بناء: يقترح المؤلفون بنية متكررة هرمية حيث تتكون الطبقات من ذرات من الرتبة الأولى قابلة لإعادة الاستخدام، مما يجعل وظائف الشبكة قابلة للعنونة، والفحص، والتركيب.
2. الأوزان الفعالة المحددة بالاستدلال: مصفوفة الوزن الفعالة لكل عينة ليست ثابتة بل يتم استنتاجها عبر تقليل الطاقة على معاملات متفرقة. هذا يفصل بين الاختيار السريع للمكونات وبين التخزين البطيء للقاموس.
3. قاعدة تعلم Atomic-Hebb: قاعدة تعلم تقوم بتحديث الذرات الوزنية المختارة فقط باستخدام إشارات المتبقيات المحلية الموزونة بالمعاملات المستنتجة. هذا يحد من التداخل بين التحديثات غير المرتبطة ويحافظ على قابلية إعادة استخدام المكونات المتعلمة.
4. التقييد الهيكلي لتداخل تحديث الأوزان: من خلال قصر التحديثات على المجموعة النشطة المتفرقة، تضع البنية حدًا هيكليًا لتشابك الأوزان، مما يضمن أن تعلم سلوك واحد لا يؤدي بالضرورة إلى تدهور السلوكيات الأخرى.

النتائج التجريبية

قيم المؤلفون الشبكة المتجهية (VN) على أربعة اختبارات تشمل إشارات 1D، وفك ترميز مكاني 2D، وديناميكيات الأجسام المتعددة (N-body)، وMNIST التركيبية. في جميع الحالات، تم تدريب النماذج داخل التوزيع (ID) واختبارها خارج التوزيع (OOD) في حالات تتضمن تركيبات جديدة من العوامل المألوفة.

• التركيب المكاني: في مهمة تتطلب إعادة بناء نتوءات غاوسية (Gaussian bumps) في مواقع غير مرئية، أظهرت شبكات CNN وVAEs القياسية خطأً كبيرًا في OOD. حافظت VN على خطأ منخفض ومستقر عبر النطاق المكاني، متفوقة على كل من النماذج الكثيفة ونماذج فك التشفير المعتمدة على عوامل يدوية.
• تركيب الدوال: في مهام إعادة بناء إشارات 1D والتنبؤ المقنع التي تتضمن مجموعات وتركيبات متداخلة من دوال الجيب، وجيب التمام، والدوال متعددة الحدود، وغاوس، أظهرت VN استقرارًا فائقًا. وبينما قدمت النماذج التسلسلية القوية (مثل Transformers وMamba) أداءً جيدًا في ID وفي إعادة البناء البسيط في OOD، إلا أنها تدهورت بشكل كبير في مهام التنبؤ المقنع التي تتطلب استعادة البنية القابلة لإعادة الاستخدام. حققت VN أوضح ميزة في هذه الاختبارات الأكثر صرامة.
• ديناميكيات الأجسام المتعددة (N-Body): في اختبار فيزيائي يتضمن مجالات قوة مختلطة (جاذبية، سحب، لورنتز، زنبرك) وأعداد أجسام متغيرة، حافظت VN على خطأ منخفض تحت تحولات OOD معقدة (قوى متعددة، عدد أجسام أقل). أظهرت النماذج المرجعية مثل MLPs وGNNs وTransformers زيادة كبيرة في الخطأ عند دمج القوى أو تغيير عدد الأجسام، بينما ظلت VN قوية.
• تركيب الصور: في مهام إعادة بناء أرقام MNIST والتحولات الديناميكية (دوران/إزاحة/تغيير الحجم)، تفوقت VN بشكل ملحوብ على المشفرات التلقائية (autoencoders) في حالات OOD التي تتضمن خلطات إضافية، وإسقاطات القصوى (max projections)، وتركيبات تحويل معقدة. كانت الميزة تقريبًا بمقدار عشرة أضعاف في أقوى ظروف OOD.

عبر جميع الاختبارات، طابقت VN النماذج المرجعية القوية في أداء ID، لكنها حققت خطأ OOD أقل بكثير (غالبًا بمقدار عشرة أضعاف) عندما كان يتعين إعادة دمج العوامل المألوفة بطرق جديدة.

الأهمية والادعاءات

يجادل البحث بأن الشبكات المتجهية تجعل التعميم التركيبي خاصية هيكلية للبنية وعملية الاستدلال، وليس مجرد نتاج هش لملاءمة سلوكيات عديدة في ركيزة كثفة مشتركة.

• المسؤولية الصريحة في فضاء الأوزان: على عكس الشبكات القياسية حيث تكون المسؤولية ضمنية ومتشابكة، تستنتج VN صراحةً أي الذرات الوزنية هي المسؤولة عن عينة ما قبل تحديثها. هذا الفصل بين "التركيب السريع / التخزين البطيء" يحدد نطاق القدرة على التكيف (plasticity).
• التركيب على مستوى الآلية: تشير النتائج إلى أن VN تتعلم مكونات قابلة لإعادة الاستخدام على مستوى الآلية (مثل قوانين قوة محددة أو عوامل مكانية) والتي يمكن إعادة تركيبها لتفسير مدخلات جديدة، بدلاً من مجرد الاستيفاء (interpolation) ضمن توزيع التدريب.
• الكفاءة والقابلية للتوسع: يشير المؤلفون إلى أنه بمجرد تعلم مكتبة من العوامل الكامنة، يمكن التعامل مع المدخلات الجديدة عبر إعادة التركيب، مما يوفر مسارًا طبيعيًا نحو تحسين كفاءة البيانات، خاصة في "الذيل الطويل" للتركيبات غير المرئية.
• القيود: يقر البحث بأن التنفيذ الحالي يعتمد على الاستدلال المتكرر المتفرق، وهو أبطأ من التمرير الأمامي الواحد. ويشير المؤلفون إلى أنه يمكن مستقبلاً تقريب هذا الاستدلال عبر تحديثات تمرير أمامي متعلمة، لكن الشكل الحالي يعطي الأولوية للقابلية للتفسير والنمطية.

باخت ملخص، تقترح الشبكة المتجهية تحولًا من توجيه الحالة (كما في Transformers) إلى المسؤولية في فضاء الأوزان، حيث تستنتج الحوسبة أولاً مسؤولية متفرقة فوق مكونات وزنية قابلة لإعادة الاستخدام، ثم يعمل التعلم بشكل انتقائي على تلك البنية المستنتجة. يهدف هذا النهج إلى حل مشكلة تشابك الأوزان وتمكين التعميم القوي للتركيبات الجديدة من العوامل المألوفة.