Dual-Channel Tensor Neural Networks: Finite-Sample Theory and Conformal Structure Selection

ملخص تقني: الشبكات العصبية التنسورية ثنائية القنوات

بيان المشكلة
تعتمد تطبيقات تعلم الآلة الحديثة بشكل متزايد على البيانات الهيكلية عالية الأبعاد، مثل التصوير العصبي، وعلم الجينوم، والشبكات الزمكانية، والتي توجد طبيعيًا في شكل تنسورات (Tensors). ويتمثل التحدي المركزي في التعلم من هذه البيانات في هيكلها غير المتجانس: فغالبًا ما تُظهر التنسورات في العالم الحقيقي مزيجًا من الأنماط متعددة الخطية العالمية منخفضة الأبعاد، والتباينات المحلية غير المنتظمة أو المتفرقة التي تحمل إشارات تنبؤية حرجة. وتواجه النهج الحالية مقايضة جوهرية:

• النماذج منخفضة الرتبة (مثل CP وTucker وTensor-Train) تلخص بفعالية التبعيات العالمية، لكنها تعاني من تحيز في التمثيل عندما لا تتماشى الإشارات المحلية مع الفضاء الجزئي المفترض.
• النماذج غير المعلمية المتفرقة أو عالية الأبعاد تلتقط التأثيرات المحلية، لكنها تتجاهل الهندسة التنسورية الكامنة، مما يؤدي إلى تضخم الأبعاد الفعلية وانخفاض الكفاءة الإحصائية.
  علاوة على ذلك، فإن طرق تقدير عدم اليقين القياسية (مثل Bootstrap أو التنبؤ التوافقي القياسي) غالبًا ما تعامل مدخلات التنسور كمتجهات غير مهيكلة، مما ينتج تقديرات مفرطة في التحفظ تفشل في استغلال الهندسة الجوهرية للبيانات. وأخيرًا، يعتمد الاختيار بين نماذج التفكيك المرشحة (مثل CP مقابل Tucker) عادةً على التحقق التجريبي (Heuristic validation) دون صلاحية إحصائية في العينات المحدودة.

المنهجية
يقترح المؤلفون الشبكة العصبية التنسورية ثنائية القنوات (DC-TNN)، وهي إطار عمل مصمم لتعلم الدوال التنبؤية عبر مدخلات التنسور.

1. تحويل الميزات المهيكلة:
   يتم تفكيك التنسور المدخل $X$ إلى نواة منخفضة الرتبة عالمية $C$ ومكون تحسين متفرق $V$. عملية التحويل $X \mapsto (C, V_J)$ ترسم التنسور عالي الأبعاد إلى تنسور نواة منخفض الأبعاد $C$ (يلتقط التفاعلات متعددة الخطية المهيمنة) ومتجه متفرق $V_J$ (يلتقط الانحرافات المحلية)، حيث $J$ هي مجموعة مؤشرات مختارة. يُعامل هذا كتحيز استقرائي مهيكل وليس كقيد توليدي صارم.

2. بنية القنوات المزدوجة:
   يعالج النموذج $C$ والميزات المحلية المنقحة $U$ (المشتقة من $V_J$) عبر قناتين عصبيتين متوازيتين ومترابطتين:

• قناة النواة ($H_c$): تعمل على تنسور النواة منخفض الأبعاد لتعلم التبعيات متعددة الخطية العالمية.
• قناة التحسين ($H_u$): تعمل على التمثيل التنسوري الكثيف للميزات المحلية المختارة.
• الاقتران: تتفاعل القنوات عبر تنسورات أوزان عبر القنوات ($W_{cu}, W_{uc}$) عند كل طبقة، مما يسمح للنموذج بدمج المعلومات العالمية المهيكلة مع التعديلات المحلية المرنة بشكل تكيفي. البنية مستقلة عن نوع التفكيك المحدد، حيث تستوعب أنوية CP وTucker وTensor-Train.

3. إجراء التدريب:
   يفصل البحث إجراء تدريب ثنائي المرحلة:

• المرحلة 1: تقدير تنسور النواة $\hat{C}_i$ خارج الشبكة باستخدام مقدرات قياسية (مثل HOSVD لـ Tucker، أو ALS لـ CP).
• المرحلة 2: تحسين أوزان الشبكة وتنسور الاختيار المتفرق $W_u$ (الذي يستخرج $V_J$ من $X$) بشكل مشترك لتقليل المخاطر التجريبية بالإضافة إلى عقوبة التفرق (مثل clipped-$\ell_1$). كما تمت مناقشة بديل للتدريب من البداية إلى النهاية (End-to-end) في المواد التكميلية.

4. الاستدلال التوافقي الواعي بالهيكل:
   لتقدير عدم اليقين، طور المؤلفون إجراء استدلال توافقي يعمل ضمن فضاء التمثيل الكامن للنواة والتحسين بدلاً من الفضاء المحيط بالتنسور.

• المعايرة المحلية: لكل نقطة اختبار، يتم إنشاء مجموعة معايرة محلية باستخدام أقرب $K$ جيران بناءً على مقياس مسافة يجمع بين تمثيلات النواة والتحسين.
• نطاقات ROC/AUC: ينتج هذا الإجراء نطاقات ثقة خالية من التوزيع لمنحنيات ROC وقيم AUC، وهي أكثر دقة وإفادة من تلك المشتقة من نهج المتجهات غير المهيكلة.

5. اختيار الهيكل التوافقي:
   يقدم البحث إجراءً مستندًا إلى الإحصاء للاختيار بين الهياكل التنسورية المتنافسة (مثل Tucker مقابل CP). من خلال بناء نطاقات فرق-ROC التوافقية لأداء الفرق بين نموذجين مرشحين، توفر الطريقة اختبارًا ذا عينة محدودة وخاليًا من التوزيع لتحديد ما إذا كان أحد الهياكل أفضل بشكل ملحوظ من الآخر أو ما إذا كانا غير متمايزين إحصائيًا.

المساهمات الرئيسية

• إطار نمذجة مهيكل: بنية عصبية ثنائية القنوات تعمل على نمذجة الهياكل العالمية منخفضة الرتبة والتحسينات المحلية المتفرقة معًا، مما يعمم النماذج منخفضة الرتبة والنماذج عالية الأبعاد المتفرقة.
• منظور موحد: فئة دوال جديدة تجسر الفجوة بين النماذج التنسورية منخفضة الرتبة والنماذج المتفرقة، مما يقدم رؤية مبدئية لتعلم التمثيل تحت حالة عدم اليقين الهيكلي.
• تقدير عدم اليقين: طريقة استدلال توافقي واعية بالهيكل تنتج مناطق ثقة أكثر دقة لمنحنيات ROC وقيم AUC مع الحفاظ على الصلاحية الخالية من التوزيع.
• اختيار النموذج: أول إجراء معروف خالٍ من التوزيع وذو صلاحية في العينات المحدودة للاختيار بين التفكيكات التنسورية المرشحة.
• الضمانات النظرية: حدود مخاطر غير تقاربية تُظهر أن البعد الفعال يعتمد على رتبة النواة والتفرق في التحسين ($d_{eff} = \prod R_m + |J|$) بدلاً من حجم التنسور المحيط، مما يتجنب لعنة الأبعاد.

النتائج
تحقق المؤلفون من إطار العمل من خلال عمليات المحاكاة وتحليل بيانات حقيقية من مجموعة بيانات DD البروتينية (TUDataset).

• الدقة التنبؤية: في التجارب الاصطناعية مع حقائق ground truths لكل من Tucker وCP، تفوق DC-TNN باستمرار على شبكات التنسور الأساسية (Low-rank TRL، وStacked-weight TNN) من حيث دقة الاختبار ومتوسط مربع الخطأ (MSE).
• تقدير عدم اليقين: حققت نطاقات ROC التوافقية معدلات تغطية اسمية (مثل فترات ثقة 90%)، مما أثبت تقديرًا موثوقًا لعدم اليقين.
• اختيار الهيكل: حدد المختار المقترح الهيكل الأساسي الصحيح (Tucker أو CP) في الأنظمة الاصطناعية. وفي مجموعة بيانات DD الواقعية، اختار الإجراء إحصائيًا نموذج DC-TNN القائم على CP على المتغير القائم على Tucker، وهو قرار مدعوم بوقوع نطاقات فرق-ROC تحت القطر لفرض العدم الذي يفترض تفوق Tucker.

الأهمية والادعاءات
يزعم البحث أن إطار DC-TNN يعالج القصور الجوهري في الطرق الحالية من خلال الموازنة بين التحيز الهيكلي والمرونة المحلية. ومن خلال تفكيك المدخلات إلى نواة وتحسين، يحقق النموذج معدلات تقارب مثالية ويقلل من الأبعاد الفعلية لمشكلة التعلم.

وعلى نحو حاسم، يؤكد المؤلفون أن عملهم يوفر ضمانات ذات عينة محدودة وخالية من التوزيع لكل من الاستدلال واختيار النموذج. وبخلاف الطرق السابقة التي تعتمد على افتراضات تقاربية أو تحقق تجريبي، توفر الإجراءات التوافقية المقترحة صلاحية إحصائية صارمة لاختيار الهياكل التنسورية وتقدير عدم اليقين في البيئات عالية الأبعاد. ويضع المؤلفون هذا العمل كخطوة نحو مبدأ تنظيمي عام للتعلم الإحصائي على البيانات التنسورية، حيث يتيح الاستدلال المعزز بالنواة نمذجة تكيفية وواعية بالهيكل دون الالتزام بفرضية هيكلية واحدة مسبقًا.