📊 statistics

Robust Tensor-on-Tensor Regression

تقدم هذه الورقة ROTOT، وهي طريقة جديدة لنموذج الانحدار المتين من نوع (tensor-on-tensor)، تتعامل في آن واحد مع القيم المتطرفة على مستوى الحالة وعلى مستوى الخلية في كل من المتغيرات المستقلة والمتغيرات التابعة، وتستوعب القيم المفقودة، وتستخدم التشخيصات الرسومية، وهو ما تم التحقق من صحته من خلال عمليات المحاكاة وتطبيق التنبؤ بسمات الوجه.

المؤلفون الأصليون: Mehdi Hirari, Fabio Centofanti, Mia Hubert, Stefan Van Aelst

نُشر 2026-03-30

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Mehdi Hirari, Fabio Centofanti, Mia Hubert, Stefan Van Aelst

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم كمبيوتر تخمين سمات الشخصية (مثل "مبتسم"، "يرتدي نظارات"، أو "لديه لحية") بمجرد النظر إلى صورته.

في عالم علم البيانات، الصورة ليست مجرد صورة مسطحة؛ بل هي كتلة ثلاثية الأبعاد من المعلومات (الطول، العرض، وقنوات الألوان). عندما يكون لديك مجموعة من هذه الصور ومجموعة من سمات الشخصية، فأنت تتعامل مع الموترات (Tensors).

تقدم الورقة البحثية طريقة جديدة تسمى ROTOT (الانحدار المتين للموتر على الموتر - Robust Tensor-on-Tensor Regression). إليك كيف تعمل، مشروحة دون التعقيدات الرياضية الثقيلة.

المشكلة: "التفاحة الفاسدة" و"العدسة الملطخة"

النماذج الحاسوبية القياسية تشبه الطلاب المطيعين جداً. إذا عرضت عليهم صورة والجواب الصحيح، فإنهم يتعلمون النمط. لكنهم يسهل إرباكهم بنوعين من الأخطاء:

"العدسة الملطخة" (القيم المتطرفة على مستوى الخلية - Cellwise Outliers): تخيل صورة حيث يوجد بكسل واحد باللون الأحمر الساطع بسبب خلل تقني، أو سمة واحدة في بياناتك سُجلت على أنها "100 عام" بدلاً من "30". يرى النموذج هذا الخطأ الصغير ويصاب بالارتباك، معتقداً أنه نمط حقيقي.
"التفاحة الفاسدة" (القيم المتطرفة على مستوى الحالة - Casewise Outliers): تخيل أن شخصاً ما أعطاك صورة قطة ولكن صنفها على أنها "إنسان بلحية". الملاحظة بأكملها خاطئة. النماذج القياسية تحاول ملاءمة هذه البيانات الغريبة، مما يفسد قدرتها على التعلم من البيانات الجيدة.

علاوة على ذلك، في بعض الأحيان تكون البيانات مفقودة (مثل بكسل لم يتم حفظه). النماذج القياسية غالباً ما تتخلص من الصورة بأكملها إذا فقدت بكسلاً واحداً، وهو أمر هدير للبيانات.

الحل: "المحقق الذكي" (ROTOT)

بنى المؤلفون ROTOT، وهي طريقة جديدة تعمل مثل محقق ذكي ومتشكك. هو لا يقبل البيانات بشكل أعمى؛ بل يفحص وجود المشاكل قبل تقديم أي تخمين.

1. تنظيف الصور (المتنبئ - The Predictor)

قبل أن يحاول النموذج تخمين السمات، ينظر ROTOT إلى الصور (المتنبئات).

الاستعارة: تخيل أن لديك مجموعة من الصور، لكن بعضها به بقع قهوة (أخطاء على مستوى الخلية) وبعضها صور لأشخاص خطأ تماماً (أخطاء على مستوى الحالة).
ما يفعله ROTOT: يستخدم تقنية تسمى ROPMCA. فكر في هذا كـ "محرر صور ذكي".
- إذا رأى بقعة قهوة على بكسل ما، فهو لا يرمي الصورة؛ بل يخمن كيف كان يجب أن يبدو البكسل بناءً على بقية الصورة ويقوم بملئه (الاستكمال - Imputation).
- إذا رأى صورة قطة، يدرك أن "هذا لا يتناسب مع نمط الوجوه البشرية"، ويعطي تلك الصورة وزناً صفرياً. إنه يتجاهل الصورة السيئة فعلياً حتى لا تفسد عملية التعلم.

2. تخمين السمات (الاستجابة - The Response)

الآن يحاول النموذج التنبؤ بالسمات (الاستجابة).

الاستعارة: تخيل أنك تحاول تخمين عمر شخص بناءً على وجهه. معظم الناس تتراوح أعمارهم بين 20 و60 عاماً. لكن هناك شخصاً واحداً في بياناتك مسجل على أنه "500 عام".
ما يفعله ROTOT: يستخدم دالة "شبكة أمان" خاصة (تسمى دالة الخسارة المحدودة - Bounded Loss Function).
- إذا ارتكب النموذج خطأً صغيراً، فإنه يتعلم منه.
- إذا ارتكب خطأً ضخماً (بسبب قيمة متطرفة غريبة)، فإن شبكة الأمان تقول: "حسناً، هذا جنوني للغاية. لن نسمح لهذا الخطأ الواحد بتغيير نظريتنا بالكامل". إنها تحد من تأثير الخطأ.
- كما أنه يتعامل مع السمات المفقودة (مثل إذا كانت بيانات "الابتسام" مفقودة) عن طريق ملئها بذكاء، تماماً كما فعل مع الصور.

3. "خريطة القيم المتطرفة" (لوحة التحكم - The Outlier Map)

بعد تدريب النموذج، يمنحك ROTOT لوحة تحكم خاصة لتصور ما حدث.

الاستعارة: تخيل خريطة لمدينة.
- النقاط البيضاء هي أشخاص طبيعيون.
- النقاط الحمراء هم أشخاص يبدون غريبين (قيم متطرفة).
- النقاط الكبيرة تعني أن الشخص لديه العديد من السمات الغريبة.
- النقاط السوداء تعني أن الشخص هو "تفاحة فاسدة" (الملاحظة بأكملها خاطئة).
- النقاط الرمادية قد تكون لأشخاص لديهم صور غريبة (قيم متطرفة في المتنبئ).

تساعد هذه الخريطة البشر على رؤية السبب الدقيق وراء تصرف النموذج بطريقة معينة. هل ارتبك النموذج بسبب صورة معيبة؟ أم لأن الشخص لديه بالفعل مزيج غريب جداً من السمات؟

لماذا يعد هذا أمراً هاماً؟

الطريقة القديمة: إذا كان لديك بعض الصور السيئة أو بعض الأرقام المفقودة، فقد تضطر إلى حذف 20% من بياناتك للحصول على نتيجة جيدة. أو، إذا احتفظت بها، فسيكون نموذجك سيئاً للغاية.
طريقة ROTOT: تحتفظ بمعظم البيانات تقريباً. فهي تصلح الأعطال الصغيرة، وتتجاهل الكوارث الكلية، وتملأ الفراغات. إنها تشبه امتلاك فريق من المحررين الذين ينظفون الصور وقاضٍ يتجاهل الشهادات الجنونية، مما يؤدي إلى حكم أكثر عدلاً ودقة.

اختبار من العالم الحقيقي

اختبر المؤلفون هذا على مجموعة بيانات "الوجوه المسجلة في البرية" (Labeled Faces in the Wild) (وهي مجموعة شهيرة من صور المشاهير).

حاولوا التنبؤ بأشياء مثل "هل يرتدي الشخص نظارات؟" أو "هل لديه شارب؟".
أضافوا "ضجيجاً" (Noise) بشكل متعمد (بكسلات معيبة وتصنيفات خاطئة) إلى البيانات.
النتيجة: كان ROTOT أفضل بكثير في تخمين السمات من الطرق القديمة، حتى عندما كانت البيانات فوضوية. كما نجح في تحديد الوجوه "الغريبة" (القيم المتطرفة) والسمات التي تم تسجيلها بشكل غير صحيح.

باختالاختصار

ROTOT هو طريقة متينة و"مقاومة للانهيار" لتحليل البيانات المعقدة ثلاثية الأبعاد (مثل الصور). إنه لا ينكسر عندما تسوء الأمور؛ بل بدلاً من ذلك، يكتشف الأخطاء، ويصلح الصغيرة منها، ويتجاهل الكبيرة، ويعطيك صورة واضحة لما يحدث فعلياً في بياناتك.

إليك ملخص تقني مفصل لورقة البحث "Robust Tensor-on-Tensor Regression" (ROTOT) من إعداد هيراري وآخرون.

1. بيان المشكلة

انحدار الموتر على الموتر (Tensor-on-Tensor - TOT) هو إطار إحصائي يُستخدم للتنبؤ بموتر استجابة ( $Y$ ) من مجموعة من موترات المتغيرات المستقلة ( $X$ ). وبينما يعد انحدار TOT القياسي (على سبيل المثال، باستخدام المربعات الصغرى مع تفكيك CP) فعالاً في التقاط التبعيات متعددة الأبعاد، إلا أنه يعاني من ثغرتين حرجتين في التطبيقات الواقعية:

الحساسية للقيم المتطرفة: الطرق القياسية حساسة للغاية لكل من القيم المتطرفة على مستوى الحالة (casewise outliers) (أي ملاحظات كاملة تنحرف عن المتوسط) والقيم المتطرفة على مستوى الخلية (cellwise outliers) (أي مدخلات شاذة فردية داخل الموتر). وتنتشر القيم المتطرفة على مستوى الخلية بشكل خاص في بيانات الموتر عالية الأبعاد (مثل الصور، حيث قد تكون بعض البكسلات تالفة).
القيم المفقودة: غالباً ما تحتوي بيانات الموتر في العالم الحقيقي على مدخلات مفقودة. الطرق القياسية إما تستبعد الملاحظات غير المكتملة (مما يؤدي لفقدان البيانات) أو تستخدم استكمالاً بسيطاً لا يأخذ في الاعتبار بنية الموتر أو تلوث القيم المتطرفة.

عادةً ما تعالج الطرق القوية الموجودة نوعاً واحداً فقط من القيم المتطرفة (إما على مستوى الحالة أو على مستوى الخلية) أو نوعاً واحداً فقط من جانب الانحدار (المتغيرات المستبندة أو الاستجابة). لم يكن هناك منهج موحد قادر على التعامل في آن واحد مع القيم المتطرفة على مستوى الحالة ومستوى الخلية في كل من المتغيرات المستقلة والاستجابة، مع استيعاب القيم المفقودة أيضاً.

2. المنهجية: إطار عمل ROTOT

يقترح المؤلفون ROTOT (انحدار الموتر على الموتر القوي)، وهو منهج جديد يدمج الإحصاء القوي مع الجبر الخطي متعدد الخطوط. تتكون المنهجية من ثلاثة مكونات رئيسية:

أ. التعامل مع المتغيرات المستقلة (ROMPCA)

لمعالجة القيم المتطرفة والقيم المفقودة في موترات المتغيرات المستقلة $\{X_n\}$ ، يستخدم المنهج تحليل المكونات الرئيسية متعدد الخطوط القوي (ROMPCA).

الآلية: يقوم ROMPCA بتفكيك موترات المتغيرات المستقلة إلى موتر أساسي ومصفوفات إسقاط باستخدام دالة خسارة قوية.
المخرجات: ينتج عنه:
- الموترات المستكملة ( $X^{imp}_n$ ): استبدال القيم المتطرفة على مستوى الخلية والقيم المفقودة بتقديرات قوية.
- أوزان الحالة ( $w^x_n$ ): وزن قدره 0 للقيم المتطرفة على مستوى الحالة، و1 للملاحظات المنتظمة.
- الموترات الأساسية (Core Tensors): تُستخدم لحساب مسافات الدرجات (score distances) للكشف عن نقاط التأثير (leverage points).

ب. دالة الخسارة القوية للاستجابة

بالنسبة لموترات الاستجابة $\{Y_n\}$ ، يقلل ROTOT من دالة تقدير M الموزونة التي تستهدف في آن واحد الانحرافات على مستوى الخلية وعلى مستوى الحالة. تُعرف دالة الخسارة $L$ كالتالي:
$L = \frac{\hat{\sigma}_2^2}{2m} \sum_{n=1}^N m_n w^x_n \rho_2 \left( \frac{1}{\hat{\sigma}_2} \sqrt{\frac{1}{m_n} \sum_{q} m_{n,q} \hat{\sigma}_{1,q}^2 \rho_1 \left( \frac{r_{n,q}}{\hat{\sigma}_{1,q}} \right)} \right) + \lambda \|B\|_F^2$
حيث أن:

$r_{n,q}$ تمثل البواقي (residuals) على مستوى الخلية.
$\rho_1$ (مستوى الخلية): دالة محدودة (تحديداً دالة الظل الزائد، $\tanh$ ) تُطبق على بواقي الخلايا الفردية، مما يحد من تأثير القيم المتطرفة على مستوى الخلية.
$\rho_2$ (مستوى الحالة): دالة محدودة تُطبق على الانحراف المجمع لملاحظة كاملة، مما يحد من تأثير القيم المتطرفة على مستوى الحالة.
مقاييس النطاق (Scale Estimators): تُستخدم مقاييس M-النطاق القوية ( $\hat{\sigma}_1$ و $\hat{\sigma}_2$ ) لتوحيد البواقي، مما يضمن بقاء المنهج قوياً حتى لو كان معظم البيانات ملوثاً.
القيم المفقودة: يتم التعامل معها عبر موتر قناع (mask tensor) $M_n$ يستبعد المدخلات المفقودة من عملية الجمع، مما يعاملها فعلياً بشكل مشابه للقيم المتطرفة على مستوى الخلية ولكن مع معرفة مواقعها.

ج. خوارزمية التحسين (IRLS)

بما أن دالة الهدف غير محدبة (non-convex)، يقترح المؤلفون خوارزمية المربعات الصغرى الموزونة تكرارياً (IRLS):

التهيئة: تستخدم استراتيجية من خطوتين تتضمن خوارزمية "الكشف عن الخلايا المنحرفة" (DDC) وملاءمة أولية قوية لتجنب النهايات الصغرى المحلية.
المربعات الصغرى بالتناوب (ALS): في كل تكرار، تقوم الخوارزمية بتحديث معاملات موتر الميل (مصفوفات الأنماط $U_\ell$ و $V_m$ ) والتقاطع $B_0$ عن طريق حل مسائل المربعات الصغرى الموزونة المشتقة من الشروط من الدرجة الأولى.
تحديث الأوزان: يتم إعادة حساب الأوزان بناءً على البواقي الحالية وتقديرات النطاق.
التقارب: ثبت أن الخوارزمية تقلل دالة الهدف بشكل رتيب حتى التقارب.

3. المساهمات الرئيسية

أول نهج موحد: يعد ROTOT أول منهج لانحدار TOT قادر على التعامل في آن واحد مع القيم المتطرفة على مستوى الحالة، والشرائح (الخلايا)، والقيم المفقودة في كل من موترات المتغيرات المستقلة والاستجابة.
القوة المزدوجة: من خلال دمج خسارة قوية على مستوى الخلية ( $\rho_1$ ) داخل خسارة قوية على مستوى الحالة ( $\rho_2$ )، يمنع المنهج حدوث إشارة خاطئة لقيمة متطرفة على مستوى الحالة نتيجة لقيمة متطرفة واحدة على مستوى الخلية، وهي مشكلة شائعة في طرق الانحدار القوية السابقة.
أدوات التشخيص: قدم المؤلفون تشخيصات رسومية:
- خريطة خلايا البواقي (Residual Cellmap): خريطة حرارية تصور القيم المتطرفة على مستوى الخلية في الاستجابة.
- خريطة القيم المتطرفة (Outlier Map): مخطط تشتت لـ "مسافة البواقي" مقابل "مسافة الدرجة" (من ROMPCA)، ملون بنسبة الخلايا المتطرفة. يميز هذا المخطط بين القيم المتطرفة الرأسية (استجابة سيئة)، ونقاط التأثير (متغيرات مستقلة سيئة)، ونقاط التأثير الجيدة.
التنفيذ البرمجي: تم تنفيذ المنهج في لغة R، مع توفير الكود برمجياً للعموم.

4. النتائج

تم تقييم أداء ROTOT من خلال تجارب محاكاة واسعة وتطبيق من واقع الحياة:

دراسة المحاكاة:
- السيناريوهات: تم الاختبار تحت نسب إشارة إلى ضوضاء (SNR) متغيرة ومستويات تلوث (من 5% إلى 10% من البيانات) تشمل قيم متطرفة على مستوى الخلية، وقيم متطرفة على مستوى الحالة، وقيم مفقودة.
- المقاييس: خطأ التنبؤ النسبي (RPE) على مجموعات تحقق نظيفة.
- النتائج: تفوق ROTOT باستمرار على TOT الكلاسيكي، و"OnlyCell-TOT" (القوي للخلية فقط)، و"OnlyCase-TOT" (القوي للحالة فقط).
  - في سيناريوهات التلوث المختلط، حقق ROTOT أدنى معدل RPE.
  - فشل TOT الكلاسيكي وOnlyCase-TOT بشكل كبير عند وجود قيم متطرفة على مستوى الخلية في الاستجابة.
  - حافظ ROTOT على استقراره حتى مع وجود 5% من القيم المفقودة.
تطبيق بيانات حقيقية (الوجوه في البرية - LFW):
- المهمة: التنبؤ بـ 72 سمة وجهية (مثل "مبتسم"، "ضبابي"، "يرتدي نظارات") من صور الوجوه (موترات رمادية 30x30).
- الأداء: حقق ROTOT خطأ تربيعي متوسط مقصوص (robMSE) أقل مقارنة بـ TOT الكلاسيكي.
- اختبار القوة: عندما تم حقن قيم متطرفة اصطناعية في السمات، ظل أداء ROTOT مستقراً، بينما تدهورت دقة TOT الكلاسيكي مع زيادة حجم التلوث.
- التشخيص: نجحت خريطة القيم المتطرفة في تحديد أفراد معينين بخصائص تالفة (مثل "ضبابي" و"وميض" لشخص معين) وأفراد بوجوه محجوبة (قيم متطرفة على مستوى الحالة).

5. الأهمية

يعالج منهج ROTOT فجوة حرجة في تحليل البيانات متعددة المتغيرات. مع تحول البيانات لتصبح عالية الأبعاد ومهيكلة (موترات)، فإن افتراض وجود بيانات نظيفة وكاملة نادراً ما يتحقق.

الأثر العملي: يتيح نمذجة موثوقة في مجالات مثل التصوير الطبي (fMRI/EEG)، ورؤية الحاسوب، والكيمياء القياسية، حيث يكون فساد البيانات والفقد شائعاً.
التقدم النظري: يوضح كيفية توسيع تقدير M القوي ليشمل المشهد الأمثل المعقد وغير الخطي لتفكيك الموترات دون التضحية بالقدرة الحسابية.
القابلية للتفسير: تتيح الأدوات التشخيصية المقترحة للممارسين ليس فقط الحصول على تنبؤات قوية، بل أيضاً فهم طبيعة شذوذ البيانات (التمييز بين نقاط البيانات السيئة ونماذج الملاءمة السيئة).

باختصار، يوفر ROTOT إطار عمل شاملاً وقوياً وغنياً بالتشخيصات لانحدار الموتر، مما يضمن الموثوقية في ظل هياكل الضوضاء المعقدة التي تميز بيانات الموتر الحديثة.