🤖 machine learning

Measure-to-measure Regression with Transformers

تقدم هذه الورقة صياغة رسمية للانحدار غير الخطي من مقياس إلى مقياس، وتقترح نهجين قائمين على المحولات (transformer) وقابلين للتوسع —الخرائط الساكنة وحقول السرعة الديناميكية— لتعلم التحويلات بين التوزيعات الاحتمالية، مما يثبت فعاليتها في التنبؤ بالتطور السكاني عبر مجموعات بيانات اصطناعية وفيزيائية وبيولوجية.

المؤلفون الأصليون: Matthew Vandergrift, Martha White, Yury Polyanskiy, Philippe Rigollet, Lazar Atanackovic

نُشر 2026-05-28

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Matthew Vandergrift, Martha White, Yury Polyanskiy, Philippe Rigollet, Lazar Atanackovic

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيفية التنبؤ بكيفية تحرك حشد من الناس.

الطريقة القديمة (الانحدار الكلاسيكي - Classical Regression):
عادةً، إذا أردت التنبؤ بالحركة، فإنك تنظر إلى شخص واحد في كل مرة. تقول: "إذا مشت أليس جهة اليسار، فستنتهي هنا. وإذا مشى بوب جهة اليمين، فسينتهي هناك". أنت تعامل الجميع كمسافرين مستقلين.

المشكلة الجديدة (الانحدار من مقياس إلى مقياس - Measure-to-Measure Regression):
لكن في العديد من مواقف العالم الحقيقي — مثل سرب من الأسماك، أو أسراب النحل، أو حشد من الخلايا داخل جسم ما — لا يتحرك الناس بمفردهم. إنهم يتحركون ككتلة واحدة. إذا تحرك الحشد بأكمله، فذلك بسبب كيفية تفاعلهم مع بعضهم البعض. لا يمكنك مجرد النظر إلى شخص واحد؛ بل يجب عليك النظر إلى "سحابة" الناس بأكملها (التوزيع) والتنبؤ بكيفية إعادة تشكيل هذه "السحابة" بالكامل.

تسمي الورقة البحثية هذا بـ الانحدار من مقياس إلى مقياس (M2M Regression). فبدلاً من التنبؤ بأين تذهب نقطة واحدة، أنت تتنبأ بكيفية تحول شكل أو سحابة من النقاط بالكامل إلى شكل جديد.

الحل: "المحول" (Transformer) كمدير للحشود

تقترح الورقة استخدام نوع معين من الذكاء الاصطناعي يسمى المحول (Transformer) (وهي نفس التقنية التي تقف وراء العديد من برامج الدردشة الآلية الحديثة). لكنهم يستخدمونه بطريقة خاصة.

فكر في "المحول" القياسي كمدير فائق التنظيم ينظر إلى قائمة من العناصر ويقرر ما يجب فعله بكل منها بناءً على الآخرين.

السحر: في هذه الورقة، لا ينظر "المحول" إلى مجرد قائمة؛ بل ينظر إلى الحشد بأكمله ككيان واحد. إنه يتساءل: "بالنظر إلى الشكل الحالي لهذا الحشد، كيف يجب أن يتحرك كل شخص بمفرده لتحويل هذا الشكل إلى ذلك الشكل الجديد؟"

تقدم الورقة طريقتين رئيسيتين للقيام بذلك:

1. طريقة "القفزة" (المحولات الثابتة - Static Transformers)

تخيل أن لديك صورة لحشد في وضع البداية وصورة لهم في وضع النهاية.

كيف تعمل: ينظر الذكاء الاصطناعي إلى صورة البداية ويحسب فوراً "خريطة سحرية" تخبر كل شخص بالضبط أين يقفز ليصل إلى الوجهة في قفزة واحدة ضخمة.
التشبيه: الأمر يشبه مخرجاً يصرخ: "الجميع، اقفزوا إلى أماكنكم النهائية الآن!" فينتقل الحشد فوراً إلى التشكيل الجديد.
الإيجابيات/السلبيات: هي سريعة، لكن حساب تلك "القفزة" المثالية للجميع في وقت واحد أمر صعب جداً من الناحية الرياضية ويمكن أن يكون فوضوياً.

2. طريقة "التدفق" (المحولات الديناميكية / M2M-TFM)

هذه هي النجمة الحقيقية للورقة البحثية. بدلاً من القفزة الضخمة، تخيل الحشد وهو يتحرك مثل السائل أو النهر.

كيف تعمل: لا يخبر الذكاء الاصطناعي الناس أين يقفزون. بدلاً من ذلك، يعمل مثل الرياح أو التيار. إنه يحسب "مجال سرعة" (velocity field) — وهو عبارة عن نسيم لطيف يدفع الحشد.
- في الزمن 0، يكون النسيم ضعيفاً.
- في الزمن 0.5، يدفع النسيم بقوة أكبر في اتجاه معين.
- في الزمن 1، يتدفق الحشد بسلاسة إلى الشكل الجديد.
التشبيه: فكر في صب الماء من إبريق في كوب. أنت لا تخبر كل جزيء ماء إلى أين يذهب؛ أنت فقط تتحكم في تدفق التيار، والماء يجد طريقه طبيعياً لملء الكوب.
لماذا هي أفضل: توضح الورقة أن طريقة "التدفق" هذه أكثر مرونة ودقة. فهي تتعلم قواعد الحركة بدلاً من مجرد حفظ نقاط البداية والنهاية.

أين اختبروا ذلك؟

لم يكتف المؤلفون بالتحدث عن النظرية فحسب؛ بل اختبروا "مدير الحشود" الخاص بهم في ثلاثة تحديات محددة:

الحروف متغيرة الشكل: أخذوا سحباً من النقاط التي تشكل حروفاً (مثل "A" أو "B") وقاموا بإفسادها (تشتيت النقاط). كان على الذكاء الاصطناعي تعلم كيفية دفع النقاط المشتتة للعودة إلى شكل الحرف الصحيح. وقد كانت طريقة "التدفق" الخاصة بهم هي الأفضل.
الفيزياء المحاكية: قاموا بمحاكاة أنظمة معقدة حيث تتفاعل الجسيمات (مثل نموذج "كوراماكو - Kuramoto"، وهو يشبه مجموعة من البندولات التي تتأرجح معاً). كان على الذكاء الاصطناعي التنبؤ بكيفية تطور المجموعة بمرور الوقت. ومرة أخرى، فازت طريقة "التدفق".
البيولوجيا في العالم الحقيقي (سرطان القولون والمستقيم): هذا هو الاختبار الأكبر. استخدموا بيانات من الأشباه العضوية المستمدة من المرضى (تجمعات ثلاثية الأبعاد من الخلايا تُزرع من ورم المريض).
- الإعداد: كان لديهم بيانات تظهر كيف تبدو خلايا المريض قبل العلاج وبعد العلاج.
- الهدف: قاموا بتدريب الذكاء الاصطناعي على 9 مرضى وطلبوا منه التنبؤ باستجابة العلاج لـ مريض عاشر لم يره من قبل.
- النتيجة: نجح الذكاء الاصطواني في تعلم "قواعد" كيفية تفاعل هذه الخلايا السرطانية المحددة مع الأدوية واستطاع التنبؤ بالنتيجة للمريض الجديد بشكل أفضل من الطرق السابقة.

الخلاصة

تجادل الورقة البحثية بأنه عندما تتعامل مع مجموعات تتحرك معاً (مثل الخلايا، أو الجسيمات، أو الحشود)، فلا ينبغي أن تعاملهم كأفراد. بدلاً من ذلك، يجب أن تعاملهم كسحابة واحدة متغيرة.

من خلال استخدام المحولات (Transformers) لتعمل إما كخريطة "قفزة" أو كتيار "تدفق"، نجحوا في إنشاء أداة يمكنها تعلم كيفية إعادة تشكيل هذه السحب. نهج "التدفق" الخاص بهم (M2M-TFM) قوي بشكل خاص لأنه يفكك المشكلة المعقدة لتحريك حشد كامل إلى رحلة سلسة وخطوة بخطوة، مما يجعل من السهل تعلمها والتنبؤ بها بدقة، حتى في الحالات الجديدة تماماً.

ملخص تقني: الانحدار من مقياس إلى مقياس باستخدام المحولات (Transformers)

تعريف المشكلة

تتناول الورقة البحثية مشكلة الانحدار من مقياس إلى مقياس (M2M regression)، والتي تسعى لتعلم رسم خرائط بين مقاييس الاحتمالات بدلاً من النقاط الفردية للبيانات. في العديد من المجالات العلمية، مثل علم الأحياء الخلوي والجزيئي، تتطور الجمهرات ككيانات جماعية وليس ككيانات مستقلة. وبناءً على ذلك، تُمثل البيانات بشكل طبيعي كأطر سحابية من النقاط أو توزيعات (مقاييس) $\mu$ و $\nu$ . والهدف هو تعلم مؤثر $T^*: \mathcal{P}(\mathbb{R}^d) \to \mathcal{P}(\mathbb{R}^d)$ بحيث يكون $\nu = T^*(\mu)$ ، بناءً على مجموعة محدودة من أزواج المدخلات والمخرجات المرصودة $\{(\mu_i, \nu_i)\}_{i=1}^n$ .

وعلى عكس الانحدار الكلاسيكي حيث تُحول العينات بشكل مستقل، يعامل انحدار M2M التوزيعات بأكملها كنقاط بيانات أساسية. ويتمثل التحدي الحرج في أن المؤثر المتعلم يجب أن يعمم على المقاييس غير المرئية، بما في ذلك تلك ذات أحجام الدعم المختلفة أو الحدود الناعمة، بدلاً من مجرد الاستيفاء بين الدعامات التجريبية التي شوهدت أثناء التدريب. تعتمد النهج الحالية غالباً على فئات دوال محدودة (مثل خرائط النقل الخطية أو طرق النواة) التي تفتقر إلى القدرة التعبيرية أو القابلية للتوسع للأنظمة الديناميكية المعقدة وغير الخطية.

المنهجية

يقترح المؤلفون الاستفادة من المحولات (Transformers) كمؤثرات على مقاييس الاحتمالات، مستفيدين من بنيتها المتأصلة المعتمدة على المقياس والمجال المتوسط (mean-field). تسمح آلية الانتباه الذاتي للمحول بمعالجة مجموعة من الرموز (الجسيمات) ككيان جماعي، مما يتيح له فعلياً ربط مخرجاته بالتوزيع التجريبي للمدخلات.

تصيغ الورقة معاملات M2M غير الخطية كخرائط دفع من الشكل $T(\mu) = (f_\mu)^\sharp \mu$ ، حيث تعتمد خريطة النقل $f_\mu$ صراحةً على مقياس المصدر $\mu$ . وقد تم تقديم نموذجين متميزين يعتمدان على المحولات:

1. الانحدار الساكن من مقياس إلى مقياس (الدفع في خطوة واحدة)

يعمل هذا النهج على نمذجة التحول كخريطة مباشرة ووحيدة الخطوة $F_\mu: \mathbb{R}^d \to \mathbb{R}^d$ يتم تحديد معاملاتها بواسطة محول.

الآلية: يأخذ المحول مجموعة من الجسيمات التي تحدد مقياس المدخل $\mu$ ويخرج مجموعة من الجسيمات المتحولة التي تمثل مقياس الهدف $\nu$ .
التدريب: يتم تدريب النموذج عن طريق تقليل خسارة توزيعية $D(F_\mu(x), y)$ عبر اقترانات $\gamma_i$ بين مقاييس المدخل والمخرج. يستخدم المؤلفون خسائر متنوعة، بما في ذلك مسافة "ماكسيموم مين ديسكريبنسي" (MMD)، ومسافة الطاقة (ED)، ومسافات "واسرشتاين" ( $W_1, W_2$ )، والتي تُحسب عبر خوارزمية "سينكهورن" (Sinkhorn).
القصور: يمثل تحسين المسافات التوزيعية في الأبعاد العالية تحدياً إحصائياً وحسابياً.

2. الانحدار الديناميكي من مقياس إلى مقياس (مطابقة تدفق المحول - M2M-TFM)

للتغلب على صعوبات التحسين التوزيعي المباشر، قدم المؤلفون نهجاً ديناميكياً ينمذج التحول كتدفق مستمر زمنياً.

الآلية: بدلاً من خريطة واحدة، يتم تعريف التحول عبر حقل سرعة يعتمد على الزمن $\chi_t[\mu(t)]$ والذي يعتمد على الحالة الراهنة للمقياس. يخضع تطور المقياس لمعادلة الاستمرارية: $\partial_t \mu(t) + \nabla \cdot (\mu(t) \chi_t[\mu(t)]) = 0$ . ويتم الحصول على المخرج النهائي عن طريق تكامل هذه المعادلة التفاضلية العادية (ODE) من $t=0$ إلى $t=1$ .
البنية: يقوم محول يعتمد على الزمن بتحديد معلمة حقل السرعة $\chi_t$ . يعالج المحول مجموعة الجسيمات الحالية والخطوة الزمنية $t$ للتنبؤ بمتجه السرعة لكل جسيم.
التدريب (M2M-TFM): يستخدم الأسلوب مطابقة التدفق الشرطي (CFM). حيث يتم تدريب حقل السرعة لمطابقة سرعة الهدف لمسار استكمال خطي $\phi_t(x, y) = (1-t)x + ty$ بين جسيمات المصدر والهدف. وتعمل دالة الخسارة على تقليل الخطأ التربيعي بين السرعة المتوقعة والسرعة المستهدفة $(y-x)$ ، من خلال الهامش فوق مجموعة بيانات أزواج المقاييس. وهذا يحول مشكلة تحسين المسافة التوزيعية الصعبة إلى مهمة انحدار نقطي سهلة المعالجة.
الاستدلال: عند إعطاء مقياس مدخل جديد، يقوم النموذج بمحاكاة مسار الـ ODE خطوة بخطوة لتوليد مقياس المخرج المتوقع.

المساهمات الرئيسية

الصياغة: تقدم الورقة صياغة دقيقة لانحدار M2M غير الخطي كتعلم للمؤثرات في فضاء مقاييس الاحتمال $\mathcal{P}(\mathbb{R}^d)$ ، مع التمييز بين الخرائط المباشرة والديناميكيات المستمرة زمنياً.
الأطر المبتكرة: تقدم إطارين قابلين للتوسع والتعبير:
- المحولات الساكنة: استخدام المحولات القياسية لتقريب خريطة M2M مباشرة.
- M2M-TFM: إطار ديناميكي يدمج مطابقة التدفق مع الطبيعة المعتمدة على المقياس للمحولات، مما يلغي الحاجة إلى تحسين المسافة التوزيعية صراحةً أثناء التدريب.
التحقق التجريبي: أثبت المؤلفون فعالية هذه الأساليب عبر ثلاث حالات مختلفة:
- الأجسام متعددة المقاييس الاصطناعية: التنبؤ بالعكس لعمليات الانتشار وتفاعلات النواة على أشكال الحروف وتكوينات الأجسام المتعددة.
- أنظمة ماكين-فلازوف (McKean-Vlasov): التنبؤ بتطور ديناميكيات الجمهرة في أنظمة ثنائية الأبعاد، و50 بُعداً، و100 بُعد (نظام كوروتو، فيتزهيو-ناغومو، وأطلس المجال المتوسط).
- التطبيق الواقعي: التنبؤ بالاستجابة للعلاج في سرطان القولون والمستقيم باستخدام مجموعة بيانات كبيرة مشتقة من أورام (PDO)، حيث يجب أن يعمم النموذج على مرضى غير مرئيين.

النتائج

تتفوق الطرق المقترحة، وخاصة الإطار الدينماكي M2M-TFM، باستمرار على النماذج المرجعية (baselines) عبر جميع الإعدادات التجريبية:

الأجسام الاصطناعية: حقق M2M-TFM أدنى أخطاء في مسافة "واسرشتاين" ( $W_1$ ) ومسافة الطاقة (ED)، متفوقاً بشكل كبير على CFM و Meta-FM و WFM.
أنظمة ماكين-فلازوف: في الإعدادات عالية الأبعاد (100D)، أظهر M2M-TFM قدرة فائقة على التعميم والتعبير مقارنة بـ NMKV و MF-Transformer، وغالباً ما قلل الخطأ بهامش كبير.
التطبيق البيولوجي: في مجموعة بيانات سرطان القولون والمستقيم، قدم M2M-TFM أداءً متوازناً عبر جميع المقاييس ( $W_1$ و ED و $r^2$ )، بينما مالَت الطرق الساكنة للتفوق فقط في المقياس المرتبط بدالة الخسارة الخاصة بها. حقق M2M-TFM أعلى قيمة لـ $r^2$ (0.9029) ودرجات تنافسية في $W_1$ ، مما يشير إلى تعميم قوي على المرضى غير المرئيين.

الأهمية والادعاءات

تدعي الورقة أن المحولات (Transformers) هي بنية طبيعية وقوية لانحدار M2M بسبب قدرتها المتأصلة على نمذجة الديناميكيات المعتمدة على المقياس. ومن خلال صياغة المشكلة من منظور المؤثرات على $\mathcal{P}(\mathbb{R}^d)$ ، يربط المؤلفون بين الحدود النظرية للمجال المتوسط للمحولات والتطبيقات العملية.

تكمن الأهمية الأساسية في إطار M2M-TFM، الذي يقدم حلاً قابلاً للتوسع والتعبير لمشكلة انحدار M2M. فمن خلال تحويل تعلم المؤثرات التوزيعية المعقدة إلى انحدار نقطي لحقول السرعة، يتجنب الأسلوب "لعنة الأبعاد" المرتبطة بتحسين المسافات التوزيعية مباشرة. ويضع المؤلفون هذا العمل كقاعدة متعددة الاستخدامات لنمذجة الديناميكيات الجماعية في التطبيقات العلمية، مع تسليط الضوء بشكل خاص على نجاحه في التنبؤ بالتطور الخلوي والاستجابات العلاجية حيث تكون البيانات موزعة بطبيعتها.

تظل الورقة متواضعة فيما يتعلق بالضمانات النظرية، حيث تشير إلى أنه بينما تُعرف المحولات العميقة بأنها مقربات عالمية لخرائط M2M، فإن الضمانات الرسمية لتعلم المؤثرات غير الخطية عبر نماذج حقل المتجهات تحت إطار مطابقة التدفق تظل مجالاً مفتوحاً للأعمال المستقبلية. وبالمثل، يفترض التنفيذ الحالي مسارات استكمال خطية وديناميكيات حتمية، مما يترك التوسعات للأنظمة غير الخطية، والعشوائية، وغير المتوازنة للبحوث المستقبلية.