🤖 machine learning

RADAR: Relative Angular Divergence Across Representations

تقدم الورقة البحثية RADAR، وهو مقياس قائم على الأسس الهندسية يقدر قابلية النقل عبر المجالات في النماذج التأسيسية من خلال تحليل التباعد الزاوي وتغيرات المسافة النسبية في مسارات تمثيل الطبقات، مما يظهر أداءً تنبؤياً تنافسياً عبر معايير النصوص والصور.

المؤلفون الأصليون: Xavier Cadet, Mateusz Nowak, Peter Chin

نُشر 2026-05-25

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xavier Cadet, Mateusz Nowak, Peter Chin

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك طاهٍ يحاول ابتكار طبق جديد. لديك وصفة رائعة (بياناتك "المستهدفة")، لكن ليس لديك ما يكفي من المكونات. قررت استعارة بعض المكونات من مطابخ أخرى (بياناتك "المصدرية") لمساعدتك.

المشكلة؟ ليست كل المكونات المستعارة تتماشى جيداً مع بعضها البعض. أحياناً، إضافة توابل جديدة قد تجعل مذاق الطبق أسوأ بدلاً من تحسينه. وهذا ما يسمى بـ "النقل السلبي" (Negative Transfer). عادةً، لمعرفة ما إذا كان المكون سيعمل بشكل جيد، عليك طهي الطبق كاملاً، وتذوقه، وإذا كان سيئاً، ترميه وتبدأ المحاولة من جديد. هذه العملية بطيئة، مكلفة، ومهدرة.

تقدم الورقة أداة جديدة تسمى RADAR (الانحراف الزاوي النسبي عبر التمثيلات). فكر في RADAR كأنه ناقد طعام فائق الذكاء يمكنه تذوق قطرة واحدة من المكونات الخام ليخبرك فوراً: "نعم، هذا سيندمج بشكل مثالي"، أو "لا، هذا سيفسد الحساء"، دون الحاجة إلى طهي الوجبة كاملة.

إليك كيف يعمل RADAR، باستخدام تشبيهات بسيطة:

1. "الرحلة طبقة تلو الأخرى"

معظم الأدوات القديمة تنظر إلى المكونات فقط في نهاية عملية الطهي (الطبقة النهائية للنموذج). فهي تسأل: "هل يبدو هذان الوعاءان من الحساء متشابهين؟"

أما RADAR فهو مختلف. إنه يراقب الرحلة بأكملها للمكونات أثناء انتقالها عبر المطبخ. تخيل المكونات وهي تنتقل عبر سلسلة من الغرف (الطبقات) في مصنع.

الأدوات القديمة تتحقق فقط من المنتج النهائي.
RADAR يراقب كيفية انتقال المكونات من الغرفة 1 إلى الغرفة 2، ثم إلى الغرفة 3، وهكذا. إنه يتتبع مسارها.

2. تشبيه "مسار المشي"

لفهم ما إذا كانت مجموعتان من الناس (بيانات من نطاقات مختلفة) متوافقين، ينظر RADAR إلى كيفية مشيهم عبر متاهة.

"المشي داخل المجموعة الواحدة": تخيل صديقين من نفس البلد يمشيان عبر المتاهة. يميلان للمشي في خط مستقيم، متخذين مسارات مباشرة وفعالة. خطواتهما يمكن التنبؤ بها.
"المشي بين المجموعات": الآن تخيل صديقاً من بلدك وصديقاً آخر من بلد أجنبي يمشيان معاً. هل يمشيان في خط مستقيم؟ أم يسلكان طرقاً ملتوية غريبة، أو يتعرجان، أو يشعران بالارتباك؟

يقيس RADAR شيئين بخصوص هذه المشيات:

الزاوية: هل يسيران في نفس الاتجاه، أم ينحرفان بشدة بعيداً عن بعضهما البعض؟
الالتفاف: هل المسار الذي يسلكانه معاً أطول بكثير من المسار المباشر الذي كان أحدهما سيسلكه بمفرده؟

إذا اتخذ الصديق "الأجنبي" التفافاً كبيراً ومربكاً مقارنة بالصديق المحلي، يقول RADAR: "هذان لا يمتزجان جيداً". أما إذا سارا في خط مستقيم معاً، فيقول RADAR: "رائع، إنهما متوافقان!"

3. "الخريطة متغيرة الشكل"

تشير الورقة إلى أن أنواع البيانات المختلفة (مثل النصوص مقابل الصور) تعيش في "عوالم" مختلفة.

النصوص تشبه ورقة مسطحة (فضاء إقليدي).
الصور تكون أحياناً مثل سطح كرة أرضية (فضاء منحني).

RADAR ذكي بما يكفي ليعرف أي خريطة يستخدم. يمكنه قياس "مسارات المشي" على ورقة مسطحة أو على سطح كرة، اعتماداً على نوع البيانات التي ينظر إليها. ومن ثم يقوم بإنشاء "بصمة" إحصائية لكيفية سلوك تلك المسارات.

4. "تقرير حركة المرور"

أخيراً، يقارن RADAR "أنماط حركة المرور" للمجموعة المحلية مقابل المجموعة الأجنبية.

إذا كانت حركة المرور تتدفق بسلاسة وبشكل متشابه لكليهما، فإنه يتوقع نقلاً إيجابياً (البيانات الجديدة ستساعد).
إذا كانت أنماط حركة المرور فوضوية ومختلفة تماماً، فإنه يتوقع نقلاً سلبياً (البيانات الجديدة ستضر).

لماذا يعد هذا أفضل؟

لا يتطلب الطهي: لست بحاجة لإعادة تدريب نموذج الذكاء الاصطناعي بالكامل لاختبار ما إذا كانت مجموعة البيانات الجديدة جيدة. يمكنك فقط إجراء "اختبار التذوق" هذا على الميزات المجمدة.
يرى التفاصيل: لأنه ينظر إلى الحركة عبر الطبقات (الرحلة)، فإنه يلتقط الاختلافات الدقيقة التي تغفل عنها الأدوات التي تنظر فقط إلى النتيجة النهائية.
يعمل في كل مكان: اختبر المؤلفون أداة RADAR على كل من الصور (مثل التعرف على القطط مقابل الكلاب بأنماط مختلفة) والنصوص (مثل فهم المشاعر في لغات مختلفة). وقد نجحت الأداة في كلتا الحالتين، خاصة عندما كانت الاختلافات بين البيانات واضحة أو تتغير بسلاسة.

العقبة

تعترف الورقة بأن RADAR ليس سحراً لكل المواقف. إذا كانت البيانات فوضوية، مبعثرة، ولا تملك بنية واضحة (مثل حشد فوضوي حيث يمشي الجميع بشكل عشوائي)، فقد يرتبك RADAR. إنه يعمل بشكل أفضل عندما تكون "مسارات المشي" إما سلسة للغاية أو متميزة بوضوح.

باختاً، RAD️AR هو بوصلة هندسية تتنبأ بما إذا كان دمج نوعين مختلفين من البيانات سيساعد الذكاء الاصطناعي على التعلم أو سيجعله مرتبكاً، وذلك من خلال مراقبة كيفية "مشى" هذه البيانات عبر "عقل" الذكاء الاصطناعي حتى قبل أن تبدأ عملية التدريب.

ملخص تقني: RADAR (التباعد الزاوي النسبي عبر التمثيلات)

بيان المشكلة

في التعلم الآلي الحديث، يعد توسيع مجموعات بيانات التدريب باستخدام نطاقات مصدرية مساعدة استراتيجية قياسية لمعالجة قيود البيانات. ومع ذلك، فإن هذه الممارسة لا تضمن تحسين الأداء في المهام النهائية، بل قد تؤدي إلى النقل السلبي (negative transfer)، حيث يؤدي دمج معلومات المصدر إلى تدهور أداء الهدف بشكل فعال. إن تحديد أي النطاقات المصدرية ستؤدي إلى نقل إيجابي أمر صعب، لأن التقييم التجريبي لكل مرشح يتطلب إعادة تدريب كاملة للنموذج، وهو أمر مكلف. تعتمد مقاييس القابلية للنقل الحالية غالبًا على تمثيلات ثابتة عند طبقة واحدة أو تتطلب تدريبًا مسبقًا على مجموعة بيانات الهدف، مما يجعلها عاجزة عن التقاط التطور الهيكلي الديناميكي للتمثيلات عبر تسلسل النموذج الهرمي.

المنهجية: RADAR

يقترح المؤلفون RADAR (التباعد الزاوي النسبي عبر التمثيلات)، وهو مقياس قائم على الأسس الهندسية مصمم لتقدير القابلية للنقل عبر النطاقات باستخدام الميزات المجمدة (frozen features) فقط من النماذج التأسيسية. تعمل الطريقة من خلال تحليل التطور عبر الطبقات للتمثيلات بدلاً من اللقطات الثابتة.

الآلية الجوهرية

استخراج المسار عبر الطبقات: بالنسبة لنموذج تأسيسي مُدرب مسبقًا $\Phi$ ، يتم استخراج تمثيلات الميزات المتوسطة $h^{(l)}(x)$ عند كل طبقة $l$ .
بناء المثلث الهندسي: لعينة مرجعية (anchor) معينة $x$ $x$ وعينة ثانوية $x'$ $x^{'}$ (سواء كانت ضمن نفس النطاق أو عبر نطاقات مختلفة)، تقوم الطريقة ببناء مثلث هندسي من متجهات الإزاحة التي تمتد عبر الطبقات $l$ $l$ و $l+1$ $l + 1$ :
- الانفصال ( $v_{sep}$ ): المتجه بين $h^{(l)}(x)$ و $h^{(l)}(x')$ .
- الالتفاف ( $v_{detour}$ ): المتجه من $h^{(l)}(x')$ إلى $h^{(l+1)}(x)$ .
- المسار ( $v_{traj}$ ): الإزاحة المباشرة من $h^{(l)}(x)$ إلى $h^{(l+1)}(x)$ .
- ملاحظة: يثبت البحث أن $v_{sep} + v_{detour} = v_{traj}$ تمامًا.
حساب الواصفات (Descriptors): تحسب الطريقة واصفين رئيسيين لهذه المثلثات:
- المحاذاة الزاوية ( $\theta$ ): تشابه جيب التمام (cosine similarity) بين متجهات الانفصال والالتفاف.
- المسافة النسبية ( $d$ ): طول المسار الزائد المعياري للالتفاف ذي الخطوتين مقارنة بالمسار المباشر ( $d = \frac{\|v_{sep}\| + \|v_{detour}\| - \|v_{traj}\|}{\|v_{traj}\|}$ ).
- التكيف الطوبولوجي: بينما يمكن تعريف المقياس باستخدام المسافات الجيوديسية للمساحات الكروية (مثل ميزات DINO)، اعتمد المؤلفون صيغة المساحة الإقليدية (Euclidean space) الموحدة لأنها أثبتت كونها الأكثر قوة عبر مختلف الوسائط، لا سيما للنصوص.
نمذجة التوزيع:
- تقوم الطريقة بأخذ عينات من الأزواج لحساب التوزيعات التجريبية لـ $\theta$ و $d$ للأزواج داخل النطاق نفسه (within-domain) والأز pairs عبر النطاقات (cross-domain).
- لضمان الجدوى الحسابية، تُستخدم استراتيجية أخذ عينات طبقية، حيث يتم وزن الأزواج بناءً على مسافتها من مراكز الفئات (مما يلتقط ديناميكيات الداخل-داخل والخارج-داخل).
- يتم استخدام نماذج الخليط الغاوسي (GMMs) لتناسب هذه التوزيعات بهدف نمذجة كثافة الاحتمال المستمرة لديناميكيات داخل النطاق وعبر النطاقات.
قياس التباعد: يتم اشتقاق درجة القابلية للنقل النهائية من تباعد كولباك - ليبلر (KL divergence) المتماثل بين نماذج GMM، حيث يشير التباعد المنخفض إلى تشابه هيكلي أعلى، وبالتالي قابلية نقل متوقعة أعلى.
المسارات الممتدة: لالتقاط التحولات الهيكلية الشاملة، تقوم الطريقة بدمج الواصفات عبر نافذة من الطبقات (على سبيل المثال، من $l-6$ إلى $l+6$ )، مما ينشئ متجه ميزات عالي الأبعاد قبل ملاءمة نموذج GMM.

المساهمات الرئيسية

التطور الهيكلي الديناميكي عبر الطبقات: يُعد RADAR أول مقياس يقيم القابلية للنقل من خلال قياس التباعد بين التوزيعات المستمرة والديناميكية للمسارات الهندسية (الزوايا والمسافات النسبية) عبر طبقات الشبكة، بدلاً من التوزيعات الإحصائية الثابتة.
أداء تنبؤي تنافسي للغاية: يحقق المقياس أفضل ثلاث نتائج في 7 من أصل 10 إعدادات عبر اختبارات الرؤية والنصوص، محققًا أفضل أداء مطلق في 6 منها. إنه يتفوق باستمرار أو يضاهي المقاييس المتقدمة (SOTA) مثل LEEP و LogME و NCE و TransRate و S-OTDD.
تقدير قوي وفعال: من خلال دراسات الاستئصال المكثفة، أثبت المؤلفون أن RADAR قوي تجاه خيارات المعلمات الفائقة (حجم العينة، نصف قطر النافذة، درجة الحرارة) وفعال حسابيًا، حيث يتفوق غالبًا على المقاييس المرجعية في بيئات تعتمد على المعالج (CPU) فقط نظرًا لاعتماده على الميزات المجمدة وأخذ العينات الفرعية.

النتائج التجريبية

قام المؤلفون بتقييم RADAR على:

وسائط الرؤية: نماذج CLIP و DINOv3 على مجموعات بيانات DomainNet و OfficeHome و PACS.
وسائط النصوص: نماذج Qwen3-Embedding و EmbeddingGemma على EuroEval و AmazonReviews.

النتائج الرئيسية:

الأداء: حقق RADAR أفضل تحسن في متوسط الارتباط (MCI) على DomainNet لكل من CLIP و DINOv3، وعلى OfficeHome لنموذج CLIP. وفي النصوص، حقق أفضل النتائج على EuroEval لنموذج EmbeddingGemma (متفوقًا على أقرب مقياس مرجعي بأكثر من 30 نقطة مئوية) وكان تنافسيًا على AmazonReviews.
أنظمة الفصل بين النطاقات: يتفوق RADAR عندما تكون الانتقالات بين النطاقات سلسة (فساد/انفصال منخفض) أو منفصلة بوضوح (فساد/انفصال عالٍ). ويتراجع أداؤه في الأنظمة "المتوسطة" (مثل مجموعة بيانات PACS) حيث تظهر النطاقات انفصالًا مشتتًا وغير منتظم، لا هو سلس بما يكفي لمحاذاة المسار ولا هو متميز بما يكفي لتقدير التباعد النظيف.
اختلاف الوسائط: تفضل تمثيلات النصوص بشدة المساحة الإقليدية والميزات الزاوية، بينما تظهر تمثيلات الرؤية متانة تجاه كل من المساحات الإقليدية وشبه الكارتيزية.
المتانة تجاه الفساد: على مجموعة بيانات ImageNet-C، أظهر RADAR متانة استثنائية عند مستويات الفساد القصوى (الشدة 5)، حيث فشلت المقاييس الإحصائية الثابتة، رغم أنه أظهر ضعفًا أمام الضجيج الاصطناعي المتوسط (الشدة 3).

الأهمية والادعاءات

يدعي البحث أن البنية الهندسية عبر الطبقات تحمل إشارة ذات معنى للقابلية للنقل تفشل المقاييس الإحصائية الثابتة أحادية الطبقة في التقاطها. من خلال قياس تباعد كيفية تطور التمثيلات عبر الطبقات، يوفر RADAR طريقة مبدئية وفعالة حسابيًا للتنبؤ بترتيب مكاسب النقل دون الحاجة لإعادة تدريب النماذج.

يؤكد المؤلفون أن نهجهم مدفوع بـ فرضية الاستقامة الإدراكية (Perceptual Straightening Hypothesis) وبالملاحظة التي تفيد بأن التمثيلات الأكثر إخبارًا في النماذج التأسيسية ليست دائمًا في الطبقة الأخيرة. ويجادلون بأن RADAR يقدم إطارًا موحدًا وعابرًا للوسائط لاتخاذ قرارات تعلم النقل، وهو فعال بشكل خاص عندما تكون التحولات بين النطاقات محددة جيدًا. ومع ذلك، فقد أقروا بتواضع بوجود قيود، مشيرين إلى أن القدرة التنبؤية للمقياس تتدهور في السيناريوهات التي تتسم بهياكل نطاق مشتتة ومتداخلة، وأن الاعتماد على نماذج GMM يمثل عقبة حسابية للفلترة في الوقت الفعلي.