🤖 machine learning

Improving Relative Representations with Learned Anchors and Whitened Inner Products

تقترح هذه الورقة إطار عمل متيناً للتواصل بين النماذج يحسن من التمثيلات النسبية التقليدية عبر تعلم نماذج أولية لمرتكزات دلالية واستخدام مقياس تشابه مدرك للهندسة، مما يتيح نقلاً مستقراً للمعلومات يكاد يكون خالياً من الفقد بين البنى العصبية غير المتجانسة.

المؤلفون الأصليون: Oscar Thorsted Svendsen, Nikolaj Holst Jakobsen, Fabian Mager, Hiba Nassar

نُشر 2026-06-01

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Oscar Thorsted Svendsen, Nikolaj Holst Jakobsen, Fabian Mager, Hiba Nassar

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مترجمين مختلفين يتحدثان نفس اللغة، لكنهما يستخدمان قواميس وهياكل جمل مختلفة تمامًا. المترجم الأول (النموذج أ) يصف "الملك" بأنه شخص طويل وذهبي، بينما يصفه المترجم الثاني (النموذج ب) بأنه شخص قصير وأزرق. إذا حاولت إعطاء النموذج (ب) ملاحظة مكتوبة بواسطة النموذج (أ)، فلن يفهمها لأن الإحداثيات لا تتطابق.

هذه هي المشكلة التي تحاول "التمثيلات النسبية" (Relative Representations) حلها. فبدلاً من محاولة إجبار النموذج (أ) والنموذج (ب) على الاتفاق على الإحداثيات الدقيقة لـ "الملك"، يتفقان على مجموعة من المعالم (المرتكزات). يقولان: "حسنًا، بغض النظر عن كيفية رسمكما للخريطة، ما مدى قرب 'الملك' من 'الملكة' ومن 'القلعة'؟" إذا اتفق كلا النموذجين على المسافات إلى هذه المعالم، فيمكنهما التواصل مع بعضهما البعض، حتى لو كانت خرائطهما الداخلية تبدو مختلفة تمامًا.

ومع ذلك، كان للطريقة القديمة في القيام بذلك عيبان كبيران، وهو ما أصلحه هذا البحث باستخدام نظام جديد يسمى PARAM و WIP.

المشكلة في الطريقة القديمة

معالم عشوائية: كانت الطريقة القديمة تختار المعالم عن طريق رمي السهام على الخريطة. أحيانًا كنت تختار مجموعة من السهام التي تهبط في نفس النقطة (تكرار)، أو قد تفوت مناطق شاسعة من الخريطة تمامًا. كان هذا يعني أن "الترجمة" غالبًا ما تكون ضبابية أو تفقد تفاصيل مهمة.
مسطرة خاطئة: استخدمت الطريقة القديمة مسطرة تقيس فقط الزوايا (الاتجاه) وتتجاهل المسافة (المقدار). تخيل أنك تحاول قياس غرفة حيث الأرضية ممتدة بشكل غير متساوٍ. إذا نظرت فقط إلى زاوية الركن، فقد تعتقد أن غرفة صغيرة وممتدة هي نفسها غرفة كبيرة وطبيعية. تسبب هذا في تعطل "الترجمة" عندما تكون النماذج مختلفة جدًا عن بعضها البعض (مثل نموذج لغوي صغير يتحدث مع نموذج ضخم).

الحل الجديد: PARAM و WIP

1. PARAM: تعلم أفضل المعالم

بدلاً من رمي السهام عشوائيًا، يعلم المؤلفون الكمبيوتر كيفية تعلم المعالم المثالية.

القياس التشبيهي: تخيل أنك تحاول وصف مدينة لصديقك. بدلاً من اختيار زوايا شوارع عشوائية، تسأل المدينة نفسها: "أين توجد أكثر المراكز استقرارًا وأهمية والتي تمثل المنطقة بأكملها؟"
كيف يعمل: يقوم النظام بإنشاء معالم عن طريق حساب متوسط مجموعات من نقاط البيانات. هذا يقلل من الضجيج (مثل دمج بضع صور مهتزة للحصول على صورة واحدة واضحة). هذه المعالم الجديدة هي "نماذج دلالية أولية قوية" (robust semantic prototypes)—فهي مستقرة، وتغطي الخريطة بأكملها بالتساوي، ولا ترتبك بسبب سمات نموذج معين.

2. WIP: المسطرة الذكية

استبدل المؤلفون المسطرة القديمة التي تعتمد على "الزوايا فقط" بـ حاصل الضرب الداخلي المبيض (WIP).

القيتم التشبيهي: فكر في المسطرة القديمة كأنها شريط مطاطي يتمدد وينكمش اعتمادًا على من يمسكه. إذا قام النموذج (أ) بمد المساحة وقام النموذج (ب) بضغطها، فإن الشريط المطاطي سيعطي إجابة خاطئة.
كيف يعمل: مسطرة WIP الجديدة هي مسطرة "مبيضة" (whitened). قبل القياس، تقوم المسطرة رياضيًا بتسطيح الشريط المطاطي. إنها تصحح عمليات التمدد، والضغط، والإزاحة. والأهم من ذلك، أنها تهتم أيضًا بـ قوة الإشارة (المقدار)، وليس فقط الاتجاه الذي تشير إليه. وهذا يسمح للنماذج بالاحتفاظ بالتفاصيل المهمة (مثل "مدى الثقة") التي كانت الطريقة القديمة تتخلص منها.

النتائج: ترجمة "بدون فقدان"

اختبر المؤلفون هذا من خلال محاولة ربط أنواع مختلفة من نماذج الذكاء الاصطناعي:

الرؤية الحاسوبية: ربطوا بين CNN (نوع من نماذج الصور) و Transformer (نوع آخر وأكثر حداثة من نماذج الصور).
اللغة: ربطوا بين نماذج لغوية مختلفة (مثل متغيرات BERT التي تتحدث لغات مختلفة مثل الإنجليزية، الألمانية، الفرنسية، إلخ).
صغير مقابل كبير: حتى أنهم ربطوا نماذج لغوية صغيرة بنماذج أكبر بكثير.

النتيجة:
في الماضي، كان محاولة دمج هذه النماذح تؤدي إلى كارثة (حيث كان النموذج الجديد يخمن عشوائيًا). مع PARAM و WIP، تواصلت النماذج بشكل مثالي تقريبًا.

حققوا الربط الصفري (zero-shot stitching): يمكنك تدريب أداة على بيانات النموذج (أ) واستخدامها فورًا على بيانات النموذج (ب) دون الحاجة لإعادة التدريب.
كان الأداء مشابهًا تقريبًا لاستخدام النموذج الأصلي مباشرة. وكأن "الترجمة" كانت بدون فقدان (lossless)—أي لم تضيع أي معلومات في العملية.

الملخص

يقدم هذا البحث طريقة جديدة لجعل نماذج الذكاء الاصطناعي المختلفة تتحدث مع بعضها البعض.

توقف عن تخمين المعالم: تعلم أفضل نقاط المرجع الأكثر استقرارًا (PARAM).
استخدم مسطرة أفضل: استخدم أداة قياس تأخذ في الاعتبار التمدد والانكماش في البيانات (WIP).

النتيجة هي نظام عالمي "قابل للتشغيل والتبديل" (plug-and-play) حيث يمكنك استبدال "عقل" (المُشفّر/encoder) للذكاء الاصطناعي بنموذج آخر، وسيظل بقية النظام يعمل بشكل مثالي دون الحاجة إلى إعادة تدريب.

ملخص تقني: تحسين التمثيلات النسبية باستخدام المرتكزات المتعلمة والضرب الداخلي المبيض

1. بيان المشكلة

غالبًا ما تتقارب النماذج العصبية المدربة بشكل مستقل نحو تمثيلات كامنة غير متوافقة بسبب الاختلافات في الدوران، والتحجيم متباين الخواص (anisotropic scaling)، والإزاحة. وهذا يخلق عائقًا جوهريًا أمام بناء أنظمة ذكاء اصطناعي شديدة الوحدات (modular) حيث يمكن استبدال المشفرات (encoders) وفك التشفير (decoders) دون إعادة تدريب.

تعالج التمثيلات النسبية (RR) هذه المشكلة من خلال رسم خرائط للتمثيلات المطلقة إلى فضاء مشترك محدد بالتشابه مع مجموعة مشتركة من نقاط الارتكاز (anchor points)، بدلاً من الاعتماد على الإحداثيات المطلقة. ومع ذلك، تعاني تطبيقات التمثيل النسبي القياسية من قصورين رئيسيين:

أخذ عينات المرتكزات العشوائي: تستخدم الطرق التقليدية نقاط بيانات تم أخذ عينات منها عشوائيًا كمرتكزات. وغالبًا ما يؤدي هذا إلى تغطية ضعيفة لمتشعب البيانات (data manifold)، وتكرار، وسمات نسبية منخفضة الرتبة، مما يتسبب في فقدان المعلومات ذات الصلة بالمهام.
تشابه جيب التمام (Cosine Similarity): يعتمد مقياس التشابه القياسي حصريًا على العلاقات الزاوية، مما يؤدي إلى التخلص من معلومات المقدار (التي يمكن أن تشفر ثقة الميزة) والفشل في مراعاة الهندسات متباينة الخواص الشائعة في البنى الحديثة مثل المحولات (Transformers). كما أنه غير مستقر تحت التحويلات الأفينية (affine shifts) وبالقرب من الأصل.

تؤدي هذه القيود إلى ضعف المحاذاة بين الفضاءات وفقدان المعلومات، مما يمنع عملية الربط (stitching) صفرية التدريب (zero-shot) الفعالة بين النماذج غير المتجانسة.

2. المنهجية

يقترح المؤلفون إطار عمل قويًا يتكون من مكونين أساسيين: PARAM (التمثيلات المرتكزة المعلمية عبر المصفوفات التكيفية) و WIP (الضرب الداخلي المبيض).

2.1 PARAM: تعلم المرتكزات كمزيج محدب

بدلاً من معاملة المرتكزات كمجموعة فرعية ثابتة ومأخوذة عشوائيًا من البيانات، يقوم PARAM بتعلم المرتكزات كـ مزيج محدب (convex mixtures) من مجموعة دعم من نقاط البيانات المتوازية.

الآلية: يتم تحسين مصفوفة مزيج مشتركة $P$ لتوليد مرتكزات $A_i$ لكل فضاء مشفر $i$ عبر $A_i = P X_{sub}^i$ ، حيث $X_{sub}^i$ هي مجموعة فرعية من التضمينات.
القيود: يتم تقييد $P$ لتكون مصفوفة ستوكاستية صفية (row-stochastic)، مما يضمن بقاء المرتكزات داخل الغلاف المحدب (convex hull) للبيانات.
الفوائد: يوفر هذا النهج تأثيرًا لإزالة الضجيج (denoising) من خلال المتوسط، مما يخلق نماذج دلالية (semantic prototypes) مستقرة. كما يسمح بوضع مستمر للمرتكزات داخل الفضاء الكامن، متجنبًا قيود اختيار نقاط البيانات المنفصلة.
أهداف التدريب: يتم تحسين المصفوفة $P$ $P$ باستخدام مجموع مرجح من الخسائر:
- أهداف الفضاء الواحد: التغطية ( $L_{cov}$ ، k-means ناعم)، التعامد ( $L_{orth}$ ، مع معاقبة المرتكزات المترابطة)، والتحكم في الطول ( $L_{len}$ ، تقييد المعايير/norms).
- هدف متعدد الفضاءات: $L_{symNCE}$ المتماثل لمحاذاة الإحداثيات النسبية عبر المشفرات المختلفة باستخدام عينات مزدوجة.

2.2 WIP: الضرب الداخلي المبيض

لمعالجة التشوهات الهندسية (إزاحات المتوسط والتحجيم متباين الخواص) بين الفضاءات المستقلة المدربة، يقترح المؤلفون استبدال تشابه جيب التمام بـ الضرب الداخلي المبيض.

الآلية: لكل فضاء تضمين، يتم إزالة المتوسط التجريبي $\mu_i$ ، ويتم تطبيق تحويل تبييض متماثل $L_i = (\Sigma_i)^{-1/2}$ بناءً على مصفوفة التباين $\Sigma_i$ .
الصيغة: يُعرف التشابه كالتالي: $s_{WIP}(x, a_r^i) = \langle L_i(x - \mu_i), L_i(a_r^i - \mu_i) \rangle$ .
الفوائد: هذا المقياس قوي تجاه التشوهات الأفينية (محققًا محاذاة الفضاءات المتقاطعة) مع الحفاظ على كل من المعلومات الزاوية والمعلومات المتعلقة بالمقدار (محققًا حفظ المعلومات)، وهو أمر بالغ الأهمية للإشارة التمييزية.

3. المساهمات الرئيسية

المرتكزات المتعلمة (PARAM): طريقة لتعلم المرتكزات كمزيج محدب من البيانات، مما يضمن تغطية دلالية مستقرة واستقرارًا عبر فضاءات التضمين، بدلاً من أخذ العينات العشوائية.
التشابه المدرك للهندسة (WIP): مقياس تشابه مدرك للتباين، وهو ثابت تجاه الإزاحات الأفينية ويحافظ على معلومات المقدار، مما يعالج تباين خواص البنى الحديثة.
إطار عمل موحد: نهج مشترك يحسن بشكل كبير أداء الربط صفري التدريب عبر النماذج شديدة التباين (مثل CNN مقابل Transformers، ومقاييس مختلفة من النماذج اللغوية).

4. النتائج التجريبية

تم تقييم الإطار في مهام الربط صفرية التدريب عبر وسائط الرؤية واللغة، ومقارنته بمرجع يعتمد على المرتكزات العشوائية مع تشابه جيب التمام.

تصنيف الصور (CIFAR-100): عند ربط مشفرات قائمة على CNN (مثل RexNet) وأخرى قائمة على Transformer (مثل ViT)، حققت طريقة PARAM-WIP المقترحة نقلًا شبه خالٍ من الخسارة. على سبيل المثال، أدى تدريب مصنف على ميزات ViT واختباره على ميزات RexNet إلى تحقيق درجة F1 بلغت 80.94% (PARAM Multi) مقارنة بـ 56.67% لمرجع Random-Cosine. في كثير من الحالات، طابق الأداء صفري التدريب الأداء المطلق للفضاء الكامن الأصلي.
تصنيف النصوص (MARC): في تحليل المشاعر عبر اللغات (مثل الإنجليزية، الألمانية، الفرنسية، الإسبانية، الصينية)، تفوق الإطار باستمرار على المرجع. على سبيل المثال، أدى ربط اللغة الفرنسية بالمشفرات الإنجليزية إلى تحقيق F1 بنسبة 93.75% (PARAM Multi) مقابل 92.06% (Random-Cosine).
النماذج اللغوية الصغيرة (SLMs): في مهمة استرجاع صفرية التدريب بين نماذج ذات أحجام متفاوتة (GPT-2, TinyLlama, Gemma)، أظهر المرجع عدم استقرار شديد (R@1 ≈ 0.5% - 10%). في المقابل، حقق PARAM-WIP درجات R@1 تتراوح بين 87% و95% و درجات R@5 تقترب من 100%، مما أظهر محاذاة هندسية مستقرة حتى بين النماذج ذات الأبعاد الخفية المتباينة للغاية.
دراسات الاستئصال (Ablation Studies): أكدت النتائج أن كلا المكونين ضروريان. فبينما يحسن WIP جودة الاسترجاع، فإن مكاسب الدقة تبلغ ذروتها عند دمجه مع المرتكزات المتعلمة. وعلى العكس من ذلك، غالبًا ما كان أداء المرتكزات العشوائية مع WIP أقل من أداء المرتكزات العشوائية مع تشابه جيب التمام بسبب الحساسية للضجيج بالقرب من الأصل.

5. الأهمية والادعاءات

يزعم البحث أن الاعتماد على أخذ العينات العشوائية والإسقاط الزاوي (تشابه جيب التمام) هو قيد جوهري في أبحاث التمثيل النسبي الحالية، لا سييةً مع عائلات النماذج غير المتجانسة.

المتانة: يتيح الإطار المقترح نقل معلومات شبه خالٍ من الخسارة و اتصالًا مستقرًا صفري التدريب بين المشفرات التي كانت غير متوافقة سابقًا.
الوحدات (Modularity): من خلال صياغة العلاقة بين الهندسة الكامنة وأنظمة الإحداثيات النسبية، يوفر العمل مسارًا عمليًا نحو بنيات ذكاء اصطناعي أكثر وحدات حيث يمكن تبديل المشفرات وفك التشفير دون إعادة تدريب مكلفة.
الفهم الهندسي: تشير النتائج إلى أن الحفاظ على معلومات المقدار ومراعاة التشوهات الأفينية أمر بالغ الأهمية لمحاذاة فضاءات التضمين متباينة الخواص الحديثة، وهو مطلب يفشل تشابه جيب التمام القياسي في تلبيته.

يشير المؤلفون إلى وجود قيود، بما في ذلك اعتماد القدرة التمثيلية على حجم مجموعة الدعم ومتطلبات تقدير التباين المستقر لعملية التبييض. ويقترحون أن العمل المستقبلي يمكن أن يستكشف الاختيار التكيفي للمجموعات الفرعية، والندرة المهيكلة (structured sparsity)، ودوال التشابه غير الخطية.