🤖 machine learning

Native Hierarchical and Compositional Representations with Subspace Embeddings

تقترح هذه الورقة نهجاً جديداً لتعلم التمثيل يستبدل التضمينات المتجهية التقليدية بفضاءات فرعية خطية قابلة للتفاضل، مما يتيح النمذجة الأصلية للتسلسلات الهرمية، والتركيبية، والاستلزام المنطقي من خلال الاحتواء الهندسي والعمليات الجبرية الخطية مع الحفاظ على التوافق مع البحث المتجهي الفعال.

المؤلفون الأصليون: Gabriel Moreira, Zita Marinho, Manuel Marques, João Paulo Costeira, Chenyan Xiong

نُشر 2026-06-01

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Gabriel Moreira, Zita Marinho, Manuel Marques, João Paulo Costeira, Chenyan Xiong

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تنظيم مكتبة ضخمة من الأفكار. لعقود من الزمن، كانت الطريقة القياسية التي تتعامل بها الحواسيب مع هذا الأمر هي تحويل كل مفهوم — مثل "كلب"، أو "مركبة"، أو "حزن" — إلى مجرد نقطة واحدة على خريطة مسطحة وعملاقة. يعمل هذا بشكل رائع للعثور على الأشياء المتشابهة (مثل العثور على "بودل" عندما تسأل عن "كلب")، لكنه يصطدم بحائط مسدود عندما تحاول فهم العلاقات مثل "الكلب هو نوع من الحيوانات" أو "كلب لا ينبح".

على الخريطة المسطحة، يكون "الكلب" و"الحيوان" مجرد نقطتين قريبتين من بعضهما البعض. لا يمكن للخريطة بسهولة أن توضح أن "الكلب" يقع داخل الدائرة الأكبر لـ "الحيوان". كما أنها تعاني مع المنطق مثل "ليس" (النفي)، حيث غالباً ما ترتبك وتفكر في الشيء الذي أردت استبعاده.

تقترح هذه الورقة البحثية طريقة جديدة تماماً لتنظيم هذه الأفكار: بدلاً من النقاط، استخدم الغرف.

الفكرة الجوهرية: من النقاط إلى الغرف

يقترح المؤلفون تمثيل المفاهيم ليس كنقاط مفردة، بل كـ فضاءات فرعية خطية (linear subspaces). بعبارة بسيطة، فكر في المفهوم كأنه غرفة في مبنى، وليس مجرد بقعة واحدة على الأرض.

الحجم يهم (العمومية مقابل التحديد):
- مفهوم محدد للغاية، مثل "جولدن ريتريفر اسمه ماكس"، هو غرفة صغيرة وضيقة.
- مفهوم أوسع، مثل "كلب"، هو غرفة أكبر يمكنها استيعاب غرفة "ماكس" داخلها.
- مفهوم أكثر عمومية، مثل "حيوان"، هو قاعة ضخمة يمكنها استيعاب غرفة "الكلب" داخلها.
- السحر: يتعلم الكمبيوتر أن الغرف الأكبر (الأبعاد الأعلى) تمثل الأفكار العامة، وأن الغرف الأصغر (الأبعاد الأقل) تمثل الأفكار المحددة.
التسلسل الهرمي (تأثير دمية الماتريوشكا/العروسة الروسية):
- نظرًا لأن هذه غرف، يمكنك فيزيائياً وضع واحدة داخل أخرى. إذا كانت غرفة "الكلب" داخل غرفة "الحيوان"، فإن الكمبيوتر يفهم فوراً أن كل كلب هو حيوان. وهذا يحل مشكلة "الخريطة المسطحة" حيث كانت العلاقة مجرد تقارب غامض.
المنطق (هندسة التفكير):
- و (الاقتران - AND): إذا كنت تريد العثور على شيء هو "كلب" وَ "ينبح"، يبحث الكمبيوتر عن التقاطع بين غرفة "الكلب" وغرفة "النباح". إنه المساحة الصغيرة حيث تتقاطع الغرفتان.
- أو (الفصل - OR): إذا كنت تريد "كلباً" أَوْ "قطاً"، فإن الكمبيوتر يدمج الغرفتين في مساحة واحدة كبيرة تغطي كليهما.
- ليس (النفي - NOT): هذا هو أعظم إنجاز للورقة. إذا كنت تريد "كلباً لا ينبح"، يبحث الكمبيوتر في غرفة "الكلب" ويجد المساحة خارجها (المتمم المتعامد/orthogonal complement).
- النتيجة: عادة ما تفشل النماذج الحاسوبية في استعلامات "ليس"، حيث تنجذب غالباً للكلمة التي كان من المفترض تجاهلها. طريقة "الغرفة" هذه تتعامل مع "ليس" بشكل طبيعي، تماماً كما يفعل البشر، دون الحاجة لتدريب خاص لكل جملة سلبية محتملة.

كيف جعلوا ذلك يعمل؟

قد تتساءل: "كيف تعلم حاسوباً بناء هذه الغرف إذا كان حجم الغرفة يتغير باستمرار؟"

عادةً، تغيير حجم الغرفة (عدد الأبعاد) هو مسألة رياضية لا تستطيع الحواسيب حلها بسهء لأنها تتضمن الانتقال بين الأعداد الصحيحة (لا يمكنك امتلاك 3.5 أبعاد). لقد ابتكر المؤلفون حيلة ذكية باستخدام مصفوفات إسقاط "ناعمة" (soft projection matrices).

تخيل هذا الأمر مثل مفتاح التحكم في شدة الإضاءة (dimmer switch) لأبعاد الغرفة. بدلاً من إجبار الكمبيوتر على تحديد "هذه الغرفة لها 5 جدران بالضبط"، يتعلم الكمبيوتر مدى "سطوع" أو "أهمية" كل جدار. يمكنه خفض سطوع جدار حتى يصل إلى الصفر تقريباً إذا لم يكن مطلوباً، أو زيادة سطوعه إذا كان المفهوم معقداً. هذا يسمح للكمبيوتر بتعلم الحجم المثالي لكل مفهوم تلقائياً مع الاستمرار في استخدام أدوات رياضية سريعة ومعيارية.

ماذا وجدوا؟

اختبر المؤلفون "طريقة الغرفة" (والتي يسمونها تضمينات الفضاءات الفرعية - Subspace Embeddings) في عدة مهام:

التسلسل الهرمي: كانت بارعة للغاية في إعادة بناء شجرة عائلة الكلمات (مثل WordNet)، متفوقة على الطرق السابقة التي حاولت استخدام مساحات منحنية أو صناديق.
المنطق والنفي: عندما طُلب منها العثور على أشياء ليست شيئاً ما (مثلاً: "سيارة ليست حمراء")، هبطت النماذج القياسية إلى مستوى التخمين العشوائي تقريباً. أما "طريقة الغرفة"، فقد حافظت على دقة عالية، وفهمت المنطق بشكل صحيح دون أن تُعلّم قواعد "ليس" صراحةً.
السرعة: على الرغم من أن هذه "الغرف" تبدو معقدة، فقد أظهر المؤلفون أنه يمكن ضغطها والبحث فيها بنفس سرعة طرق "النقاط" القديمة. في الواقع، كانت أسرع بنحو 8 مرات من بعض الطرق المتقدمة المنافسة التي تستخدم الهندسة المنحنية.

الخلاصة

تقدم هذه الورقة طريقة تجعل الحواسيب تفهم اللغة بشكل يشبه طريقة تفكير البشر: باستخدام المساحات والاحتواء بدلاً من مجرد النقاط والمسافات. إنها تسمح للحواسيب بفهم أن "البودل" يقع داخل "الكلب"، والذي يقع داخل "الحيوان"، والتعامل بسهولة مع منطق "ليس" المعقد.

والأهم من ذلك، أنها تفعل ذلك دون إبطاء العمليات، مما يحافظ على سرعة محركات البحث الحديثة مع إضافة طبقة أعمق من الفهم.

ملخص تقني: التمثيلات الهرمية والتكوينية الأصلية باستخدام تضمينات الفضاءات الجزئية

بيان المشكلة

تواجه التضمينات المتجهة الكثيفة التقليدية، التي تمثل المفاهيم كنقاط مفردة في فضاء إقليدي، قيودًا هندسية جوهرية عند نمذجة اللغة الطبيعية. وبينما تعد فعالة في التقاط التشابه عبر الضرب الداخلي، فإن البنية المسطحة والمتناظرة للفضاء الإقليدي لا تناسب العلاقات الهرمية وغير المتماثلة مثل الاستلزام (entailment) والنوع الأعم (hyponymy). إن مقاييس التشابه مثل تشابه جيب التمام (cosine similarity) لا يمكنها التمييز بين العلاقات الاتجاهية (على سبيل المثال، "كلب" يستلزم "حيوان"، لكن "حيوان" لا يستلزم "كلب"). علاوة على ذلك، تفتقر الفضاءات المتجهة إلى معاملات أصلية للربط المنطقي (conjunction)، والفصل المنطقي (disjunction)، والنفي (negation). ونتيجة لذلك، غالبًا ما تعتمد النماذج على التركيب الجمعي (معاملة العبارات كحقائب كلمات)، مما يؤدي إلى "العمى عن النفي" حيث تفشل التضمينات في استبعاد المفاهيم، مما يقلل من الأداء في الاستعلامات التي تتضمن نفيًا منطقيًا. أما البدائل الموجودة، مثل التضمينات الزائدية (hyperbolic embeddings) أو النماذج الاحتمالية القائمة على المناطق (مثل الصناديق أو المخاريط)، فهي إما تفرض أولويات هيكلية صارمة، أو تفتقر إلى الانغلاق تحت جميع العمليات المنطقية، أو تضحي بالتوافق مع مسارات الاسترجاع الإقليدية الفعالة.

المنهجية

يقترح المؤلفون تضمينات الفضاءات الجزئية (Subspace Embeddings)، وهو إطار عمل حيث تُعرف المفاهيم ليس كنقاط، بل كفضاءات جزئية خطية (regions) ضمن فضاء عالي الأبعاد $\mathbb{R}^d$ .

المبادئ الهندسية الجوهرية

التمثيل: يُعرَّف المفهوم كمجال (span) لمجموعة من نواقل الأساس الكامنة $\mathbf{X} \in \mathbb{R}^{d \times n}$ . ويُمثل الفضاء الجزئي $\mathcal{S}$ عبر مؤثر الإسقاط المتعامد $\mathbf{P} = \mathbf{U}\mathbf{U}^\top$ ، حيث $\mathbf{U}$ هو أساس متعامد.
الهرمية والعمومية:
- الأبعاد: يُشفر البعد الفعال (الرتبة/rank) للفضاء الجزئي العمومية الدلالية. فالمفاهيم الأوسع (مثل "حيوان") تشغل فضاءات جزئية ذات أبعاد أعلى، بينما تشغل المفاهيم الأكثر تحديدًا (مثل "كلب") فضاءات جزئية ذات أبعاد أقل متداخلة داخلها.
- الاحتواء: يتم نمذجة الهرمية عبر احتواء الفضاءات الجزئية ( $\mathcal{S}_A \subseteq \mathcal{S}_B$ )، ويُقاس عبر درجة الاحتواء الطبيعي (Normalized Inclusion Score - NIS) المستمدة من أثر (trace) حاصل ضرب مصفوفات الإسقاط.
العمليات المنطقية: ترتبط العلاقات المنطقية مباشرة بالعمليات الجبرية الخطية على الفضاءات الجزئية:
- الربط ( $\land$ ): تقاطع الفضاءات الجزئية ( $\mathcal{S}_A \cap \mathcal{S}_B$ ).
- الفصل ( $\lor$ ): المجموع الخطي (span) للفضاءات الجزئية ( $\mathcal{S}_A + \mathcal{S}_B$ ).
- النفي ( $\neg$ ): المتمم المتعامد ( $\mathcal{S}^\perp$ ).

التنفيذ التقني: الفضاءات الجزئية القابلة للتفاضل

يتمثل التحدي الرئيسي في أن رتبة الفضاء الجزئي (subspace rank) هي قيمة منفصلة وغير قابلة للتفاضل. ولتمكين التدريب من البداية إلى النهاية، قدم المؤلفون مؤثرات الإسقاط الناعمة (Soft Projection Operators):

المُسقط الناعم (Soft Projector): بدلاً من الإسقاط الصلب، عرّفوا مُسقطًا ناعمًا $\tilde{\mathbf{P}}$ باستخدام تنظيم تيكونو (Tikhonov regularization): $\tilde{\mathbf{P}} = \mathbf{X}(\mathbf{X}^\top\mathbf{X} + \lambda\mathbf{I})^{-1}\mathbf{X}^\top$ .
القابلية للتفاضل: يعمل المعامل الفائق $\lambda$ كدرجة حرارة، حيث يقوم بتنعيم القيم الذاتية للمُسقط لتصبح في النطاق $[0, 1)$ . وهذا يسم يسمح للنموذج بتعلم البعد الفعال لكل فضاء جزئي عبر التدرج المنحدر (gradient descent)، مما يمكّن الفضاء الجزئي من "إضافة أو إسقاط" نواقل الأساس ديناميكيًا.
رأس إسقاط الفضاء الجزئي (Subspace Projection Head - SPH): وحدة عصبية تحول الحالات الخفية لنموذج المحولات (transformer) إلى مجموعة من النواقل الكامنة التي تشكل مجالًا لفضاء جزئي. وهي تستخدم آلية الانتباه متعدد الرؤوس (MHA) للتجميع، وشبكة MLP لتوسيع الرتبة (لكسر الاعتماد الخطي وتحقيق الرتبة الكاملة)، وحساب المُسقط الناعم.

استراتيجية التدريب

يتم تدريب إطار العمل من البداية إلى النهاية باستخدام أهداف قياسية:

إعادة بناء الهرمية: فقدان InfoNCE على تشابه الفضاءات الجزئية.
توقع الروابط: فقدان الهامش (Margin loss) على درجة الاحتواء الطبيعي (NIS).
الاستدلال باللغة الطبيعية (NLI): نهج هجين ينمذج الاستلزام/التناقض عبر توزيع بيتا (Beta distribution) على درجات NIS، والحياد عبر مصنف MLP.

المساهمات الرئيسية

تعلم الفضاءات الجزئية القابلة للتفاضل: طريقة مبتكرة لتعلم التمثيلات اللغوية كفضاءات جزئية خطية ذات أبعاد تعتمد على البيانات وقابلة للتعلم، مما يتغلب على عدم قابلية التفاضل للرتبة المنفصلة.
هيكل تكويني ناشئ: إثبات أن العمليات المنطقية (الربط، الفصل، النفي) تنشأ طبيعيًا من الهندسة الخاصة بالتمثيلات دون إشراف صريح للقواعد المنطقية.
القابلية للتوسع والتوافق: يحافظ النهج على التوافق مع مسارات البحث المتجهي الإقليدية القياسية (البحث عن أقصى ناتج ضرب داخلي - MIPS)، مما يتيح الاسترجاع الفعال واسع النطاق، على عكس البدائل غير الإقليدية.

النتائج التجريبية

تحقق المؤلفون من صحة إطار العمل عبر ثلاثة محاور:

النمذجة الهرمية (WordNet):
- إعادة البناء: حققت تضمينات الفضاءات الجزئية (SE) أداءً رائدًا في إعادة بناء WordNet، متفوقة على النماذج المرجعية الإقليدية (R128) والزائدية (Poincaré P10, Lorentz H10) في متوسط الدقة المتوسطة (mAP) ومتوسط الرتبة (MR).
- ارتباط التحديد: يُظهر الرتب الفعال المتعلم للفضاء الجزئي ارتباطًا قويًا (Spearman $\rho \approx 0.68$ ) مع الرتبة التصنيفية للمفهوم، مما يؤكد أن الأبعاد تعمل كمقياس ناشئ للتحديد الدلالي.
- توقع الروابط: تفوقت نماذج SE بشكل كبير على النماذج المرجعية في حالات الإشراف المتناثر (0%–25% تغطية الحواف)، محققة درجات F1 تصل إلى 95.9%.
الاستدلال باللغة الطبيعية (SNLI):
- تضاهي تضمينات الفضاءات الجزئية أو تتجاوز قليلاً أداء النماذج الثنائية القوية (مثل all-MiniLM-L6-v2, mpnet-base-v2) في مهام تصنيف الاستلزام (ثنائي وثلاثي الاتجاه).
الاستلزام التكويني (Zero-Shot):
- التعامل مع النفي: هذه هي النتيجة الأكثر أهمية. حيث تتدهور النماذج المتجهة القياسية إلى أداء يقارب العشوائية (49–69% AUC) في الفرضيات التي تتضمن نفيًا. في المق المقابل، تحافظ تضمينات الفضاءات الجزئية على قدرة تمييزية عالية (>90% AUC) في الاستعلامات المنفية دون تدريب صريح على منطق النفي.
- المقارنة: تتفوق الفضاءات الجزئية على "تضمينات الصناديق" (Box Embeddings) في مهام النفي، لأن متمم الصندوق ليس صندوقًا، بينما المتمم المتعامد للفضاء الجزئي هو فضاء جزئي صالح ضمن نفس الفضاء.
الكفاءة:
- سرعة الاسترجاع: من خلال صياغة درجة الاحتواء كضرب نقطي بين المصفوفات المتجهة، تتيح الطريقة استخدام مكتبات البحث التقريبي السريعة (مثل FAISS). وتعتبر SE128 أسرع بـ 8 أضعاف تقريبًا من نموذج Poincaré المرجعي ذي 10 أبعاد باستخدام البحث بالقوة الغاشمة.
- الضغط: تُظهر الفضاءات الجزئية المتعلمة اضمحلالًا طيفيًا سريعًا، مما يسمح بضغط بمقدار 4 أضعاف عبر SVD المبتور مع خسارة ضئيلة في الأداء.

الأهمية والادعاءات

يزعم البحث أن تضمينات الفضاءات الجزئية تقدم نموذجًا هندسيًا للاستلزام يوفق بين كفاءة استرجاع المتجهات وبين البنية الهرمية والتكوينية للغة.

المنطق الأصيل: على عكس الطرق السابقة التي تتطلب حلولًا مؤقتة أو تفشل في النفي، تلتقط تضمينات الفضاءات الجزئية المنطق التكويني طبيعيًا عبر العمليات الجبرية الخطية.
القابلية للتفسير: يعمل البعد الفعال للفضاء الجزئي كمقياس قابل للتفسير لمحتوى المعلومات والتحديد الدلالي، وهو أمر ينشأ مباشرة من هندسة التدريب.
الواقعية العملية: لا يضحي إطار العمل بالقابلية للتوسع؛ فهو يظل متوافقًا مع البنية التحتية للبحث الإقليدي القياسي، مما يجعله قابلًا للتطبيق في التطبيقات واسعة النط "Scale".

يخلص المؤلفون إلى أن هذا النهج يوفر مسارًا واعدًا نحو أنظمة تعلم تمثيل أكثر تعبيرًا وقابلية للتفسير، خاصة للمهام التي تتطلب الاستدلال على المفاهيم الهرمية والمنفية.