Relations Are Channels: Knowledge Graph Embedding via Kraus Decompositions

ملخص تقني: العلاقات هي قنوات: تمثيل الرسوم البيانية للمعرفة عبر تفكيك كراوس

بيان المشكلة
تهدف نماذج تمثيل الرسوم البيانية للمعرفة (KGE) إلى تمثيل الكيانات والعلاقات في فضاءات متجهة مستمرة لتسهيل مهام مثل التنبؤ بالروابط. تنقسم النهج الحالية عموماً إلى أربع عائلات: النماذج أحادية العامل (مثل TransE، وRotatE، وGoldE)، والنماذج متعددة العوامل (مثل NTN)، والبنى العصبية غير الخطية (مثل ConvE، وR-GCN)، ونماذج التوزيع الاحتمالي (مثل KG2E). يحدد المؤلفون فجوة جوهرية عبر هذه العائلات: لا يوجد أي منها يشتق البنية الرياضية لعامل العلاقة من مبادئ أولية. وتحديداً، تعاني النماذج أحادية العامل من اختناق هيكلي حيث لا يمكنها تمثيل علاقات ($N$-إلى-$N$) بدقة (مما يؤدي إلى انهيار عدة ذيول صالحة في نقطة واحدة)، بينما تفتقر النماذج متعددة العوام أو العصبية غالباً إلى ضمانات نظرية فيما يتعلق بالحفاظ على المعلومات، أو القابلية للتركيب، أو العلاقة بين قدرة النموذج والتعقيد العلاقاتي.

المنهجية
يقترح البحث إطاراً نظرياً قائماً على نظرية المعلومات الكمومية، وتحديداً مبرهنة تمثيل كراوس، لتعريف البنية الضرورية لعامل علاقة مبدئي.

1. تمثيل الكيانات كمصفوفات كثافة:
   بدلاً من تمثيل الكيانات كمتجهات، يمثل هذا النموذج كل كيان كـ مصفوفة كثافة $\rho \in S(\mathbb{R}^d)$، وهي مصفوفة متماثلة موجبة شبه محددة ذات أثر (trace) $\le 1$. يسمح هذا بتمثيل عدم اليقين والهيكل متعدد الأوجه عبر رتبة المصفوفة (matrix rank)، حيث تتقارب الكيانات الموثقة جيداً طبيعياً نحو مصفوفات منخفضة الرتبة، بينما تحتفظ الكيانات الغامضة برتبة أعلى.

2. الاشتقاق البديهي لعوامل العلاقة:
   يفترض المؤلفون ثلاثة بديهيات هيكلية يجب أن يستوفيها أي عامل علاقة مبدئي:

• الخطية (Linearity): يجب أن يكون العامل خطياً على تمثيلات الكيانات.
• الحفاظ على الأثر (Trace Preservation): يجب أن يحافظ العامل على إجمالي الكتلة الاحتمالية (الأثر) للكيان، مما يضمن عدم فقدان أو تضخم المعلومات.
• الإيجابية الكاملة (Complete Positivity): يجب أن يحافظ العامل على صحة الحالة المشتركة عند تطبيقه على كيان ضمن سياق ارتباطي أكبر (على سبيل المثال، جوار علاقاتي).

من خلال مبرهنة تمثيل كراوس، تُصنف هذه البديهيات الثلاث العامل كـ قناة كراوس (Kraus channel). وبناءً على ذلك، يتم تعريف عامل العلاقة كالتالي:
$$L(r)(\rho) = \sum_{i=1}^{\kappa} K_i^{(r)} \rho (K_i^{(r)})^\top$$
بشرط قيد الاكتمال: $\sum_{i=1}^{\kappa} (K_i^{(r)})^\top K_i^{(r)} = I$. هنا، $\kappa$ هو رتبة كراوس (Kraus rank)، والتي تمثل عدد المسارات المتزامنة التي ترسم من خلالها العلاقة مساراً من الرأس (head) إلى الذيل (tail).

3. التعميم إلى الهندسات غير الإقليدية:
   تم توسيع الإطار ليشمل هندسات مترية عشوائية (إقليدية، إهليلجية، زائفة، أو متشعبات ضربية) محددة بضرب داخلي تربيعي $\langle \cdot, \cdot \rangle_w$. ينتج عن ذلك قنوات كراوس-$w$، حيث يتكيف قيد الاكتمال مع الهندسة (على سبيل المثال، شروط $J$-unitary في الفضاءات الزائفة).

4. تجسيد النموذج (KRAUSKGE):

• البارامترية (Parameterization): يتم تمثيل الكيانات عبر مصفوفات مثلثية سفلية لضمان الموجبية شبه المحددة وتطبيع الأثر بالبناء. ويتم تمثيل عوامل العلاقة باستخدام تحويل كايلي (Cayley transform) لمصفوفة مائلة التماثل لفرض شرط التعامد (الاكتمال) دون الحاجة لخطوات إسقاط.
• التقييم (Scoring): يتم تقييم مدى صلاحية الثلاثية $(h, r, t)$ عبر تداخل هيلبرت-شميدت (Hilbert-Schmidt overlap) بين توزيع الذيل المتوقع والذيل الملحوظ.
• التركيب (Composition): النتيجة النظرية الرئيسية هي أن تركيب قناتي كراوس هو نفسه قناة كراوس صالحة. وهذا يتيح الاستدلال بدقة لـ $k$-hop دون الحاجة لمنمذجات مسار مساعدة أو إعادة تطبيع.

المساهمات الرئيسية

• التوصيف البديهي: يثبت البحث أن الخطية، والحفاظ على الأثر، والإيجابية الكاملة هي الشروط الضرورية لعوامل العلاقة، والتي تميزها فريداً كقنوات كراوس.
• نموذج KRAUSKGE: نموذج ملموس وقابل للتدريب يتعامل طبيعياً مع علاقات $1$-إلى-$N$و$N$-إلى-$N$من خلال عوامل متعددة المسارات ($\kappa > 1$) مع إلغاء الحاجة إلى قيود خارجية على معايير (norms) الكيانات.
• مقياس التعقيد النظري: يقدم المؤلفون رتبة كراوس كأول مقياس نظري مبرر لكل تعقيد علاقة في مجال KGE. وقد أثبتوا حداً أدنى: $\kappa(r) \ge \text{rank}(M_r)/d$، حيث $M_r$ هي مصفوفة العلاقة التجريبية. وهذا يعني أن العلاقات ذات التفرع العالي (high fan-out) تتطلب حتماً $\kappa > 1$.
• إغلاق التركيب (Composition Closure): يوفر الإطار ضماناً نظرياً بأن سلاسل الاستدلال متعددة الخطوات (multi-hop) هي سلاسل صالحة، مما يلغي الحاجة إلى منمذجات مسار مساعدة مستخدمة في الأعمال السابقة.
• استعادة النماذج الحالية: يُظهر البحث أن معظم نماذج KGE القائمة على العوامل (مثل RotatE، وGoldE، وDistMult) هي حالات خاصة من KRAUSKGE مع $\kappa = 1$ تحت خيارات تمثيل وقيود محددة.

النتائج التجريبية
تم تقييم النموذج على معايير قياسية (FB15k-237، WN18RR، YAGO3-10، NELL-995):

• التنبؤ بالروابط: تفوق KRAUSKGE مع $\kappa \ge 4$ باستمرار على النماذج المرجعية القوية (بما في ذلك GoldE وConvE) في FB15k-237. لم تكن مكاسب الأداء موحدة؛ بل زادت بشكل رتيب مع تعقيد العلاقة. وتحديداً، نمت الفجوة عن النماذج المرجعية من 1.1 نقطة في MRR للعلاقات $1$-إلى-$1$إلى 6.0 نقاط في علاقات$N$-إلى-$N$.
• ارتباط رتبة كراوس: أظهرت رتبة كراوس الفعالة المتعلمة ($\kappa_{eff}$) ارتباطاً إيجابياً قوياً ($\rho = 0.71$) مع التفرع التجريبي (fan-out) للعلاقات، مما يؤكد صحة مقياس التعقيد النظري.
• الاستدلال متعدد الخطوات: في تقسيمات الاستعلام لـ 2-hop و 3-hop، حقق KRAUSKGE نتائج هي الأفضل في فئته (SOTA) دون استخدام أي منمذجات مسار مساعدة، متفوقاً على نماذج الاستدلال القائمة على RNN، وRL، وGNN.
• دراسة استئصال الهندسة (Geometry Ablation): أدت المتغيرات التي استخدمت هندسات غير إقليدية (إهليلجية، زائفة، متشعبات ضربية) إلى تحسين الأداء بشكل أكبر، حيث حققت هندسة المتشعبات الضربية أقوى النتائج الإجمالية.

الأهمية والادعاءات
يدعي البحث إحداث إعادة توجيه نظري لمجال KGE. فبدلاً من معاملة اختيار بنية العامل كقرار تصميم تجريبي، يجادل المؤلفون بأن بنية العامل هي نتيجة مشتقة من مبادئ أساسية (الخطية، الحفاظ على الكتلة، والاتساق التركيبي).

• ينقل العمل السؤال من "أي عامل هو الأفضل في الأداء؟" إلى "ما هي البنية الضرورية رياضياً؟".
• يوضح أن القدرة التعبيرية متعددة المسارات، وإغلاق التركيب، ومعايير الكيانات المحدودة هي نتائج هيكلية للبديهيات، وليست ميزات هندسية مضافة.
• يضع المؤلفون KRAUSKGE ليس كنموذج نهائي، بل كإطار يوفر أساساً مبدئياً لفهم التعقيد العلاقاتي ويقدم أداة تشخيصية جديدة (رتبة كراوس) لتدقيق العلاقات.
• يقر البحث بالقيود، بما في ذلك زيادة تكلفة المعلمات (تتدرج كـ $O(\kappa^2 d^2)$) وحقيقة أن الحد الأدنى للرتبة هو شرط ضروري ولكنه ليس دائماً دقيقاً في الممارسة العملية. كما يشيرون إلى أن العوامل الجمعية من نوع TransE تقع خارج هذا الإطار الخطي.