🤖 machine learning

Rotary Position Encodings for Graphs

تقدم هذه الورقة "التشفيرات الدورانية المستحثة بالموجات" (WIRE)، وهي طريقة مبتكرة تعمل على تكييف تشفيرات الموضع الدورانية لتناسب البيانات ذات البنية الرسومية، وذلك عبر تدوير الرموز بناءً على طيف "لابلاسيان" للرسم البياني، مما يؤدي بفعالية إلى حقن المعلومات الهيكلية في آليات الانتباه مع الحفاظ على التوافق مع الانتباه الخطي واستعادة تشفير الموضع الدوراني القياسي (RoPE) في الرسوم البيانية الشبكية.

المؤلفون الأصليون: Isaac Reid, Arijit Sehanobish, Cederik Höfs, Bruno Mlodozeniec, Leonhard Vulpius, Federico Barbero, Adrian Weller, Krzysztof Choromanski, Richard E. Turner, Petar Veličković

نُشر 2026-08-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Isaac Reid, Arijit Sehanobish, Cederik Höfs, Bruno Mlodozeniec, Leonhard Vulpius, Federico Barbero, Adrian Weller, Krzysztof Choromanski, Richard E. Turner, Petar Veličković

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

في عالم الذكاء الاصطناعي، أصبحت الحواسيب بارعة بشكل ملحوظ في فهم المتواليات، مثل الكلمات في الجملة أو رقع البكسل في الصورة. ولإدراك معنى هذه المتواليات، تعتمد أنظمة الذكاء الاصطناعي الحديثة على آلية تسمى "الانتباه" (attention)، والتي تسمح للنموذج بتقدير مقدار الأهمية التي يجب إعطاؤها لأجزاء مختلفة من المدخلات عند معالجة قطعة معينة من المعلومات. ومع ذلك، لكي يفهم النظام المعنى، يجب أن يعرف أيضًا أين تقع الأشياء. فالجملة إذا قُرئت من الخلف تعني غالبًا شيئًا مختلفًا تمامًا، والصورة إذا قُلبت رأساً على عقب يتغير سياقها. ولحل هذه المشكلة، يمنح المهندسون الذكاء الاصطناعي مجموعة من التعليمات تسمى "ترميزات الموضع" (position encodings)، والتي تعمل كإحداثيات، تخبر النموذج بالترتيب والموقع المحدد لكل رمز (token) يعالجه. وبالنسبة للنصوص والصور، تم حل ذلك بنجاح كبير باستخدام طريقة تُعرف باسم "ترميز الموضع الدوراني" (rotary position encoding)، حيث يقوم النموذج أساساً بتدوير تمثيله الداخلي للكلمة أو البكسل بناءً على موقعه، مما يسم يسمح له بفهم العلاقات والمسافات بشكل طبيعي.

ولكن عندما يحول العلماء اهتمامهم إلى الرسوم البيانية (graphs) — وهي شبكات من العقد المتصلة عبر حواف، والتي تمثل كل شيء من الشبكات الاجتماعية إلى الجزيئات الكيميائية — تصبح المشكلة أصعب بكثير. فخلافًا للجملة أو الصورة، لا تمتلك الرسم البياني شبكة ثابتة أو ترتيبًا طبيعيًا من اليسار إلى اليمين. فالعقد مبعثرة، و"موقعها" يُحدد فقط من خلال كيفية اتصالها ببعضها البعض. وغالبًا ما تكافح الطرق التقليدية لإعطاء إحداثيات لهذه العقد في التقاط الهندسة المعقدة لهذه الشبكات، أو تصبح مكلفة حاسوبيًا للغاية بحيث يصعب استخدامها مع أكثر أنواع نماذج الذكاء الاصطناعي كفاءة. وهذا يترك فجوة في قدرتنا على تعليم الآلات فهم شكل وبنية البيانات الشبكية حقًا.

لقد نجح فريق من الباحثين الآن في سد هذه الفجوة من خلال تطويع طريقة الترميز الدوراني الناجحة للرسوم البيانية، مبتكرين تقنية جديدة أطلقوا عليها اسم "الترميزات الدورانية المستحثة بالموجة" (Wave-Induced Rotary Encodings)، أو WIRE. وبدلاً من الاعتماد على شبكة ثابتة، يستخدم الباحثون "الاهتزازات" الطبيعية للرسم البياني نفسه لتحديد الموضع. تخيل غشاء طبل؛ عندما تضربه، فإنه يهتز في أنماط محددة تسمى "أنماط" (modes)، حيث تتحرك بعض الأنماط ببطء عبر السطح، بينما تترقرق أنماط أخرى بسرعة. يعامل الباحثون الرسم البياني بطريقة مماثلة، حيث يحسبون أنماط الاهتزاز هذه، المعروفة باسم "المتجهات الذاتية لمؤثر لابلاس للرسم البياني" (eigenvectors of the graph Laplacian)، لتكون بمثابة إحداثيات. ومن خلال تدوير التمثيلات الداخلية للعقد بناءً على أنماط الاهتزاز هذه، يكتسب النموذج فهمًا عميقًا وبديهيًا لبنية الرسم البياني.

إن نتائج هذا النهج مذهلة. ففي الاختبارات المصممة لمعرفة ما إذا كان بإمكان الذكاء الاصطناعي تحديد المجموعات المتصلة من العقد الملونة داخل شبكة، تفوق النموذج الذي يستخدم WIRE بشكل كبير على تلك التي لا تستخدمه. وكان التحسن ملحوظًا بشكل خاص كلما أصبحت الشبكات أكثر تعقيدًا وأقل شبهاً بالشبكات المنتظمة، مما يشير إلى أن الطريقة تلتقط الطوبولوجيا الحقيقية للبيانات بدلاً من مجرد الأنماط السطحية. كما اختبر الباحثون النظام في مهمة التنبؤ بأقصر مسار بين نقطتين في شبكة عشوائية. وهنا، خفض WIRE معدل الخطأ إلى النصف تقريبًا مقارنة بالطرق السابقة، مما يثبت أن النموذج قد تعلم فهم المسافة والاتصال بطريقة لم تستطع الترميزات القياسية القيام بها.

أحد أهم النتائج هو أن هذه الطة الجديدة تعمل بسلاسة مع "الانتباه الخطي" (linear attention)، وهو نسخة عالية الكفاءة من آلية الذكاء الاصطناعي التي تسمح بمعالجة كميات هائلة من البيانات دون نفاد الذاكرة. كانت الطرق القديمة التي حاولت ترميز بنية الرسم البياني تتطلب غالبًا من الكمبيوتر حساب وتخزين جدول ضخم لكل اتصال ممكن بين العقد، وهو أمر يصبح مستحيلاً مع نمو الرسم البياني. ويتجنب WIRE هذا الاختناق تمامًا؛ فهو يضخ المعلومات الهيكلية مباشرة في تدفق البيانات، مما يسمح للنموذج بالتوسع ليشمل رسومًا بيانية كبيرة جدًا مع استمرار فهم شكلها. ونظريًا، أظهر الباحثون أن هذه الطريقة تقلل فعليًا من وزن الانتباه بين العقد البعيدة في الشبكة، وهو سلوك يحاكي الطريقة التي تتضاءل بها القوى الفيزيائية عبر المسافة، دون الحاجة إلى حساب تلك المسافات صراحة لكل زوج من العقد.

تؤكد الدراسة أن ترميزات الموضع الدورانية، التي كانت سابقًا حكرًا على نماذج اللغة والرؤية، يمكن تعميمها بنجاح على العالم الفوضوي وغير المنتظم للرسوم البيانية. ومن خلال استخدام الخصائص الطيفية للرسم البياني نفسه لتوجيه تدوير بياناته الداخلية، قدم الباحثون أداة قوية للذكاء الاصطناعي للتنقل في الشبكات المعقدة. ويشير هذا العمل إلى أن مستقبل تعلم الرسوم البيانية قد لا يتطلب اختراع بنيات جديدة تمامًا، بل يتطلب إيجاد الطريقة الصحيحة لتطبيق الأدوات القوية التي تم تطويرها بالفعل لأنواع أخرى من البيانات على الهندسة الفريدة للشبكات.

ملخص تقني: ترميزات الموضع الدورانية للرسوم البيانية (WIRE)

بيان المشكلة

تعد ترميزات الموضع (PEs) ضرورية لبنى المحولات (Transformers) لالتقاط العلاقات المكانية والطوبولوجية بين الرموز (tokens). وبينما أصبحت ترميزات الموضع الدورانية (RoPE) هي المعيار للنماذج اللغوية الكبيرة (LLMs) ومحولات الرؤية (ViTs) نظرًا لأدائها التجريبي القوي، وكفاءتها الحسابية، وتوافقها مع آلية الانتباه الخطي، فإن تطبيقها على البيانات ذات البنية الرسومية (graph-structured data) لا يزال غير مستكشف بشكل كافٍ.

تواجه ترميزات الموضع الحالية في الرسوم البيانية قيودًا كبيرة:

ترميزات الموضع المطلقة (APEs): تعتمد غالبًا على أطياف لابلاتسيان الرسم البياني (graph Laplacian spectra)، لكنها تفشل عمومًا في ترميز خصائص الثبات الضرورية وتؤدي بشكل أسوأ من الطرق النسبية.
ترميزات الموضع النسبية (RPEs): تقوم عادةً بحقن المعلومات الهيكلية (مثل مسافة أقصر مسار، أو المقاومة الفعالة) كتحيزات في لوغاريتمات انتباه الاستعلام-المفتاح (query-key attention logits). ورغم فعاليتها، تتطلب هذه الطرق إنشاء مصفوفة الانتباه الكاملة $N \times N$ ، مما يجعلها غير متوافقة مع آليات الانتباه الخطي وتمنع التوسع بمقياس $O(N)$ .

السؤال الجوهري الذي تعالجه الدراسة هو: إلى أي مدى يمكن تطبيق ترميزات الموضع الدورانية على البيانات ذات البنية الرسومية؟

المنهجية: الترميزات الدورانية المستحثة بالموجة (WIRE)

يقترح المؤلفون WIRE (الترميزات الدورانية المستحثة بالموجة)، وهي طريقة تكيّف RoPE للرسوم البيانية عبر استخدام طيف الرسم البياني لتحديد الإحداثيات الموضعية.

الخوارزمية

استخراج الميزات الطيفية: حساب أقل $m$ من المتجهات الذاتية $\{\mathbf{u}_k\}$ والقيم الذاتية $\{\lambda_k\}$ للابلاتسيان الخاص بالرسم البياني $\mathbf{L}$ .
تعريف الإحداثيات: تعريف الميزات الطيفية لكل عقدة $i$ $i$ كمتجه $\mathbf{r}_i \in \mathbb{R}^m$ $r_{i} \in R^{m}$ . تشمل الصيغ الشائعة:
- $\mathbf{r}_i = [\mathbf{u}_k[i]]_{k=0}^{m-1}$
- $\mathbf{r}_i = [\mathbf{u}_k[i]/\sqrt{\lambda_k}]_{k=1}^{m-1}$ (بدمج مقياس المقاومة الفعالة).
التحويل الدوراني: تطبيق دورات RoPE القياسية على متجهات الاستعلام ( $\mathbf{q}_i$ ) والمفتاح ( $\mathbf{k}_i$ ) باستخدام هذه الإحداثيات الطيفية:
$\mathbf{z}_i \to \text{RoPE}(\mathbf{r}_i)\mathbf{z}_i$
حيث $\mathbf{z}_i \in \{\mathbf{q}_i, \mathbf{k}_i\}$ . تقوم مصفوفة الدوران $\mathbf{\rho}(\theta)$ بتدوير كتل ثنائية الأبعاد من متجهات الرموز بناءً على زوايا مشتقة من الإحداثيات الطيفية.

الخصائص النظرية

استعادة RoTE القياسية: في رسوم الشبكة (المنتجات الديكارتية لرسوم المسارات)، يستعيد WIRE ترميز RoPE القياسي المستخدم في LLMs وViTs، بشرًا بشرط اختيار ترددات قابلة للتعلم محددة. وهذا يثبت أن WIRE هو تعميم لـ RoPE.
الاعتماد على المقاومة الفعالة: نظريًا، عندما يتم أخذ ترددات WIRE عشوائيًا، فإن التحويل المتوقع للوغاريتمات الاستعلام-المفتاح يعتمد على المقاومة الفعالة $R(i, j)$ بين العقد. وتحديدًا:
$\mathbb{E}[(\text{RoPE}(\mathbf{r}_i)\mathbf{q}_i)^\top \text{RoPE}(\mathbf{r}_j)\mathbf{k}_j] = \mathbf{q}_i^\top \mathbf{k}_j \exp(-\omega^2 R(i, j)/2)$
وهذا يعني أن WIRE يقلل ضمنيًا من وزن الانتباه بين العقد البعيدة (المقاومة الفعالة العالية) دون حساب مصفوفة الانتباه الكاملة أو مسافات المقاومة صراحة.
التوافق مع الانتباه الخطي: على عكس RPE القائمة على التحيز، يقوم WIRE بتعديل الرموز مباشرة بدلاً من اللوغاريتمات. وهذا يحافظ على التبادلية المطلوبة للانتباه الخطي (مثل Performer)، مما يتيح التوسع بمقياس $O(N)$ مع حقن المعلومات الطوبولوجية.
التكافؤ مع التبديل (Permutation Equivariance): التحويل متكافئ تحت إعادة ترتيب العقد، باستثناء تغييرات الإشارة والتدوير في الفضاءات المتدهورة (وهي خاصية معروفة للطرق الطيفية). يشير المؤلفون إلى أن تدريب النموذج على بيانات كافية يتعلم فعليًا التعامل مع هذه الغموضات.

المساهمات الرئيسية

تقديم WIRE: ترميز موضع مبتكر للرسوم البيانية يعمم RoPE باستخدام أطياف لابلاتسيان الرسم البياني.
التعميم النظري: إثبات أن WIRE يستعيد RoPE القياسي على رسوم الشبكات ويظهر اعتمادًا ضمنيًا على المقاومة الفعالة للرسم البياني، مما يوفر طريقة مبدئية لتعديل الانتباه بناءً على المسافة الهيكلية.
التوافق مع الانتباه الخطي: إثبات توافق WIRE مع آليات الانتباه الخطي، وهي خاصية لا تشاركها RPE القائمة على التحيز، مما يسمح بتوسيع نطاق المحولات الرسومية (Graph Transformers).
التحقق التجريبي: تجارب مكثفة تظهر تحسن الأداء عبر المهام الاصطناعية، السحب النقطية (Point Clouds)، ومعايير الرسوم البيانية القياسية.

النتائج التجريبية

قام المؤلفون بتدريب أكثر من 200 نموذج Transformer لتقييم WIRE:

المهام الاصطناعية:
- الرسوم الفرعية أحادية اللون (Monochromatic Subgraphs): قلل WIRE بشكل كبير من خطأ RMSE في الاختبار مقارنة بالنماذج المرجعية بدون WIRE ( $m=0$ ). تحسن الأداء مع زيادة تعقيد طوبولوجيا الرسم البياني (حذف المزيد من الحواف)، مما يشير إلى أن الميزات الطيفية عالية التردد تلتقط التفاصيل الهيكلية الضرورية.
- التنبؤ بأقصر مسار: في رسوم Watts-Strogatz، خفض WIRE خطأ RMSE في الاختبار إلى النصف تقريبًا مقارنة بنماذج APE فقط، مستفيدًا من اعتماده على المقاومة الفعلة (وهي حد أدنى لمسافة أقصر مسار).
محولات السحب النقطية (Point Cloud Transformers): تم تطبيقها على ModelNet40 (تصنيف) وShapeNet (تجزئة). قدم WIRE مكاسب ثابتة مقارنة بالنماذج المرجعية (NoPE) وطابقت أو تجاوزت Cartesian RoPE، مع الحفاظ على خصائص SE(3) المتأصلة في طيف الرسم البياني.
معايير الرسوم البيانية (مهام GNN):
- تم التقييم على مجموعات بيانات مثل MNIST، CIFER-10، PATTERN، CLUSTER، وOGB باستخدام بنيات Performer بمقياس $O(N)$ .
- حسن WIRE الأداء باستمرار مقارنة بنماذج Performer المرجعية.
- في عدة حالات (مثل MalNet-Tiny، PATTERN)، نجحت نماذج Performer المزودة بـ WIRE في سد الفجوة في الأداء مع نماذج Transformer المكلفة التي تعمل بمقياس $O(N^2)$ القائمة على softmax، محققة دقة مماثلة على وحدة معالجة رسومية واحدة من نوع T4.
- لوحظت مكاسب أيضًا عند تطبيق WIRE على بنيات فعالة أخرى مثل SGFormer وBigBird.

الأهمية والادعاءات

يزعم البحث أن WIRE ينجح في جسر الفجوة بين نجاح RoPE في البيانات التسلسلية والبصرية وبين التعقيد الهيكلي للرسوم البيانية. وتكمن أهميته الأساسية في:

القابلية للتوسع: يوفر انحيازًا استقرائيًا هيكليًا قويًا متوافقًا مع الانتباه الخطي، مما يعالج مشكلة التوسع في RPE القائمة على التحيز.
التأسيس النظري: يقدم تفسيرًا جديدًا لترميز الموضع في الرسوم البيانية من خلال منظور أطياف الرسم البياني والمقاومة الفعالة، مع استعادة الطرق الناجحة المعروفة (RoPE) كحالات خاصة.
الفائدة العملية: يعمل كبديل "جاهز للاستخدام" (drop-in replacement) لترميزات الموضع الموجودة في محولات الرسوم البيانية، مما يقدم تحسينات كبيرة في الأداء مع عبء ضئيل جدًا على المعاملات (أقل من 1% من معاملات النموذج).

يخلص المؤلفون إلى أن WIRE يعد وسيلة فعالة لحقن المعلومات الهيكلية في محولات الرسوم البيانية، خاصة في السيناريوهات التي تتطلب انحيازات استقرائية طوبولوجية قوية وتكون فيها الكفاءة الحسابية أولوية.