ملخص تقني: الانتباه الموجه برسم بياني هجين للتبعية لتعلم تمثيل براءات الاختراع

بيان المشكلة

لقد أدت النماذج اللغوية سابقة التدريب (PLMs) إلى تطوير تصنيف واسترجاع براءات الاختراع من خلال ترميز المطالبات (claims) كمتواليات رمزية مسطحة. ومع ذلك، فإن هذا النهج يتجاهل التسلسل الهرمي للتبعية الموجهة المتأصل بين مطالبات براءة الاختراع. ففي وثائق براءات الاختراع، ترث المطالبات التابعة القيود من المطالبات السابقة وتضيف تفاصيل تقنية أكثر ضيقاً، مما يخلق بنية حيث لا تكون المطالبات المتجاورة مرتبطة بالضرورة، بينما قد تكون المطالبات البعيدة متصلة مباشرة عبر مراجع التبعية.

تعمل المشفرات الحالية القائمة على النماذج الللغوية (مثل BERT-for-Patents و PatentBERT) على مستوى الرمز (token level)، حيث تلتقط الارتباطات الدلالية لكنها تفشل في ترميز التبعيات القانونية الصريحة. هذا الخلط بين المطالبات المتقاربة هيكلياً وغير المرتبطة دلالياً يؤدي إلى طمس النطاق القانوني والتبعيات التقنية. علاوة على ذلك، فإن دمج الهيكلية في آلية الانتباه (self-attention) يطرح تحديين محددين:

1. الموثوقية غير المتجانسة: تتضمن تبعيات المطالبات أنواع علاقات ذات موثوقية متفاوتة. إن معاملة العلاقات التقنية الضوضائية دون تمييز مع إشارات الاقتباس القانوني النظيفة يمكن أن يؤدي إلى إفساد التمثيل.
2. عدم تطابق التدرج (Granularity Mismatch): عندما يتم تعريف الرسوم البيانية للتبعية على مستوى المطالبات، فإنها لا تتوافق مع العمليات على مستوى الرمز في نماذج المحولات (Transformers). إن بث تجاور مستوى المطالبة عبر أزواج الرموز غير المرتبطة قد يؤدي إلى تخفيف المعلومات الهيكلية.

غالباً ما تتعامل النهج القائمة على الرسوم البيانية مع الهيكلية كإشراف خارجي أو مدخل مساعد على مستوى الوثيقة، بدلاً من حقن تبعيات مستوى المطالبة مباشرة في تدفق التمثيل الخاص بالمشفر.

المنهجية: PHAGE

يقترح المؤلفون مشفر الرسم البياني الموجه بالانتباه الهجين لبراءات الاختراع (PHage - Patent Heterogeneous Attention-Guided Graph Encoder)، وهو نموذج يدمج بنية تبعية المطالبة مباشرة في آلية الانتباه الذاتي لمشفر سابق التدريب. يعمل الإطار عبر ثلاث مراحل:

1. بناء رسم بياني هجين لتبعية المطالبات (CDG)

يبني PHAGE رسماً بيانياً موجهاً غير حلقي (DAG) حتمياً ومتجانساً $G = (V, E, \psi)$ حيث العقد هي المطالبات والحواف تمثل التبعيات. يتم تصنيف مجموعة الحواف إلى أربعة أنواع من العلاقات للتعامل مع تباين موثوقية الاستخراج:

• $r_{cite}$ (الاقتباس الصريح): مستمد من المراجع القانونية الرسمية (مثل "الطريقة المذكورة في المطالبة 1..."). هذه العلاقات شبه حتمية.
• $r_{term}$ (تدفق المصطلحات التقنية): يتتبع تقديم المصطلحات الاسمية التقنية (أدوات النكرة) وإشاراتها اللاحقة (أدوات التعريف/أسماء الإشارة).
• $r_{func}$ (الاقتران الوظيفي): يلتقط العلاقات الوظيفية عبر التحليل النحوي لثلاثيات (فعل-مفعول به) (مثل "يقرن"، "يوصل").
• $r_{both}$: يتم تعيينها عندما تتواجد إشارات تدفق المصطلحات والاقتران الوظيفي معاً، وتعمل كإشارة عالية الثقة.

يتم تمثيل الرسم البياني بمصفوفات تجاور متميزة $\{A^{(r)}\}$ لكل نوع علاقة، مما يسمح للنموذج بتعلم أوزان تفاضلية لكل منها.

2. آلية الانتباه المدركة للعلاقات

يقوم PHAGE بحقن الـ CDG في آلية الانتباه الذاتي لمحول (تحديداً BERT-for-Patents) باستخدام مكونين:

• قناع الاتصال (Connectivity Mask - $C$): بوابة هيكلية صلبة تقيد الانتباه للمطالبات المرتبطة هيكلياً. إذا لم يكن زوج الرموز $(u, v)$ يمثل زوج مطالبات متصل في الـ CDG، يتم حجب درجة الانتباه إلى $-\infty$. يُستثنى رمز [CLS] لضمان التجميع غير المقيد على مستوى الوثيقة.
• انحياز مدرك للعلاقة قابل للتعلم ($B^{(l)}$): مجموعة خفيفة من المعلمات القياسية القابلة للتعلم التي تُضاف إلى لوغاريتمات الانتباه (attention logits). هذه الانحيازات مشروطة بنوع الحافة المحدد ($r \in \{r_{cite}, r_{term}, r_{func}, r_{both}\}$) وعمق الطبقة $l$. وهذا يسمح للنموذج بتعديل قوة تدفق المعلومات بناءً على دلالات التبعية دون زيادة كبيرة في سعة النموذج (5 معلمات قياسية فقط لكل طبقة).

3. الضبط الدقيق التبايني مزدوج التدرج

لتنقية فضاء التضمين (embedding space)، يستخدم PHAGE دالة هدف مشتركة تجمع بين مستويين من الإشراف:

• هدف مستوى الوثيقة ($L_{doc}$): يطابق تمثيلات براءات الاختراع بناءً على تصنيف براءات الاخت์ الدولية (IPC) باستخدام فقدان تبايني (يسحب براءات الاختراع في نفس الفئة الفرعية معاً، ويدفع الفئات المختلفة بعيداً).
• هدف مستوى المطالبة ($L_{claim}$): يستند إلى الـ CDG، ويفرض هذا الفقدان التقارب الطوبولوجي بين المطالبات. والأهم من ذلك، أنه يخصص أوزانًا قابلة للتعلم $w_r$ لكل نوع علاقة، مما يسمح للنموذج بمعايرة ضغط المحاذاة بناءً على موثوقية نوع الحافة.

الدالة النهائية هي $L = L_{doc} + \lambda L_{claim}$.

المساهمات الرئيسية

1. طوبولوجيا المطالبة داخل الوثيقة كتحيز استقرائي: حدد المؤلفون أن التسلسل الهرمي الموجه للمطالبات داخل براءة الاختراع هو إشارة معلوماتية يتجاهلها المشفرات الحالية. يقوم PHAGE بحقن هذه الطوبولوجيا مباشرة في تدفق تمثيل المشفر بدلاً من معاملتها كمدخل إضافي.
2. مشفر براءات الاختراع المحقون بالطوبولوجيا: بنية مبتكرة تجمع بين خط بناء رسم بياني متجانس حتمي وبين قناع اتصال وانحيازات مدركة للعلاقات قابلة للتعلم لدمج تبعيات مستوى المطالبة في الانتباه الذاتي.
3. النتيجة التجريبية للتحيز الاستقرائي الهيكلي: تثبت التجارب أن طوبولوجيا المطالبات داخل براءة الاختراع توفر تحيزاً استقرائياً أقوى من هياكل الاقتباس بين براءات الاختراع. علاوة على ذلك، يتم استيعاب الأولويات الهيكلية المتعلمة في أوزان النموذج، مما يسمح للنموذج بالعمل بفعالية عند الاستدلال دون الحاجة لبناء الرسم البياني.

النتائج التجريبية

تم تقييم PHAGE في ثلاث مهام: تصنيف براءات الاختراع، الاسترجاع، والتجميع، باستخدام مجموعات بيانات CLEF-IP و USPTO-70k و DAPFAM. استخدم بروتوكول التقييم مشفرًا مجمدًا (frozen encoder)، حيث تم تحسين الانحيازات المدركة للعلاقة وأوزان التباين فقط، لضمان مقارنة عادلة مع النماذج المرجعية.

• التصنيف: تفوق PHAGE على جميع النماذج المرجعية، بما في ذلك النماذج المتكيفة مع المجال (BERT-for-Patents) والنماذج المدركة للاقتباس (PaECTER, PatEmbed). في CLEF-IP، حقق درجة Macro-F1 بلغت 0.635، وهي زيادة كبيرة قدرها +9.7 عن BERT-for-Patents. ومن الجدير بالذكر أن تطبيق نماذج الشبكات العصبية الرسومية (GNN) كخطوات لاحقة (post-hoc) على التضمينات أدى إلى تدهور الأداء، مما يشير إلى أن حقن الهيكلية مباشرة في المشفر هو الأفضل.
• الاسترجاع: في معيار DAPFAM، حقق PHAGE درجة NDCG@100 بلغت 0.498، متفوقاً على أفضل نموذج مرجعي مدرك للاقتباس (QaECTER, 0.379) بـ 11.9 نقطة، وعلى BERT-for-Patents بـ 27.0 نقطة.
• التجميع: حقق PHage أعلى قيم NMI (0.653) و Homogeneity (0.704) على CLEF-IP، مما يشير إلى أن طوبولوجيا مستوى المطالبة تزيد من نقاء العناقيد (clusters).

أكدت دراسات الاستئصال (Ablation Studies) أن:

• الحقن الهيكلي (CDG + الانتباه) هو المحرك الرئيسي لزيادة الأداء.
• قناع الاتصال الصلب أكثر أهمية من الانحياز الناعم للعلاقة، رغم مساهمة كليهما.
• توفر الأوزان المدركة للعلاقات مكاسب ثابتة، حيث يتعلم النموذج رفع وزن العلاقات الضمنية في الطبقات الدنيا وتضخيم انحيازات المطالبة في الطبقات العليا.

الأهمية والادعاءات

يزعم البحث أن عنق الزجاجة الهيكلي في تعلم تمثيل براءات الاختراع يكمن داخل براءات الاختراع (طوبولوجيا المطالبات داخل الوثيقة) وليس بينها (شبكات الاقتباس بين براءات الاختراع).

تشمل النتائج الرئيسية التي سلط المؤلفون الضوء عليها ما يلي:

1. تفوق الهيكلية داخل الوثيقة: رغم استخدام التبعيات داخل براءة الاختراع الواحدة فقط، يتفوق PHAGE على النماذج المرجعية المدركة للاقتباس التي تستفيد من ملايين الروابط الموثقة من قبل الفاحصين بين براءات الاختراع. هذا يشير إلى أن الوراثة الصريحة وتضييق النطاق داخل براءة اختراع واحدة يوفران إشارة أقوى لتعلم التمثيل.
2. استيعاب التحيز الهيكلي: نجح النموذج في استيعاب التحيز الاستقرائي الهيكلي أثناء التدريب. عند الاستدلال، يعمل PHAGE كعملية تمرير أمامي قياسية دون الحاجة لبناء الرسم البياني، ومع ذلك يحتفظ بمعظم مكاسب الأداء. هذا يلغي العبء الحسابي لبناء الرسم البياني أثناء التشغيل.

• التخصص حسب العمق: تولد الانحيازات المتعلمة تخصصاً عبر طبقات المحول، حيث تركز الطبقات الدنيا على تجميع المطالبات المتقاطعة بينما تقوم الطبقات العليا بتنقية التمثيلات داخل المطالبة الواحدة.

خلص المؤلفون إلى أن PHAGE يقدم حلاً قابلاً للتوسع لتحليل براءات الاختراع من خلال دمج التبعيات القانونية والتقنية المعقدة في معلمات النموذج، مما يلغي الحاجة إلى هياكل رسوم بيانية خارجية أثناء الاستدفال، مع التفوق بشكل كبير على النهج الحالية المتكيفة مع المجال والمدركة للاقتباس.