Pointer-Augmented Autoregressive Generation of Patent Claims with Joint Topology and Content Decoding
تقدم هذه الورقة إطار عمل SPG، وهو إطار لتوليد براءات الاختراع مدرك للبنية يدمج التنبؤ بالهيكل الطوبولوجي عبر رأس مؤشر وهدف تفضيل مرجح بالانتهاكات للتغلب على قيود فك الترميز ذاتي الانحدار المسطح، مما يحسن بشكل كبير من الاتساق الهرمي ودقة المراجع السابقة لادعاءات براءات الاختراع المولدة.
المؤلفون الأصليون:Yongmin Yoo, Zhangkai Wu, Longbing Cao
تخيل أنك تعلم روبوتاً كيفية كتابة قصة. عادةً، نطلب من الروبوت كتابة كلمة تلو الأخرى، مثل خرزات في خيط. هذا يعمل بشكل رائع في القصص البسيطة، ولكن ماذا لو لم تكن القصة خطاً مستقيماً؟ ماذا لو كانت شجرة عائلة، حيث يجب على كل شخصية جديدة أن تعرف بدقة من هم والداها، وتصبح قواعد القصة أكثر صرامة كلما تعمقت في شجرة العائلة؟ هذا هو تحدي "التوليد الهرمي". في عالم الذكاء الاصطناعي، معظم النماذج بارعة في كتابة جمل سلسة (الخرز)، لكنها غالباً ما تضل الطريق عندما تحتاج إلى بناء هياكل معقدة (الشجرة). قد تكتب جملة تبدو مثالية، لكنها تتعارض منطقياً مع جملة كُتبت قبل ثلاث فقرات. هذا الأمر مهم لأنه في مجالات مثل القانون أو البرمجة، الخطأ الهيكلي الصغير ليس مجرد خطأ مطبعي؛ بل هو خطأ يكسر النظام بأكمله.
تتناول هذه الورقة نسخة محددة وعالية المخاطر من هذه المشكلة: كتابة مطالبات براءات الاختراع. مجموعة مطالبات براءة الاختراع تشبه شجرة عائلة قانونية. تبدأ بمطالبة "مستقلة" واسعة (الجد/الجدة) وتتفرع إلى مطالبات "تابعة" (الأبناء والأحفاد). القاعدة الذهبية في براءات الاختراع هي أن كل مطالبة تابعة يجب أن تضيق نطاق المطالبة الأم، مثل قمع يزداد ضيقاً تدريجياً. إذا قامت مطالبة تابعة بالخطأ بتوسيع النطاق أو نسيت ذكر والديها، فقد تُرفض براءة الاختراع بأكملها من قبل القانون. وجد المؤلفون، يونغمين يو، وتشانغكاي وو، ولونغ بينغ كاو، أن نماذج الذكاء الاصطناعي القياسية، حتى الكبيرة جداً منها، تعاني في تتبع هذا الهيكل الشجري أثناء كتابة النص. فهي غالباً ما تنجح في اختيار الكلمات، لكنها تخطئ في الهيكل الشجري.
ولإصلاح ذلك، بنى الباحثون نظاماً جديداً يسمى SPG (توليد براءات الاختراع المدركة للهيكل). بدلاً من مجرد كتابة الكلمات، يعمل SPG مثل قائد أوركسترا يكتب الموسيقى في آن واحد. في اللحظة التي يبدأ فيها الذكاء الاصطناعي بكتابة مطالبة تابعة جديدة، يتخذ أيضاً قرار "المؤشر": "من هو والدي؟" فهو يشير إلى المطالبة السابقة المحددة التي ينتمي إليها. هذا القرار لا يُتخذ بعد الانتهاء، بل يحدث أثناء توليد الكلمات. هذا يجبر الذكاء الاصطناعي على تعلم الهيكل والمحتوى في وقت واحد. كما أضافوا قاعدة خاصة: كلما تعمقت في الشجرة، يجب أن تكون الصلة بين الأب والابن أكثر إحكاماً، مما يضمن تضييق النطاق بشكل صحيح. وأخيراً، علموا الذكاء الاصطناعي من خلال إظهار أخطائه لنفسه. بما أن براءات الاختراع الحقيقية هي عادةً تلك "الجيدة" التي تمت الموافقة عليها، كان على الذكاء الاصطناعي أن يولد مسوداته "السيئة" الخاصة، وتعلم النظام أن يعاقب المسودات السيئة بشكل أكثر صرامة إذا كسرت قواعد كبيرة (مثل فقدان فرع كامل من الشجرة) مقارنة بالأخطاء الصغيرة (مثل فقدان فاصلة).
تشير النتائج إلى أن هذا النهج يعمل بشكل جيد بشكل مفاجئ. في مجموعة اختبار لوصف براءات الاختراع، حدد النظام بشكل صحيح والد المطالبة التابعة بنسبة 79.0% من المرات، وهو مقياس لم تكن عملية التدريب تشرف عليه صراحةً. كما أدى ذلك إلى تحسين مدى جودة إشارة المطالبات إلى الأجزاء السابقة من النص (اتساق المرجع السابق) من 0.292 إلى 0.478 مقارنة بنموذج مدرب قياسي. ومن المثير للاهتمام، تجادل الورقة بأن مجرد جعل نموذج الذكاء الاصطناعي أكبر (زيادة الحجم من 6 مليارات إلى 141 مليار معلمة) لم يحل المشكلات الهيكلية؛ فكانت النماذج الكبيرة سلسة ولكنها مرتبكة هيكلياً. تقترح الورقة أن السر لم يكن في الحجم، بل في طريقة أفضل لتعليم الذكاء الاصطناعي "رؤية" الهيكل الشجري أثناء الكتابة. ومع ذلك، يوضح المؤلفون بحذر أن هذا اختبار محدد على براءات الاختراع الأمريكية، وأن النظام لا يزال يحتاج إلى خبراء بشريين لمراجعة المخرج النهائي قبل تقديمه، لأنه لا يفهم بعد الاستراتيجية القانونية العميقة وراء الاختراع.
بيان المشكلة تقوم نماذج اللغة ذات التوليد التلقائي (Autoregressive) بتوليد النصوص كمتواليات مسطحة من الرموز (tokens)، مما يفتقر إلى آليات صريحة للاستدلال حول العلاقات الهرمية بين أجزاء المخرجات. هذا القصور حاد في توليد ادعاءات براءات الاختراع، حيث تشكل مجموعة الادعاءات "غابة تبعية للادعاءات" (Claim Dependency Forest). وفي هذا الهيكل، تشكل الادعاءات المستقلة جذور الأشجار، ويجب على الادعاءات التابعة أن تستشهد بالادعاءات السابقة عبر مراجع هرمية. ومن الأهمية بمكان أن هذه التبعية تحمل قيوداً قانونية: يجب أن تضيق نطاق الحماية تنازلياً مع زيادة العمق. إن الفشل في الالتزام بهذه القيود (مثل جعل ادعاء تابع يوسع نطاق ادعائه الأب أو يفشل في الاستشهاد بمرجع سابق صالح) يشكل سبباً للرفض من قبل مكاتب براءات الاختراع.
تعاني النهج الحالية من ثلاث عيوب رئيسية:
الانفصال الهيكلي: لا يمكن لفك التشفير التلقائي القياسي نمذجة التبعيات غير الخطية بين الأب والابن، مما يؤدي غالسباً إلى سلاسل تبعية مكسورة. كما أن الطرق التي تتنبأ بالطبولوجيا بمعزل عن المحتوى أو تفرض قواعد لغوية سطحية دون اتساق دلالي تفشل في ضمان أن صياغة الادعاء التابع تعكس نطاق ادعائه الأب.
غياب تنظيم النطاق: لا توفر أي طريقة حالية انحيازاً استقرائياً للمتطلب القانوني الذي يقضي بأن النطاق يضيق مع العمق، مما يؤدي بالنماذج إلى توليد ادعاءات تابعة توسع نطاق آبائها عن غير قصد أو تتعارض معها.
غياب الإشارات السلبية: يتطلب مواءمة النماذج مع هذه القيود وجود أمثلة متباينة للنماذج المعيبة. ومع ذلك، فإن مستودعات براءات الاختراع العامة تتكون حصرياً تقريباً من الطلبات الممنوحة، مما يترك "إشارة سلبية" (غابات معيبة) ليتمكن النموذج من التعلم منها.
المنهجية: SPG (توليد براءات الاختراع المدرك للهيكل) يقترح المؤلفون إطار عمل SPG، وهو إطار يتنبأ بالطبولوجيا داخل مسار التوليد التلقائي، مما يضمن أن التمثيل الذي يصدر رموز (tokens) الادعاء هو نفسه الذي يقرر مكان ارتباط هذا الادعاء. يعمل الإطار عبر مرحلتين:
المرحلة الأولى: التدريب المدرك للهيكل
فك التشفير المعزز بالمؤشرات (Pointer-Augmented Decoding): يتم تعزيز فك التشفير التلقائي برأس مؤشر (pointer head). عند المحدد الافتتاحي لكل ادعاء تابع، يختار هذا الرأس "أباً" من مجموعة الادعاءات السابقة. ومن الضروري أن يقرأ المؤشر نفس الحالات الخفية (hidden states) المستخدمة للتنبؤ بالرموز؛ وهذا يسمح للتدرجات (gradients) الناتجة عن مهمة اختيار الأب بإعادة تشكيل تمثيلات فك التشفير، مما يجعل فك التشفير مدركاً للطبولوجيا بطبيعته.
الأهداف المساعدة:
خسارة الاتساق الهيكلي (Structure Consistency Loss): تعمل خسارة الإنتروبيا المتقاطعة (cross-entropy) على الإشراف على اختيار الأب بواسطة المؤشر مقابل الروابط الحقيقية.
تنظيم النطاق الهرمي (Hierarchical Scope Regularization): يعمل قيد الهامش المتكيف مع العمق على تشجيع تمثيل الادعاء التابع على البقاء قريباً من تمثيل الأب الخاص به. يتقلص نصف قطر المسافة المسموح بها هندسياً مع زيادة العمق، مما يفرض المتطلب القانوني بأن النطاق يضيق مع تعمق الشجرة.
المرحلة الثانية: تحسين التفضيل القانوني (LPO)
لمعالجة نقص الإشارات السلبية في مستودعات براءات الاختراع الممنوحة، يقوم المؤلفون بتخليق مرشحات معيبة عبر أخذ عينات من سياسة المرحلة الأولى عند درجات حرارة (temperatures) مختلفة.
تقوم دالة تسجيل حتمية (PatentScorerule) بتقييم هذه المرشحات بناءً على عدد الادعاءات، والأنماط اله la هيكلية، واتساق المراجع، والطول، وتداخل المحتوى.
هدف الأوزان المعتمدة على شدة العيب (Violation-Weighted Objective): بخلاف تحسين التفضيل المباشر (DPO) القياسي، الذي يعامل جميع أزواج التفضيل بالتساوي، يقوم SPG بتوسيع الخسارة التباينية بناءً على شدة النقص في العينة المرفوضة. هذا يمنع "انهيار النمط" (mode collapse)، حيث قد يعامل النموذج فقدان فاصلة منقوطة بنفس العقوبة التي يعامل بها فقدان شجرة فرعية كاملة.
المساهمات الرئيسية
فك التشفير المشترك: يتنبأ رأس المؤشر بتبعيات الأب داخل مسار التوليد التلقائي، مما يسمح بتعلم كل من الطبوغرافيا والمحتوى في تمريرة أمامية واحدة دون الحاجة لمرحلة تحليل (parsing) منفصلة.
تنظيم النطاق: يعمل الهامش المتكيف مع العمق بنصف قطر يتلاشى هندسياً على تشديد الارتباط بين الأب والابن مع زيادة العمق، ويعمل على الأزواج المحددة تحديداً بواسطة هدف المؤشر.
المواءمة الموزونة حسب الشدة: من خلال توسيع أزواج التفضيل بناءً على شدة العيب في العينة المرفوضة، يتجنب SPG انهيار النمط، وهو وضع فشل ناتج عن الوزن الموحد في مهام التوليد المهيكلة.
الانفصال التجريبي: توضح الدراسة أن الامتثال الهيكلي لا يتناسب طردياً مع حجم المعلمات أو التدريب المسبق على المجال؛ حيث تفشل النماذج التي تتراوح أحجامها من 6 مليار إلى 141 مليار معلمة في تعلم الكفاءة الهرمية بدون انحيازات استقرائية صريحة، بينما يتطور السلاسة (fluency) بشكل طبيعي.
النتائج تم التقييم على مجموعة بيانات HUPD-DCG باستخدام نموذج Llama-3-8B-Instruct:
الدقة الهيكلية: يستعيد SPG ما نسبته 79.0% من روابط الأب الذهبية (دقة حافة التبعية)، وهو مقييس لم يتم الإشراف عليه مباشرة عبر مكافأة التدريب.
الاتساق المرجعي: يحسن النموذج من اتساق المراجع (AC) من 0.292 (الأساس الخاضع للإشراف) إلى 0.478، مما يشير إلى قدرة أفضل على حل المراجع عبر هياكل الأشجار العميقة.
السلاسة: يحقق النموذج درجات BLEU (37.66) وROUGE-1 (64.18) هي الأفضل بين النماذج التي خضعت للضبط الدقيق، مما يطابق سلاسة النموذج الأساسي مع تفوق كبير في المقاييس الهيكلية.
التقييم الخبير: قام ممارسان لبراءات الاختراع بتقييم النموذج الكامل بدرجة أعلى بكثير (4.05 إجمالاً) من النموذج الأساسي الخاضع للإشراف (3.52) والنماذج ذات التفاعل الصفري (zero-shot)، مما يؤكد دقة المقاييس الآلية.
قوانين القياس (Scaling Laws): أدى زيادة حجم النموذج من 6 مليار إلى 141 مليار معلمة إلى تحسين السلاسة ولكن لم يحسن درجات الأنماط الهيكلية، مما يؤكد أن الكفاءة الهرمية تتطلب انحيازاً معمارياً صريحاً بدلاً من مجرد زيادة السعة.
الأهمية والادعاءات تجادل الورقة بأن المهام التي تنتج مخرجات تحمل هيكلاً قابلاً للإنفاذ (قانوني أو برمجي)، يجب أن تُدمج القرارات الهيكلية في عملية التوليد بدلاً من معالجتها لاحقاً أو عبر قيود سطحية. ويفترض المؤلفون ثلاث نتائج:
الحجم ليس بديلاً عن الإشراف الهيكلي: تتطلب الآليات الهيكلية الصريحة وجود انحياز قبل زيادة حجم النموذج عندما تتضمن المهام علاقات بين أجزاء غير متجاورة.
تحسين التفضيل يتطلب وزناً يعتمد على الشدة: في التوليد المهيكل، ليست العيوب قابلة للتبادل؛ لذا فإن وزن التدرجات بناءً على شدة المخالفة ضروري لمنع الانهيار.
الفصل بين الهيكل والمحتوى أفضل زمنياً: إن تقييد الهيكل أولاً (المرحلة الأولى) ثم تحسين المحتوى ضمن ذلك الهيكل (المرحلة الثانية) يعطي نتائج أفضل من موازنة الأهداف المتنافسة في آن واحد.
يؤكد المؤلفون تواضعهم فيما يتعلق بادعاءاتهم، مشيرين إلى أن النظام مخصص لمساعدة محترفي براءات الاختراع ويتطلب مراجعة الخبراء. كما يقرون بالقيود المتعلقة بقواعد التبعية الخاصة بكل اختصاص قضائي (مثل التبعيات المتعددة في EPO مقابل التبعية الأحادية في USPTO) وحقيقة أن تقييمهم يعتمد على تشغيل واحد دون اختبارات دلالة. يركز عملهم حصرياً على نص الادعاء وهيكل التبعية، مستبعدين استراتيجيات صياغة براءات الاختراع الأوسع مثل الحجج المتعلقة بالجدة.