ملخص تقني: النماذج اللغوية الكبيرة، بنيات المشفرات، والنهج الهجينة لتصنيف براءات الاختراع

بيان المشكلة

يعد التصنيف الآلي لبراءات الاختراع مهمة أساسية لتنظيم المعرفة التكنولوجية، وبناء مؤشرات الابتكار، ودعم عمليات مكاتب براءات الاختراع. وبينما أصبحت نماذج المشفرات الخاضعة للإشراف (مثل متغيرات BERT) هي المعيار لتصنيف التعاوني لتصنيف براءات الاختراع (CPC) متعدد الملصقات الهرمي، إلا أن ظهور النماذج اللغوية الكبيرة (LLMs) قد قدم نموذجًا جديدًا قادرًا على التصنيف في حالات "الصفر محاولة" (zero-shot) و"القليل من المحاولات" (few-shot). ومع ذلك، لا تزال هناك عدة فجوات حرجة في الأدبيات:

1. الافتقار إلى المقارنة المنضبطة: لا توجد مقارنة صارمة بين المشفرات القوية والمتكيفة مع المهام وبين النماذج اللغوية الكبيرة تحت ظروف تدريب واستدلال متماثلة.
2. عدم وضوح التكامل: من غير المعروف ما إذا كانت المشفرات والنماذج اللغوية الكبيرة تفشل في مجموعات فرعية مختلفة من براءات الاختراع، أو ما إذا كان الجمع الانتقائي يمكن أن يحسن الأداء في الحالات الصعبة.
3. الأثر المترتب على المهام اللاحقة: تركز معظم الدراسات على المقاييس التنبؤية (مثل مقاييس F1) دون تحليل كيفية انتقال أخطاء نماذج معينة إلى المؤشرات العلمية اللاحقة، مثل تعداد التكنولوجيا وتصنيفات الدول والجهات الممنوحة لها.
4. إهمال الكفاءة: نادرًا ما يتم تقييم التكلفة الحسابية واستهلاك الطاقة للنهج القائمة على النماذج اللغوية الكبيرة كمعايير أساسية مقابل المشفرات التقليدية.

المنهجية

تجري الدراسة مقارنة منضبطة باستخدام مجموعة بيانات USPTO-70k المرجعية (70,250 براءة اختراع)، مقسمة زمنياً إلى مجموعات تدريب (2006-2017)، وتحقق (2018)، واختبار (2019). المهمة هي التصنيف متعدد الملصقات الهرمي على مستوى الفئة الفرعية لـ CPC.

عائلات النماذج والتكيف

1. المشفرات الخاضعة للإشراف: تم تقييم أربعة نماذج: BERT، وSciBERT، وPatentSBERTa، وBERT-for-Patents.
   • التكيف: تم تعزيز أفضل مشفر أداءً (BERT-for-Patents) باستراتيجيات تدريب مدركة للذيل الطويل (long-tail-aware)، بما في ذلك الخسارة غير المتماثلة وأخذ العينات الزائدة، لمعالجة عدم توازن الفئات.
2. النماذج اللغوية الكبيرة (LLMs): تم اختبار خمسة نماذج مضبوطة بالتعليمات: Phi-3 Mini، وMistral-7B، وLLaMA-3.1-8B، وQwen3.5-9B، وGemma4-12B.
   • الاستراتيجيات: تم تقييم النماذج تحت سيناريوهات التلقين بصفر محاولة، وقليل من المحاولات، والتوليد المعزز بالاسترجاع (RAG).
   • التكيف: خضع النموذج الأفضل أداءً (Qwen3.5-9B) لعملية ضبط دقيق باستخدام LoRA (التكيف منخفض الرتبة) مع مسح شامل للمعلمات الفائقة للرتبة، وعامل القياس، ومعدل التعلم، وطول التسلسل.
3. التوجيه الهجين: تم بناء خط معالجة هجين يعتمد على عدم اليقين. يقوم نموذج BERT-for-Patents المتكيف بتصنيف جميع براءات الاختراع، ثم تُحال أكثر $k$ توقعات عدم يقين (تم اختبار نسب توجيه 2%، 5%، 10%، 20%) إلى نموذج Qwen3.5-9B الذي تم ضبطه بـ LoRA لإعادة الصقل والتحسين.

مقاييس التقييم والنطاق

• الأداء التنبئي: Micro-F1، وMacro-F1، وHierarchical F1 (H-F1).
• الكفاءة: وقت الاستدلال، واستهلاك الطاقة (كيلوواط ساعة)، وانبعاثات ثاني أكسيد الكربون المقاسة عبر CodeCarbon.
• الانتشار اللاحق: تحليل "تشوه التعداد" (الخطأ المطلق الموزون في تعداد الفئات الفرعية) و"إزاحة التصنيف" (متوسط التغيير المطلق في تصنيفات الدول والجهات الممنوحة لها) مقارنة بالملصقات المرجعية الذهبية.
• التحقق الخارجي: تم اختبار النماذج على مجموعة بيانات خارجية مكونة من 10,000 براءة اختراع من مكتب البراءات الأوروبي (EPO) للفترة (2019-2022) دون إعادة تدريب لتقييم متانة التحول في النطاق.

النتائج الرئيسية

1. الأداء التنبئي والتكيف

• المشفرات مقابل النماذج اللغوية الكبيرة: حقق نموذج BERT-for-Patents (المتكيف مع الذيل الطويل) أعلى أداء إجمالي بـ Micro-F1 قدره 0.616، وMacro-F1 قدره 0.410، وH-F1 قدره 0.694.
• أداء النماذج اللغوية الكبيرة: حقق نموذج Qwen3.5-9B المضبوط بـ LoRA قيمة Micro-F1 بلغت 0.602، وMacro-F1 بلغت 0.379. وبينما قلص LoRA الفجوة بشكل كبير مقارنة بخط الأساس القائم على قليل من المحاولات (Micro-F1 0.525)، إلا أن النموذج اللغوي الكبير لم يتفوق على المشفر المتكيف في المقاييس الإجمالية.
• النظام الهجين: حقق تكوين التوجيه الهجين بنسبة 5% أفضل توازن، حيث حقق Micro-F1 قدره 0.614، وMacro-F1 قدره 0.412. والأهم من ذلك، أنه في المجموعة الفرعية الموجهة من براءات الاختراع غير المؤكدة، أظهر النظام الهجين مكاسب كبيرة (على سبيل المثال، ارتفع Micro-F1 من 0.298 إلى 0.378 عند توجيه 5%)، مما يؤكد أن النماذج اللغوية الكبيرة تقدم قيمة تكميلية أساسًا لحالات عدم اليقين العالية.

2. تحليل الخطأ والأثر اللاحق

• الاتساع الدلالي: لم تكن أخطاء التصنيف مدفوعة فقط بتكرار الملصقات. وُجد ارتباط سلبي بين الاتساع الدلالي (عدم التجانس الداخلي للفئة الفرعية) ودرجات F1.
• صعوبة القسم Y: ثبت أن القسم Y (التقنيات المتقاطعة، مثل تغير المناخ) أصعب بكثير في التصنيف عبر جميع النماذج (Micro-F1 ~0.44 للمشفرات مقابل ~0.61 إجماليًا). وقد استمرت هذه الصعوبة حتى بعد التحكم في تكرار التدريب ودعم الاختبار.
• تشوه المؤشرات: أدت الأخطاء في القسم Y إلى تشوهات كبيرة في تعداد التكنولوجيا (الخطأ الموزون ~53% للمشفرات مقابل ~22% إجماليًا) وإزاحات في تصنيفات الدول والجهات الممنوحة لها.
• تفاوت قوة النماذج: من المثير للاهتمام أنه بينما كان للمشفر دقة تنبؤية أعلى، فإن نموذج Qwen3.5-9B-LoRA أنتج أصغر إزاحة في تصنيفات الدول والجهات الممنوحة لها، مما يشير إلى أن مقاييس التنبؤ الإجمالية لا ترتبط دائمًا بشكل مثالي باستقرار المؤشرات العلمية اللاحقة.

3. مقايضات الطاقة والكفاءة

• استهلاك الطاقة: تطلب النموذج اللغوي الكبير (Qwen3.5-9B-LoRA) حوالي 101 دقيقة و0.583 كيلوواط ساعة للاستدلال على 10,000 براءة اختراع، منتجًا حوالي 0.0023 كجم من ثاني أكسيد الكربون.
• المقارنة: تطلبت نماذج المشفر طاقة أقل بـ مرتبة أو مرتبتين للاستدلال مع تحقيق أداء تنبئي متفوق أو مماثل. حافظ النظام الهجين على كفاءة المشفر لغالبية المتن مع تحمل تكاليف النموذج اللغوي الكبير فقط للمجموعة الفرعية غير المؤكدة.

الأهمية والادعاءات

تدعي الورقة أنها تقدم تقييمًا منضبطًا ومتعدد الأبعاد لبنيات المشفرات والنماذج اللغوية الكبيرة لتصنيف براءات الاختراع، متجاوزة مجرد مقاييس الدقة لتشمل الكفاءة والصلاحية اللاحقة.

1. تفوق المشفر في النطاق الواسع: بالنسبة لتصنيف براءات الاختراع واسع النطاق، تظل المشفرات الخاصة ببراءات الاختراع (خاصة تلك المتكيفة مع توزيعات الذيل الطويل) هي الأساس الأكثر موثوقية وكفاءة. فهي تتفوق حتى على النماذج اللغوية الكبيرة المضبوطة في المقاييس الإجمالية، بينما تستهلك طاقة أقل بكثير.
2. الهجنة المستهدفة: يجب عدم النظر إلى النماذج اللغوية الكبيرة كبديل كلي للمشفرات، بل كـ آلية صقل انتقائية. إن النهج الهجين الذي يوجه فقط براءات الاختراع الأكثر عدم يقين إلى نموذج لغوي كبير يحقق مكاسب كبيرة في الحالات الصعبة دون التكلفة الباهظة للاستدلال الكامل على كامل المتن.
3. طبيعة صعوبة التصنيف: العائق الرئيسي أمام التصنيف الدقيق ليس فقط ندرة البيانات، بل الاتساع الدلالي وعدم تجانس الفئات. الفئات المتقاطعة مثل القسم Y صعبة بطبيعتها، مما يؤدي إلى أخطاء منهجية تشوه المؤشرات التكنولوجية.
4. تفاوت المقاييس: الدقة التنبؤية (Micro-F1) وموثوقية المؤشرات اللاحقة (استقرار التصنيف) مرتبطان ولكن مختلفان. قد يحافظ النموذج ذو درجات F1 الأقل قليلاً على ترتيب الجهات النسبية بشكل أفضل من النموذج ذي الأداء الأعلى، مما يعني أن اختيار النموذج يجب أن يتماشى مع التطبيق اللاحق المحدد (مثل العدّ مقابل التصنيف).

يخلص المؤلفون إلى أنه بينما توفر النماذج اللغوية الكبيرة قدرات قيمة لحالات محددة وغير مؤكدة، يجب أن تظل مشفرات براءات الاختراع هي الوضع الافتراضي للنشر واسع النطاق، مع استخدام النماذج اللغوية الكبيرة بشكل انتقائي حيث توفر ميزة واضحة وقابلة للقياس. يجب أن يركز العمل المستقبلي على دمج تعريفات CPC والهياكل الشبكية للتعامل بشكل أفضل مع الفئات المنتشرة دلاليًا.