ملخص تقني: التقطير ذاتي التصفية باستخدام مؤشرات الثقة المولدة بواسطة النماذج اللغوية الكبيرة لضمان موثوقية تصنيف براءات الاختراع

1. بيان المشكلة

يعد تنظيم مجموعات بيانات براءات الاختراع واسعة النط scale مهمة حيوية لإدارة المعلومات، وهي ضرورية لاسترجاع الفن السابق، واكتشاف التكنولوجيا، واتخاذ القرارات المتعلقة بالملكية الفكرية. ومع ذلك، يواجه التصنيف الآلي لبراءات الاختراع تحديات فريدة، بما في ذلك المصطلحات المتخصصة، وهياكل المطالبات المعقدة، والغموض الاستراتيجي، مما يجعل المهمة أكثر صعوبة من تصنيف النصوص في المجالات العامة.

تحاول النهج الحديثة الاستفحار من النماذج اللغوية الكبيرة (LLMs) لتوليد مبررات باللغة الطبيعية (تفسيرات) لتحسين القابلية للتفسير وتدريب نماذج "طالب" أصغر عبر عملية "التقطير المعرفي". ومع ذلك، يوجد خلل جوهري في هذا النموذج: غالبًا ما تحتوي المبررات التي تولدها النماذج اللغوية الكبيرة على تناقضات منطقية، وعدم تطابق في التصنيفات، واختلالات دلالية مع التصنيفات الخاصة بالمجال (مثل نظام تصنيف التعاوني لبراءات الاختراع أو CPC). إن التعامل مع هذه المبررات كحقائق مرجعية للإشراف بشكل غير مدروس يؤدي إلى امتصاص هذه الأخطاء أثناء التدريب، مما يقوض موثوقية التصنيف وينشر الأخطاء في عمليات المعلومات اللاحقة. تفتقر الطرق الحالية غالبًا إلى آلية للتقييم الكمي لجودة المبررات أثناء عملية التعلم، مما يؤدي إلى انتشار الهلوسة والانحراف عن المجال.

2. المنهجية: التقطير ذاتي التصفية (SFD)

يقترح المؤلفون إطار عمل التقطير ذاتي التصفية (Self-Filtered Distillation - SFD)، وهو إطار يعيد تفسير المبررات المولدة بواسطة النماذج اللغبية الكبيرة ليس كعلامات حقائق مرجعية، بل كـ مؤشرات ثقة. بدلاً من التصحيح اللاحق، يقوم SFD بدمج ضمان الجودة مباشرة في حلقة التدريب من خلال تعديل مساهمة كل عينة تدريب ديناميكيًا بناءً على درجة ثقة موحدة.

يعمل إطار العمل عبر ثلاث مراحل:

أ. التنبؤ والتوليد الاستدلالي القائم على النموذج اللغوي الكبير

يقوم نموذج لغوي كبير (معلم) بمعالجة نص براءة الاختراع المدخل $x$ لتوليد:

1. مجموعة من العلامات المتوقعة $\hat{Y}$.
2. مبرر باللغة الطبيعية $r$ يشرح التنبؤ.
   يتم تدريب النموذج الطالب لتقليل الخسارة مقابل علامات "المعلم"، ولكن يتم استخدام المبرر $r$ فقط لتقدير موثوقية العينة، وليس كإشارة إشراف مباشرة.

ب. تقييم جودة الاستدلال (درجة الثقة غير الخاضعة للإشراف)

لقيست الثقة كميًا دون الحاجة إلى تسميات بشرية، يدمج SFD ثلاثة مقاييس متكاملة غير خاضعة للإشراف في درجة الثقة المركبة (CTS):

1. الاتساق الذاتي (Self-Consistency - SC): يقيس الاستقرار المنطقي للاستدلال. يقوم النموذج المعلم بتوليد $k$ من المبررات لنفس المدخل. تُحسب SC كمتوسط تشابه جيب التمام (cosine similarity) لتمثيلات الجمل بين الأزواج. يشير SC المرتفع إلى استدلال مستقر؛ بينما يشير SC المنخفض إلى توليد عشوائي أو غير مستقر.
2. محاذاة الاستلزام الفئوي (Class Entailment Alignment - CEA): يقيم التماسك الدلالي بين مبرر التصنيف وتعريف الفئة المخصص. يستعلم النظام عن تعريف فئة CPC المتوقعة ($d_{\hat{y}}$) ويحسب تشابه جيب التمام بين تمثيل المبرر وتمثيل تعريف الفئة. يضمن ذلك توافق الاستدلال مع التصنيف الخاص بالمجال.
3. درجة اتفاق النموذج اللغوي الكبير (LLM Agreement Scoring - LAS): يقيم المعقولية الخارجية باستخدام نموذج تحقق مستقل ($LLM_{judge}$). يقوم هذا النموذج المستقل بتقييم زوج $(r, \hat{y})$ ويخرج درجة ثقة، مما يقلل من احتمالية الإفراط في الثقة لدى النموذج المولد.

يتم حساب الـ CTS كمتوسط بسيط لهذه الدرجات الثلاث:
$$CTS(x) = \frac{1}{3}(SC(x) + CEA(x) + LAS(x))$$

ج. التحكم في التدريب الواعي بالثقة

يُستخدم الـ CTS لتعديل المساهمة التعليمية لكل عينة بطريقتين:

1. التوزين الناعم (Soft Weighting): يتم تغيير حجم دالة الخسارة لكل عينة بما يتناسب مع درجة الـ CTS الخاصة بها. العينات ذات درجات الثقة المنخفضة تساهم بشكل أقل في تحديثات التدرج (gradient updates).
2. التصفية الصارمة (Hard Thresholding): يتم استبعاد العينات التي تقل درجة الـ CTS الخاصة بها عن عتبة محددة مسبقًا $\tau$ تمامًا من التدريب.

الهدف النهائي للتدريب هو تقليل الخسارة الموزونة بالثقة:
$$L = \sum_{x \in D} \mathbb{1}\{CTS(x) \ge \tau\} \cdot CTS(x) \cdot Loss(f_\theta(x), y)$$

3. المساهمات الرئيسية

يوضح البحث ثلاث مساهمات رئيسية:

• التقطير الانتقائي الواعي بالثقة: اقتراح SFD، الذي يعيد تفسير مبررات النماذج اللغوية الكبيرة كمؤشرات ثقة ويدمج ثلاثة مقاييس غير خاضعة للإشراف (SC، CEA، LAS) لتعديل مساهمات التدريب ديناميكيًا، مما يعزز التقطير المعرفي تحت الإشراف المشوب بالضجيج.
• إطار عمل تنظيم المعلومات الموثوق: توفر آلية درجة الثقة مقاييس كمية لليقين لكل قرار، مما يسمح بالقدرة على التدقيق والرقابة الشفافة على جودة تنظيم معرفة براءات الاختراع المؤتمتة على نطاق واس والواسع.
• التحقق في المجالات عالية المخاطر: التحقق من فعالية SFD في تصنيف براءات الاختراع، وهو مجال تترتب فيه عواقب قانونية واقتصادية ملموسة، مما يثبت أن التقطير الواعي بالثقة فعال تحديدًا حيث تكون الموثوقية في غاية الأهمية.

4. النتائج التجريبية

تم تقييم إطار العمل على معيار USPTO-2M، الذي يضم أكثر من 2 مليون براءة اختراع أمريكية عبر 637 فئة فرعية من نظام CPC.

• الأداء مقابل النماذج المرجعية: حقق SFD درجة 0.960 في مقياس Micro-F1، متفوقًا على أقوى نموذج مرجعي (التقطير المعزز بالمبررات) بمقدار 1.6 نقطة مئوية. ومن الملاحظ أن نماذج التصفية أحادية المقياس (مثل الاتساق الذاتي فقط أو النموذج اللغوي كحكم فقط) كان أداؤها أقل حتى من التقطير البسيط، مما يبرز ضرورة النهج متعدد الأوجه.
• تحسن Macro-F1: في بنيات الطلاب الأكبر (مثل Falcon3-3B)، حقق SFD تحسنًا نسبيًا بنسبة 38.7% في Macro-F1 مقارنة بالنماذج المرجعية، مما يثبت أن آلية الثقة تمكن بفعالية من التعلم من البيانات عالية الجودة والمصفاة حتى بالنسبة للفئات الأقل تمثيلًا.
• دراسات الاستئصال (Ablation Studies):
  • تم تحديد CEA كأهم مقياس؛ حيث أدى حذفها إلى انخفاض حاد في الأداء (انخفضت دقة المجموعة الفرعية من 0.930 إلى 0.695)، مما يؤكد أن المحاذاة التصنيفية ضرورية لتصنيف براءات الاختراع.
  • وفر LAS تصفية تكميلية ضد الهلوسة الواقعية.
  • ساعد SC بشكل أساسي في استقرار الأداء للفئات الأقل تمثيلًا.
• استقلالية النموذج: حسن الإطار الأداء باستمرار عبر أربع بنيات متنوعة للنماذج الطلاب (تتراوح من 0.6 مليار إلى 3.8 مليار معلمة)، مما يثبت أن إشارة الثقة مستقلة عن الانحيازات الاستقرائية لنماذج محددة.
• الارتباط البشري: أظهرت درجات الثقة ارتباطًا قويًا بالأحكام البشرية الخبيرة ($r = 0.685$)، مما يؤكد أن المقاييس غير الخاضعة للإشراف تقترب بفعالية من جودة الاستدلال الحقيقية.

5. الأهمية والادعاءات

يزعم البحث أن SFD يمثل تحولًا جذريًا في تنظيم المعرفة المؤتمت. فبدلاً من الاعتماد على خط إنتاج تسلسلي من "صنف أولاً، ثم تحقق لاحقًا"، يقوم SFD بدمج ضمان الجودة مباشرة في عملية التعلم.

• من التدقيق اللاحق إلى التدقيق الجوهري: يحول إطار العمل ضبط الجودة من وظيفة تدقيق خارجية إلى خاصية جوهرية للنموذ-الذي تم تعلمه.
• الثقة القابلة للتفكيك: من خلال تفكيك درجة الثقة إلى SC و CEA و LAS، يوفر النظام نتائج تصنيف "ذاتية التوثيق". فإذا كان القرار يتمتع باستقرار داخلي عالٍ ولكن محاذاة تصنيفية منخفضة، فإن النظام يشير صراحة إلى نمط الفشل المحدد هذا، مما يساعد المراجعة البشرية.
• القابلية للتوسع والموثوقية: يجادل المؤلفون بأن SFD يحل التوتر بين حجم الأتمتة وموثوقية التنظيم. فهو يسمح بمعالجة مجموعات ضخمة من براءات الاختراع مع ضمان أن إشارة التدريب نفسها منقاة لضمان الموثوقية، مما يمنع انتشار الأخطاء في تدفقات عمل الملكية الفكرية عالية المخاطر.

يخلص العمل إلى أنه بينما تقود آلية الثقة التحسينات في الأداء، فإن المكاسب المحددة في Macro-F1 تعتمد على السعة، مما يشير إلى أن النماذج الأكبر قادرة بشكل أفضل على الاستفادة من العينات عالية الجودة والمصفاة لتعلم حدود القرار المعقدة للفئات النادرة.