SegNSP: Revisiting Next Sentence Prediction for Linear Text Segmentation

ملخص تقني: SegNSP: إعادة النظر في التنبؤ بالجملة التالية لتجزئة النصوص الخطية

1. بيان المشكلة

تجزئة النصوص الخطية (LTS) هي مهمة تقسيم تدفق مستمر من النصوص إلى سلسلة من الأجزاء المتماسكة موضوعياً. يعد هذا تحدياً جوهرياً في معالجة اللغات الطبيعية (NLP) لأن حدود المواضيع غالباً ما تكون تدريجية، وذاتية، وتفتقر إلى علامات صريحة، خاصة في المستندات الطويلة وغير المنظمة مثل النصوص القانونية أو محاضر الاجتماعات. وبينما حسنت النماذج اللغوية الكبيرة (LLMs) الحديثة فهم المستندات، إلا أنها غالباً ما تعاني في تحديد الإزاحات الدقيقة للحدود المطلوبة للتجزئة، وتواجه تكاليف حوسبة عالية، وتكون عرضة لظاهرة الهلوسة.

2. المنهجية

يقترح المؤلفون SegNSP، وهو نهج خفيف الوزن يعتمد على المشفر (encoder-based)، يعيد صياغة تجزئة النصوص الخطية كمهمة تنبؤ بالجملة التالية (NSP). وخلافاً لـ NSP القياسي المستخدم في مرحلة ما قبل التدريب (والذي يُعت de يعتبر غالباً عتيماً)، فقد تم تكييف SegNSP خصيصاً للكشف عن الحدود من خلال ثلاثة ابتكارات تقنية رئيسية:

• صياغة مستقلة عن التسميات (Label-Agnostic): بدلاً من اشتراط تسميات موضوعية صريحة (مما يحد من إمكانية نقل النموذج إلى مجالات جديدة)، يعامل SegNSP التجزئة كمسألة تصنيف لأزواج الجمل. فهو يتنبأ بما إذا كانت الجملة $s_{i+1}$ تستمر في موضوع $s_i$ أم أنها تمثل حداً فاصلاً.
• استراتيجية تدريب مكيفة:
  • نسب متوازنة للمجال: لمكافحة ندرة الحدود في النصوص الطبيعية، يفرض المؤلفون توزيعاً ثابتاً بنسبة 70/30 للأزواج داخل الجزء الواحد (إيجابية) والأز pairs بين الأجزاء (حدودية).
  • أخذ العينات السلبية الصعبة (Harder Negative Sampling): لمنع النموذج من الاعتماد على إشارات سطحية، يتضمن التدريب "عينات سلبية صعبة" — وهي أزواج جمل غير متطابقة عشوائياً من داخل نفس المستند — مما يجبر النموذج على تعلم الاستمرارية الدلالية الدقيقة.
• دالة خسارة مدركة للتجزئة: يستخدم النموذج دالة خسارة مركبة:
  $$L_{seg} = L_{focal} + \lambda_1 L_{conf} + \lambda_2 L_{bound}$$
  وهي تجمع بين خسارة فوكال (Focal Loss) (للتعامل مع عدم توازن الفئات)، وعقوبة الثقة (لمنع التنبؤات الخاطئة ذات الثقة المفرطة)، ووزن الحد (لإعطاء الأولوية للدقة عند نقاط الانتقال الحرجة).

تستخدم البنية المشفر BERT مسبق التدريب، حيث يتم تغذية تمثيل رمز [CLS] لزوج الجمل المدمج إلى مصنف خطي لإنتاج احتمالية حدوث تحول في الموضوع.

3. المساهمات الرئيسية

• إعادة النظر في NSP: إثبات أن هدف NSP "العتيق" يمكن أن يكون فعالاً للغاية لتجزئة النصوص الخطية عند تعديله باستخدام ضبط دقيق متخصص للمجال ودوال خسارة متخصصة.
• معيار مرجعي جديد: إنشاء أول معيار مرجعي للتجزئة لـ CitiLink-Minutes، وهي مجموعة بيانات برتغالية لمحاضر اجتماعات المجالس البلدية، مما يوفر بيئة اختبار واقعية للخطاب الإداري والتشاوري.
• الكفاءة: تقديم بديل خفيف الوزن، وقابل للتحكم، ويعتمد على المشفر، كبديل للنماذج اللغوية التوليدية المكلفة حوسبياً.
• العلم المفتوح: إصدار الكود التجريبي، والنماذج المضبوطة بدقة، وعرض توضيحي تفاعلي.

4. النتائج

تم تقييم النموذج على مجموعتي بيانات متميزتين: WikiSection (مقالات ويكيبيديا المهيكلة) و CitiLink-Minutes (محاضر اجتماعات برتغالية غير مهيكلة).

• WikiSection (en_city): حقق SegNSP قيمة B-F1 بلغت 0.65، متفوقاً بشكل ملحوظ على أقوى خط أساس قابل لإعادة الإنتاج، TopSeg، بمقدار 0.17 نقطة مطلقة.
• CitiLink-Minutes: حقق SegNSP قيمة B-F1 بلغت 0.79 و تشابه حدود (B) بلغ 0.59، مما أظهر توافقاً عالياً مع الانتقالات الموثقة بشرياً في النصوص الإدارية المعقدة.
• القوة عبر المجالات: أظهرت عملية التحقق المتقاطع (Leave-one-municipality-out) على مجموعة البيانات البرتغالية أنه بينما يختلف الأداء بناءً على الاصطلاحات الأسلوبية المحلية، فإن النموذج يعمم بشكل جيد عبر السياقات الإدارية المختلفة.
• المقارنة مع النماذج اللغوية الكبيرة (LLMs): تفوق النموذج على خط الأساس للنماذج اللغوية التوليدية (LumberChunker/Gemini) من حيث دقة الحدود، مما يسلط الض الضوء على ميزة المشفرات المتخصصة للمهام التي تتطلب إزاحات دقيقة.

5. الأهمية

يثبت هذا العمل أن التدريب المتخصص والموجه للمهام لنماذج المشفر الأصغر يمكن أن يتفوق على النماذج التوليدية الضخمة في المهام الهيكلية لمعالجة اللغات الطبيعية. ومن خلال توفير طريقة قوية لتجزئة محاضر الاجتماعات والسجلات الإدارية الأخرى، فإن SegNSP له آثار مباشرة على التوليد المعزز بالاسترجاع (RAG) واسترجاع المعلومات (Information Retrieval)، حيث تعتبر "القطع" (chunks) ذات التماسك الدلالي العالي ضرورية للمعالجة الدقيقة في المراحل اللاحقة.