💬 NLP

HALvest-Contrastive: Retrieval-Like Authorship Attribution with Patch-Level Late Interaction

تقدم هذه الورقة HALvest، وهو متن لغوي ضخم متعدد اللغات من الأوراق البحثية، وإطار عمل جديد لاسترجاع التفاعل المتأخر على مستوى الرقعة (PLI) يحسن دقة إسناد المؤلفية بشكل كبير من خلال مقارنة تسلسلات من رقع التوكن بدلاً من ضغط المستندات في نواقل مفردة، مما يخفف بفعالية من الارتباكات الموضوعية.

المؤلفون الأصليون: Francis Kulumba, Wissam Antoun, Guillaume Vimont, Laurent Romary, Florian Cafiero

نُشر 2026-05-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Francis Kulumba, Wissam Antoun, Guillaume Vimont, Laurent Romary, Florian Cafiero

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول معرفة ما إذا كان كتابان مختلفان قد كُتبا من قبل نفس الشخص. عادةً، يكون هذا سهلاً إذا كان الكتابان يتحدثان عن أشياء مختلفة تماماً (مثل أحدهما عن الطبخ والآخر عن الفضاء). ولكن ماذا لو كان كلا الكتابين عن الطبخ؟

إذا سألت حاسوباً: "هل تبدو هاتان الوصفتان وكأنتا من إعداد نفس الطاهي؟"، فقد يخدعه الأمر. قد يقول "نعم!" لمجرد أن كلتا الوصفتين تستخدمان كلمات مثل ملح، وفرن، وخبز. إنه يخلط بين الموضوع (الطبخ) وبين الأسلوب (خط يد الشيف الفريد).

هذه الورقة البحثية، HALvest-Contrastive، هي بمثابة معسكر تدريبي جديد فائق الذكاء للحواسيب لتعلم كيفية رصد "خط اليد" الحقيقي للكاتب دون التشتت بالموضوع.

إليك كيف فعلوا ذلك، مقسماً إلى أجزاء بسيطة:

1. المشكلة: "فخ الموضوع"

في الماضي، كانت الحواسيب التي تحاول تحديد المؤلفات تغش. إذا رأت نصوصين عن "الذكاء الاصطناوي"، كانت تفترض أنهما كُتبا من قبل نفس الشخص لأنهما استخدما كلمة "خوارزمية".

التشبيه: تخيل أنك تحاول التعرف على صوت صديقك في حفلة صاخبة. إذا كان الجميع يصرخون حول "كرة القدم"، فقد تظن أن شخصين يتحدثان عن كرة القدم هما صديقك لمجعهما يتحدثان عن نفس الشيء. أنت بحاجة لسماع كيف يقولان ذلك، وليس ماذا يقولان.

2. الحل: مكتبة خاصة (HALvest)

بنى المؤلفون مكتبة ضخمة تسمى HALvest تحتوي على 17 مليار كلمة من الأوراق الأكاديمية المتاحة للوصول الحر.

الحيلة: لقد أنشأوا نسخة خاصة تسمى HALvest-Contrastive. في هذه النسخة، أجبروا الحاسوب على مقارنة ورقتين كتبهما نفس المؤلف، ولكن عن مواضيع مختلفة.
- مثال: الورقة (أ) عن "فيزياء الكم". الورقة (ب) عن "تاريخ الفن". كلتاهما من تأليف الدكتور سميث.
- ولأن المواضيع مختلفة تماماً، لا يمكن للحاسوب الغش بالبحث عن الكلمات المشتركة. عليه أن يتعلم أسلوب الدكتور سميث الفريد (كيف يستخدم الفواصل، طول الجملة، أو الكلمات الانتقالية) ليدرك: "مهلاً، هاتان الورقتان المختلفتان تماماً كُتبتا من قبل نفس الشخص!"

3. الطريقة الجديدة للمقارنة: "التفاعل المتأخر" (Late Interaction)

تقليدياً، كانت الحواسيب تأخذ وثيقة كاملة، وتضغطها لتصبح "رقماً ملخصاً" واحداً (متجه - vector)، ثم تقارن تلك الأرقام.

الطريقة القديمة (متجه واحد): تخيل أنك تأخذ رواية كاملة، وتضغطها لتصبح قطرة واحدة من الحبر، ثم تقارن تلك القطرة بقطرة أخرى. أنت تفقد كل التفاصيل.
الطريقة الجديدة (التفاعل المتأخر): بدلاً من ضغط الكتاب، يحتفظ الحاسوب بـ "بصمة" كل كلمة بشكل منفصل. ينظر إلى الكلمة الأولى من الكتاب (أ) ويجد أفضل تطابق لها في الكتاب (ب)، ثم الكلمة الثانية، وهكذا. ثم يجمع كل هذه التطابقات الصغيرة.
- النتيجة: هذا يشبه مقارنة كتابين صفحة بصفحة، وكلمة بكلمة، بدلاً من مجرد مقارنة غلافيهما. وقد كان هذا أفضل بكتمير.

4. اكتشاف "الرقعة" (Patch): إيجاد النقطة المثالية

تساءل الباحثون: "هل نحتاج لمقارنة كل كلمة، أم يمكننا تجميع الكلمات؟"

جربوا تجميع الكلمات في مجموعات صغيرة تسمى الرقع (patches) (مثل تجميع الكلمات في عبارات صغيرة).
النتيجة: وجدوا أن مقارنة كل كلمة بمفردها أمر رائع، لكنه بطيء ويستهلك الكثير من الذاكرة. أما تجميعهم في رقع صغيرة (حوالي 2 إلى 4 كلمات في كل مرة) فقد أعطى دقة مشابهة جداً، ولكنه كان أسرع بكثير.
المعادلة السحرية: وجدوا قاعدة بسيطة لحجم هذه الرقع: خذ الجذر التربيعي لإجمالي عدد الكلمات، واضربه في 0.18، وسيكون هذا هو حجم الرقعة.
- التشبيه: الأمر يشبه حزم حقيبة السفر. إذا كانت الرحلة قصيرة (عدد كلمات قليل)، فستحزم أشياء صغيرة بشكل فردي. أما إذا كانت الرحلة ضخمة (عدد كلمات كبير)، فستجمع الأشياء في صناديق. هناك "حجم صندوق" مثالي يوفر المساحة دون فقدان أي شيء مهم.

5. ما أثبتوه

فك الارتباط بالموضوع يعمل: عندما أزالوا "طرق الاختصار بالموضوع"، فشلت طرق عد الكلمات البسيطة (مثل البحث عن الكلمات المفتاحية المشتركة) فشلاً ذريعاً. لكن الشبكات العصبية الذكية استمرت في العمل، مما أثبت أنها تعلمت بالفعل الأسلوب، وليس فقط الموضوع.
الأسلوب مقابل المعنى: أظهروا أن نظامهم الجديد جيد جداً في رصد من كتب النص، بينما محركات البحث القياسية (التي تبحث عن المعنى) سيئة في ذلك. محرك البحث قد يظن أن ورقتين متشابهتان لأنهما تتحدثان عن "الرياضيات"، لكن هذا النظام يعرف أنهما كُتبتا من قبل أشخاص مختلفين لأن "صوت الرياضيات" مختلف.
أفضل من الطريقة القديمة: باستخدام طريقة "مستوى الرقعة" الجديدة، تحسنت الدقة بشكل كبير مقارنة بالطريقة القديمة القائمة على "ضغط كل شيء في رقم واحد".

الملخص

تقدم الورقة مجموعة بيانات جديدة وطريقة جديدة لتعليم الحواسيب كيفية التعرف على الأسلوب الفريد للكاتب، حتى عندما يكتبون عن مواضيع مختلفة تماماً. لقد اكتشفوا أن النظر إلى مجموعات صغيرة من الكلمات (الرقع) بدلاً من الكلمات المنفردة أو الوثائق الكاملة هو منطقة "غولديلوكسس" (المنطقة المثالية) — حيث تجمع بين السرعة والدقة.

ملاحظة هامة: تركز الورقة البحثية حصرياً على الأوراق الأكاديمية وقصص المعجبين (للاختبار). وهي لا تدعي أن هذه التكنولوجيا جاهزة للتجسس على الناس، أو ضبط الجواسيس، أو الاستخدامات الطبية. إنها مجرد أداة لفهم كيف يمكن للحواسيب تعلم التعرف على أساليب الكتابة.

ملخص تقني: HALvest-Contrastive

بيان المشكلة

تواجه عملية "تحديد هوية المؤلف" (Authorship Attribution - AA) تحديًا مستمرًا يُعرف بـ الارتباط الموضوعي المربك (topical confounding). غالبًا ما تعجز الأساليب الإحصائية والعصبية التقليدية عن التمييز بين التشابه الأسلوبي والتداخل الموضوعي؛ حيث يظهر الكُتّاب الذين يتناولون نفس الموضوع كأنهم أكثر تشابهًا لدى النموذج من كاتب واحد يتناول موضوعين مختلفين. وبينما اعتمدت أنظمة تحديد هوية المؤلف العصبية على التعلم التبايني (مثل triplet loss)، إلا أنها غالبًا ما تعتمد على ضغط المستندات الكاملة في نواقل (vectors) مفردة عبر "التجميع المتوسط" (mean pooling)، وهي استراتيجية موروثة من الأساليب الإحصائية المبكرة ولكنها قد تكون دون المستوى الأمثل لالتقاط الإشارات الأسلوبية الدقيقة. علاوة على ذلك، تفشل المعايير المرجعية الحالية غالبًا في الفصل بدقة بين الموضوع وتحديد الهوية، مما يسمح للنماذج بالاعتماد على "اختصارات موضوعية" (التداخل المعجمي) بدلًا من تعلم التوزيعات الأسلوبية الحقيقية.

المنهجية

1. مجموعة بيانات HALvest ومعيار HALvest-Contrastive

يقدم المؤلفون HALvest، وهي مجموعة بيانات متعددة اللغات تتكون من 17 مليار توكن (token) تم جمعها من 778,000 ورقة بحثية مفتوحة المصدر عبر مستودع HAL. ومن خلالها، استخلصوا HALvest-Contrastive، وهو معيار مخصص للغة الإنجليزية مصمم لفرض فك الارتباط الموضوعي:

الأزواج الإيجابية (Positive Pairs): يتم سحب الفقرات "المرتكزة" و"الإيجابية" من أوراق بحثية مختلفة لنفس مجموعة المؤلفين، مما يضمن أدنى حد من التداخل الموضوعي مع الحفاظ على الاتساق الأسلوبي.
الأزواج السلبية (Negative Pairs): يتم استخراج الأزواج السلبية من نفس المجال التخصصي ولكن بواسطة مجموعات مؤلفين مختلفين.
التوسيم (Labeling): الحقيقة الأرضية (ground truth) هي مجموعة المؤلفين (المؤلفون المشاركون) وليس فردًا واحدًا، مما يعكس بنية البيانات الوصفية لمستودعات الأوراق البحثية ويتجنب الاستدلالات التعسفية للمؤلف المنفرد.
أطوال النطاقات (Span Lengths): تدعم مجموعة البيانات أطوال نطاقات متغيرة ( $k \in \{2, 4, 6, 8, 10\}$ جملة) لتقييم كيفية توسع الإشارات الأسلوبية مع طول النص.

2. بنية شبيهة بأنظمة الاسترجاع لعملية تحديد هوية المؤلف

يطبق البحث "منهجية الاسترجاع" (retrieval playbook) على تحديد هوية المؤلف، مبتعدًا عن الـ triplet loss التقليدي وتجميع المتجهات المفردة:

دالة الخسارة (Loss Function): يستخدم المؤلفون InfoNCE (تقدير التباين الضوضائي) بدلاً من triplet loss. يستفيد InfoNCE من تجمعات كبيرة من السلبيات داخل الدفعة الواحدة (in-batch negative pools)، مما يركز التدرجات بشكل طبيعي على السلبيات الصعبة (المستندات المتشابهة موضوعيًا ولكنها ذات مؤلفين مختلفين)، مما يساعد في فك الارتباط بين الأسلوب والموضوع.
دقة التفاعل (Interaction Granularity): يبحث البحث في ثلاثة أوضاع للتنقيط (scoring):
1. التجميع بمتجه مفرد (Single-Vector Pooling): التجميع المتوسط القياسي لمتجهات التوكن متبوعًا بتشابه جيب التمام (cosine similarity).
2. التفاعل المتأخر (Late Interaction - LI): تُمثل المستندات كسلاسل كاملة من متجهات التوكن. يستخدم التنقيط تقنية MaxSim (مجموع أقصى تشابهات جيب التمام بين توكنات الاستعلام والمستند)، وهي تقنية شائعة في الاسترجاع الكثيف (مثل ColBERT).
3. التفاعل المتأخر على مستوى الرقعة (Patch-Level Late Interaction - PLI): تُجمع متجهات التوكن في رقع (patches) متصلة (إما n-grams ثابتة أو كلمات كاملة)، ثم تُجمع في متجهات رقعة واحدة، ويتم المطابقة عبر MaxSim على مستوى الرقعة. هذا يقلل من التكاليف التخزينية والحسابية مع الحفاظ على دقة التفاعل.

المساهمات الرئيسية

HALvest و HALvest-Contrastive: إصدار مجموعة بيانات بحثية ضخمة متعددة اللغات ومعيار إنجليزي مُحكم البناء يقلل من التداخل الموضوعي بين الأزواج ذات المؤلف نفسه، مما يوفر بروتوكول تقييم أكثر صرامة لعلم الأساليب (stylometry).
التحقق التجريبي من فك الارتباط الموضوعي: يوضح المؤلفون أن النماذج المعجمية الأساسية (مثل BM25) تعاني من انخفاض كبير في الأداء عند إزالة الاختصارات الموضوعية، بينما تحافظ النماذج العصبية (مثل RoBERtiA) على دقتها، مما يؤكد أن المعيار ينجح في عزل الإشارات الأسلوبية.
دراسة الدقة (Granularity Study): تكشف المقارنة المنهجية لاستراتيجيات التجميع أن التفاعل المتأخر (LI) يتفوق بشكل كبير على التجميع المتوسط. والأهم من ذلك، يقدم البحث التفاعل المتأخر على مستوى الرقعة (PLI)، موضحًا أن تجميع التوكنات في رقع يعطي نتائج مماثلة أو أفضل قليلاً من التفاعل على مستوى التوكن الكامل مع تقليل عدد المتجهات.
الملاءمة التجريبية لحجم الرقعة: حدد المؤلفون استدلالًا عمليًا لحجم الرقعة الأمثل $n^*$ بالنسبة لعدد التوكنات $S$ : $n^* \approx 0.18 \cdot \sqrt{S}$ . وهذا يشير إلى أن دقة التفاعل المثلى تتوسع بشكل دون خطي مع طول المستند.

النتائج

فك الارتباط الموضوعي: في إعداد "القاعدة" (Base) (المقيد)، تنخفض دقة BM25 بنحو 11 نقطة مئوية مقارنة بإعداد "غير المقيد" (Unrestricted)، بينما تظهر النماذج العصبية (RoBERTa) متانة، مما يشير إلى أنها تتعلم إشارات تتجاوز التداخل المعجمي.
مكاسب الأداء: تتفوق متغيرات التفاعل المتأخر (LI) و (PLI) باستمرار على التجميع المتوسط عبر جميع المقاييس (Recall@k, nDCG@k) وأطوال النطاقات. تبلغ الزيادة حوالي 20% مقارنة بالتجميع المتوسط عند تثبيت المشفر وتبديل المقيّم (scorer).
مقايضات الدقة: بينما يعد التفاعل المتأخر (LI) على مستوى التوكن تنافسيًا، فإن متغيرات PLI ذات السياسة الثابتة (خاصة متغيرات n-gram) غالبًا ما تضاهي أو تتجاوز قليلاً أداء مستوى التوكن مع تكلفة حسابية أقل. يختلف $n$ الأمثل باختلاف طول النطاق ولكنه يتبع اتجاه $\sqrt{S}$ .

التعميم عبر المجالات: تحقق النماذج المدربة على HALvest-Contrastive دقة ثلاثية (triplet accuracy) قوية في وضع الصفر (zero-shot) بلغت (0.740) على مجموعة بيانات PAN19 للقصص الخيالية، مما يشير إلى أن التمثيلات المتعلمة تلتقط أسلوب التأليف بدلاً من مجرد السجل الأكاديمي أو الموضوع.

توسيع السلبيات: تؤدي زيادة حجم تجمع السلبيات داخل الدفعة (من 256 إلى 512) إلى تحسينات مستمرة، وإن كانت صغيرة، مما يتماشى مع النتائج في أدبيات استرجاع المعلومات.

الأهمية والادعاءات

يجادل البحث بأن النثر الأكاديمي هو بيئة اختبار مثالية لعلم الأسال_م (stylometry) نظرًا لطبيعته منخفضة الإنتروبيا والمعيارية، مما يجعل البقايا الأسلوبية أسهل في العزل عن الضجيج الموضوعي. ومن خلال تطبيق تقنيات الاسترجاء (InfoNCE والتفاعل المتأخر) على تحديد هوية المؤلف، يثبت المؤلفون أن:

تحديد هوية المؤلف يختلف عن الاسترجاع الدلالي: تفصل نماذج الأسلوب المضبطة (fine-tuned) بين الأزواج ذات المؤلفين المختلفين بفعالية، بينما تفشل المشفرات الدلالية (مثل E5) في التمييز بين المؤلفين رغم التشابه الدلالي العالي.
الدقة (Granularity) مهمة: يمكن نقل "منهجية الاسترجاء" إلى تحديد هوية المؤلف، ولكن دقة التفاعل المثلى هي مسأة دقيقة. فالمطابقة على مستوى التوكن ليست متفوقة دائمًا؛ إذ توفر "الرقع" (patching) بديلاً فعالًا حاسوبيًا يحافظ على الأداء.
الفائدة العملية: توفر الصيغة المستمدة $n^* \approx 0.18 \cdot \sqrt{S}$ نقطة بداية عملية للممارسين الذين يصممون أنظمة تحديد هوية المؤلف، حيث توازن بين الدقة وتكاليف التخزين والاستدلال.

يخلص المؤلفون إلى أنه بينما يحسن نموذج الاسترجاء الأداء، فإن الاختيار المحدد لدقة التفاعل (الرقع مقابل التوكنات) يعد خيار تصميم بالغ الأهمية يختلف عن مهام الاسترجاع الدلالي القياسية. يوفر العمل الأكواد المصدرية، وسكريبتات بناء مجموعة البيانات، والمجموعة نفسها لتسهيل الأبحاث المستقبلية.