💬 NLP

GerAV: Towards New Heights in German Authorship Verification using Fine-Tuned LLMs on a New Benchmark

تقدم هذه الورقة GerAV، وهو معيار شامل للتحقق من التأليف باللغة الألمانية يضم أكثر من 400 ألف زوج نصي مصنف من تويتر وريديت، وتُظهر أن النماذج اللغوية الكبيرة التي تم ضبطها بدقة تتفوق بشكل كبير على النماذج المرجعية الحالية ونموذج GPT-5، مع الكشف عن وجود مقايضة بين التخصص والتعميم عبر مجالات البيانات المختلفة.

المؤلفون الأصليون: Lotta Kiefer, Christoph Leiter, Sotaro Takeshita, Elena Schmidt, Steffen Eger

نُشر 2026-04-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Lotta Kiefer, Christoph Leiter, Sotaro Takeshita, Elena Schmidt, Steffen Eger

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك محقق تحاول حل لغز: هل كتب هذين الرسالتين شخصان مختلفان، أم أنهما لنفس الشخص؟

هذا هو جوهر التحقق من التأليف (AV). في العالم الحقيقي، يساعد هذا الشرطة في القبض على المجرمين الذين يختبئون خلف حسابات مجهولة، كما يساعد مدققي الحقائق في رصد ما إذا كانت قصة الأخبار المزيفة قد كُتبت من قبل مروج معروف.

لفترة طويلة، أُجري معظم البحث حول هذا "العمل التحقيقي الرقمي" باللغة الإنجليزية. الأمر يشبه امتلاك مكتبة ضخمة من الأدلة بالإنجليزية، ولكن مع وجود كتب قليية جداً باللغة الألمانية. هذه الورقة البحثية، التي تسمى GerAV، هي بمثابة بناء تلك المكتبة المفقودة واختبار أفضل أدوات التحقيق الجديدة عليها.

إليك قصة الورقة البحثية، مقسمة إلى أجزاء بسيطة:

1. ملف القضية الجديد: GerAV

أنشأ الباحثون مجموعة بيانات ضخمة جديدة تسمى GerAV. فكر في هذا كأنه "كتاب صور جنائية" ضخم لأساليب الكتابة الألمانية.

الحجم: يحتوي على أكثر من 400,000 زوج من الرسائل النصية.
المصادر: جلبوا منشورات من تويتر (قصيرة وموجزة، مثل التغريدة) وريديت (أطول وأكثر حوارية، مثل المنتديات).
اللمسة المميزة: لم يكتفوا بوضع كل شيء في كومة واحدة، بل نظموها في "غرف تدريب" مختلفة:
- نفس الموضوع: منشوران عن الطبخ (من السهل اكتشاف ما إذا كان الكاتب هو نفسه).
- مواضيع مختلفة: منشور عن الطبخ، والآخر عن السياسة (وهذا أصعب، لأن المحتوى يتغير، لذا يجب على المحقق أن ينظر فقط إلى كيفية كتابة الشخص).
- الملف الشخصي الكامل: بدلاً من منشور واحد، أعطوا المحقق تاريخ الكاتب بالكامل (مثل قراءة مذكرات شخص ما بالكامل مقابل قراءة جملة واحدة فقط).

2. أدوات التحقيق: القديمة مقابل الجديدة

اختبر الباحثون نوعين من المحققين:

المحققون من المدرسة القديمة (النماذج المرجعية): هذه هي الطرق التقليدية. بعضها ينظر إلى أنماط الكلمات (مثل عد كم مرة يستخدم الشخص حرف "e")، بينما يستخدم البعض الآخر نماذج ذكاء اصطناعي قديمة. إنهم يشبهون المحققين الذين يعتمدون على عدسة مكبرة وطقم بصمات.
المحققون الخارقون (نماذج اللغات الكبيرة - LLMs): هذه هي نماذج اللغات الكبيرة (مثل الذكاء الاصطناعي الذي قد تدردش معه). أخذ الباحثون نماذج ذكاء اصطناعي قوية ومفتوحة المصدر (مثل Gemma و Llama) وأعطوها دورة تدريبية مكثفة على مجموعة بيانات GerAV. هذا يسمى الضبط الدقيق (Fine-tuning). إنه يشبه أخذ عبقري يعرف كل شيء عن اللغة وتعليمه خصيصاً كيفية تمييز الأسلوب بدلاً من مجرد الحقائق.

3. المواجهة الكبرى: من الفائز؟

كانت النتائج واضية: المحققون الخارقون هم الفائزون.

البطل: نسخة مضبوطة بدقة من نموذج Gemma-3-12b (نموذج ذكاء اصطناعي محدد) أصبحت أفضل محقق. لقد سجلت 0.83 على مقياس من 0 إلى 1.
الفجوة: أفضل محقق من "المدرسة القديمة" سجل 0.74 فقط. قد يبدو هذا الرقم صغيراً، ولكن في عالم الذكاء الاصطناعي، هذه فجوة هائلة.
هزيمة العمالقة: حتى اختبر الباحثون العملاق "مغلق المصدر" GPT-5 (ذكاء اصطناعي مشهور جداً ومكلف للغاية). حتى GPT-5، عندما طُلب منه التخمين دون أي تدريب خاص (Zero-shot)، هُزم أمام نموذجهم الأصغر والمجاني الذي تم ضبطه بدقة.

4. الأدلة الخادعة: ما الذي يجعل الأمر صعباً؟

وجدت الورقة بعض "الفخاخ" المثيرة للاهتمام في التحقيق:

مشكلة الطول: إذا كان النص قصيراً جداً (مثل تغريدة من 10 كلمات)، فالأمر يشبه محاولة التعرف على مغنٍ من خلال سماع نوتة موسيقية واحدة فقط. هذا صعب جداً. يصبح الذكاء الاصطناعي أفضل بكثير مع زيادة طول النص (حتى حوالي 900 كلمة).
فخ "المتخصص": إذا دربت محققاً فقط على منشورات الطبخ في "ريديت"، فسيصبح بارعاً في اكتشاف كتاب الطبخ ولكنه سيكون سيئاً في اكتشاف كتاب السياسة.
- الحل: كانت أفضل استراتيجية هي تدريب الذكاء الاصطناعي على مزيج من كل شيء (تويتر، ريديت، طبخ، سياسة). هذا خلق محققاً "عاماً" يمكنه التعامل مع أي موقف تقريباً، حتى لو لم يكن مثالياً في كل مهمة محددة.
اللغة تفرق: عندما حاولوا استخدام ذكاء اصطناعي مدرب على بيانات إنجليزية لحل قضايا ألمانية، فشل الأمر فشلاً ذريعاً. الأمر يشبه محاولة حل لغز ألماني باستخدام قاموس يحتوي فقط على كلمات إنجليزية. أنت بحاجة إلى محقق مدرب على اللغة الألمانية.

5. لماذا هذا مهم؟

هذه الورقة البحثية أمر هام لثلاثة أسباب:

سد الفجوة: أصبح لدينا أخيراً معيار مرجعي ضخم وعالي الجودة للتحقق من التأليف باللغة الألمانية.
إثبات جاهزية الذكاء الاصطناوي: نماذج الذكاء الاصطناعي مفتوحة المصدر والمضبوطة بدقة أصبحت الآن أفضل من الطرق التقليدية، بل ويمكنها هزيمة العمالقة الضخام ومغلقي المصدر مثل GPT-5 في مهام محددة.
الجان_ب العملي: نظرًا لأن هذه النماذج مفتوحة المصدر، يمكن لقوات الشرطة والباحثين وفرق الأمن استخدامها محلياً دون دفع رسوم باهظة أو القلق بشأن خصوصية البيانات.

باختصار: بنى الباحثون "مكتبة أساليب" ألمانية ضخمة، ودربوا جيلاً جديداً من محققي الذكاء الاصطناعي، وأثبتوا أنه مع التدريب الصحيح، يمكن لهذه الأنظمة اكتشاف المؤلف المزيف بشكل أسرع وأكثر دقة من أي وقت مضى. لقد أظهروا أنه بينما يتغير المحتوى (ما تقوله)، فإن بصمة أسلوبك الفريدة (كيف تقوله) يصعب تزييفها.

إليك ملخص تقني مفصل لورقة البحث بعنوان "GerAV: نحو آفاق جديدة في التحقق من هوية الكاتب باللغة الألمانية باستخدام النماذج اللغوية الكبيرة الضخمة (LLMs) التي تم ضبطها بدقة على معيار مرجعي جديد."

1. بيان المشكلة

التحقق من هوية الكاتب (AV) هو مهمة تحديد ما إذا كان نصان قد كُتبا بواسطة نفس المؤلف. وبينما تمت دراسة هذه المهمة باستفاضة للغة الإنجليزية، إلا أن هناك ندرة كبيرة في المعايير المرجعية واسعة النطلة والتقييمات المنهجية للغات أخرى، وخاصة الألمانية. تعتمد الطرق الحالية غالباً على النهج القائم على الميزات أو النماذج العصبية التي تفتقر إلى قدرة النماذج اللغوية الكبيرة (LLMs). علاوة على ذلك، تفشل التقييمات الحالية غالباً في معالجة التحديات الجنائية الواقعية الحرجة، مثل:

التحولات عبر المجالات (Cross-domain shifts): تحديد هوية الكاتب عندما تأتي النصوص من مواضيع أو منصات مختلفة.
تباين طول النص: التعامل مع كل شيء بدءاً من التغريدات القصيرة وصولاً إلى سجلات الملفات الشخصية الطويلة.
خصوصية اللغة: الاعتماد على نماذج متمحورة حول اللغة الإنجليزية والتي قد لا تلتقط الفروق الأسلوبية الدقيقة الخاصة باللغة الألمانية.

2. المنهجية

أ. معيار GerAV المرجعي

يقدم المؤلفون GerAV، وهو معيار مرجعي شامل يتكون من أكثر من 400,000 زوج نصي مصنف مستمد من تويتر (Twitter) وريديت (Reddit). تم هيكلة مجموعة البيانات في خمس مجموعات فرعية متميزة لتمكين التحليل المنضبط:

ريديت داخل المجال (rid): أزواج من نفس "السب-ريديت" (الموضوع).
ريديت عبر المجالات (rcd): أزواج من "سب-ريديت" مختلفة (مواضيع مختلفة)، مما يخلق سيناريو تقييم أكثر صعوبة.
ريديت القائم على الملف الشخصي (rpb): منشورات مجمعة من ملف شخصي واحد لمستخدم لمحاكاة امتلاك المزيد من البيانات لكل مؤلف.
تويتر (tw): منشورات قصيرة من تويتر الألماني.
المختلط (mix): مزيج من جميع المصادر أعلاه لاختبار القدرة على التعميم.

المعالجة المسبقة: تمت تصفية البيانات للغة الألمانية (باستخدام langid)، وإزالة حسابات البوت، وتقييد المنشورات بين 25 و1,000 كلمة (تويتر بحد أقصى 300 حرف) لضمان الجودة وتقليل الضجيج.

ب. الإعداد التجريبي

تدرس الدراسة ثلاث فئات من النماذج:

النماذج المرجعية الراسخة: القائمة على الميزات (n-grams، ضغط PPM)، والنماذج العصبية (hLSTM، Siamese BERT)، ونماذج تضمين الأسلوب الحديثة (mStyleDistance، msr).
النماذج اللغوية الكبيرة (Zero-Shot LLMs): تقييم نماذج Gemma-3، وLlama-3، وQwen-2.5، وGPT-5 باستخدام المطالبات القياسية والمطالبات المعلوماتية اللغوية (LIP).
النماذج اللغوية الكبيرة المضبوطة بدقة (Fine-Tuned LLMs): قام المؤلفون بضبط أربعة نماذج لغوية كبيرة مفتوحة المصدر (Gemma-3-12b، Llama-3.1-8b، Llama-3.2-3b، Qwen-2.5-7b) باستخدام تقنية LoRA (Low-Rank Adaptation) على تقسيمات تدريب GerAV.

مقاييس التقييم: الدقة (Accuracy)، ومقياس F1-Score، ومنحنى ROC AUC. تم تحديد الأهمية الإحصائية عبر اختبارات بوتستراب غير معلمية مزدوجة.

3. المساهمات الرئيسية

معيار GerAV المرجعي: إنشاء أكبر معيار مرجعي للتحقق من هوية الكاتب باللغة الألمانية حتى الآن، والذي يتميز بمصادر بيانات ومجالات وأطوال نصوص متنوعة، مصمم خصيصاً لمحاكاة السيناريوهات الجنائية.
مقارنة شاملة للنماذج المرجعية: أوسع تقييم للتحقق من هوية الكاتب حتى الآن، حيث يقارن بين النماذج المرجعية التقليدية، والنماذح اللغوية الكبيرة (Zero-shot)، والنماذج اللغوية الكبيرة المضبوطة بدقة.
الأداء المتفوق (SOTA): إثبات أن النماذج اللغوية الكبيرة مفتوحة المصدر والمضبوطة بدقة تتفوق بشكل كبير على النماذج المرجعية الحالية وحتى النماذج المملوكة مثل GPT-5 في إعدادات محددة.
رؤى حول التعميم مقابل التخصص: تحليل منهجي لكيفية تأثير التدريب على أنواع محددة من البيانات (مثل عبر المجالات مقابل داخل المجال) على أداء النموذج عبر أنظمة الاختبار المختلفة.

4. النتائج الرئيسية

أ. أداء النماذج اللغوية الكبيرة المضبوطة بدقة

أفضل نموذج: حقق نموذج Gemma-3-12b، الذي تم ضبطه بدقة على مجموعة البيانات المختلطة (Mixed)، أعلى متوسط لـ F1-Score بلغ 0.83 عبر جميع تقسيمات الاختبار.
المقارنة بالنماذج المرجعية: تفوق هذا النموذج على أفضل نموذج مرجعي تقليدي (msr، بـ F1=0.74) بمقدار 0.09، وعلى أفضل نموذج Zero-shot (Llama-3.2، بـ F1=0.66) بمقدار 0.17.
المقارنة بـ GPT-5: في مجموعة فرعية طبقية صغيرة، تفوق نموذج Gemma-3-12b (mix) المضبوط بدقة على GPT-5 بمقدار 0.08 نقطة F1 (0.83 مقابل 0.75)، رغم أن GPT-5 نموذج أكبر بكثير ومغلق المصدر.

ب. تأثير مصدر البيانات والمجال

التدريب المختلط: أظهرت النماذج المدربة على مجموعة البيانات المختلطة (Mixed) أفضل قدرة على التعميم، مما يشير إلى أن التعرض للتباين الأسلوبي عبر المجالات أمر بالغ الأهمية لضمان متانة التحقق من الهوية.
تحدي عبر المجالات: انخفض الأداء بمقدار 0.06 نقطة F1 في مجموعات الاختبار عبر المجالات مقارنة بالمجموعات داخل المجال، مما يشير إلى أن النماذج لا تزال تعتمد جزئياً على القرائن الموضوعية. ومع ذلك، فإن التدريب على البيانات المختلطة خفف من هذا الأثر بشكل أفضل من التدريب حصرياً على البيانات عبر المجالات.
القائم على الملف الشخصي: حقق التقييم باستخدام الملفات الشخصية المجمعة (rpb) أعلى الدرجات (تصل إلى 0.93 F1 لنموذج Gemma-3)، مما يؤكد أن وجود نص أكثر لكل مؤلف يساعد بشكل كبير في عملية التحقق.

ج. حساسية طول النص

يوجد ارتباط إيجابي قوي (Spearman $\rho \approx 0.94$ ) بين طول النص وF1-score.
النصوص القصيرة (أقل من 25 كلمة) يصعب التحقق منها (F1 $\approx$ 0.78)، بينما تقترب النصوص الطويلة (أكثر من 900 كلمة) من دقة شبه مثالية (F1 $\approx$ 1.0).
لم تستفد النماذج المضبوطة بدقة من النصوص الطويلة إلا إذا كانت بيانات التدريب تحتوي أيضاً على أمثلة طويلة.

د. سيناريوهات الموارد المنخفضة وعبر اللغات

تقليل البيانات: أدى تقليل بيانات التدريب إلى 25% (20,000 عينة) إلى انخفاض قدره 0.04 فقط في F1-score، مما يشير إلى أن هذا النهج قابل للتطبيق في بيئات الموارد المنخفضة.
الفشل عبر اللغات: انخفض أداء النموذج المدرب على بيانات تويتر الإنجليزية بشكل كبير (F1 0.70 $\to$ 0.68) عند اختباره على بيانات ألمانية، والعكس صحيح. وهذا يسلط الض الضوء على ضرورة الضبط الدقيق الخاص باللغة.
التدريب المسبق بالألمانية: لم يتفوق نموذج LLäMmlein-7b المدرب مسبقاً على الألمانية على النماذج المدربة مسبقاً بالإنجليزية بعد الضبط الدقيق، مما يشير إلى أن عملية الضبط الدقيق تعمل على تكييف النماذج مع السمات الأسلوبية الخاصة باللغة بغض النظر عن لغة التدريب المسبق.

5. الأهمية والآثار المترتبة

القابلية للتطبيق الجنائي: يوفر معيار GerAV بيئة اختبار واقعية للتطبيقات الجنائية (مثل تحديد هوية المؤلفين في منتديات الشبكة المظلمة أو مجموعات تيليجرام) حيث تكون البيانات غالباً قصيرة، وعبر مجالات مختلفة، وغير إنجليزية.
تفوق المصادر المفتوحة: تتحدى النتائج الفكرة القائلة بأن النماذج الضخمة والمغلقة هي دائماً الأفضل للمهام المتخصصة. فالنماذج مفتوحة المصدر الأصغر حجماً والمضبوطة بدقة (مثل Gemma-3-12b) يمكن أن تتفوق على GPT-5 مع توفير كامل لخصوصية البيانات وقابلية التكرار.
التحول المنهجي: تدعو الدراسة إلى الابتعاد عن النهج القائم حصراً على الميزات أو الـ Zero-shot والتوجه نحو النماذج اللغوية الكبيرة المضبوطة بدقة (Fine-tuned LLMs) لتحليل هوية الكاتب، خاصة عند التعامل مع الفروق الأسلوبية الخاصة باللغة.
الاتجاهات المستقبلية: حدد المؤلفون الحاجة إلى تحسين القدرة على التفسير (شرح لماذا تم اتخاذ قرار معين) ومزيد من الاستكشاف لتحديد الهوية عبر المنصات المختلفة.

في الختام، يضع GerAV معياراً جديداً للتحقق من هوية الكاتب باللغة الألمانية، مُثبتاً أن النماذج اللغوية الكبيرة المضبوطة بدقة والمدربة على بيانات متنوعة وعالية الجودة يمكنها تحقيق أداء متفوق (SOTA)، متجاوزةً بذلك كلاً من النماذج المرجعية التقليدية والنماذج المملوكة الرائدة في سياقات جنائية محددة.