💬 NLP

Theory-Grounded Evaluation Exposes the Authorship Gap in LLM Personalization

تُثبت هذه الورقة أن تأصيل تقييم التخصيص الأسلوبي للنماذج اللغوية الكبيرة في نظرية التحقق من التأليف (وتحديداً باستخدام مقياس LUAR) يكشف عن "فجوة تأليف" كبيرة حيث تفشل الطرق الحالية في محاكاة الأسلوب البشري، وهو فشل جوهري يظل غير مرئي للمقاييس غير المعايرة والعشوائية مثل "النموذج كحكم" أو المقاييس الأسلوبية التي تنتج نتائج غير متسقة وغير معايرة.

المؤلفون الأصليون: Yash Ganpat Sawant

نُشر 2026-04-30

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yash Ganpat Sawant

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كاتب موهوب للغاية، ولكنه نمطي، كيف يبدو تماماً مثل كاتب بشري مشهور مفضل لديك. أنت تريد للروبوت أن يلتقط "صوته" الفريد—طريقته الخاصة في استخدام الكلمات، وإيقاعه، وشخصيته.

هذه الورقة البحثية تشبه تقريراً استقصائياً يقول: "لقد حاولنا تعليم الروبوت، لكننا أدركنا أننا لم نكن نملك مسطرة حقيقية لنقيس بها مدى نجاحنا. وعندما صنعنا أخيراً مسطرة مناسبة، اكتشفنا أن الروبوت يفشل تماماً."

إليك تفصيل القصة باستخدام تشبيهات بسيطة:

1. المشكلة: القياس بشريط قياس مقابل مسطرة

لفترة طويلة، حاول الباحثون معرفة ما إذا كان بإمكان الروبوتات محاكاة الكتاب البشر. لكنهم كانوا يستخدمون الأدوات الخاطئة.

الطريقة القديمة (المقاييس المرتجلة): تخيل أنك تحاول قياس ارتفاع مبنى من خلال سؤال صديق لك: "هل يبدو هذا طويلاً بالنسبة لك؟" أو بعدّ عدد الطوب الموجود على السطح. هذه الطرق غامضة؛ فقد تخبرك أن هذا المبنى يبدو "أطول" من غيره، لكنها لا تستطيع إخبارك ما إذا كان طوله فعلياً 100 قدم أم 10 أقدام فقط.
الطريقة الجديدة (القائمة على النظرية): أحضر المؤلفون مسطرة حقيقية ومعايرة بناءً على عقود من "علم تأليف النصوص" (دراسة كيفية تحديد هوية كاتب النص). هذه المسطرة لها علامات واضحة:
- السقف: مدى تشابه نصين لنفس الكاتب البشري (الدرجة: 0.756).
- الأرضية: مدى تشابه نصين لكاتبين بشريين مختلفين (الدرجة: 0.626).

2. الاكتشاف الكبير: "فجوة التأليف"

اختبر الباحثون أربع طرق مختلفة لجعل الروبوت يبدو مثل الإنسان. واستخدموا المسطرة الحقيقية الجديدة للتحقق من النتائج.

الصدمة: سجلت كل محاولة روبوتية بين 0.48 و0.50.
اختبار الواقع: تذكر "الأرضية" لنصين من بشر مختلفين؟ كانت 0.626.
الاستنتاج: كتابة الروبوت في الواقع أقل تشابهاً مع الكاتب البشري المستهدف مما هي عليه العلاقة بين شخصين غريبين تماماً. الروبوت عالق في "صوته الروبوتي" الخاص ولا يمكنه عبور الفجوة ليبدو بشرياً.

3. الفخ: لماذا كذبت الأدوات القديمة؟

تشرح الورقة لماذا جعلت الطرق القديمة (مثل سؤال ذكاء اصطناعي آخر لتقييم الكتابة) الروبوت يبدو جيداً بينما هو ليس كذلك.

الفخ "الدائري": تخيل أن معلماً (الذكاء الاصطناعي القاضي) يطلب من طالب (الروبوت) كتابة قصة عن "القطط". ثم يقوم المعلم بتقييم القصة بناءً على مدى ذكرها لـ "القطط".
- تم تدريب الروبوت على اتباع تعليمات المعلم بدقة. لذا، كتب قصة مليئة بـ "القطط" وحصل على درجة كاملة.
- لكن المعلم لم يسأل عما إذا كانت القصة تبدو مثل كاتب بشري معين. الروبوت فقط اتبع التعليمات.
- التشبيه: الأمر يشبه حرباء تغير لونها لتطابق التعليمات "كن أخضر"، لكن الاختبار كان في الواقع "كن بلون جلد شخص معين". لقد نجح الروبوت في اختبار التعليمات، لكنه فشل في اختبار الهوية.

4. "الوادي غير الطبيعي" للأسلوب

وجد الباحثون أنه بينما يمكن للروبوت تغيير أسلوبه قليلاً ليتناسب مع أهداف مختلفة (يمكنه أن يبدو أقرب قليلاً إلى الكاتب "أ" منه إلى الكاتب "ب")، إلا أنه لا يغادر أبداً "حي الروبوتات" الخاص به.

تشبيه الحي: تخيل أن جميع الكتاب البشر يعيشون في مدينة تسمى "البشرية". ويعيش الروبوت في مدينة منفصلة تسمى "روبوتيا".
يمكن للروبوت بناء جسر صغير نحو مدينة البشر، لكنه لا يعبر الحدود أبداً. حتى عندما يبذل قصارى جهده، فإنه لا يزال يعيش في "روبوتيا". "فجوة التأليف" هي النهر العريض بين المدينتين والذي لا يستطيع الروبوت السباحة عبره.

5. الدرس: لا تثق في "الشعور"

تخلص الورقة إلى أنه إذا لم تستخدم مقياساً علمياً ومعايراً (مثل الأداة التي استخدموها، والتي تسمى LUAR)، فقد تعتقد أنك تحقق تقدماً بينما أنت لا تفعل ذلك.

الخلاصة: مجرد كون الروبوت يتبع تعليماتك أو يستخدم الكلمات المفتاحية الصحيحة لا يعني أنه قد التقط روح أو أسلوب إنسان. لكي نعرف حقاً ما إذا كنا ننجح، نحتاج إلى التوقف عن التخمين والبدء في القياس باستخدام أدوات أثبتت فعاليتها لعقود.

باختاً: ظننا أننا نعلم الروبوتات كيف تبدو بشرية، لكننا كنا نعلمها فقط كيف تنفذ الأوامر. وعندما قمنا بقياس "الإنسانية" بشكل صحيح، وجدنا أن الروبوتات لا تزال تبدو كأنها روبوتات.

إليك ملخص تقني مفصل لورقة البحث "التقييم القائم على النظرية يكشف فجوة التأليف في تخصيص النماذج اللغوية الكبيرة" للباحث ياش غانبات سوانت.

1. بيان المشكلة

تفتقر مجالات تخصيص النماذج اللغوية الكبيرة (LLM) حاليًا إلى منهجية تقييم صارمة لـ التخصيص الأسلوبي (جعل النموذج يكتب بصوت فرد معين). تركز المعايير المرجعية الحالية على:

دقة المهمة: (مثل LaMP)
محاذاة التفضيلات: (مثل PersonalLLM)
الشخصية الحوارية: (مثل PersonaLens باستخدام "النموذج كحكم")

الفجوة: لا تقوم أي من هذه الطرق بتقييم أمانة التأليف (authorship fidelity)—أي ما إذا كان النص المولد يمتلك بالفعل "البصمة" الكامنة للمؤلف البشري المستهدف. المقاييس الحالية هي مقاييس "مرتجلة" (ad hoc)، وتفتقر إلى الأساس النظري في علم التأليف، مما يؤدي إلى درجات غير معايرة واستنتاجات مضللة محتملة حول أداء النموذج.

2. المنهجية

يقترح المؤلفون إطار تقييم قائم على النظرية يقارن بين نظرية التحقق من التأليف الراسخة والبدائل المرتجلة.

البيانات والإعداد

المتن (Corpus): مجموعة بيانات تأليف المدونات (681 ألف منشور، 19 ألف مدون).
العينة: 50 مؤلفًا لديهم بيانات كافية (≥200 منشور للتدريب، ≥50 منشورًا للاختبار).
العمليات المولدة: 1,000 عملية توليد إجمالية (50 مؤلفًا × 5 مطالبات × 4 طرق).
المطالبات (Prompting): استخدام ملخصات محتوى محايدة (مستخرجة بواسطة LLM) لتجنب تلوث المطالبة (مثل تسريب الجملة الأولى للمؤلف).
النماذج: المولد الأساسي: Qwen 3 (32B)؛ نموذج إعادة الإنتاج: GLM-4 (32B).

أربع طرق للتخصيص أثناء الاستدلال تم اختبارها

غير مخصص (Non-Personalized): مجموعة ضابطة (ملخص المحتوى فقط).
التعلم من أمثلة قليلة (Few-Shot): تقديم 5 عينات للمؤلف دون تعليمات صريحة.
استخراج الملف الشخصي (Profile Extraction): عملية من مرحلتين (استخراج ملف أسلوبي تجريدي $\leftarrow$ التوليد بناءً على الملف).
التباين (Contrastive): عينات المؤلف + أمثلة متباينة من مؤلفين آخرين + سمات أسلوبية.

ثلاثة مقاييس للتقييم

تقيم الدراسة هذه الطرق باستخدام ثلاثة مقاييس متميزة من تقاليد مختلفة:

LUAR (الأساسي - القائم على النظرية): تمثيلات التأليف العالمية المتعلمة. نموذج محول (Transformer) تم تدريبه عبر التعلم التبايني على ملايين منشورات Reddit لإنتاج تضمينات (embeddings) تميز بين المؤلفين.
- المقياس: تشابه جيب التمام (Cosine similarity) بين التضمينات المجمعة للنص المولد والنص الحقيقي للمؤلف.
- الميزة: يوفر خطوط أساس معايرة (السقف البشري والأرضية بين المؤلفين المختلفين).
النموذج كحكم (الثانوي - المرتجل): بروتوكول ثنائي منفصل باستخدام GLM-4.
- العملية: استخراج 5 سمات أسلوبية لكل مؤلف $\leftarrow$ تسجيل درجة التوليد بناءً على السمات $\leftarrow$ الحكم على معقولية المؤلف نفسه.
- المقياس: معدل مطابقة السمات (TMR).
الأسلوبيات الآلية (الثالث - الكلاسيكي):
- المقياس: تشابه جيب التمام للكلمات الوظيفية (FuncCos) عبر 60 كلمة وظيفية شائعة (Argamon et al., 2003).

3. المساهمات الرئيسية

خطوط الأساس المعايرة للتأليف: تقدم الورقة أول إطار تقييم لتخصيص الأسلوب يستند إلى نظرية التحقق من التأليف، مما يضع معاني مطلقة للدرجات (السقف: 0.756، الأرضية: 0.626).
اكتشاف "فجوة التأليف": توضح أن طرق التخصيص الحالية أثناء الاستدلال تفشل في نقل البصمة الأسلوبية للنموذج نحو المؤلف البشري المستهدف، مما يترك النص المولد أكثر بعدًا عن المؤلف المستهدف مما هو عليه الحال بين البشر العشوائيين وبعضهم البعض.
فشل الصلاحية البنائية: تثبت الدراسة أن المقاييس المرتجلة (الأحكام القائمة على LLM) والمقاييس الكلاسيكية (الأسلوبيات) تقيس مفاهيم مختلفة عن التحقق من التأليف، مما يؤدي إلى ارتباطات شبه معدومة ( $|r| < 0.07$ ) واستنتاجات متناقضة.
تحديد التقييم الدائري: تكشف الورقة كيف أن طرق "استخراج الملف الشخصي" تضخم درجات أحكام الـ LLM بشكل مصطنع من خلال التحسين (Optimization) للسمات التي يستخرجها الحكم نفسه، بدلاً من الأمانة الأسلوبية الحقيقية.

4. النتائج الرئيسية

فجوة التأليف

درجات LUAR: سجلت جميع طرق التخصيذ الأربع ما بين 0.484 و0.508.
الأرضية: "الأرضية البشرية بين المؤلفين المختلفين" (التشابه بين بشر اثنين مختلفين) هي 0.626.
السقف: "السقف البشري لنفس المؤلف" (التشابه بين نفس المؤلف ونفسه) هو 0.756.
الاستنتاج: سجلت جميع النصوص المولدة بواسطة LLM أقل من الأرضية البشرية بين المؤلفين المختلفين. هذا يعني أن مخرجات الـ LLM المخصصة هي أسلوبيًا أقل تشابهًا مع المؤلف المستهدف مما هو عليه الحال بين بشر عشوائيين وآخرين. بصمة الـ LLM الخاصة هي التي تهيمن على المخرجات.

الاختلاف بين المقاييس والصلاحية

الارتباط: أظهرت المقاييس الثلاثة ارتباطات زوجية شبه معدومة ( $|r| < 0.07$ ).
وهم "الفائز": أعلن مقياس (LLM-as-Judge/TMR) أن طريقة استخراج الملف الشخصي هي الفائز الواضح (حجم تأثير $d=0.58$ ). ومع ذلك، وجد LUAR عدم وجود تمايز ذي معنى بين الطرق.
سبب التباين: طريقة استخراج الملف الشخصي تحسن (Optimize) السمات التي يمكن للـ LLM استخراجها. وبما أن الحكم يستخدم أيضًا LLM لاستخراج السمات، فإن الطريقة تقوم بـ "خداع" الحكم. سجل المؤلفون الحقيقيون (0.427) على TMR أقل مما سجلته طريقة استخراج الملف الشخصي (0.542)، مما يثبت أن TMR يقيس اتباع التعليمات، وليس أمانة التأليف.
الأسلوبيات: أظهرت FuncCos انهيار خطوط الأساس (السقف 0.742 مقابل الأرضية 0.695)، وفشلت في التمييز بفعالية بين نص المؤلف نفسه ونص المؤلف الآخر.

المتانة (Robustness)

عبر النماذج: أكدت إعادة الإنتاج باستخدام GL-4 أن الفجوة مستمرة (الدرجات 0.417–0.576، لا تزال تحت الأرضية 0.626).
فضاء التضمين: تشغل النماذج اللغوية الكبيرة منطقة متميزة في فضاء تضمين LUAR. وبينما يقوم التخصيص بتعديل المخرجات ضمن مساحة أسلوب الـ LLM (القدرة على التمييز بين Gen $\leftrightarrow$ Gen هي AUC=0.918)، إلا أنه لا يستطيع سد الفجوة للوصول إلى السطح البشري (القدرة على التمييز بين Gen $\leftrightarrow$ Real هي AUC $\approx$ 0.45–0.49).

الخلط المنهجي

تلوث المطالبة: استخدام الجملة الأولى من منشور مستهدف كمطالبة أدى إلى تضخم تشابه خط الأساس غير المخصص بنسبة 28 نقطة مئوية، مما حجب فجوة الأداء الحقيقية. تتطلب التقييمات استخدام ملخصات محتوى محايدة.

5. الأهمية والآثار المترتبة

دورة النظرية والنموذج المرجعي: توضح الورقة دورة حميدة حيث تولد نظرية التأليف (Stamatatos, Rivera-Soto) تنبؤات قابلة للاختبار (النماذج اللغوية الكبيرة لا تستطيع تمامًا محو بصمتها) وتؤكدها المعايير المرجعية (LUAR) عبر قياسات معايرة.
إعادة تعريف التقييم: تجادل الورقة بأن دقة المهمة ومحاذاة التفضيلات غير كافية للتخصيص الأسلوبي. يجب أن تستخدم المعايير المرجعية المستقبلية مقاييس قائمة على النظرية مع خطوط أساس معايرة لتجنب "الهلوسة" في التقدم المحرز.
القصور الهيكلي: تشير النتائج إلى وجود قيد جوهري في التخصيص أثناء الاستدلال. إن البصمة الأسلوبية المتأصلة في الـ LLM قوية ولا يمكن تجاوزها بمجرد المطالبات أو التعلم من أمثلة قليلة؛ وسد هذه الفجوة قد يتطلب نهجًا يتم أثناء مرحلة التدريب (مثل محولات LoRA).
أداة تشخيصية: يجب التعامل مع الاختلاف بين المقاييس كإشارة لفشل الصلاحية البنائية وليس كفرصة لمتوسط الدرجات.

باختًا، تكشف الورقة عن فشل حرج في أبحاث تخصيص النماذج اللغوية الكبيرة الحالية: بينما يمكن للنماذج اتباع التعليمات لمحاكة السمات، إلا أنها لا تستطيع حاليًا إعادة إنتاج بصمة التأليف الهيكلية العميقة لمؤلف بشري معين، وهو أمر غير مرئي لمقاييس التقييم المرتجلة وغير المعايرة.