PersonalBench: Measuring the Authorship Gap in LLM Personalization
تقدم الورقة البحثية PersonalBench، وهو معيار مرجعي يوضح أنه بينما تستطيع طرق التخصيص الحالية أثناء وقت الاستنتاج تعديل مخرجات النماذج اللغوية الكبيرة لتكون متميزة بأسلوب المؤلف، إلا أنها تفشل في سد الفجوة الكبيرة للوصول إلى التأليف البشري الحقيقي، حيث يظل النص المولد أكثر بعداً عن الأساليب البشرية مما هم عليه البشر من بعضهم البعض.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً يمكن فيه للكمبيوتر أن يكتب رسالة تبدو تماماً مثل جدتك، أو مقالاً إخبارياً لا يمكن تمييزه عن عمل صحفي معين. هذا هو الوعد الذي يقدمه تخصيص الذكاء الاصطناعي: تعليم الآلة كيفية تبني الصوت الفريد، والإيقاع، والعادات الخاصة بإنسان حقيقي. لسنوات، حاول الباحثون تحقيق ذلك من خلال عرض أمثلة على كتابة الشخص للكمبيوتر والطلب منه محاكاة ذلك الأسلوب. الهدف هو جعل مخرجات الآلة تبدو أقل شبهاً بروبوت عام وأكثر شبهاً بفرد محدد. لكن سؤالاً جوهرياً ظل دون إجابة: هل يبدو الكمبيوتر حقاً مثل ذلك الشخص، أم أنه يتظاهر فقط؟
للإجابة على ذلك، ابتكر باحث طريقة جديدة لاختبار هذه الأنظمة، متجاوزاً مجرد الفحوصات البسيطة لمعرفة ما إذا كان النص صحيحاً لغوياً أو يتبع التعليمات. لقد ركزوا على البصمة الأعمق، وغير المرئية تقريباً، للكتابة البشرية — الأنماط الدقيقة لاختيار الكلمات، وطول الجمل، وعلامات الترقيم التي تجعل صوت شخص ما متميزاً عن غيره. ويكشف استقصاؤهم عن حقيقة مفاجئة حول الحالة الراهنة للذكاء الاصطناعي: بينما يمكن دفع هذه الأنظمة لتبدو مختلفة قليلاً عن بعضها البعض، إلا أنها لا تستطيع حقاً عبور الخط غير المرئي لتبدو مثل كاتب بشري حقيقي.
بنى الباحث أرضية اختبار تسمى PERSONALBENCH، مصممة لقياس ما إذا كان بإمكان الذكاء الاصطناعي تبني أسلوب كتابة بشري حقاً. لقد جمعوا عينات كتابية من خمسين شخصاً مختلفاً، تتراوح من تدوينات شخصية إلى مقالات رأي، وطلبوا من الذكاء الاصطناعي توليد نص جديد بأسلوب كل شخص منهم. واختبروا أربع طرق مختلفة لمعرفة أيها يعمل بشكل أفضل. إحدى الطرق كانت ببساطة عرض خمسة أمثلة من كتابة الشخص للذكاء الاصطناعي. وطريقة أخرى طلبت من الذكاء الاصطناعي إنشاء ملخص مكتوب لأسلوب الشخص أولاً، ثم استخدام ذلك الملخص للكتابة. أما الطريقة الثالثة فقد أعطت الذكاء الاصطناعي نقاط بيانات محددة حول عادات الكتابة لدى الشخص، مثل متوسط طول الجملة. والطريقة الرابعة لم تعطِ الذكاء الاصطناعي أي معلومات شخصية على الإطلاق، لتكون بمثابة مجموعة ضابطة لمعرفة كيف يبدو صوت الآلة من تلقاء نفسها.
وللحكم على النتائج، استخدم الباحث ثلاثة أدوات مختلفة. كانت الأهم هي برنامج كمبيوتر متخصص تم تدريبه على ملايين المنشورات عبر الإنترنت للتعرف على هوية الكاتب. تعمل هذه الأداة كخبير جنائي، حيث تحلل النص لتقرر ما إذا كان من المرجح أن ينتمي قطعتان من الكتابة لنفس الشخص. كما استخدموا نموذج لغة كبير آخر ليعمل كحكم، حيث يطلب منه التحقق مما إذا كانت سمات أسلوبية معينة موجودة. وأخيراً، استخدموا طرق العد التقليدية للنظر في مدى تكرار كلمات وعلامات ترقيم معينة شائعة.
كانت النتائج واضحة ومتسقة عبر جميع الطرق. فعندما طلب الباحث من الأداة الجنائية مقارنة النص الذي ولده الذكاء الاصطناعي مقابل الكتابة الفعلية للمؤلف، كانت الدرجات منخفضة. كانت كتابة الذكاء الاصطناعي بعيدة باستمرار عن المؤلف البشري الحقيقي أكثر مما هي عليه بين اثنين من البشر العشوائيين. في الواقع، كانت "البصمة" الفريدة للذكاء الاصطناعي قوية جداً لدرجة أنها هيمنت على المخرج. حتى عندما تم تزويد الذكاء الاصطناعي بأفضل التعليمات والأمثلة الممكنة لمحاكاة شخص معين، فإن النص الناتج كان لا يزال يبدو مثل الآلة نفسها أكثر مما يبدو مثل الإنسان الذي يحاول تقليده. ظلت الفجوة بين صوت الذكاء الاصطناعي والصوت البشري واسعة ولا يمكن جسرها.
ومن المثير للاهتمام أن أدوات الحكم الأخرى قدمت قصة مختلفة ومضللة. فقد أعطى الذكاء الاصطناعي الذي يعمل كحكم درجات عالية للطريقة التي أنشأت ملخصاً أسلوبياً مكتوباً، مشيراً إلى أنها كانت الأكثر نجاحاً. ومع ذلك، أظهرت الأداة الجنائية عدم وجود أي ميزة من هذا القبيل. وقد تتبع الباحث هذا التباين وصولاً إلى خلل في كيفية عمل "الحكم": فقد كان الحكم يبحث عن نفس السمات الأسلوبية التي طُلب منه تضمينها في الملخص، مما خلق حلقة دائرية حيث كان الذكاء الاصطناعي يتبع التعليمات فحسب بدلاً من تغيير صوته حقاً. أما الأداة الجنائية، التي بحثت في البنية الأعمق للكتابة، فلم تشهد أي تغيير حقيقي.
تؤكد الدراسة أنه بينما يمكن توجيه الذكاء الاصطناعي الحالي للكتابة عن مواضيع مختلفة أو استخدام نبرات مختلفة، فإنه لا يستطيع تغيير صوته الأساسي ليتطابق مع إنسان محدد. إن أسلوب الآلة متجذر بعمق في تصميمها، وليس مجرد طبقة سطحية يمكن تقشيرها عبر الأوامر. وجد الباحث أن الذكاء الاصطناعي يمكنه التمييز بين المؤلفين المستهدفين المختلفين عند مقارنة مخرجاته ببعضها البعض، مما يثبت أن التخصيص له تأثير ما. ومع ذلك، يحدث هذا التأثير بالكامل داخل "فضاء أسلوب الآلة" الخاص بها. تظل النصوص محاصرة في "نظام النص المُولد"، المتميز عن التباين الطبيعي الموجود بين البشر الحقيقيين.
تشير هذه النتيجة إلى أن حلم وجود ذكاء اصطناعي يمكنه محاكاة كاتب بشري بشكل مثالي ليس في المتناول بعد من خلال التعليمات البسيطة. إن الفجوة بين الكتابة البشرية وكتابة الآلة حقيقية وقابلة للقياس. ولإغلاق هذه الفجوة حقاً، يقترح الباحث أن التغييرات يجب أن تحدث أثناء تدريب الآلة، وليس فقط عندما يُطلب منها الكتابة. في الوقت الحالي، تعمل الأدوات التي طوروها كمسطرة قياس دقيقة، توضح بالضبط المدى الذي وصلت إليه التكنولوجيا الحالية والمدى الذي لا تزال يتعين عليها قطعه. الاستنتاج ليس أن التخصيص يفشل تماماً، بل إنه يعمل ضمن حدود صارمة، تاركاً صوت الآلة الحقيقي سليماً تحت السطح.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.