How Human-Like Are Large Language Models? A Register-Aware Linguistic Evaluation Framework
تقدم هذه الورقة إطار تقييم مدركاً للسجل اللغوي باستخدام تباين المتوسط الأقصى (Maximum Mean Discrepancy) وميزات "بيبر" (Biber) المعجمية-النحوية لإثبات أنه في حين تنحرف النماذج اللغوية الكبيرة باستمرار عن الأنماط اللغوية البشرية، فإن درجة تشبهها بالبشر تختلف باختلاف السجل التواصلي ولا تتحدد بحجم النموذج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت كتابة قصة، أو إرسال رسالة نصية، أو كتابة تقرير إخباري. قد تسأل نفسك: "هل ما كتبه الروبوت صحيح؟" أو "هل أتم المهمة بنجاح؟". لكن هذه الورقة البحثية تطرح سؤالاً مختلفاً وأكثر دقة: "هل يبدو ما كتبه الروبوت وكأن إنساناً هو من كتبه؟"
يجادل المؤلفون بأنه لمجرد أن نص الروبوت صحيح من الناحية الواقعية، فهذا لا يعني أنه يبدو طبيعياً. بالنسبة للبشر، تتغير اللغة بناءً على الموقف؛ فالرسالة النصية إلى صديق تختلف تماماً عن الورقة العلمية أو المقال الإخباري. ويطلق المؤلفون على هذه المواقف المختلفة اسم "السجلات اللغوية" (Registers).
إليك تفصيل بسيط لدراستهم:
١. المشكلة: "الوادي غير الطبيعي" للروبوت
تخيل اللغة كأنها حفلة تنكرية.
- البشر بارعون في تغيير ملابسهم التنكرية. إذا دخلت مكتبة، ستهمس وتستخدم كلمات رسمية. وإذا دخلت حانة، ستصرخ وتستخدم لغة عامية. أنت تعرف بالفطرة أي "زي" (سجل لغوي) يناسب المكان.
- النماذج اللغوية الكبيرة (LLMs) تشبه الممثلين الذين يجيدون حفظ الأدوار، لكنهم ينسون أحياناً تغيير ملابسهم التنكرية. قد يكتبون تقريراً إخبارياً يبدو كأنه دردشة عفوية، أو قصة تبدو كأنها كتاب مدرسي. حتى لو كانت الحقائق صحيحة، فإن "الجو العام" يكون غريباً، مما يجعله يبدو غير طبيعي للقارئ البشري.
٢. الحل: "كاشف الأسلوب"
قام الباحثون ببناء طريقة جديدة لاختبار هذه الروبوتات. فبدلاً من مطالبة إنسان بقراءة النص وتخمين ما إذا كان حقيقياً (وهو أمر بطيء وذاتي)، ابتكروا "كاشف أسلوب" رياضياً.
- الـ ٦٧ سمة: استخدموا أداة لغوية كلاسيكية (من باحث يدعى "بيبر") تقوم بتفكيك اللغة إلى ٦٧ "مكوناً" محدداً. هذه ليست مجرد كلمات، بل هي أنماط مثل: "كم مرة يستخدم الناس زمن الماضي؟"، "هل يستخدمون كلمات قصيرة أم طويلة؟"، "هل يستخدمون صيغة المبني للمجهول؟".
- المعيار البشري: جمعوا مجموعة ضخمة من الكتابات البشرية الحقيقية لخمسة "غرف" (سجلات لغوية) مختلفة:
١. الدردشة العفوية: محادثات حقيقية بين الناس.
٢. الأوراق الأكاديمية: مقدمات لأبحاث علوم الحاسوب.
٣. أدلة "كيف تفعل": تعليمات خطوة بخطوة (مثل WikiHow).
٤. القصص الإبداعية: قصص خيالية كتبها مستخدمون.
٥. التقارير الإخبارية: مقالات من BBC. - الاختبار: طلبوا من سبعة نماذج ذكاء اصطنا مختلفة الكتابة في هذه الأساليب الخمسة نفسها. ثم استخدموا صيغة رياضية (تسمى MMD) لقياس "المسافة" بين أسلوب كتابة الذكاء الاصطعي وأسلوب الكتابة البشرية.
التشبيه: تخيل أن لديك جرة من التوت الأزرق الحقيقي (الكتابة البشرية) وجرة من حلوى التوت الاصطناعية (كتابة الذكاء الاصطناعي). الباحثون لا يتذوقونها فحسب، بل يقيسون درجة اللون الأزرق بدقة، والملمس، ومحتوى السكر. إنهم يحسبون بالضبط مدى ابتعاد الحلوى عن الفاكهة الحقيقية. إذا كانت المسافة كبيرة، فإن طعم الحلوى سيكون مزيفاً.
٣. ما وجدوه
كانت النتائج واضحة ومفاجئة:
- لا يوجد روبوت مثالي: في كل اختبار، كانت كتابة الذكاء الاصطناعي "بعيدة" إحصائياً عن كيفية كتابة البشر فعلياً. لم يستطع أي من الروبوتات محاكاة الأسلوب البشري بشكل مثالي.
- الحجم ليس كل شيء: قد تعتقد أن الروبوت الأكبر والأقوى سيبدو أكثر بشرية. وجدت الدراسة أن النماذج الأكبر ليست بالضرورة أفضل. فقد كان النموذج الأصغر (Qwen 8B) يبدو أحياناً أكثر بشرية من نموذج ضخم (Lema 70B)، اعتماداً على الموضوع.
- السياق هو الملك: قد يكون الروبوت بارعاً في كتابة تقرير إخباري ولكنه سيء جداً في كتابة دردشة عفوية. لا يمكنك الحكم على "بشرية" الروبوت من خلال درجة واحدة؛ بل يجب اختباره في كل موقف محدد.
- سمة "العائلة": تميل الروبوتات من نفس "العائلة" (مثل عائلة Llama أو عائلة Gemma) إلى أن تبدو متشابهة فيما بينها، بغض النظر عن حجمها. يبدو أن لديها "لكنة" أو "شخصية" مشتركة تلازمها.
٤. لماذا هذا مهم (وفقاً للورقة البحثية)
تخلص الورقة إلى أننا بحاجة للتوقف عن النظر إلى الذكاء الاصطعي كمجرد "منفذ مهام" والبدء في اعتباره "محاكياً للأسلوب".
إذا كان الذكاء الاصطناعي سيُستخدم في العالم الحقيقي (مثل روبوتات الدردشة أو صناعة المحتوى)، فعليه أن يناسب "الغرفة" التي يتواجد فيها. يقترح المؤلفون أنه في المستقبل، يمكننا استخدام قياس "المسافة" هذا لتدريب الروبوتات على أن تبدو أكثر طبيعية، مما يعلمها أساساً كيفية ارتداء الزي المناسب للحفلة المناسبة.
باخت مختصر: تثبت الورقة أنه بينما يصبح الذكاء الاصطناعي أكثر ذكاءً، فإنه لم يتقن بعد فن التحدث كبشر في كل موقف. الأمر يشبه طالباً واسع الاطلاع يعرف الحقائق، لكنه لا يزال يبدو متصلباً وغير طبيعي بعض الشيء عندما يحاول الدردشة مع أصدقائه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.