Towards a Linguistic Evaluation of Narratives: A Quantitative Stylistic Framework
تقترح هذه الورقة إطاراً أسلوبياً كمياً يستخدم 33 سمة لغوية لتقييم الجودة السردية تلقائياً، حيث نجحت في التمييز بين النصوص الاحترافية وتلك ذات النشر الذاتي، متفوقةً على المقاييس التقليدية عند التحقق منها مقابل التقييمات البشرية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك ناقد كتب تحاول تحديد أي القصص هي روائع وأيها مجرد... قصص عادية. عادةً ما تكون هذه مهمة ذاتية للغاية؛ إذ يتعين عليك التفكير في الحبكة، والشخصيات، والمشاعر، و"الروح العامة". الأمر يشبه محاولة وصف مذاق طبق معقد باستخدام كلمة "لذيذ" فقط.
ولكن ماذا لو استطعنا قياس جودة القصة مثلما يقيس الميكانيكي محرك السيارة؟ ماذا لو تجاهلنا "الشعور" للحظة ونظرنا فقط إلى "المحرك اللغوي" تحت غطاء المحرك؟
هذا هو بالضبط ما يفعله بحث أليساندرو مايستو. إليك تفصيل عمله، مشروحاً ببساطة مع بعض التشبيهات.
1. الفكرة الكبرى: اختبار "الحمض النووي اللغوي"
يجادل المؤلف بأنه حتى لو كانت القصة تمتلك حبكة رائعة، فإذا كان الأسلوب الكتابي نفسه ركيكاً أو مربكاً أو مكرراً، فإن القصة ستفشل. أراد أن يرى ما إذا كان بإمكانه استخدام الرياضيات لقياس "صحة" أسلوب الكتابة في القصة.
بدلاً من سؤال إنسان: "هل هذه القصة جيدة؟"، قام ببناء آلة تسأل: "هل تبدو هذه القصة مثل القصص الأخرى التي نعرف أنها جيدة؟"
2. الأدوات: 33 "علامة حيوية للقصة"
للقيام بذلك، لم ينظر المؤلف إلى شيء واحد فقط، بل أنشأ قائمة مراجعة تضم 33 ميزة لغوية مختلفة، والتي يسميها "العلامات الحيوية" للقصة. فكر في هذه العلامات كفحص طبي:
- المعجم (فحص المفردات): ما مدى ثراء المفردات؟ هل يستخدم المؤلف نفس الـ 50 كلمة مراراً وتكراراً، أم أن لديه قاموساً ضخماً؟ (تشبيه: هل يستخدم الطاهي الملح فقط، أم لديه رف كامل من التوابل؟)
- النحو (فحص القواعد): كيف تُبنى الجمل؟ هل هي قصيرة ومتقطعة، أم طويلة وانسيابية؟ هل تظل الأزمنة (الماضي، الحاضر) متسقة، أم تتنقل بشكل عشوائي كمسافر مرتبك عبر الزمن؟
- الدلالة (فحص المعنى): هل تجعل الجمل بعضها البعض معنى؟ هل يستخدم النص الاستعارات (مثل "الزمن لص") بطريقة ذكية، أم أنه يكتفي بالقول "الساعة تدق"؟
3. التجربة: مختبر "الحمض النووي للكتاب"
أخذ المؤلف 23 كتاباً مشهوراً وأخضعها لهذا الاختبار المكون من 33 نقطة.
- مجموعة "المعيار الذهبي": هؤلاء هم الفائزون. الكتب التي فازت بجوائز كبرى (مثل نوبل أو بوليتزر) أو باعت ملايين النسخ (مثل هاري بوتر أو الهوبيت).
- مجموعة "المعاناة": روايات رومانسية نشرها مؤلفون بشكل مستقل أو كتب بيعت جيداً ولكنها تعرضت لانتقادات من النقاد.
قام بتحويل كل كتاب إلى متجه عددي (قائمة طويلة من الأرقام تمثل تلك السمات الـ 33). ثم استخدم خوارزمية حاسوبية لمعرفة الكتب "المتشابهة رياضياً" مع بعضها البعض.
النتيجة: نجح الكمبيوتر في تجميع الكتب! لقد فصل تقريباً وبشكل مثالي بين "الروائع" وبين "كتب النشر المستقل/الرومانسية". لم يكن بحاجة لمعرفة الحبكة؛ فقد نظر فقط إلى أسلوب الكتابة وقال: "مهلاً، هذان الكتاب يتحدثان نفس اللغة عالية الجودة".
4. الاختبار الحقيقي: المواجهة بين "الذكاء الاصطناي والبشر"
كان الاختبار الأول مجرد إحماء. التحدي الحقيقي كان اختبار هذه الطريقة على مجموعة بيانات ضخمة تسمى HANNA، والتي احتوت على أكثر من 1,000 قصة قصيرة. بعضها كتبه بشر، والعديد منها كتبه ذكاء اصطناعي (مثل GPT-2، BERT، إلخ).
تمت مقارنة طريقة المؤلف مع:
- المقاييس التقليدية: الصيغ الرياضية القديمة المستخدمة في الترجمة (مثل BLEU أو ROUGE).
- الحواسيب الفائقة: نماذج الذكاء الاصطناعي الضخمة (مثل Llama أو Mistral) التي تحاول تقييم القصص.
الفائز المفاجئ:
طريقة المؤلف البسيطة "الفحص اللغوي ذو الـ 33 ميزة" هزمت الجميع تقريباً، بما في ذلك نماذج الذكاء الاصطناعي العملاقة.
لماذا؟
يقترح المؤلف أنه عندما تطلب من ذكاء اصطناعي ضخم تقييم قصة ذكاء اصطناعي آخر، فإنهما يشبهان شخصين من نفس البلد يحكم كل منهما على لهجة الآخر؛ فهما يتشاركان في نفس التحيزات والأخطاء. لكن طريقة المؤلف تشبه الميكانيكي الذي يحمل مفتاح ربط. هو لا يهتم بـ "شخصية" القصة؛ هو فقط يتحقق مما إذا كانت أجزاء المحرك (القواعد، المفردات، التدفق) قد جُمعت بشكل صحيح.
5. الخلاصة
يخلص البحث إلى أن الكتابة الجيدة لها بصمة رياضية محددة.
- القصص الجيدة تميل إلى امتلاك مزيج متوازن من الجمل المعقدة، والأزمنة المتسقة، وتنوع غني في الكلمات.
- القصص السيئة (أو قصص الذكاء الاصطناعي) غالباً ما تحتوي على الكثير من الضمائر، والكلمات المكررة، والقواعد المتذبذبة.
التشبيه:
تخيل أنك تحاول تحديد الماس الحقيقي من المزيف.
- طرق الذكاء الاصطناعي القديمة تشبه سؤال خبير مجوهرات لم يرَ سوى القطع المزيفة لتخمين الفرق. قد يصاب بالارتباك.
- طريقة مايستو تشبه استخدام جهاز قياس الانكسار (أداة تقيس كيفية انكسار الضوء عبر الحجر). هو لا يهتم بـ "روح" القصة؛ هو فقط يقيس الخصائص الفيزيائية. إذا انكسر الضوء بالطريقة الصحي['ة]، فهو ماسة.
ملخص
يثبت هذا البحث أننا لسنا بحاجة دائماً إلى إنسان ليخبرنا ما إذا كانت القصة مكتوبة بشكل جيد. من خلال قياس "الحمض النووي اللغوي" (المفردات، القواعد، والتدفق)، يمكننا تلقائياً رصد السرديات عالية الجودة وتصفية السيئة منها، حتى لو كتبها روبوت. إنها طريقة جديدة لتقييم القصص، سريعة، عادلة، ودقيقة بشكل مذهل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.