💬 NLP

Next Reply Prediction X Dataset: Linguistic Discrepancies in Naively Generated Content

تقدم هذه الورقة مجموعة بيانات جديدة للتنبؤ بالردود مشروطة بالسياق التاريخي على منصة إكس (تويتر سابقاً) لقياس التباينات اللغوية بين المحتوى المولد بسذاجة بواسطة النماذج اللغوية الكبيرة والتواصل البشري الأصيل، مما يقدم إطاراً لتحسين صلاحية أبحاث العلوم الاجتماعية الحوسبية.

المؤلفون الأصليون: Simon Münker, Nils Schwager, Kai Kugler, Michael Heseltine, Achim Rettinger

نُشر 2026-02-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Simon Münker, Nils Schwager, Kai Kugler, Michael Heseltine, Achim Rettinger

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تستضيف حفلة عشاء ضخمة حيث تريد فهم كيف يتحدث الناس، ويتجادلون، ويمزحون مع بعضهم البعض. تقليديًا، سيتعين عليك دعوة بشر حقيقيين، وهو أمر مكلف وبطيء ومعقد.

الآن، تخيل أن لديك طباخًا آليًا فائق الذكاء (نموذج لغوي كبير، أو LLM) يمكنه كتابة الرسائل من أجلك. تقول له: "تصرّف كشخص عادي في هذه الحفلة"، ويبدأ في كتابة الردود.

هذه الورقة البحثية هي في الأساس تحقيق جنائي فيما إذا كان ذلك الطباخ الآلي يخدع الضيوف حقًا، أم أن الجميع يمكنهم معرفة أنه روبوت يتظاهر بأنه بشري.

إليك تفصيل الدراسة باستخدام تشبيهات بسيطة:

1. المشكلة الكبرى: "الوادي غير الطبيعي" للنصوص

لاحظ الباحثون أنه بينما يتحسن الذكاء الاصطناعي في الكتابة، إلا أنه لا يزال يشبه إلى حد ما تمثالًا بلاستيكيًا مطليًا بإتقان. يبدو كبشري من مسافة بعيدة، ولكن إذا اقتربت، ستلاحظ أن الجلد ناعم جدًا، والعيون لا ترمش، والمفاصل تتحرك بتصلب.

في عالم وسائل التواصل الاجتماعي (تحديدًا منصة X/تويتر)، بدأ الباحثون في استخدام هذه "التماثيل" الاصطناعية لمحاكاة السلوك البشري في الدراسات. تسأل الورقة: "إذا استبدلنا البشر الحقيقيين بالذكاء الاصطناعي في أبحاثنا، فهل ندرس سلوكًا بشريًا حقيقيًا، أم ندرس مجرد فكرة الروبوت عن الإنسان؟"

2. التجربة: "لعبة الرد"

لاختبار ذلك، صمم الفريق لعبة.

الإعداد: أخذوا محادثات حقيقية من منصة X (تويتر) باللغتين الإنجليزية والألمانية. بحثوا في سلسلة تغريدات حيث نشر شخص ما تغريدة، ورد ثلاثة أشخاص عليها.
المهمة: أعطوا الذكاء الاصطناك أول ثلاثة ردود وطلبوا منه كتابة الرد الرابع، متظاهرًا بأنه أحد هؤلاء الأشخاص تحديدًا.
طباخان اصطناعيان:
1. الطباخ "المعتمد على الأوامر فقط": أعطوه تعليمات عامة فقط: "أنت شخص، اكتب ردًا."
2. الطباخ "المُدرب بدقة": أخذوا الذكاء الاصطناعي ودربوه خصيصًا على آلاف التغريدات الحقيقية أولًا، ليتعلم المصطلحات العامية، والنبرة، وعادات المستخدمين الحقيقيين.

3. العمل الاستقصائي: البحث عن "علامة الروبوت"

عمل الباحثون كالمحققين، مستخدمين ثلاث عدسات مكبرة مختلفة لرصد الاختلافات بين البشر الحقيقيين والطباخين الاصطناعيين.

العدسة المكبرة رقم 1: فحص القواعد والأسلوب (Morphosyntax)
- التشبيه: تخيل فحص خط يد شخص ما. البشر الحقيقيون لديهم خط يد فوضوي وغير متسق. يستخدمون جملًا قصيرة، وهذيانًا طويلًا، وعلامات ترقيم غريبة.
- النتائج: كتب الذكاء الاصطناعي، خاصة "المعتمد على الأوامر فقط"، بـ مثالية مفرطة. استخدم هياكل جمل معقدة وأدوات ربط (كلمات مثل "ومع ذلك"، "لذلك"، "على الرغم من") أكثر بكثير مما يفعل البشر الحقيقيون. البشر الحقيقيون أكثر فوضوية؛ أما الذكاء الاصطناعي فكان مهذبًا ومنظمًا للغاية.
العدسة المكبرة رقم 2: حلقة قياس المزاج (العاطفة والمواضيع)
- التشبيه: تخيل غرفة مليئة بالناس الحقيقيين. البعض غاضب، والبعض حزين، والبعض يمزح، والبعض يشعر بالملل. الآن تخيل روبوتًا في تلك الغرفة. يميل إلى أن يكون متفائلًا للغاية أو محايدًا لأنه يحاول أن يكون "مفيدًا".
- النتائج: كانت منشورات الذكاء الاصطناعي إيجابية للغاية وغطت مواضيع كثيرة جدًا. البشر الحقيقيون يميلون للالتزام باهتماماتهم المحددة ويعبرون عن مجموعة أوسع وأكثر فوضوية من العواطف (بما في ذلك السلبية والملل). كان الذكاء الاصطناعي مثل ضيف "مثالي" لا يغضب أبدًا ولا يشعر بالتعب.
العدسة المكبرة رقم 3: فحص بصمات الأصابع (التشابه الدلالي)
- التشبيه: إذا وضعت كل التغريدات الحقيقية في كومة وكل تغريدات الذكاء الاصطناعي في كومة أخرى، هل سيبدو وكأنها تنتمي إلى نفس الغرفة؟
- النتائج: بدا الذكاء الاصطناعي "المُدرب بدقة" (الطباخ المدرب) أكثر شبهاً بالبشر الحقيقيين من الذكاء الاصطناعي "المعتمد على الأوامر فقط". ومع ذلك، حتى الذكاء الاصطناعي المدرب كان لا يزال يمتلك "بصمة" مميزة تجعله يبرز عن الحشد الحقيقي.

4. الحكم: هل يمكننا رصد الروبوت؟

بنى الباحثون "كاشف روبوت" (مصنف تعلم آلي) لمعرفة ما إذا كان بإمكانهم تمييز الفرق بين البشر الحقيقيين والطباخين الاصطناعيين.

النتيجة: نعم، بالتأكيد.
كان الكاشف جيدًا جدًا في رصد الذكاء الاصطناعي "المعتمد على الأوامر فقط" (مثل رصد تمثال بلاستيكي من مسافة 10 أقدام).
كان الأمر أصعب، لكنه لا يزال ممكنًا، لرصد الذكاء الاصطناعي "المُدرب بدقة" (مثل رصد تمثال شمعي واقعي جدًا من مسافة قريبة).
ومن المثير للدهشة أن الأدوات الأبسط (النظر في تكرار الكلمات) عملت بشكل جيد تقريبًا مثل أدوات الذكاء الاصطناعي الأكثر تعقيدًا للإيقاع بالروبوتات.

5. لماذا هذا مهم (الخلاصة)

تختتم الورقة البحثية بتحذير للعلماء والباحثين:

لا تكن كسولًا: لا يمكنك مجرد سؤال الذكاء الاصطناعي: "تظاهر بأنك إنسان"، وتثق في النتائج. الذكاء الاصطناعي يُدخل "تحيزًا" حيث يبدو كل شيء مثاليًا للغاية، وإيجابيًا للغاية، ومنظمًا للغاية.
التدريب يساعد، لكنه ليس سحرًا: تعليم الذكاء الاصطناعي من بيانات حقيقية (التدريب الدقيق) يجعله أفضل بكثير، لكنه لا يزال لا يستطيع التقاط الطبيعة الفوضوية، والمضطربة، وغير العقلانية أحيانًا للمحادثة البشرية.
مشكلة "التمثال البلاستيكي": إذا استخدمت الذكاء الاصطناعي لمحاكاة السلوك البشري في العلوم الاجتماعية، فقد ينتهي بك الأمر بدراسة فكرة الذكاء الاصطناعي عن الإنسانية، وليس الإنسانية نفسها.

باختصار: الذكاء الاصطناعي أداة رائعة للكتابة، ولكن إذا استخدمته للتظاهر بأنك إنسان في تجربة اجتماعية، فذلك يشبه اختيار تمثال بلاستيكي لتمثيل دور في مسرحية. قد يبدو كأنه يؤدي الدور من مؤخرة المسرح، ولكن من مسافة قريبة، سيعرف الجمهور (والبيانات) أنه ليس حقيقيًا. يحتاج الباحثون إلى أن يكونوا حذرين للغاية واستخدام اختبارات صارمة للتأكد من أنهم لا يتم خداعهم من قبل "البلاستيك".

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "التفاوتات اللغوية في المحتوى المولد بسذاجة: التنبؤ بالرد التالي على مجموعة بيانات X."

1. بيان المشكلة

يمثل الاعتماد المتزايد على النماذج اللغوية الكبيرة (LLMs) كبدائل للمشاركين البشريين في أبحاث العلوم الاجتماعية الحسابية مخاطرة منهجية حرجة. وبينما توفر هذه النماذج القابلية للتوسع وكفاءة التكلفة، فإن تطبيقها "الساذج" — أي توليد المحتوى عبر التلقين البسيط (prompting) دون قيود سلوكية صريحة أو ضبط دقيق متخصص في المجال — غالبًا ما يفشل في محاكاة الأنماط اللغوية البشرية الأصيلة.

تفتقر الأبحاث الحالية إلى أطر عمل قوية لقياس التباعد بين المحتوى الاصطناعي والمحتوى البشري الأصيل. وتتمثل المشكلة الجوهرية في أنه بينما قد تبدو المنشورات الفردية المولدة بواسطة النماذج اللغوية الكبيرة معقولة، إلا أن التحليل المنهجي يكشف عن بصمات لغوية متسقة تميزها عن السلوك البشري. وهذا يهدد الصلاحية البيئية (Ecological Validity) للدراسات التي تعتمد على البيانات الاصطناعية، حيث إن افتراض "التشابه مع البشر" في التوليد قد يكون معيبًا بشكل جوهري.

2. المنهجية

أ. بناء مجموعة البيانات

قام المؤلفون بإنشاء مجموعة بيانات تنبؤ بالرد مشروطة بالسياق التاريخي جديدة بناءً على بيانات حقيقية من منصة X (تويتر سابقًا) من الولايات المتحدة وألمانيا (النصف الأول من عام 2023).

مصدر البيانات: حوالي 11 مليون عينة خام (باللغتين الإنجليزية والألمانية) تحتوي على تغريدات وردود من الدرجة الأولى.
المعالجة المسبقة:
- تجميع أزواج (التغريدة-الرد) للحفاظ على سياق المحادثة.
- إزالة الروابط (URLs) والوسائط واستبعاد المستخدمين ذوي وتيرة الردود المفرطة لمنع الإفراط في التخصيص لأسلوب مستخدم معين.
- تقسيم البيانات إلى مجموعات تدريب واختبار.
صياغة المهمة: تتضمن المهمة التنبؤ بالرد الرابع في تسلسل ما، بناءً على ثلاثة أزواج تاريخية من (التغريدة-الرد).
- التلقين (Prompt): "أنت مستخدم لوسائل التواصل الاجتماعي... حافظ على ردودك متسقة مع أسلوب كتابتك السابق..."
- المدخلات: ثلاثة أزواج تاريخية + تغريدة رابعة.
- المخرجات:
  1. الحقيقة الأرضية (Ground Truth): الرد البشري الفعلي.
  2. الاصطناعي (القائم على التلقين): مولد بواسطة نموذج Qwen3 8B الأساسي.
  3. الاصطناعي (المضبوط دقيقًا): مولد بواسطة نموذج Qwen3 8B تم ضبطه دقيقًا على مجموعة التدريب (5,000 مثال لكل لغة).

ب. إطار التقييم (التحليل متعدد الأبعاد)

لتقييم التوافق اللغوي، استخدم المؤلفون خط معالجة تحليل مكون من أربع طبقات:

السمات الكمية (مجموعة NeLa): استخراج مقاييس التعقيد، والأسلوب، والتحيز، والتأثير، والاستدلال الأخلاقي (مثل نسب النوع إلى الرمز، ودرجات القابلية للقراءة مثل Flesch-Kincaid).
الاستخراج المورفوسنتاكسي (الصرفي-النحوي): استخدام spaCy لتحليل توزيع أجزاء الكلام (POS)، والتعرف على الكيانات المسماة (NER)، وعلاقات التبعية.
التصنيف الدلالي: استخدام نماذج Transformer مدربة مسبقًا (TweetEval) لتصنيف المواضيع، وكشف العواطف، وتحليل المشاعر.
التشابه القائم على العنقود (Cluster-based Similarity): استخدام تضمينات (embeddings) نموذج Qwen3 مع تحليل المكونات الرئيسية (PCA) وخوارزمية الانتشار بالتقارب (Affments Propagation) لقياس تشابه التوزيع الدلالي بين المجموعات النصية.

ج. مهمة التحقق (الكشف)

عامل المؤلفون التمييز بين المحتوى البشري والاصطناعي كمسألة تصنيف لاختبار قابلية الكشف.

المشفرات (Encoders): مقارنة TF-IDF (متناثر)، وFastText (كثيف)، وتضمينات Qwen3 (المتبعة للتعليمات).
تركيبات السمات: اختبار النهج الهجين الذي يجمع بين التضمينات النصية والسمات اللغوية المستخرجة.
المصنف: تم استخدام XGBoost لتصنيف المحتوى إلى ثلاثة فئات: الأصلي البشري (O)، الملقن اصطناعيًا (P)، والمضبوط دقيقًا (F).

3. المساهمات الرئيسية

مجموعة بيانات مبتكرة: نشر مجموعة بيانات تنبؤ بالرد مشروطة بالتاريخ لمنصة X، تحتوي على بيانات بشرية، ومولدة بالتلقين، ومضبوطة دقيقًا، باللغتين الإنجليزية والألمانية.
إطار تقييم: تقديم إطار عمل متعدد الأبعاد يجمع بين المقاييس الكمية، والمورفوسنتاكسية، والدلالية لتقييم التوافق بين الإنسان والآلة.
معيار الكشف: مقارنة منهجية لأنواع المشفرات وتركيبات السمات للكشف عن المحتوى الاصطناعي، مما يثبت أن الأنماط اللغوية السطحية تظل مميزة للغاية.

4. النتائج الرئيسية

أ. التوافق اللغوي (تحليل التشابه)

هرمية التوافق: أظهرت النماذج المضبوطة دقيقًا (F) أعلى درجة تشابه مع المحتوى البشري (O)، تليها النماذج القائمة على التلقين (P). وأقل تشابه كان بين النهجين الاصطناعيين (P مقابل F).
الكمي والمورفوسنتاكسي: حققت النماذج المضبوطة دقيقًا درجات تشابه عالية (على سبيل المثال، المورفوسنتاكسي للإنجليزية: $s(O,F) = 0.9816$ مقابل $s(O,P) = 0.9423$ ). ومع ذلك، أظهرت النماذج القائمة على التلقين أنماطًا مميزة، مثل الإفراط في استخدام أدوات الربط (التنسيق والتبعية)، مما أدى إلى هياكل جمل معقدة بشكل مصطنع.
التحيز الدلالي والعاطفي: أنتجت النماذج القائمة على التلقين محتوى بنسب أعلى بكثير من المشاعر الإيجابية وتنوع موضوعي أكبر مقارنة بالبيانات البشرية الأصيلة.
تحليل العناقيد (Cluster Analysis): كشف هذا المقياس عن الاختلافات الأكثر وضوحًا. كانت الفجوة بين الأصل والملقن كبيرة (على سبيل المثال، الإنجليزية: $0.8977 $)، بينما كان التشابه بين الأصل والمضبوط دقيقًا أعلى بكثير ($ 0.9620$)، مما يشير إلى أن التوزيع الدلالي حساس للغاية لطرق التوليد.

ب. أداء الكشف

قابلية الكشف: المحتوى الاصطناعي، وخاصة القائم على التلقين، يمكن كشفه بشكل موثوق.
- أفضل نموذج هجين: حقق الجمع بين TF-IDF وFastText والسمات المستخرجة أعلى درجات F1 الكلية (الألمانية: 0.7301، الإنجليزية: 0.6972).
- كشف المحتوى الملقن: كان المحتوى الملقن هو الأسهل في الكشف (F1 > 0.8 في العديد من التكوينات).
- كشف المحتوى المضبوط دقيقًا: حتى النماذج المضبوطة دقيقًا ظلت قابلة للتمييز عن البشر، وإن كانت أصعب في الكشف من النماذج الملقنة.
نتيجة مفاجئة: أثبتت تمثيلات TF-IDF التقليدية فعاليتها بشكل ملحوظ، مما يشير إلى أن الأنماط المعجمية السطحية لا تزال مؤشرات قوية على المحتوى الاصطناعي رغم التقدم في تعقيد التوليد.

5. الأهمية والآثار المترتبة

تحذير منهجي: تتحدى هذه الدراسة صلاحية استخدام التلقين "الساذج" لنماذج اللغة الكبيرة في محاكاة العلوم الاجتماعية. فالتباينات اللغوية المنهجية (مثل نقص الأخطاء الطبيعية، والتحيز العاطفي الإيجابي، والتركيبات المعقدة) تسبب تحيزات يمكن أن تفسد نتائج الأبحاث.
ضرورة الضبط الدقيق: بينما يحسن الضبط الدقيق التوافق بشكل كبير، إلا أنه غير كافٍ لتحقيق الأصالة اللغوية الكاملة. يجب أن يكون التكيف مع المجال (Domain Adaptation) حداً أدنى للمتطلبات، وليس ضمانًا للصلاحية.
معايير التقييم: يجب على الباحثين تجاوز مجرد "المعقولية" السطحية. تدعو الورقة إلى استخدام بروتوكولات تقييم متعددة الأبعاد (كمية، مورفوسنتاكسية، دلالية، وتوزيعية) للتحقق من صحة البيانات الاصطناعية.
الاتجاهات المستقبلية: تشير النتائج إلى الحاجة إلى التدريب الخصمي (Adversarial Training) لتقليل قابلية الكشف، وتطوير مقاييس تلتقط التناقضات البشرية الدقيقة (مثل السخرية، واللمحات الثقافية) التي تجد النماذج الحالية صعوبة في محاكاتها.

ختامًا، تقدم الورقة أدلة تجريبية على أن النماذج اللغوية الكبيرة الحالية، حتى عند ضبطها دقيقًا، لا تحاكي تمامًا الأنماط المعقدة، وغير المثالية غالبًا، والمتنوعة عاطفيًا للخطاب البشري الأصيل على وسائل التواصل الاجتماعي، مما يستوجب التحقق الصارم قبل استخدامها في العلوم الاجتماعية الحسابية.