📊 statistics

Human- vs. AI-generated tests: dimensionality and information accuracy in latent trait evaluation

تقارن هذه الدراسة بين النسخ المولدة بواسطة الذكاء الاصطناعي وتلك التي طورها البشر لاستبيان الوعي بالجسم، لتجد أنه بينما تتشابه الصياغة السطحية، تُظهر التكيفات الناتجة عن الذكاء الاصطناعي اختلافات جوهرية في الأبعاد ودقة المعلومات، مما يؤكد الحاجة إلى التحقق الإحصائي الصارم لأدوات القياس المدفوعة بالذكاء الاصطناعي.

المؤلفون الأصليون: Mario Angelelli, Morena Oliva, Serena Arima, Enrico Ciavolino

نُشر 2026-02-16

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Mario Angelelli, Morena Oliva, Serena Arima, Enrico Ciavolino

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الفكرة الكبرى: هل يمكن للذكاء الاصطناعي أن يكتب اختباراً أفضل (أو أسوأ)؟

تخ lập نفسك معلماً يحتاج إلى إنشاء اختبار لقياس مدى "وعي" الطلاب بأجسادهم (مثل ملاحظة ما إذا كان قلبهم يتسارع أو إذا كانوا يشعرون بالتوتر). لديك اختبار مثالي ومجرب من قبل خبراء بشريين.

الآن، تطلب من ذكاء اصطناعي فائق الذكاء (مثل ChatGPT) أن يكتب اختباراً جديداً يشبه تماماً الاختبار البشري. يقوم الذكاء الاصطناعي بعمله، ويبدو الاختبار الجديد متطابقاً تقريباً من حيث المظهر الخارجي. الكلمات متشابهة، والأسئلة تدور حول نفس المواضيع، ويبدو أن الطلاب يجيبون عليها بشكل جيد تماماً.

السؤال الذي يطرحه البحث هو: هل الاختبار الذي كتبه الذكاء الاصطناعي هو في الواقع نفس الاختبار البشري تحت السطح؟

قرر الباحثون (ماريو، مورينيا، سيرينا، وإنريكو) وضع كلا الاختبارين تحت المجهر. لم ينظروا فقط إلى الكلمات؛ بل نظروا إلى الرياضيات الكامنة وراء الإجابات ليروا ما إذا كان الذكاء الاصطناعي يقيس شيئاً مختلفاً سراً أو يقوم بعمل غير متقن.

التشبيه: "خيال الظل" مقابل "اليد الحقيقية"

فكر في الاختبار الذي أنشأه البشر كيد حقيقية تلقي بظلها على جدار. شكل الظل يطابق اليد تماماً لأن اليد صلبة ومتسقة.

فكر في الاختبار الذي أنشأه الذكاء الاصطناعي كدمية مصنوعة من العصي والقماش. من بعيد (أو إذا نظرت إلى الكلمات فقط)، تبدو الدمية تماماً مثل اليد. لكن إذا وخزتها، ستتحرك المفاصل بشكل مختلف. "العظام" (المنطق الداخلي) ليست هي نفسها.

وجد الباحثون أنه بينما بدا "دمية" الذكاء الاصطناعي مثل اليد البشرية، إلا أن هيكلها الداخلي كان مهتزاً وغير متسق.

ما وجدوه (الاختلافات الثلاثة الكبرى)

1. "العقل ذو المسار الواحد" مقابل "العقل المرتبك" (الأبعاد)

المفهوم: يجب أن يقيس الاختبار النفسي الجيد شيئاً واحداً رئيسياً (مثل "الوعي بالجسم").
النتيجة: كان الاختبار البشري مثل شعاع الليزر، يركز على هدف واحد واضح. أما اختبار الذكاء الاصطناعي، فكان مثل كشاف ضوئي بعدسته المشروخة. أحياناً كان يقيس الوعي بالجسم، ولكن أحياناً أخرى كان يقيس شيئاً آخر بالخطأ (مثل القلق العام أو الارتباك).
التشبيه: إذا كان الاختبار البشري عبارة عن سهم مستقيم يصيب مركز الهدف، فإن اختبار الذكاء الاصطناعي هو سهم يتأرجح في الهواء ويصيب مكاناً مختلفاً قليلاً، رغم أنه كان موجهاً نحو نفس الهدف.

2. "سلم الصعوبة" (ترتيب العناصر)

المفهوم: في الاختبار، هناك أسئلة سهلة وأخرى صعبة. في الاختبار الجيد، يجب أن يكون ترتيب الصعوبة متسقاً. إذا كان السؤال (أ) أصعب من السؤال (ب) بالنسبة للبشر، فيجب أن يكون أصعب أيضاً في نسخة الذكاء الاصطناعي.
النتيجة: وجد الباحثون أن الذكاء الاصطناعي قام بخلط السلم.
- الاختبار البشري: "السؤال 1 سهل، السؤال 18 صعب".
- اختبار الذكاء الاصطناعي: "السؤال 1 صعب، السؤال 18 سهل".
التشبيه: تخيل مستوى في لعبة فيديو. المصممون البشر جعلوا المستوى 1 سهلاً والمستوى 10 صعباً. أما مصمم الذكاء الاصطناعي فقد نظر إلى القائمة وبالخطأ جعل المستوى 1 بمثابة "قتال زعيم" والمستوى 10 بمثابة "درس تعليمي". كانت أسماء المستويات هي نفسها، لكن التجربة كانت مقلوبة تماماً.

3. "شعاع الكشاف" (دقة المعلومات)

المفهوم: يكون الاختبار أكثر فائدة عندما يعطيك أدق المعلومات عن الشخص. بعض الاختبارات بارعة في رصد الأشخاص الذين لديهم وعي "عالٍ جداً"، لكنها سيئة في رصد الأشخاص الذين ليس لديهم وعي.
النتيجة: كان الاختبار البشري مثل بقعة الضوء (Spotlight). كان حاداً ودقيقاً جداً في النطاق المتوسط (حيث يقع معظم الناس). لقد أخبر الباحثين بالضبط أين يقف الشخص.
أما اختبار الذكاء الاصطناعي فكان مثل الكشاف الغامر (Floodlight). لقد نشر ضوءه في كل مكان. لم يكن خاطئاً، لكنه كان "ضبابياً". لقد قدم معلومات على نطاق واسع، لكنه لم يكن حاداً أو دقيقاً مثل النسخة البشرية.
التشبيه: إذا كنت تحاول قياس درجة حرارة كوب من القهوة، فإن الاختبار البشري هو ميزان حرارة دقيق يخبرك أنها 60 درجة مئوية بالضبط. أما اختبار الذكاء الاصطناعي فهو تخمين يقول "إنها بين 40 و80 درجة مئوية". كلاهما "صحيح" تقنياً، لكن الاختبار البشري أكثر فائدة بكثير.

مشكلة "الأمر البرمجي" (The Prompt)

جرب الباحثون طريقتين مختلفتين لطلب كتابة الاختبار من الذكاء الاصطناعي:

الأمر الصارم: "إليك قائمة الأسئلة بالضبط. أعد كتابتها ولكن حافظ على المعنى". (هذا جعل اختبار الذكنا الاصطناعي أفضل، لكنه ظل يعاني من الهيكل الداخلي "المهتز").
الأمر الغامض: "اكتب اختباراً عن الوعي بالجسم مكوناً من 18 سؤالاً". (هذا جعل الاختبار أسوأ بكثير، حيث كان مرتبكاً وغير متسق).

الدرس المستفاد: حتى لو أخبرت الذكاء الاصطناعي بما يجب فعله بالضبط، فإنه لا "يفهم" المفهوم كما يفهمه الخبير البشري. إنه مجرد توقع للكلمة التالية بناءً على الأنماط التي رآها في بيانات التدريب الخاصة به.

لماذا يجب أن تهتم؟

هذا البحث بمثابة "ملصق تحذير" لمستقبل البحث وعلم النفس.

لا تثق بالمظهر الخارجي: مجرد كون الاختبار الذي أنشأه الذكاء الاصطناعي يبدو مثل الاختبار الحقيقي لا يعني أنه يقيس الشيء نفسه.
خطر "الصندوق الأسود": لا يمكننا دائما رؤية لماذا جعل الذكاء الاصطناعي سؤالاً ما صعباً أو سهلاً. قد يكون يلتقط تحيزات خفية أو صوراً نمطية من بيانات التدريب الخاصة به.
الإشراف البشري هو المفتاح: يمكننا استخدام الذكاء الاصطناعي للمساعدة في كتابة الاختبارات، ولكن يجب علينا أن نطلب من الخبراء البشريين فحص "الرياضيات" (المنطق الداخلي) للتأكد من أن الذكاء الاصطناعي لا يهذي بهيكل زائف.

الخلاصة

الذكاء الاصطناعي أداة قوية، مثل متدرب سريع جداً ومبدع جداً. ولكن إذا طلبت من ذلك المتدرب بناء جسر (اختبار نفسي)، فلا يمكنك الاكتفاء بالنظر إلى طلاء الجسر. يجب عليك فحص العوارض الفولاذية تحته. في هذه الدراسة، كانت عوارض الذكاء الاصطناعي مهتزة قليلاً، حتى لو بدا الطلاء مثالياً.

باختصار: يمكن للذكاء الاصطناعي محاكاة كلمات الاختبار البشري، لكنه يكافح لمحاكاة روح (البنية الإحصائية) الاختبار. نحن بحاجة لإبقاء البشر في الحلقة لضمان أن الاختبارات التي نستخدمها تقول الحقيقة بالفعل.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "الاختبارات المولدة بواسطة البشر مقابل الذكاء الاصطناي: الأبعاد ودقة المعلومات في تقييم السمات الكامنة."

1. بيان المشكلة

أدى الاعتماد السريع للنماذج اللغوية الكبيرة (LLMs) مثل ChatGPT في البحوث الاجتماعية والنفسية إلى إدخال القدرة على توليد أدوات القياس (مثل الاستبيانات) تلقائيًا. وبينما توفر هذه النماذج كفاءة في الترجمة والتكييف، إلا أن هناك نقصًا حادًا في فهم صلاحيتها السيكومترية مقارنة بالأدوات التي تم التحقق من صحتها بشريًا.

تتمثل المشكلة الجوهرية التي تعالجها الدراسة في ما إذا كانت الاستبيانات المولدة بواسطة الذكاء الاصطناعي، حتى عندما يتم توجيهها لمحاكاة الاختبارات المصممة بشريًا، تلتقط بدقة السمات الكامنة (المفاهيم) التي تهدف إلى قياسها. وتحديدًا، يبحث المؤلفون فيما يلي:

هل تحافظ العناصر المولدة بواسطة الذكاء الاصطناعي على نفس الأبعاد (أحادية البعد مقابل تعدد الأبعاد) مثل الاختبارات المصممة بشريًا؟
هل تمتلك عناصر الذكاء الاصطناعي نفس قدرة التمييز ومعايير الصعوبة؟
كيف تقارن محتوى المعلومات (الدقة) للاختبارات المولدة بالذكاء الاصطناعي مع الاختبارات البشرية عبر طيف السمات الكامنة؟

2. المنهجية

2.1 التصميم التجريبي

استخدمت الدراسة استبيان الوعي بالجسم (BAQ)، وهو أداة معتمدة مكونة من 18 عنصرًا تقيس الوعي بالتفاعلات الجسدية، كمعيار مرجعي مصمم بشريًا.

النسخة البشرية (BAQ): الاستبيان الأصلي المعتمد.
نسخة الذكاء الاصطناعي الأولى (GPT.v1): تم توليدها باستخدام توجيه (Prompt) محدد للغاية طلب إعادة صياغة مباشرة (واحد لواحد) للعناصر الـ 18 الأصلية.
نسخة الذكاء الاصطناي الثانية (GPT.v2): تم توليدها باستخدام توجيه عام يطلب إنشاء اختبار نفسي جديد مكون من 18 عنصرًا حول نفس المفهوم دون الإشارة إلى عناصر أصلية محددة.

جمع البيانات:

العينة: $N=178$ مشاركًا تم توزيعهم عشوائيًا على النسخ الثلاث ( $n_{BAQ}=56$ , $n_{v1}=57$ , $n_{v2}=65$ ).
المقياس: مقياس ليكرت سباعي النقاط (1 = "غير صحيح على الإطلاق" إلى 7 = "صحيح جدًا").

2.2 الإطار الإحصائي

استخدم المؤلفون نظرية الاستجابة للمفردة (IRT)، وتحديدًا نموذج الاستجابة المتدرجة (GRM)، ضمن إطار هرمي بايزي (Bayesian hierarchical framework). تم اختيار هذا النهج بدلاً من النظرية التقليدية للاختبار (CTT) لفصل خصائص العناصر عن سمات المستجيب ولتحليل وظائف المعلومات.

النموذج: نموذج GRM بايزي يقدر:
- $\gamma_j$ : معايير التمييز للعناصر.
- $\beta_j$ : معايير صعوبة العناصر.
- $\delta_h$ : معايير العتبة لفئات الاستجابة.
التقدير: طريقة ماركوف تشين مونت كارلو (MCMC) مع 20,000 تكرار و3 سلاسل.
المقاييس الرئيسية التي تم تحليلها:
1. الثبات (Reliability): معامل ألفا كرونباخ، ألفا الرتبي، معاملات أوميغا ( $\omega$ )، والثبات المركب ( $\rho_C$ ).
2. الأبعاد (Dimensionality): التحليل العاملي الاستكشافي (EFA) باستخدام الارتباطات البوليكورية ومعيار كايزر التجريبي؛ والتحليل التأكيدي لـ أحادية البعد الجوهرية باستخدام طريقة polyDETECT (المؤشرات: DETECT, ASSI, RATIO).
3. التوافق الرتبي (Co-monotonicity): التحقق مما إذا كان ترتيب العناصر حسب الصعوبة ( $\beta$ ) والتمييز ( $\gamma$ ) محفوظًا بين النسخ البشرية والذكاء الاصطناعي.
4. وظائف المعلومات: حساب وظائف معلومات العناصر (IIF) ووظائف معلومات الاختبار (TIF).
  - مؤشر التداخل ( $\cap$ ): يقيس التشابه بين منحنيات المعلومات.
  - مؤشر الهيمنة ( $D_m$ ): يقيس نسبة نطاق السمة الكامنة الذي يوفر فيه أحد الاختبارات معلومات أكثر دقة من الآخر.

3. المساهمات الرئيسية

إطار منهجي للتحقق من صحة الذكاء الاصطناعي: تقترح الورقة بروتوكولًا إحصائيًا صارمًا باستخدام IRT بايزي للتحقق من صحة الأدوات السيكومترية المولدة بالذكاء الاصطناائي، متجاوزة مجرد التشابه في المحتوى إلى التكافؤ الهيكلي والمعلوماتي.
تكميم "عدم اليقين المعرفي": قدمت الورقة مقاييس (مؤشرات التداخل والهيمنة) لتكميم التباين في دقة المعلومات بين اختبارات البشر والذكاء الاصطناعي، مما يحدد المصادر "الخفية" لعدم اليقين في التوليد من "الصندوق الأسود" للذكاء الاصطناعي.
تحليل حساسية التوجيه (Prompt Sensitivity): تظهر الدراسة أن مدى تحديد التوجيه يغير بشكل كبير الخصائص السيكومترية للاختبار المولد، مما يؤثر على الأبعاد وترتيب العناصر.

4. النتائج

4.1 الثبات والأبعاد

الثبات: أظهرت جميع النسخ اتساقًا داخليًا متماثلًا (معاملات ألفا كرونباخ ومؤشرات الثبات الأخرى لم تكن مختلفة بشكل معنوي).
الأبعاد (EFA):
- BAQ و GPT.v1: اقترحتا بنية أحادية البعد (متوافقة مع المفهوم الأصلي).
- GPT.v2: اقترحت بنية متعددة الأبعاد (تم الاحتفاظ بعاملين)، مما يشير إلى أن التوجيه العام أدخل ضوضاء هيكلية.
أحادية البعد الجوهرية (polyDETECT):
- عند استخدام تقديرات GRM بايزي للسمات الكامنة، استوفت جميع النسخ معايير أحادية البعد الجوهرية.
- ومع ذلك، عند استخدام الدرجات الساذجة (وسيط الاستجابات)، فشلت GPT.v1 في اختبار أحادية البعد، مما يشير إلى أن طرق التسجيل البسيطة قد لا تلتقط البنية الكامنة لعناصر الذكاء الاصطناعي بفعالية.

4.2 ترتيب المعايير (التوافق الرتبي)

غياب التوافق الرتبي: على الرغم من أن GPT.v1 كانت إعادة صياغة مباشرة لـ BAQ، إلا أن ترتيب العناصر حسب الصعوبة ( $\beta$ $β$ ) والتمييز ( $\gamma$ $γ$ ) لم يكن محفوظًا.
- العناصر الأكثر صعوبة في BAQ لم تكن هي الأكثر صعوبة في GPT.v1.
- يشير هذا إلى أنه بينما تتشابه الصياغة السطحية، فإن الخصائص السيكومترية الكامنة قد تغيرت.

4.3 دقة المعلومات

تحولات العتبة: أظهرت GPT.v1 قيم عتبة ( $\delta$ ) أقل مقارنة بـ BAQ، مما يشير إلى تحول في كيفية وصول المستجيبين إلى فئات الاستجابة الأعلى. وأظهرت GPT.v2 عتبات أعلى، مما يشير إلى زيادة الغموض.
توزيع المعلومات:
- BAQ: المعلومات مركزة ودقيقة للغاية في النطاق المركزي للسمة الكامنة.
- GPT.v1: المعلومات مشتتة على نطاق أوسع من السمة الكامنة. فهي أكثر إخبارًا قليلاً عند القيم المتطرفة ولكنها أقل دقة في المركز.
التداخل مقابل الهيمنة:
- التداخل: تشابه عالٍ (72.8% – 93.5%) بين وظائف معلومات العناصر (IIFs)، مما يشير إلى تشابه سطحي.
- الهيمنة: تباين كبير. يهيمن BAQ في نطاق السمة المركزي (63.7% من المعلومات)، بينما تهيمن GPT.v1 فقط في نطاقات متطرفة محددة.
- الارتباط: وُجد ارتباط إيجابي قوي ( $\rho_S = 0.763$ ) بين معلمة التمييز ( $\gamma$ ) لـ BAQ وهيمنته على نسخة الذكاء الاصطناعي، مما يؤكد أن العناصر ذات التمييز العالي في الاختبارات البشرية ضرورية لدقة السمة المركزية.

5. الأهمية والخاتمة

الأهمية:
تكشف الدراسة أن الثبات وحده غير كافٍ للتحقق من صحة الاختبارات المولدة بالذكاء الاصطناعي. يمكن لاختبارين أن يكون لهما معاملات ثبات متطابقة ولكن ببنى أبعاد ودقة معلومات مختلفة جوهريًا.

خطر صلاحية المفهوم: قد تؤدي الاختبارات المولدة بالذكاء الاصطناعي إلى إدخال عدم يقين معرفي، حيث يقيس الاختبار المفهوم بشكل مختلف (على سبيل المثال، تحويل التركيز من المركز إلى أطراف توزيع السمة) أو يُدخل تعددية أبعاد خفية.
تأثير هندسة التوجيه (Prompt Engineering): تعني طبيعة "الصندوق الأسود" للنماذج اللغوية الكبيرة أنه حتى مع التوجيهات المحددة، فإن الأدوات الناتجة قد لا تتوافق مع الأساس النظري للمقياس الأصلي المصمم بشريًا.

الخاتمة:
يخلص المؤلفون إلى أنه بينما تعد النماذج اللغوية الكبيرة أدوات قوية لتوليد النماذج الأولية، فإنها تتطلب إشرافًا بشريًا وتحققًا سيكومتريًا صارمًا (باستخدام IRT ووظائف المعلومات تحديدًا) قبل النشر. تدعو الدراسة إلى استخدام المقاييس الإحصائية للدقة (مثل مؤشرات الهيمنة والتداخل) لضمان أن الأدوات المدعومة بالذكاء الاصطناعي لا تضعف صلاحية المؤشرات الاجتماعية والنفسية. يجب أن يستكشف العمل المستقبلي التباين في أداء العناصر (DIF) وعينات أكبر لتعميم هذه النتائج.