💬 NLP

Can LLMs Capture Expert Uncertainty? A Comparative Analysis of Value Alignment in Ethnographic Qualitative Research

تقيم هذه الدراسة قدرة النماذج اللغوية الكبيرة على استيعاب عدم اليقين لدى الخبراء في البحوث الإثنوغرافية النوعية من خلال مقارنة تحديد القيم القائم على نظرية "شوارتز" الذي تقوم به هذه النماذج مقابل التوصيفات البشرية، مما يكشف أنه بينما تقترب النماذج اللغوية الكبيرة من الأداء البشري في المقاييس القائمة على المجموعات وتتحسن باستخدام أساليب التجميع، إلا أنها تعاني في الترتيب الدقيق وتُظهر أنماط عدم يقين وتحيزات قيمية متميزة مقارنة بالخبراء.

المؤلفون الأصليون: Arina Kostina, Marios Dikaiakos, Alejandro Porcel, Tassos Stassopoulos

نُشر 2026-03-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Arina Kostina, Marios Dikaiakos, Alejandro Porcel, Tassos Stassopoulos

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول فهم قلب وروح مجتمع ما. تجلس مع 12 شخصًا مختلفًا في محادثات طويلة وعميقة حول آمالهم، ومخاوفهم، وما يهمهم حقًا. هذا هو البحث الإثنوغرافي — وهو يشبه إلى حد ما كونك محققًا في الثقافة البشرية.

تقليديًا، يقوم فريق من المحققين البشريين الخبراء (علماء الأنثروبولوجيا والاقتصاديين) بالاستماع إلى هذه التسجيلات، وتدوين الملاحظات، ومحاولة الاتفاق على أهم ثلاث "قيم" تحرك حياة كل شخص (مثل الأمان، أو الحرية، أو التقاليد). لكن هذا عمل شاق؛ فهو يستغرق وقتًا طويلاً، وحتى الخبراء غالبًا ما يختلفون فيما بينهم لأن المشاعر البشرية فوضوية ومعقدة.

السؤال الكبير:
هل يمكن لذكاء اصطناعي فائق القدرة (نموذج لغوي كبير أو LLM) أن يحضر هذه المحادثات، ويستمع إلى نفس الأشرطة، ويكتشف القيم تمامًا كما يفعل الخبراء البشر؟ والأهم من ذلك، هل يمكن للذكاء الاصطناعي أن يفهم متى تكون الإجابة غامضة، تمامًا كما يفعل البشر؟

إليك قصة ما وجده الباحثون، مشروحة ببعض التشبيهات اليومية.

1. الذكاء الاصطناوي كـ "متدرب سريع، ولكنه مفرط في الثقة أحيانًا"

عامل الباحثون نماذج الذكاء الاصطناعي كفريق من المتدربين الأذكياء والسريعين جدًا. طلبوا من الذكاء الاصطناي الاستماع إلى المقابلات واختيار القيم الثلاث الأولى لكل شخص.

الأخبار الجيدة: كان الذكاء الاصطناعي جيدًا بشكل مفاجئ في فهم "الصورة الكبيرة". إذا سألت: "هل اختار الذكاء الاصطناعي المجموعة الصحيحة من القيم؟" (مثل اختيار الفواكه الثلاث الصحيحة من سلة)، فقد أصاب تقريبًا بنفس وتيرة الخبراء البشر. الأمر يشبه متدربًا يمكنه بسرعة فرز كومة من البريد ووضعها في الحاويات الصحيحة.
الأخبار السيئة: عانى الذكاء الاصطناعي مع "الترتيب". إذا سألت: "أي من هذه الثلاث هي الأكثر أهمية؟"، فإن الذكاء الاصطناعي غالبًا ما يخطئ في الترتيب. الأمر يشبه المتدرب الذي يعرف أنك بحاجة إلى الحليب والبيض والخبز، لكنه يضع الخبز في أعلى القائمة بينما كنت تحتاج إلى الحليب أولاً.

2. "اختبار اليقين": هل يعرف الذكاء الاصطناعي ما لا يعرفه؟

هذا هو الجزء الأكثر إثارة للاهتمام. الخبراء البشر يعرفون أن بعض المقابلات تكون مربكة. أحيانًا يتحدث الشخص في دوائر، وحتى الخبراء يحكون رؤوسهم ويقولون: "لست متأكدًا بنسبة يد 100% ما هذه القيمة".

أراد الباحثون معرفة ما إذا كان الذكاء الاصطناعي سيقول أيضًا: "أنا لست متأكدًا"، أم أنه سيقوم فقط بالتخمين الخاطئ بكل ثقة.

النتيجة: كان الذكاء الاصطناعي مفرط الثقة في كثير من الأحيان. حتى عندما كان الخبراء البشر مرتبكين ويختلفون فيما بينهم، مال الذكاء الاصطناعي إلى إعطاء إجابة حاسمة للغاية. كان الأمر يشبه طالبًا يجري اختبارًا ويخمن الإجابة بيقين 100% حتى عندما لا يفهم السؤال إطلاقًا.
الاستثناء: أحد النماذج، المسمى Qwen، كان "الطالب المتفوق". لقد كان الوحيد الذي بدأ في محاكاة ارتباك الخبراء البشر. فعندما كان البشر غير متأكدين، كان Qwen أيضًا أكثر عدم يقين. لقد كان الأكثر "تشابهًا مع البشر" في تردده.

3. استراتيجية "الدردشة الجماعية" (المجموعات - Ensembles)

بما أنه لا يوجد نموذج ذكاء اصطناعي واحد مثالي، جرب الباحثون حيلة تُستخدم في كثير من غرف الاجتماعات: الدردشة الجماعية.
طلبوا من أربعة نماذج مختلفة من الذكاء الاصطناعي تحليل نفس المقابلة، ثم أخذوا تصويتًا على الإجابة النهائية.

التشبيه: تخيل أنك تطلب من أربعة أصدقاء مختلفين تخمين حبكة فيلم شاهدتموه جميعًا. إذا أخذت تصويتًا على النهاية، فستحصل عادةً على إجابة أفضل مما لو سألت صديقًا واحدًا فقط.
النتيجة: نجحت طريقة "الدردشة الجماعية" هذه بشكل مذهل. فمن خلال الجمع بين آراء الذكاء الاصطناعي، حصلوا على نتائج أفضل بكثير، مما أدى تقريبًا إلى سد الفجوة بين الذكاء الاصطناعي والخبراء البشر.

4. انحياز "الأمان"

كان هناك خلل غريب واحد. بدا أن نماذج الذكاء الاصطناعي تعتقد أن الجميع مهووس بـ الأمان.

التشبيه: تخيل مجموعة من الأصدقاء يحللون حفلة ما. يقول البشر: "أوه، الجميع كانوا هناك للاستمتاع وقضاء وقت ممتع والتعرف على أشخاص جدد". لكن الذكاء الاصطناعي يقول: "لا، الجميع كانوا هناك بوضوح للتأكد فقط من أن المخارج آمنة والطعام طازج".
استمر الذكاء الاصطناعي في اختيار "الأمان" كقيمة عليا أكثر بكثير مما فعل البشر. وهذا يشير إلى أن لدى الذكاء الاصطناعي انحيازًا متأصلًا، ربما لأن بيانات تدريبه تجعله يعتقد أن السلامة هي أهم شيء للجميع.

الخلاصة

هل يمكن للذكاء الاصطناعي أن يحل محل الباحثين البشر؟ ليس بعد.

الوعد: الذكاء الاصطناي أداة رائعة للقيام بالأعمال الشاقة. يمكنه قراءة ساعات من المقابلات في ثوانٍ وفهم "الانطباع العام" بشكل صحيح. إنه مساعد رائع يمكنه تسريع العمل.
القصور: لا يزال الذكاء الاصطناعي يفتقر إلى "الشعور الداخلي" لمعرفة متى يكون الموقف غامضًا. فهو يميل إلى أن يكون واثقًا جدًا من نفسه عندما ينبغي عليه أن يكون حذرًا.

الخلاية: فكر في الذكاء الاصطناعي ليس كبديل للخبير البشري، بل كـ متدرب سريع للغاية يحتاج إلى مدير بشري لمراجعة العمل، خاصة عندما لا تكون الإجابات واضحة تمامًا. إذا استخدمت طريقة "الدردشة الجماعية" (الجمع بين عدة نماذج ذكاء اصطناعي) وأبقيت الإنسان في قلب العملية لرصد الانحيازات، يمكنك الحصول على رؤى قوية للغاية حول ما يحرك الناس.

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "هل يمكن للنماذج اللغوية الكبيرة استيعاب عدم اليقين لدى الخبراء؟ تحليل مقارن للمواءمة القيمية في البحث الإثنوغرافي النوعي."

1. بيان المشكلة

يعد التحليل النوعي للمقابلات المفتوحة حجر الزاوية في الأبحاث الإثنوغرافية والاقتصادية، حيث يُستخدم للكشف عن الدوافع الكامنة، والقيم، والسلوكيات المتجذرة ثقافيًا. ومع ذلك، فإن هذه العملية بطبيعتها مستهلكة للوقت، وتخضع للذاتية، وعرضة للاختلاف بين الخبراء بسبب غموض القيم البشرية.

الفجوة: بينما تُظهر النماذج اللغوية الكبيرة (LLMs) إمكانات واعدة في أتمتة الترميز النوعي، لا يزال من غير الواضح ما إذا كانت قادرة على محاكاة الدقة وأنماط عدم اليقين لدى الخبراء البشريين. وتحديدًا، هل تستطيع هذه النماذج التمييز بين القيم الغامضة بطبيعتها (حيث يختلف الخبراء) وبين القيم التي يكتفي النموذج بعدم اليقين بشأنها بسبب محدودية قدراته الخاصة؟
التحدي: تركز معظم التقييمات الحالية على مقاييس الأداء الإجمالية لقصاصات نصية قصيرة. تعالج هذه الورقة المهمة الأكثر تعقيدًا المتمثلة في استنتاج القيم من مقابلات طويلة وغير منظمة دون الاعتماد على كلمات مفتاحية صريحة، بل بالاعتماد على الاستدلال السياقي بناءً على نظرية شوارتز للقيم الإنسانية الأساسية.

2. المنهجية

البيانات والتدوين

مجموعة البيانات: 12 مقابلة مفتوحة، مدة كل منها ساعتان، مع سكان محليين في الصين (تم نسخها من الصينية إلى الإنجليزية بواسطة خبراء).
الحقيقة الأرضية (Ground Truth): قام ستة خبراء متعددين التخصصات (علماء أنثروبولوجيا، اقتصاديون، متخصصون في الاستثمار) بتدوين كل مقابلة بشكل مستقل لتحديد أهم ثلاث قيم مهيمنة من بين 58 قيمة فرعية، والتي تم ربطها بـ 10 أنواع دافعية أساسية (نظرية شوارتز).
مقياس الغموض: بلغ اتفاق المدونين (Krippendorff's $\alpha$ ) 0.389، مما يؤكد الغموض المتأصل في المهمة. كما تم وضع خط أساس "السقف البشري" عبر تقييم "ترك مدون واحد خارج الحساب".

النماذج التي تم تقييمها

اختبرت الدراسة أربعة من النماذج الحديثة (State-of-the-art) من نوع (decoder-only) ذات نافذة سياق ( $\ge$ 32 ألف توكن) تعمل بصيغة GGUF-quantized:

DeepSeek-R1-Distill-Llama-8B
Qwen3-30B-A3B-Instruct
Llama-3.3-70B-Instruct
Mistral-Small-3.2-24B-Instruct

التصميم التجريبي

هندسة الأوامر (Prompt Engineering): تم اختبار أربع استراتيجيات:
1. الأساس (Baseline): تحديد أولويات الـ 10 قيم بشكل مباشر.
2. قيد الانحياز (BC): تعليمات صريحة للحفاظ على الموضوعية.
3. تعزيز الملف الشخصي (PEP): تضمين ملخصات خلفية عن الشخص الذي تمت مقابلته.
4. من الأسفل إلى الأعلى (BUP): محاكاة سير عمل الخبير (58 قيمة فرعية $\\to$ 10 قيم واسعة).
استراتيجيات المدخلات: النص الكامل للمقابلة مقابل المقاطع المجزأة (5 آلاف توكن).
طرق التجميع (Ensemble Methods): تجميع نتائج نماذج متعددة باستخدام Kemeny-Young، وتصويت الأغلبية (Majority Vote)، وحساب بوردا (Borda Count).

مقاييس التقييم

الأداء: مقياس F1-score (F1@3)، تشابه جاکارد (Jaccard@3)، وتداخل الرتب المرجح (RBO@3).
مواءمة عدم اليقين:
- تشابه جيب التمام (Cosine Similarity): مواءمة توزيعات القيم المتوسطة بين النماذج والخبراء.
- معامل سبيرمان ( $\rho$ ): الارتباط بين تباين النموذج (عبر الأوامر المختلفة) واختلاف الخبراء (عبر المدونين).
- الانحراف المعياري للوسيط: مقدار عدم اليقين في النموذج.

3. المساهمات الرئيسية

تحليل بنية عدم اليقين: تتجاوز الورقة البحثية مجرد قياس الدقة لتصل إلى تحليل ما إذا كانت النماذج اللغوية الكبيرة تُظهر أنماط عدم يقين تعكس اختلاف الخبراء البشريين. وهي تميز بين عدم المواءمة الهيكلي (النموذج غير متأكد بشأن قيم مختلفة عن تلك التي يختلف عليها البشر) وعدم المواءمة في المقدار (النموذج مفرط أو ناقص الثقة).
الاستدلال السياقي طويل المدى: على عكس الأعمال السابقة التي تناولت المقاطع القصيرة، تقيم هذه الدراسة النماذج اللغوية الكبيرة في مقابلات معقدة تمتد لساعات، حيث تكون القيم ضمنية ومتجذرة ثقافيًا.
فعالية التجميع (Ensemble Efficacy): تثبت أن تجميع النماذج اللغوية الكبيرة يتفوق بشكل كبير على النماذج المنفردة في تحديد القيم النوعية.
كشف الانحياز: تحدد انحيازات منهجية في النماذج، وبالتحديد التركيز المفرط على قيمة "الأمان" (Security) عبر جميع النماذج مقاربالخبراء البشريين.

4. النتائج الرئيسية

الأداء مقابل السقف البشري

مقاييس المجموعات: تقترب النماذج اللغوية الكبيرة من السقف البشري في درجات F1 وJaccard (تحديد مجموعة القيم العليا).
- أداء Qwen3 كان الأفضل (F1: 56.6، Jaccard: 43.96)، حيث يتبع عن كثب السقف البشري (F1: 58.2، Jaccard: 44.5).
- أداء DeepSeek كان ضعيفًا (F1: 24.9) مع تباين عالٍ.
مقاييس الترتيب: عانت جميع النماذج مع الترتيب الدقيق (درجات RBO)، حيث حقق Qwen3 نسبة 37.09 مقابل 51.97 للبشر. يشير هذا إلى أن النماذج اللغوية الكبيرة يمكنها تحديد القيم ذات الصلة ولكنها تجد صعوبة في ترتيبها بدقة.

عدم اليقين والمواءمة

مواءمة التوزيع: أظهر Qwen3 أعلى تشابه لجيب التمام (0.833) مع توزيعات قيم الخبراء. أما DeepSeek فكان الاستثناء (0.552).
بنية عدم اليقين:
- أظهر كل من Qwen3 وMistral مواءمة متوسطة مع أنماط عدم اليقين لدى الخبراء (معامل سبيرمان $\rho$ بلغ 0.457 و0.379 على التوالي).
- الإفراط في الثقة: أظهرت نماذج Llama وQwen تباينًا أقل عبر الأوامر مقارنة بالخبراء البشريين، مما يشير إلى إفراط منهجي في الثقة (فهي واثقة جدًا بشأن القيم الغامضة).
- DeepSeek طابق مقدار عدم اليقين لدى الخبراء (الانحراف المعياري 0.254 مقابل 0.252 للبشر) ولكنه فشل في المواءمة حول أي القيم كانت غامضة.

الأوامر والتجميع

الأوامة (Prompting): حققت استراتيجية تعزيز الملف الشخصي (PEP) على النص الكامل أفضل النتائج. أما استراتيجية "من الأسفل إلى الأعلى" فقد كان أداؤها ضعيفًا.
التجميع: أدى تجميع النماذج عبر تصويت الأغلبية أو حساب بوردا إلى تحسين الأداء بمقدار 8 إلى 10 نقاط في مقاييس F1 وRBO، وبمقدار 6 إلى 8 نقاط في مقياس Jaccard، متفوقًا بذلك على أي نموذج منفرد.

الانحياز المنهجي

أسندت جميع النماذج قيمة "الأمان" (Security) بشكل مفرط مقارنة بالخبراء البشريين. يشير هذا إلى وجود انحياز محتمل ناتج عن النموذج، حيث يتم التعامل مع "الأمان" كسمة افتراضية أو مهيمنة في السياقات المالية أو السلوكية.

5. الأهمية والخاتمة

إمكانات التعاون: تعتبر النماذج اللغوية الكبيرة شركاء قابلين للعمل في الأبحاث الإثنوغرافية، حيث يمكنها الاقتراب من مستوى أداء البشر في تحديد مجموعات القيم، خاصة عند استخدام التجميع.
القصور في مواجهة الغموض: بينما يمكن للنماذج اللغوية الكبيرة تحديد ماهية القيم الموجودة، إلا أنها تواجه صعوبة في محاكاة عدم اليقين الدقيق لدى الخبراء البشر. فهي تميل إما إلى الإفراط في الثقة أو عدم اليقين بشأن القيم الخاطئة، مما يشكل مخاطر في اتخاذ القرارات عالية المخاطر (مثل أبحاث الاستثمار).
الوعي بالانحياز: يسلط التركيز المنهجي على "الأمان" الضوء على الحاجة لأن يعامل الباحثون مخرجات النماذج اللغوية الكبيرة كوجهات نظر تكميلية تتطلب تصحيح الانحياز، وليس كحقائق مطلقة.
الاتجاهات المستقبلية: يقترح المؤلفون أن العمل المستقبلي يجب أن يركز على معالجة النصوص المنسوخة وتحويلها إلى أزواج (سؤال وجواب) مهيكلة لتحسين التأسيس، وتوسيع نطاق التقييم ليشمل النماذج مغلقة المصدر ومجموعات بيانات أوسع.

باختصار، تخلص الورقة إلى أنه بينما تعد النماذج اللغوية الكبيرة أدوات قوية لتوسيع نطاق التحليل النوعي، إلا أنها لا تستطيع بعد استيعاب "العنصر البشري" لعدم اليقين التفسيري، مما يستوجب نهجًا هجينًا (إنسان في الحلقة - human-in-the-loop) لضمان إجراء أبحاث إثنوغرافية رصينة.