Can AI Guess What You Know? Performance Comparison of Large Language Models for Human Domain Knowledge Estimation From Communication Logs
تقيم هذه الدراسة قدرة سبعة نماذج لغوية كبيرة على استنتاج المعرفة بالمجال الفردي من سجلات اتصالات "سلاك" عبر مقارنة تقديراتها في وضع الصفر (zero-shot) بالمهارات المبلغ عنها ذاتياً، لتجد أنه بينما حقق نموذج "Gemini 2.5 Flash" أعلى دقة، فإن أداء الاستنتاج يعتمد بشكل ضعيف فقط على حجم الرسائل، مما يسلط الضوء على الحاجة إلى نهج يحافظ على الخصوصية ويهتم بالهيكلية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك دخلت إلى مكتب ضخم يعج بالحركة. لديك مشكلة معقدة، لكنك لا تعرف من تسأل. هل هو الشخص الجالس في الزاوية الذي يتحدث عن البرمجة طوال اليوم؟ أم ذاك الذي يبدو أنه يعرف كل شيء عن إدارة المشاريع؟ عادةً، سيتعين عليك التجول في الأرجاء، وسؤال بضعة أشلخاص، والأمل في العثور على الخبير المناسب. هذه "لعبة التخمين" تهدر الوقت والمال.
هذه الورقة البحثية تطرح سؤالاً بسيطاً: هل يمكن للذكاء الاصطناعي أن يعمل كمتدرب شديد الملاحظة يقرأ سجلات الدردشة الخاصة بالجميع ويخبرك فوراً من يعرف ماذا؟
إليك تفاصيل تجربتهم، مشروحة ببساطة:
الإعداد: "المحقق في الدردشة"
أخذ الباحثون كومة ضخمة من رسائل الدردشة الحقيقية من حساب "Slack" الخاص بإحدى الشركات (حوالي 27,000 رسالة من 43 شخصاً على مدار عدة سنوات). ثم قاموا بتغذية هذه الرسائل لسبعة "عقول فائقة" مختلفة (نماذج لغوية كبيرة مثل GPT وClaude وGemini).
فكر في نماذج الذكاء الاصطناعي هذه كأنها محققون مختلفون:
- بعضهم سريع ولكن ربما يكون سطحياً (مثل الماسح الضوئي السريع).
- بعضهم بطيء ولكنهم مفكرون عميقون (مثل بروفيسور يحلل كتاباً).
- بعضهم عامون، بينما الآخرون متخصصون.
كانت مهمة الذكاء الاصطناعي هي قراءة الدردشات وإنشاء "تقرير مهارات" لكل شخص. على سبيل المثال، إذا كان شخص ما يتحدث باستمرار عن "Python" و"Data Science"، فسيخمن الذكاء الاصطناعي: "هذا الشخص يعرف Python".
اختبار الواقع: "التقرير الذاتي"
لكي يرى الباحثون ما إذا كان الذكاء الاصطناعي جيداً حقاً في عمله، طلبوا من البشر الحقيقيين تقييم أنفسهم. أنشأوا موقعاً إلكترونياً بسيطاً حيث نظر كل شخص إلى قائمة المهارات التي وجدها الذكاء الاصطناعي وقال: "نعم، أنا أعرف هذا"، أو "لا، لا أعرف هذا".
بعد ذلك، قارن الباحثون تخمين الذكاء الاصطناعي مقابل إجابة الإنسان الفعلية. الأمر يشبه معلمًا يصحح تخمين طالب لإجابات الاختبار مقابل نموذج الإجابة الحقيقي.
النتائج: من فاز في المسابقة؟
اختبر الباحثون سبعة نماذج مختلفة من الذكاء الاصطناعي. وإليكم كيف كان ترتيبهم:
- الفائز: كان Gemini 2.5 Flash هو الأفضل في التخمين. فقد أخطأ بنحو 21 نقطة على مقياس من 0 إلى 100. (إذا قال الإنسان إنه خبير بنسبة 80%، فقد خمن الذكاء الاصطناما حوالي 59% أو 101%).
- الوصيف: جاء Gemini 2.5 Pro خلفه بفارق ضئيل.
- الوسط: كانت نماذج Claude (Haiku وSonnet) جيدة، لكنها لم تكن بحدة نماذج Gemini.
- المتعثرون: كانت نماذج GPT (بما في ذلك GPT-4o وGPT-5 الشهيرين جداً) هي الأسوأ أداءً، حيث أخطأت بنحو 33 نقطة في المتوسط.
الاستنتاج الكبير: حتى أفضل ذكاء اصطناعي لم يكن مثالياً. كان بإمكانه التقاط الفكرة العامة عمن يعرف ماذا، لكنه لم يستطع تحديد مستوى الخبرة بدقة عالية.
التحول المفاجئ: نص أكثر لا يعني تخمينات أفضل
قد تفكر: "إذا أعطيت الذكاء الاصطناعي مليون رسالة بدلاً من ألف، فسيصبح أذكى، أليس كذلك؟"
ليس بالضرية. وجد الباحثون أن مجرد امتلاك تاريخ دردشة أكبر لم يجعل تخمينات الذكاء الاصطناعي أكثر دقة تلقائياً.
- لماذا؟ لأن الكثير من رسائل الدردشة هي مجرد "حسناً"، "فهمت"، أو "الغداء في الساعة 1؟". هذه الرسائل لا تخبرك بما يعرفه الشخص.
- الحد الأقصى: بمجرد أن يمتلك الذكاء الاصطناعي حداً أدنى من الدردشة للعمل به، فإن إضافة المزيد لم يساعد كثيراً. الأمر يشبه محاولة تخمين فيلم شخص مفضل من خلال قراءة قائمة مشترياته؛ مهما طالت القائمة، لن تخبرك بالكثير عن ذوقه في السينما.
الخلاصة
تثبت هذه الدراسة أن الذكاء الاصطناعي يمكنه إلقاء نظرة على سجلات الدردشة الخاصة بنا وتقديم تخمين جيد حول مهاراتنا. إنه أداة مفيدة للحصول على خريطة تقريبية لـ "من يعرف ماذا" في الشركة.
ومع ذلك، فهو ليس كرة بلورية سحرية بعد. لا يزال الذكاء الاصطناعي يرتكب الأخطاء، ونماذج GPT الشهيرة لم تأتِ حتى في المركز الأول في هذا الاختبار المحدد. كما أشار الباحثون إلى أنه لكي يعمل هذا في الواقع، ستحتاج الشركات إلى توخي الحذر الشديد بشأن الخصوصية، حيث إن إرسال دردشات الشركة الخاصة إلى خوادم ذكاء اصطناعي خارجية يعد أمراً حساساً.
باختصار: الذكاء الاصطناعي يتحسن في "قراءة الغرفة"، لكنه لا يزال بحاجة إلى تعلم كيفية التمييز بين خبرة الشخص الفعلية وبين مجرد دردشاته اليومية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.