Comparing Human and Large Language Model Interpretation of Implicit Information
تقدم هذه الورقة خط إنتاج لاستخراج المعلومات الضمنية (IIE) لتقييم كيفية مقارنة النماذج اللغوية الكبيرة بالبشر في تفسير المعاني الضمنية، مما يكشف أنه بينما تتماشى النماذج مع الأحكام البشرية بشأن الثلاثيات المستخرجة، إلا أنها تظهر تغطية محدودة وأنماط تحفظ متميزة اعتماداً على الطبيعة الاجتماعية أو الواقعية للسياق.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تقرأ رواية غموض. يكتب المؤلف: "ضرب الخادم الباب وخرج مسرعاً من الباب الخلفي".
ما يقرؤه الإنسان: تتخيل فوراً وجه الخادم الغاضب، وتسمع صوت ارتطام الباب، وتفترض أنه يهرب من مسرح جريمة. أنت تملأ الفجوات بخبرتك الحياتية وحدسك الاجتماعي. أنت تعرف لماذا ركض وكيف يشعر.
ما يقرؤه النموذج اللغوي الكبير (LLM): يرى الذكاء الاصطناعي الكلمات. هو يعرف أن "الخادم" شخص، وأن "الباب" جسم. ويعرف أن "ضرب" تعني الارتطام بقوة. ولكن هل يعرف أن الخادم خائف؟ هل يعرف أنه مذنب؟ يتساءل البحث: هل يملأ الذكاء الاصطناعي الفجوات بنفس الطريقة التي نفعلها نحن؟
التجربة الكبرى: لعبة "المعلومات الضمنية"
قرر الباحثون من جامعة "بوليتكنيكو دي ميلانو" خوض لعبة لاكتشاف ذلك. أنشأوا مهمة تسمى استخراج المعلومات الضمنية (IIE). فكر فيها كمسابقة "القراءة ما بين السطور".
لقد قدموا الجمل لشيئين:
- البشر: مجموعة من المتطوعين.
- نماذج الذكاء الاصطناعي: اثنان من روبوتات الدردشة القوية (Mistral وGPT).
الهدف؟ بناء رسم بياني معرفي (Knowledge Graph). تخيل هذا كشبكة عنكبوت رقمية عملاقة.
- العُقد (النقاط): الأشخاص والأشياء في القصة.
- الخيوط (الخطوط): العلاقات بينها.
كان على البشر والذكاء الاصطناعي رسم الخيوط. لكن هنا تكمن الخدعة؛ كان عليهم رسم الخيوط للأشياء التي لم يذكرها النص صراحة. كان عليهم استنتاج الروابط غير المرئية.
خط الإنتاج: كيف حاول الذكاء الاصطناعي حل المشكلة
بنى الباحثون خط تجميع من ثلاث خطوات للذكاء الاصطناعي، مثل مصنع يحاول تعليب فكرة معقدة:
- المحقق (الاستخراج): يقرأ الذكاء الاصطناعي الجملة ويستخرج كل حقيقة، سواء كانت واضحة ("الخادم ركض") أو مخفية ("الخادم مذنب"). يحاول التخمين لأقصى حد ممكن.
- المحرر (التحقق): يعمل الذكاء الاصطناعي كناقد لنفسه. ينظر إلى تخميناته ويسأل نفسه: "مهلاً، هل اخترعت هذا للتو؟ هل هناك أي دليل في النص؟" إذا كان التخمين جامحاً جداً، يقوم بحذفه.
- الميقاتي (التحليل الزمني): أخيراً، يحاول الذكال الاصطناعي فهم الجدول الزمني. هل أُغلق الباب بقوة قبل الركض؟ أم أثناء الركض؟
النتائج: "الروبوت المتحفظ" مقابل "الإنسان الخيالي"
عندما قارنوا الشبكات العنكبوتية البشرية بالشبكات التي صنعها الذكاء الاصطناعي، وجدوا بعض الاختلافات المذهلة:
1. مشكلة "القطع المفقودة"
اتفق البشر مع معظم تخمينات الذكاء الاصطناعي، لكنهم أضافوا الكثير من الروابط الإضافية.
- تشبيه: تخيل أن الذكاء الاصطناعي هو طالب يجيب فقط على الأسئلة المكتوبة صراحة في الاختبار. أما البشر فهم الطلاب الذين يقرأون لغة جسد المعلم ويضيفون ملاحظات إضافية في الهوامش. كان الذكنا الاصطناعي غالباً "آمناً" للغاية وفاتته التفاصيل الاجتماعية الغنية التي يلتقطها البشر فوراً.
2. مفتاح "الصرامة"
كان هذا الجزء الأكثر إثارة للدهشة. تغيرت صرامة الذكاء الاصطناعي بناءً على نوع القصة:
- في القصص الاجتماعية (مثل قصة الخادم): كان الذكاء الاصطناعي بمثابة أمين مكتبة صارم. فقد رفض تخمين مشاعر الخادم ما لم يذكر النص "الخادم كان غاضباً". أما البشر، فقد كانوا كتاباً مبدعين، يملؤون المشاعر بسهولة.
- في القصص المليئة بالحقائق (مثل التقارير الإخبارية): أصبح الذكاء الاصطناعي أكثر استرخاءً، لكن البشر أصبحوا هم أمناء المكتبة الصارمين. عندما يكون النص قصيراً وواقعياً، كان البشر حذرين جداً في عدم التخمين في أشياء لم تثبت بنسبة 100%. ومن المثير للدهشة أن الذكاء الاصطناعي كان أحياناً أكثر استعداداً للقيام بقفزة منطقية هنا.
3. صراع "السفر عبر الزمن"
كان كل من البشر والذكاء الاصطناعي جيدين في تحديد ما حدث، لكن الذكاء الاصطناعي واجه صعوبة في تحديد متى حدثت الأشياء بالنسبة لبعضها البعض.
- تشبيه: إذا قلت للذكاء الاصطناعي: "تناولت الإفطار، ثم ذهبت إلى العمل"، سيفهم ذلك. لكن إذا قلت له: "كنت أتناول الإفطار عندما رن الهاتف"، فقد يرتبك الذكاء الاصطناعي بشأن التوقيت، قائلاً أحياناً: "لا أعرف، ربما حدثا في نفس الوقت؟" البشر نادراً ما يواجهون هذه المشكلة؛ فنحن نفهم تدفق الزمن بشكل حدسي.
الخلاصة
يخلص البحث إلى أن الذكاء الاصطناعي ليس بعد شريكًا بشريًا في المحادثة.
عندما نتحدث مع بعضنا البعض، نحن في "رقصة تعاونية" حيث نملأ الفجوات باستمرار من خلال الخبرة البشرية المشتركة. الذكاء الاصطناعي حالياً هو راقص جيد يعرف الخطوات تماماً، لكنه لا يفهم تماماً إحساس الرقصة. إنه متحفظ للغاية في المواقف الاجتماعية، وأحياناً يضيع في الجدول الزمني.
لماذا يهم هذا؟
إذا استخدمنا الذكاء الاصطناعي لكتابة العقود القانونية، أو التقارير الطبية، أو الأخبار، فنحن بحاجة إلى معرفة أنه قد يفتقد المعاني الضمنية الدقيقة التي قد يلتقطها البشر. الأمر يشبه امتلاك مساعد ذكي جداً يحتاج إلى القليل من التوجيه لفهم "السياق البشري" وراء الكلمات.
باختصار: الذكاء الاصطناعي بارع في قراءة الكلمات الموجودة على الصفحة، لكنه لا يزال يتعلم كيفية "قراءة الغرفة".
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.