Theory-Guided Deception Detection: A RAG-Based Artificial Intelligence Exploration
تقيم هذه الدراسة سبعة نماذج من نماذج التوليد المعزز بالاسترجاع (RAG) القائمة على نظريات الخداع مقابل نماذج مرجعية عبر 700 عبارة، لتجد أنه في حين أثرت المنظورات النظرية بشكل كبير على انحياز الاستجابة، إلا أنها لم تحسن دقة الكشف، والتي ظلت مماثلة للأداء البشري المعتاد وغير قابلة للتمييز إحصائياً بين نهجي الـ RAG والنماذج المرجعية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك محقق يحاول الإيقاع بكاذب. لعقود من الزمن، حاول البشر بناء آلات يمكنها كشف الكذب بشكل أفضل من البشر، آملين في الحصول على "جهاز كشف كذب" عالي التقنية لا يخطئ أبداً. عادةً ما تبحث هذه الآلات عن أدلة مثل صوت مرتجف، أو عين ترف، أو عرق ناتج عن التوتر. ولكن ماذا لو لم تملك الآلة سوى الكلمات للعمل بها؟ هذا هو عالم "كشف الخداع القائم على النصوص"، حيث يتساءل العلماء: هل يمكن للكمبيوتر أن يقرأ قصة ويحدد ما إذا كانت حقيقية أم مزيفة بمجرد النظر إلى الكلمات؟
لفهم هذه الدراسة، تحتاج إلى معرفة فكرتين كبيرتين. أولاً، هناك نظريات الكذب. هذه تشبه كتب القواعد التي يكتبها الخبراء وتقول: "الكاذب يفعل س، ص، و". بعض كتب القواعد تقول إن الكاذبين يتركون التفاصيل؛ والبعض الآخر يقول إنهم يسهبون في الكلام بشكل مفرط؛ وبعضها يقول إنهم يتجنبون تقديم حقائق يمكن التحقق منها. ثانياً، هناك الذكاء الاصطناعي (AI)، وتحديداً النوع الذي يمكنه القراءة والكتابة مثل البشر. مؤخراً، بدأ العلماء في تزويد هذا الذكاء الاصطناعي بـ "أدلة مرجعية" تسمى RAGs (التوليد المعزز بالاسترجاع). فكر في الـ RAG كطالب يُسمح له، قبل خوض الاختبار، بفتح كتاب مدرسي محدد لإيجاد الإجابة، بدلاً من مجرد التخمين من ذاكرته. كان السؤال الكبير هو: إذا أعطيت ذكاءً اصطناعياً "كتاب قواعد" محدداً حول كيفية كشف الكاذبين وسمحت له بالبحث عن القواعد قبل الحكم، فهل سيصبح أفضل في كشف الحقيقة؟
تجربة جهاز كشف الكذب العظيم بالذكاء الاصطناعي
في هذه الدراسة، قرر باحثان وضع سبعة "كتب قواعد" مختلفة (نظريات الخداع) قيد الاختبار. أرادا معرف أن الذكاء الاصطناعي يمكن أن يصبح محققاً أفضل باستخدام هذه الكتب كأدلة مرجعية له. لقد أعدوا تجربة ضخمة شملت 700 عبارة مختلفة — بعضها حقائق، وبعضها أكاذيب — مأخوذة من خمسة مواقف مختلفة من الواقع، مثل مراجعات الفنادق، ونصوص محاكمات قضائية، ومقابلات حول الخداع في برنامج مسابقات.
استخدموا أربعة نماذج مختلفة من الذكاء الاصطناعي فائق الذكاء (تخيلهم كأربعة شخصيات محققين مختلفة) للحكم على هذه الـ 700 عبارة. وبالنسبة لكل عبارة، كان للذكاء الاصطناعي طريقتان للعب اللعبة:
- وضع "بدون دليل مرجعي" (الأساس): كان على الذكاء الاصطناعي تخمين ما إذا كانت العبارة كذبة أم حقيقة باستخدام معرفته الداخلية فقط.
- وضع "الدليل المرجعي" (RAG): قبل التخمين، كان يُسمح للذكاء الاصطناعي بالبحث عن قواعد محددة من واحدة من سبع نظريات للخداع لتوجيه قراره.
قاموا بتشغيل هذا الإعداد بأكمله 39,200 مرة للتأكد من أن النتائج متينة.
المفاجأة الكبرى: الأدلة المرجعية لم تجعلهم أكثر ذكاءً
كانت النتائج مخيبة للآمال لأي شخص كان يأمل في الحصول على حل سحري. فعندما قارن الباحثون بين محققي "الدليل المرجعي" ومحققي "بدون دليل مرجعي"، وجدوا أنهم كانوا سيئين بنفس القدر في كشف الأكاذيب.
- الدقة: حصلت كلتا المجموعتين على حوالي 54.5% إلى 54.6% من الإجابات الصحيحة. وهذا أفضل قليلاً من رمي عملة معدنية (التي ستكون 50%). وجدت الدراسة عدم وجود فرق إحصائي بين استخدام النظريات وعدم استخدامها. بعبارة أخرى، لم يساعد إعطاء الذكاء الاصطناعي نظرية محددة ليتبعها في كشف المزيد من الكاذبين.
ومع ذلك، فإن الأدلة المرجعية غيرت "شخصية" الذكاء الاصطناعي، أو ما يسميه العلماء "الانحياز".
- "انحياز الحقيقة": بدون دليل مرجعي، مال الذكاء الاصطناعي إلى تصديق الناس بأنهم يقولون الحقيقة في 59.7% من الحالات، حتى عندما كانوا يكذبون. وهذا ما يسمى بـ "الانحياز للحقيقة".
- "تأثير الدليل المرجعي": عندما استخدم الذكاء الاصطناعي الأدلة المرجعية، أصبح أقل ثقة، حيث اعتقد أن الحقيقة موجودة في 57.0% من الحالات فقط. ورغم أن هذا تغيير، إلا أن الدراسة تشير إلى أن التأثير صغير جداً.
كتب القواعد لم تكن متساوية
هنا يصبح الأمر مثيراً للاهتمام. على الرغم من أن الأدلة المرجعية لم تحسن الدرجة الإجمالية، إلا أن كتب قواعد مختلفة جعلت الذكاء الاصطناعي يتصرف بطرق مختلفة تماماً.
- كتاب قواعد "التفاصيل": النظرية التي تقول "الأشخاص الصادقون يقدمون تفاصيل وتعقيدات أكثر" كانت الأفضل أداءً. وكانت الأكثر دقة بين المجموعة.
- كتاب قواعد "القابلية للتحقق": هذه النظرية تقول "الأشخاص الصادقون يقدمون حقائق يمكن التحقق منها". الذكاء الاصطناعي الذي استخدم هذا الكتاب أصبح شديد الشك، حيث حكم بأن 32.2% فقط من العبارات كانت حقيقية. لقد كان "منحازاً للكذب".
- كتاب قواعد "افتراض الحقيقة": هذه النظرية تقول "البشر عادة ما يفترضون أن الناس صادقون". الذكاء الاصطناعي الذي استخدم هذا الكتاب أصبح واثقاً للغاية، حيث حكم بأن 88.1% من العبارات كانت حقيقية. لقد كان "منحازاً للحقيقة" بشكل فائق.
تشير الدراسة إلى أنه بينما لم تساعد النظرية الذكاء الاصطناعي على رؤية الحقيقة بشكل أفضل، إلا أنها عملت مثل "مفتاح تحكم" يرفع أو يخفض مستوى الثقة لدى الذكاء الاصطناعي.
أسلوب "التفكير" لدى الذكاء الاصطناعي
ألقى الباحثون نظرة أيضاً على كيفية شرح الذكاء الاصطناعي لقراراته. وجدوا أن نماذج الذكاء الاصطناعي التي استخدمت أكبر قدر من "الجهد المعرفي" (كلمات تظهر أنه يفكر بعمق، مثل "لأن"، "يفهم"، أو "يعرف") كانت هي التي حققت أكثر النتائج دقة. يبدو أنه عندما "عمل" الذكاء الاصطنا_ي عبر المشكلة حقاً، فإنه يؤدي بشكل أفضل قليلاً، لكن هذا كان ملاحظة وليس حلاً مضموناً.
الخلاصة
تخلص الورقة البحثية إلى أن الذكاء الاصطناعي الموجه بالنظرية ليس جاهزاً ليكون جهاز كشف كذب احترافي. تماماً مثل المحقق البشري، لا يزال الذكاء الاصطناعي عرضة للوقوع في الأخطاء ويتأثر بشدة بما إذا كان يميل طبيعياً للثقة أو الشك.
تستبعد الدراسة صراحةً فكرة أن مجرد تغذية الذكاء الاصطناعي بنظرية عن الخداع سيجعله "سلاحاً سحرياً" للإيقاع بالكاذبين. فقد ظلت الدقة ثابتة عند حوالي 54.5%، وهي نسبة ليست جيدة بما يكفي للاستخدام الحقيقي الجاد مثل المحاكم أو الضوابط الأمنية. ويقترح المؤلفون أنه بينما لم يصبح الذكاء الاصطناعي أكثر ذكاءً، فإن التجربة كانت قيمة لأنها أظهرت لنا أن النظريات المختلفة تغير "كيف" يفكر الذكاء الاصطناعي، حتى لو لم تغير "مدى جودة" تفكيره. في الوقت الحالي، لا يزال كشف الكاذبين باستخدام الذكاء الاصطناعي في بداياته، ولا ينبغي أن نتوقع من الروبوت أن يحل اللغز قريباً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.