VISTA: Verification In Sequential Turn-based Assessment
يُعد VISTA إطار عمل مبتكر يعزز الكشف عن الهلوسة في الحوارات متعددة الأدوار من خلال تفكيك الاستجابات إلى ادعاءات ذرية للتحقق المتسلسل منها مقابل المصادر الموثوقة وسجل المحادثة، مما يؤدي إلى التفوق على المقاييس الحالية وتحسين توافق الملاحظين البشريين.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك في دردشة طويلة وودية مع مرشد سياحي واسع المعرفة ولكنه مغرور ببعض الأحيان. أحياناً، يخبرك هذا المرشد بحقائق مذهلة عن المتحف، وأحياناً أخرى، قد يؤلف قصة عن ديناصور لم يكن موجوداً أبداً، أو قد يصرح بثقة برأيه الشخصي وكأنه حقيقة علمية.
لفترة طويلة، كانت الحواسيب التي تحاول التحقق مما إذا كان هذا المرشد يقول الحقيقة تشبه المصورين الذين يلتقطون لقطة واحدة فقط. فهي تنظر إلى جملة واحدة يقولها المرشد، وتتحقق من كتاب ما، ثم تقول: "صحيح" أو "خطأ". لكن هذا الأمر يغفل الصورة الكبيرة؛ فهو لا يكتشف ما إذا كان المرشد يناقض ما قاله قبل خمس دقائق، أو ما إذا كان مجرد يخمن لأنه لا يعرف الإجابة.
تقدم هذه الورقة البحثية VISTA (التحقق عبر التقييم المتسلسل القائم على الأدوار)، وهي طريقة جديدة للتحقق من الحقائق في المحادثات. فكر في VISTA ليس كمصور فوتوغرافي، بل كمحقق يحمل دفتراً للملاحظات يسجل فيه كل شيء.
إليك كيف تعمل VISTA، مقسمة إلى خطوات بسيطة:
١. تفكيك "الادعاء الذري" (تشبيه قطع الليغو - LEGO)
عندما يقول المرشد جملة طويلة ومعقدة، لا تنظر VISTA إلى كتلة النص كاملة، بل تفكك الجملة إلى قطع صغيرة فردية من قطع الليغو (الادعاءات الذرية).
- يقول المرشد: "افتتح المتحف في عام ١٩٩٠ ويضم ديناصوراً ضخماً."
- تقوم VISTA بتفكيكها إلى:
١. افتتح المتحف في عام ١٩٩٠.
٢. المتحف يضم ديناصوراً ضخماً.
هذا يضمن أنه إذا كانت قطعة واحدة مزيفة، فلا يتم رفض الهيكل بأكمله؛ بل نعرف بالضبط أي قطعة هي المكسورة.
٢. "دفتر الملاحظات المستمر" (تشبيه الذاكرة)
هذه هي القوة الخارقة لـ VISTA. فبخلاف الطرق القديمة التي تنسى الماضي، تحتفظ VISTA بـ دفتر ملاحظات مستمر لكل ما أثبت المرشد صحته بالفعل.
- إذا قال المرشد في الدور الأول: "أنا أحب موسيقى الجاز"، وفي الدور الخامس قال: "أنا أكره موسيقى الجاز"، فإن الفاحص العادي قد يغفل عن ذلك.
- لكن VSTA تنظر في دفتر ملاحظاتها، وترى التصريح الأول، وتعتبر التصريح الثاني فوراً تناقضاً. إنها تتبع القصة أثناء تطورها، تماماً كما تفعل أنت في محادثة حقيقية.
٣. "المصنف ذو الصناديق الأربعة" (تشبيه الفرز)
عندما تجد VISTA ادعاءً لا تستطيع إثباته باستخدام كتاب أو دفتر الملاحظات، فهي لا تصرخ "خطأ!" فحسب، بل تصنف الادعاء في واحد من أربعة صناديق محددة:
- 📦 الصندوق ١: مُثبت. "نعم، الكتاب يقول إن هذا صحيح."
- 📦 الصندوق ٢: متناقض. "لا، الكتاب يقول العكس، أو أنك قلت شيئاً مختلفاً في وقت سابق."
- 📦 الصندوق ٣: يفتقر إلى الدليل. "قد يكون هذا صحيحاً، لكن ليس لدينا كتاب لإثبات صحته في الوقت الحالي."
- 📦 الصندوق ٤: خارج النطاق (رأي). "هذا مجرد رأيك أو شعورك، مثل 'المثلجات هي الأفضل'. لا يمكننا التحقق من صحة المشاعر."
لماذا هذا مهم؟
الأنظمة القديمة تعامل "لا أعرف" (الامتناع عن الإجابة) و"المثلجات هي الأفضل" (الرأي) بنفس طريقة معاملتها لـ "القمر مصنوع من الجبن" (الكذب). أما VISTA فتدرك أن الاعتراف بعدم المعرفة هو في الواقع علامة على الأمانة، وليس هلوسة. إنها تميز بين "لا أعرف" وبين "أنا أختلق الأمور".
٤. النتائج: محقق أفضل
اختبر الباحثون VISTA مقابل ثمانية نماذج مختلفة من الذكاء الاصطناعي (من النماذج الصغيرة إلى الضخمة) وأربعة مجموعات بيانات مختلفة للمحادثات.
- النتيجة: كشفت VISTA عن المزيد من الأكاذيب وارتكبت أخطاء أقل من الطرق السابقة الأفضل (مثل FActScore أو مجرد سؤال ذكاء اصطناعي ضخم لـ "الحكم" على النص).
- المفاجأة: لقد ساعدت نماذج الذكاء الاصطناعي الأصغر والأقل قوة بشكل أكبر. الأمر يشبه إعطاء محقق مبتدئ عدسة مكبرة أفضل؛ وفجأة، يمكنهم حل القضايا بشكل يقارب قدرة كبار المحققين.
الخلاصة الكبرى
تجادل الورقة البحثية بأن الحقيقة في المحادثة هي أمر ديناميكي، مثل النهر الذي يتدفق ويتغير، وليست تمثالاً ثابتاً. وللحكم على ما إذا كان الذكاء الاصطناعي يقول الحقيقة، نحتاج إلى الاستماع إلى المحادثة بأكملها، وتذكر ما قيل سابقاً، وفهم الفرق بين الكذبة، والتخمين، والرأي.
VISA هي تلك الأذن التي تصغي. إنها تساعدنا على بناء مساعدين يعملون بالذكاء الاصطناعي، ليسوا فقط متحدثين بارعين، بل شركاء صادقين، وموثوقين، وواعين بذواتهم في المحادثة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.