VeriTrail: Closed-Domain Hallucination Detection with Traceability
تقدم الورقة البحثية VeriTrail، وهي الطريقة وقاعدة البيانات الأولى المصممة لاكتشاف وتتبع الهلوسات في النطاقات المغلقة في كل من العمليات التوليدية أحادية الخطوة ومتعددة الخطوات، وذلك من خلال تحليل المخرجات الوسيطة لتحديد أصل المحتوى غير الأمين.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك استأجرت فريقًا من الكتاب لتلخيص مكتبة ضخمة من الكتب من أجلك. أعطيتهم تعليمات صارمة: "استخدم فقط الحقائق الموجودة في هذه الكتب. لا تخترع أي شيء."
هذا ما نسميه مهمة "النطاق المغلق" (Closed-Domain). والمشكلة هي أنه حتى مع هذه التعليمات، قد يزلّ الكتاب أحيانًا. قد يخترعون تفصيلًا عن طريق الخطأ، أو يخلطون بين التواريخ، أو يدّعون حدوث شيء لم يحدث أبدًا. في عالم الذكاء الاصطناي، يُسمى هذا "الهلوسة" (Hallucination).
بالنسب_ة للمهام البسيطة (مثل تلخيص مقال واحد قصير)، من السهل التحقق من العمل. أنت فقط تقارن الملخص النهائي بالمقال الأصلي. إذا تطابقا، فأنت في أمان.
ولكن ماذا لو كانت المهمة ضخمة؟ ماذا لو كان على الكتاب تقسيم المكتبة إلى فصول، وتلخيص تلك الفصول، ثم تلخيص الملخصات، ثم دمجها جميعًا في تقرير واحد ضخم؟ هذه "عملية متعددة الخطوات" (Multi-Step Process).
إليك العقدة: إذا احتوى التقرير النهائي على كذبة، فإن الفحص البسيط سيخبرك بأن هناك كذبة، لكنه لن يخبرك أين بدأت الكذبة. هل اخترعها الكاتب الأول؟ هل أساء الكاتب الثاني تفسير ما كتبه الأول؟ هل قام المحرر النهائي بدمج حقيقتين صحيحتين بطريقة خلقت قصة كاذبة؟
VeriTrail هي أداة جديدة صُممت لحل هذه المشكلة تحديدًا. فكر فيها كأنها محقق يمتلك آلة زمن.
أدوات المحقق: كيف يعمل VeriTrail
بدلاً من مجرد النظر إلى التقرير النهائي، يتتبع VeriTrail رحلة المعلومات بأكملها. إنه يعامل عملية الكتابة مثل "شجرة العائلة" (أو خريطة لشبكة مترو الأنفاق).
- الخريطة (DAG): تخيل أن كل جملة يكتبها كل كاتب هي "محطة" على الخريطة. الكتب الأصلية هي المحطات الأولى (الجذور). والتقرير النهائي هو المحطة الأخيرة. في كل مرة يلخص فيها كاتب ما نصًا، فإنه ينشئ محطة جديدة متصلة بالمحطات القديمة.
- الادعاء (The Claim): يقوم VeriTrail بتفكيك التقرير النهائي إلى حقائق صغيرة قابلة للاختبار (مثل "اشترت الشركة X شركتين ناشئتين في عام 2020").
- المطاردة العكسية: عندما يفحص VeriTrail حقيقة ما، فإنه لا ينظر فقط إلى الجملة النهائية. بل يسأل: "من أين حصلت هذه الجملة على معلوماتها؟"
- ينظر إلى الملخص السابق.
- ينظر إلى الملخصات التي سبقت ذلك.
- يستمر في العودة إلى الوراء حتى يصل إلى الكتاب الأصلي.
- أثر الأدلة: بينما يتحرك عائدًا إلى الوراء، يبني "أثرًا من فتات الخبز" للجمل الدقيقة التي تدعم هذه الحقيقة. إذا أدى الأثر إلى طريق مسدود أو تناقض، فإن VeriTrail يعرف أن الهلوسة قد حدثت.
تشبيه "السلسلة المكسورة"
تخيل أنك تلعب لعبة "الهاتف المكسور" (أو "التليفون المقطوع") مع 100 شخص.
- الشخص 1 يقرأ جملة من كتاب.
- الشخص 2 يلخص ما قاله الشخص 1.
- الشخص 3 يلخص ما قاله الشخص 2.
- ... وهكذا، حتى يصل الشخص 100 بالرسالة النهائية إليك.
إذا قال الشخص 100: "السماء خضراء"، وسألت: "هل هذا صحيح؟"
- الطرق القديمة ستقول فقط: "لا، الكتاب يقول إن السماء زرقاء. أنت مخطئ." (لكنها لا تعرف مَن الذي غيّر اللون).
- VeriTrail يعود إلى الوراء عبر الخطوات.
- يسأل الشخص 100: "مَن أخبرك أن السماء خضراء؟"
- يقول الشخص 100: "الشخص 99."
- يسأل VeriTrail الشخص 99: "هل قلتَ ذلك؟"
- يقول الشخص 99: "لا، لقد قلتُ 'السماء رمادية'، لكن الشخص 100 أساء فهمي."
- الحكم: الخطأ حدث في الخطوة 100. الكتاب الأصلي كان سليمًا؛ الخطأ تم إدخاله في الخطوة الأخيرة.
لماذا هذا مهم؟
في العالم الحقيقي، هذا أمر بالغ الأهمية.
- بالنسبة للطبيب: إذا قام ذكاء اصطناعي بتلخيص أبحاث طبية وقال "الدواء X يعالج السرطان"، يحتاج الطبيب إلى معرفة ما إذا كان ذلك جاء من دراسة موثوقة (الجذر) أم أنه خطأ حدث في الطبقة الوسطى من معالجة الذكاء الاصطناعي.
- بالنسبة للمحامي: إذا قام ذكاء اصطناعي بتلخيص قضايا محكمة، يحتاج المحامي إلى معرفة بالضبط أي جزء من العملية أدخل سابقة قانونية خاطئة حتى يتمكن من إصلاحها.
مجموعات البيانات الجديدة: FABLES+ و DiverseSumm+
لتعليم VeriTrail كيفية القيام بذلك، تعين على الباحثين بناء ميادين تدريب جديدة.
- FABLES+ يشبه مكتبة ضخمة من الكتب حيث حفظوا فيها كل مسودة، وكل ملخص، وكل تعديل قام به الذكاء الاصطناعي.
- DiverseSumm+ يشبه أرشيفًا ضخمًا للأخبار حيث كان على الذكاء الاصطناعي دمج عشرات المقالات المختلفة للإجابة على أسئلة معقدة.
هذه المجموعات مميزة لأنها تتضمن كل خطوة وسيطة. قبل ذلك، كان الباحثون يملكون فقط الإجابة النهائية للتحقق منها. أما الآن، فقد أصبح لديهم عملية "الطهي" بأكملها، وليس فقط الوجبة النهائية.
النتيجة
تظهر الورقة البحثية أن VeriTrail أفضل بكثير في اكتشاف الأكاذيب من الطرق السابقة.
- إنه يكتشف المزيد من حالات الهلوسة.
- يخبرك بالضبط أين بدأت الكذبة (تحديد موقع الخطأ - Error Localization).
- يفعل ذلك دون أن يكلف ثروة، على الرغم من أنه يقوم بعمل أكثر بكثير من أدوات الفحص البسيطة.
باختًا: VeriTrail لا يكتفي بإخبارك أن التقرير مزيف فحسب؛ بل يعمل كمحاسب جنائي، يتتبع كل دولار وصولاً إلى مصدره ليجد بالضبط مَن، ومتى، وكيف حدث الاحتيال. وهذا يجعل الذكاء الاصطناعي أكثر موثوقية للوظائف المعقدة في العالم الحقيقي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.