Trust but Verify: Introducing DAVinCI -- A Framework for Dual Attribution and Verification in Claim Inference for Language Models
تقدم هذه الورقة البحثية إطار عمل DAVinCI، وهو إطار ثنائي المراحل يعزز الموثوقية الواقعية والقابلية للتفسير للنماذج اللغوية الكبيرة من خلال الجمع بين الإسناد المزدوج للادعاءات إلى المصادر الداخلية والخارجية مع التحقق القائم على الاستلزام، مما يؤدي إلى تحسينات كبيرة في الدقة والمسؤولية عبر المجالات عالية المخاطر.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك صديقاً موهوباً جداً، سريع الكلام، ويعرف القليل عن كل شيء. يمكنه أن يروي لك القصص، ويكتب القصائد، ويشرح المواضيع المعقدة بطلاقة مذهلة. ومع ذلك، لدى هذا الصديق عادة سيئة: أحياناً، عندما لا يعرف الإجابة، يقوم ببساطة بتأليف شيء ما ليبدو واثقاً من نفسه. في عالم الذكاء الاصطعي، نسمي هذا "الهلوسة" (Hallucination).
إذا كان هذا الصديق طبيباً، أو محامياً، أو عالماً، فإن الحقائق التي يؤلفها قد تكون خطيرة. وهنا يأتي دور DAVinCI.
المشكلة: "الكاذب الواثق"
النماذج اللغوية الكبيرة (LLMs) تشبه ذلك الصديق سريع الكلام. فهي بارعة في توليد النصوص، لكنها غالباً ما تفتقر إلى "فحص الحقيقة". قد تقول مثلاً: "كارولين كينيدي رائدة فضاء"، بكل ثقة، رغم أنها في الواقع دبلوماسية. تحاول الأنظمة التقليدية التحقق من الحقائق بعد وقوعها، لكنها غالداً ما تغفل عن تفاصيل "مصدر" المعلومة أو "مدى تأكد" النموذج منها.
الحل: DAVinCI (المحقق المزدوج للتدقيق)
ابتكر المؤلفون إطار عمل يسمى DAVinCI (الإسناد والتحقق المزدوج). تخيل الأمر كأنك وظفت محققاً وقاضياً ليعملا معاً قبل إصدار الحكم النهائي.
إليك كيف يعمل، مقسماً إلى خطوتين بسيطتين:
1. المحقق (الإسناد - Attribution)
قبل أن يعطيك الذكاء الاصطناعي إجابة، يسأل "المحقق": "من أين أتيت بهذه الفكرة؟"
- الطريقة القديمة: يقول الذكاء الاصطناعي فقط: "أنا أعرف هذا!"
- طريقة DAVinCI: يجب على الذكاء الاصطناعي أن يشير إلى صفحة محددة في كتاب (أو جملة محددة على الإنترنت) تدعم ادعاءه.
- مثال توضيحي: تخيل طالباً يؤدي اختباراً. بدلاً من كتابة الإجابة فحسب، يتعين عليه تحديد الجملة الدقيقة في كتابه المدرسي التي تثبت أنه على حق. إذا لم يتمكن من إيجاد الجملة، فإن النظام سيعرف أنه يخمن.
اختبرت الورقة البحثية طريقتين لعمل المحقق:
- محقق "النص الكامل": ينظر إلى الفقرة بأكملها. (الأكثر دقة، مثل قراءة فصل كامل).
- محقق "المقتطفات": ينظر إلى كلمات قليلة فقط. (أسرع، ولكنه قد يفتقد السياق، مثل قراءة عنوان خبر دون قراءة المقال).
2. القاضي (التحقق - Verification)
بمجرد أن يجد المحقق الدليل، يتدخل "القاضي". القاضي لا ينظر فقط إلى الإجابة؛ بل يقارن ادعاء الذكاء الاصطناعي مقابل الدليل الذي وجده المحقق.
- الحكم: يقرر القاضي ما إذا كان الادعاء مدعوماً (صحيح)، أو مفنداً (خاطئ)، أو إذا كانت هناك معلومات غير كافية (لا نعرف بعد).
- فحص الثقة: هذا هو السر الكامن وร خلف العملية. إذا كان القاضي متأكداً بنسبة 50% فقط، فإن DAVinCI يقول: "مهلاً، نحن لسنا واثقين بما يكفي لنسمي هذا (صحيحاً)". يقوم النظام بخفض درجة الإجابة إلى "معلومات غير كافية" لمنع الذكاء الاصطناعي من الكذب بثقة.
لماذا هذا أفضل؟ (النتائج)
اختبر الباحثون DAVinCI على مجموعتين كبيرتين من البيانات (FEVER و CLIMATE-FEVER)، وهما بمثابة مكتبات ضخمة من العبارات الصحيحة والخاطئة حول المعرفة العامة وتغير المناخ.
- بطاقة الأداء: عندما قارنوا DAVinCI بأنظمة التحقق من الحقائق القياسية، حسّن DAVinCI الدقة بنسبة 5% إلى 20%.
- ميزة "النص الكامل": وجدوا أن استخدام فقرة الدليل بأكملها (محقق "النص الكامل") كان أفضل بكثير من استخدام المقتطفات فقط. الأمر يشبه محاولة حل لغز عبر قراءة تقرير الشرطة كاملاً بدلاً من مجرد قراءة العنوان.
- شبكة الأمان: من خلال ضبط "عتبة الثقة" (مدى التأكد الذي يحتاجه القاضي)، استطاعوا الموازنة بين رصد كل خطأ ممكن (الاستدعاء العالي) أو ضمان عدم تسمية أي كذبة بأنها "حقيقة" بالخطأ (الدقة العالية).
الصورة الكبيرة
فكر في DAVinCI كـ مرشح لضبط الجودة للذكاء الاصطناعي.
- بدون DAVinCI: تحصل على قصة سلسة وواثقة، ولكنها قد تكون مزيفة.
- مع DAVinCI: تحصل على قصة تأتي مع "إيصال" (الدليل) و"ضمان" (التحقق). إذا لم يكن الذكاء الاصطناعي متأكداً، فإنه يعترف بذلك، بدلاً من اختلاق الأمور.
لماذا يجب أن تهتم؟
نحن ننتقل إلى عالم يكتب فيه الذكاء الاصطناعي أخبارنا، ويشخص أمراضنا، ويترافع في قضايانا القانونية. لا يمكننا فقط الوثوق بأن الذكاء الاصطناعي يقول الحقيقة. يوفر DAVinCI طريقة لجعل الذكاء الاصطناعي خاضعاً للمساءلة. فهو يجبر الذكاء الاصطناعي على قول: "إليك إجابتي، وإليك الدليل، وإليك مدى تأكدي".
الأمر لا يتعلق بجعل الذكاء الاصطناعي أكثر ذكاءً؛ بل بجعل الذكاء الاصطناعي صادقاً وقابلاً للتدقيق. تماماً كما لا تثق بمستشار مالي لا يستطيع إطلاعك على حساباته الرياضية، لا ينبغي لنا أن نثق في ذكاء اصطناعي لا يستطيع إطلاعنا على مصادره. DAVinCI هو الأداة التي تجعل الذكاء الاصطناعي يوضح طريقة عمله.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.