تخيل أنك أمين مكتبة لروبوت ذكي جداً، ولكنه نساي قليلاً. يقضي هذا الروبوت يومه في الاستماع إلى الناس وهم يتحدثون، وقراءة رسائل البريد الإلكتروني، ومشاهدة مقاطع الفيديو. ولتوفير المساحة والتفكير بشكل أسرع، لا يحفظ الروبوت كل كلمة؛ بل يكتب ملخصات قصيرة في "دفتر ذاكرته". عادةً ما يعمل هذا بشكل رائع، ولكن أحياناً، يصبح الروبوت متلهفاً جداً للتنظيف. فقد يسمع إشاعة، مثل "قد يقول شخص ما إن أليس حصلت على ترقية"، ويكتبها كحقيقة مؤكدة: "أليس مديرة". الروبوت لم يكذب؛ هو فقط غسل الكلمات مثل "قد" أو "قال شخص ما". الآن، يعتقد الروبوت أن الإشاعة حقيقة، وقد يعطي أليس مفتاح غرفة الخادم التي لم تستحقه أبداً. هذه هي مشكلة "غسل الحقائق" (factwashing): عندما يقوم الملخص بالحفاظ على الفكرة الرئيسية، ولكنه يمسح بالخطأ "ملصقات التحذير" التي تخبرنا بمدى تأكدنا مما نقول.

هذه الورقة البحثية تدور حول بناء حارس أمن لدفتر ذاكرة هذا الروبوت. أراد الباحثون، بقيادة أليكس كوون، معرفة: كيف يمكننا رصد هذه الأخطاء دون استئجار عقل مكلف وبطيء للغاية (نموذج ذكاء اصطناعي ضخم) لقراءة كل ملاحظة؟ لقد اكتشفوا حيلة ذكية تعتمد على نوع "ملصق التحذير" المفقود. بعض الملصقات، مثل كلمة "ليس"، تشبه قائمة مكونات قصيرة وثابتة في وصفة طعام—يمكنك كتابتها جميعاً على بطاقة فهرسة واحدة. أما الملصقات الأخرى، مثل "قال شخص ما" أو "ربما"، فهي تشبه محاولة سرد كل الطرق الممكنة التي قد يبدو بها الإنسان غير متأكد؛ القائمة لا نهاية لها. تظهر الورقة أنه بالنسبة للقوائم القصيرة، يعمل فاحص كلمات بسيط بشكل مثالي. أما بالنسبة للقوائم التي لا نهاية لها، فأنت تحتاج بالفعل إلى ذكاء اصطناعي ذكي، ولكن فقط لفحص تلك الحالات الصعبة والمحددة.

عملية سطو "غسل الحقائق" الكبرى

تعرف على FACTWASH. إنها أداة جديدة مفتوحة المصدر مصممة للوقوف حارساً عند باب ذاكرة الذكاء الاصطناعي. مهمتها هي مقارنة ما "سمعه" الذكاء الاصطناعي بما "كتبه" في دفتر ملاحظاته. إذا حاول الذكاء الاصطناعي تمرير إشاعة على أنها حقيقة، فإن FACTWASH تغلق الباب في وجهه.

وجد الباحثون أن ليست كل الأخطاء متساوية. لقد قسموا المشكلة إلى معسكرين: الفئة المغلقة والفئة المفتوحة.

الفئة المغلقة: نادي "ليس"
اعتبر "الفئة المغلقة" كأنها نادٍ حصري صغير له عدد ثابت من الأعضاء. في اللغة الإنجليزية، طرق قول "لا" أو "إذا" محدودة بشكل مدهش. يمكنك قول "ليس" (not)، "أبداً" (never)، "لا أفعل" (don't)، "إلا إذا" (unless)، أو "إذا" (if). هذا كل شيء. بنى الباحثون قائمة بسيطة ("قائمة كلمات") تحتوي على كل هذه الكلمات.

• كيف تعمل: عندما يكتب الذكاء الاصطناعي ذاكرة، تقوم FACTWASH بمجرد مسح النص. إذا كانت الجملة الأصلية تحتوي على "ليس" وحذفها إصدار الذاكرة، فإن القائمة تمسك بها فوراً.
• النتيجة: هذه القائمة البسيطة فعالة للغاية. لقد رصدت 91% من الأخطاء في نصوص لم ترها من قبل. إنها سريعة، مجانية، ولا تحتاج إلى حاسوب خارق. إنها تشبه وجود حارس أمن لديه قائمة بالأسماء المحظورة؛ إذا كان الاسم في القائمة، فلا يدخل.

الفئة المفتوحة: متاهة "ربما"
الآن، تخيل "الفئة المفتوحة" كمتاهة ضخمة ومتغيرة. تتضمن هذه الفئة الكلمات التي تظهر عدم اليقين ("ربما"، "أعتقد"، "تقول التقارير") أو من قال الشيء ("قال جون"، "تزعم المصادر"). لا توجد نهاية للطرق التي يستخدمها البشر للتعبير عن الشك. يمكنك قول "لست متأكداً تماماً"، "من المحتمل"، "تشير المصادر"، أو "على حد علمي".

• المشكلة: إذا حاولت إنشاء قائمة لكل طريقة لقول "ربما"، فلن تنتهي أبداً. حاول الباحثون إضافة المزيد والمزيد من الكلمات إلى قائمتهم، ولكن مهما حاولوا، استمروا في تفويت طرق جديدة يعبر بها الناس عن شكهم. توقفت قائمتهم عند حوالي 50% من الاستدعاء (recall)—بمعنى أنهم فاتهم نصف الأخطاء.
• الحل: هنا يأتي دور "الشاهد" (Witness). بما أن القائمة البسيطة لا يمكنها رصد كل شيء هنا، أضاف الباحثون مساعداً صغيراً اختيارياً من الذكاء الاصطناعي. هذا "الشاهد" يقرأ الجملة ويسأل سؤالاً واحداً بسيطاً: "هل هناك أداة للتحوط (hedge) أو نسبة لقول (attribution) هنا؟"
• النتيجة: لم يكتفِ هذا "الشاهد" بالتخمين؛ بل أشار إلى الكلمات الدقيقة في النص التي جعلته يقول "نعم". ومن خلال استخدام هذا المساعد الذكي فقط لحالات "ربما" الصعبة، رفعوا معدل نجاحهم بمقدار 17 نقطة. إنه يشبه توظيف محقق لحل الألغاز المعقدة التي لا يستطيع حارس الأمن التعامل معها.

الاكتشاف الكبير: لا تستخدم مطرقة ثقيلة لكسر حبة جوز

أهم نتيجة لهذه الورقة هي قاعدة لتوفير المال والوقت. أثبت الباحثون أنك لست بحاجة إلى ذكاء اصطناعي فاخر للتحقق من كل شيء.

• إذا كان الخطأ يتعلق بـ "ليس" أو "إذا": استخدم قائمة الكلمات الرخيصة والسريعة. إنها تعمل بشكل مثالي وتنتقل لأي نص جديد.
• إذا كان الخطأ يتعلق بـ "ربما" أو "من قال": يجب عليك استخدام "الشاهد" الذكي، ولكن فقط لتلك الحالات المحددة.

لقد اختبروا ذلك عبر وضع نظامهم في مواجهة "قاضٍ" قياسي قوي (نموذج يحاول قراءة القصة بأكملة ويقرر ما إذا كانت حقيقية أم لا). كانت النتائج مفاجئة. في البيانات الواقعية، كان لدى القاضي الذكي القوي دقة (precision) شبه مثالية (نادراً ما يطلق إنذاراً كاذباً)، ولكنه فاته الكثير من أخطاء "غسل الحقائق" التي رصدها المصنفون البشريون. لماذا؟ لأن الذكاء الاصطناعي القوي كان يركز بشدة على ما إذا كانت "الحقيقة الأساسية" صحيحة، وتجاهل فقدان "ملصق التحذير" الدقيق. لقد فكر: "أليس مديرة؟ نعم، هذه هي الحقيقة الجوهرية!" وتجاهل حقيقة أن المصدر كان مجرد إشاعة. أما FACTWASH، بفحوصاتها المحددة، فقد رصدت الخطأ في كل مرة.

أين يفشل هذا النظام؟

الورقة صادقة جداً بشأن ما "لا تستطيع" فعله.

1. لا يمكنها رصد الأكاذيب: إذا اخترع الذكاء الاصطناعي حقيقة لم تُذكر على الإطلاق (مثل قول إن أليس حصلت على ترقية بينما لم يحدث ذلك)، فقد تفوت FACTWASH هذه الأخطاء. هي مصممة لرصد التغييرات فيما قيل، وليس الأشياء الجديدة التي يتم اختلاقها.
2. ليست سحراً: "الشاهد" (الذكاء الاصطناعي) ذكي، لكنه ليس مثالياً. عندما حاول الباحثون جعل "الشاهد" يغير الحكم (بدلاً من مجرد الإشارة إليه)، أدى ذلك في الواقع إلى جعل الأمور أسوأ، مما قلل من الدقة. وجد الباحثون أن قائمة الكلمات البسيطة ترصد معظم الأشياء السهلة، وأن الذكاء الاصطناعي يساعد فقط في الأشياء الصعبة. إذا تركت الذكاء الاصطناعي يخمن في الأشياء السهلة، فإنه يبدأ في ارتكاب الأخطاء.
3. الاختبارات الواقعية: عندما اختبروا هذا على رسائل البريد الإلكتروني التجارية، وجدوا أن "غسل الحقائق" (حذف كلمة "ربما") كان نادراً جداً. معظم الأخطاء في رسائل البريد الإلكتروني التجارية كانت مجرد أكاذيب صريحة أو تخمينات سيئة. ومع ذلك، في الأحاديث القائمة على النقل (مثل القيل والقال)، كان حذف "ربما" هو المشكلة الرئيسية، حيث حدث في 55% من عمليات الكتابة السيئة.

لماذا يجب أن تهتم؟

الأمر لا يتعلق فقط بإصلاح ذاكرة الروبوت؛ بل بكيفية بناء الثقة في الذكاء الاصطناعي. بينما تبدأ وكلاء الذكاء الاصطناعي في اتخاذ القرارات نيابة عنا—مثل منح الوصول، أو إرسال رسائل البريد الإلكتروني، أو تخطيط الجداول الزمنية—يجب أن يعرفوا الفرق بين الحقيقة الراسخة والإشاعة المهتزة.

تقدم لنا الورقة مخططاً: لا تبالغ في هندسة الحل. لبعض المشكلات، تكون القائمة البسيطة أفضل من الحاسوب الخارق. ولأخرى، تحتاج إلى قوة العقل، ولكن فقط إذا استخدمتها بحكمة. تظهر FACTWASH أنه من خلال فهم نوع اللغة التي نتعامل معها، يمكننا بناء أنظمة ذكاء اصطناعي أكثر أماناً، وأرخص، وأكثر موثوقية، لا تحول الإشاعات إلى قواعد بالخطأ.

في النهاية، وجد الباحثون أنه في برمجيات الذاكرة غير المعدلة، نجحت بوابتهم في رصد 5 من أصل 8 حالات تم فيها تحويل "إشاعة مهتزة" إلى "حقيقة صلبة". إنها ليست درعاً مثالياً، لكنها بداية—طريقة لضمان أنه عندما يتذكر الذكاء الاصطناعي العالم، فإنه يتذكر الشك جنباً إلى جنب مع الحقائق.