Does a Tool Result Carry More Authority Than Plain Text? Three Prospective Studies of False-Claim Adoption in a Synthetic Assignment Task with Claude Opus 5
تكشف ثلاث دراسات استشرافية حول "كلود أوبوس 5" أنه في حين بدا أن البيانات الوصفية لنتائج الأدوات تزيد في البداية من تبني الادعاءات الكاذبة مقارنة بالتوكيدات المجردة، إلا أن عمليات التكرار اللاحقة المسجلة مسبقاً أظهرت أن هذا التأثير لم يكن ثابتاً ولا متفوقاً على تأثير النص المضمن المعلن عنه صراحةً.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي المعاصر، تعمل البرامج الحاسوبية المعروفة بنماذج اللغة بشكل متزايد كوكلاء يمكنهم تذكر الأشياء، والبحث عن المعلومات، وكتابة ملاحظات لأنفسهم. تخيل مساعداً رقمياً يحتفظ بمذكرات لعمله؛ قد يقرأ ملاحظة كتبها سابقاً، ويعامل تلك الملاحظة كحقيقة، ويستخدمها لاتخاذ قرار لاحقاً. إن هذه القدرة على القراءة من مخزن يكتب فيه أيضاً تخلق حلقة فريدة: فالادعاء الذي كُتب مجرد كتابة دون دليل يمكن أن يعود لاحقاً ليبدو كأنه سجل موثق. والسؤال الذي يطرحه الباحثون الآن هو ما إذا كانت طريقة تعبئة هذه المعلومات تغير كيفية تعامل الكمبيوتر معها. هل تحمل الملاحظة التي تصل داخل "نتيجة أداة" (tool result) رسمية ومنظمة —وهي تنسيق رقمي محدد يُستخدم لاسترجاع البيانات— وزناً أكبر من الملاحظة نفسها إذا وصلت كنص عادي؟ إذا كان التنسيق وحده يجعل الكمبيوتر أكثر عرضة لتصديق ادعاء كاذب، فإن ذلك يشير إلى أن النظام قد يُخدع بمظهر السلطة بدلاً من الدليل الفعلي.
ولاستقصاء ذلك، وضع باحث يدعى جاستن بروندر سلسلة من التجارب المنضبطة باستخدام نسخة محددة من نموذج ذكاء اصطناعي يسمى "كلود أوبوس 5" (Claude Opus 5). كان الهدف هو معرفة ما إذا كان النموذج سيتبنى معلومة خاطئة لمجرد أنها جاءت في تنسيق معين. كان الإعداد عبارة عن مهمة اصطناعية طُلب من النموذج فيها تحديد رمز معين لعنصر مسمى. كان الرمز الصحيح مخفياً عن النموذج، ولكن تم زرع رمز خاطئ سراً في تاريخ المحادثة. كان على النموذج الاختيار بين الرمز الخاطب، أو رمز صحيح آخر، أو الاعتراف بأنه لا يعرف. واختبر الباحث ما إذا كان النموذج سيقبل الرمز الخاطئ المزروع بعمى إذا ظهر في تنسيق "نتيجة أداة" مقابل إذا ظهر كعبارة بسيطة من المساعد.
في المرحلة الأولى من الدراسة، عُرض على النموذج سجل حيث قدم مساعد سابق ادعاءً، واحتوت "نتيجة أداة" منفصلة على سجل. عندما ظهر الرمز الخاطئ في النص العادي الصادر عن المساعد، لم يقبل النموذج تلك المعلومة الخاطئة تقريباً؛ حيث تجاهل المعلومة الخاطئة بشكل صحيح أو اعترف بأنه لا يعرف. ومع ذلك، عندما ظهر نفس الرمز الخاطئ داخل تنسيق "نتيجة الأداة" المنظم، قبله النموذج كحقيقة في أربع عشرة حالة من أصل أربع وعشرين محاولة. هذا الاكتشاف الأولي أشار إلى أن تنسيق نتيجة الأداة قد يحمل نوعاً خاصاً من السلطة يفتقر إليه النص العادي. بدا أن النموذج يعامل السجل المنظم كعملية بحث موثقة، رغم أنه كان مجرد خطأ مزروع.
ولضمان أن هذا لم يكن محض صدفة، كرر الباحث المقارنة في تجربة ثانية مخططة بدقة. هذه المرة، تجاهل النموذج مرة أخرى الادعاء الخاطئ عندما جاء من نص المساعد، لكنه قبل الادعاء الخاطئ في تنسيق نتيجة الأداة في سبع حالات من أصل أربع وعشرين. أكد هذا أن الفرق كان حقيقياً وقابلاً للتكرار تحت هذه الظروف المحددة. بدا أن حزمة نتيجة الأداة لها تأثير أقوى على اتخاذ القرار لدى النموذج من التقرير النصي العادي.
ومع ذلك، اتخذت القصة منعطفاً كبياً في الدراسة الثالثة والأخيرة. أدرك الباحث أن الاختبارات السابقة ربما كانت غير عادلة لأن النص العادي ونتيجة الأداة قُدما بطرق وأوقات مختلفة. في هذا الإعداد الجديد، أُخبر النموذج مسبقاً أنه سيرى سجلين: أحدهما في تنسيق نتيجة الأداة والآخر كنص عادي. وقد قُدم كلاهما معاً في السؤال النهائي. ثم قام الباحث بتبديل السجل الذي يحتوي على الرمز الخاطئ. عندما كان الرمز الخاطئ في النص العادي، قبله النموذج في كل تجربة، ستين من أصل ستين. وعندما كان الرمز الخاطئ في نتيجة الأداة، قبله النموذج في سبع وخمسين حالة من أصل ستين.
لقد قلب هذه النتيجة النهائية الفكرة الأولية بأن تنسيق نتيجة الأداة هو الأكثر قوة بطبيعته. فقد أظهر أنه عندما يُطلب من النموذج صراحةً النظر في كلا السجلين، فإن النص العادي لا يقل إقناعاً عن نتيجة الأداة. لم يكن الفرق في الدراسات الأولى بسبب امتلاك تنسيق نتيجة الأداة لسلطة سحرية، بل لأن طريقة تقديم المعلومات في التجربتين الأولى والثانية جعلت نتيجة الأداة تبدو وكأنها الإجابة الوحيدة الصالحة لمهمة استرجاع. كان النموذج يتبع تعليمات هيكل المهمة بدلاً من الحكم على مصدر المعلومات.
تخلص الدراسة إلى أن النموذج ليس لديه قاعدة داخلية تقول "نتائج الأدوات صحيحة دائماً". بدلاً من ذلك، فإن النموذج حساس لكيفية تأطير المهمة. إذا بدت المهمة كعملية بحث حيث تكون نتيجة الأداة هي الإجابة المتوقعة، فإن النموذج سيثق بهذا التنسيق. وإذا عرضت المهمة خيارين جنباً إلى جنب، فإنه يعاملهما كمتساويين وسوف يصدق المعلومات الخاطئة بغض النظر عما إذا كانت في نتيجة أداة أو نص عادي. تشير النتائج إلى أن خطر المعلومات الخاطئة لا يتعلق فقط بالتنسيق الذي تصل به، بل بكيفية هيكلة المحادثة بأكملها لجعل النموذج يشعر بأن لديه سبباً للثقة بتلك المعلومات. تسلط الأبحاث الضوء على أنه في هذه الأنظمة، يمكن تصنيع مظهر السجل الموثق ببساطة عن طريق تغيير طريقة التعبئة، ولكن هذا التأثير يتلاشى عندما يُطلب من النموذج مقارنة المصادر مباشرة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.