Dialogical Epistemic Auditing: Tracing Inferential Commitments Across Conversational Turns in Large Language Models
تقترح هذه الورقة "التدقيق الإبستمولوجي الحواري"، وهو إطار نوعي لتتبع كيفية حفاظ النماذج اللغوية الكبيرة على التزاماتها الاستدلالية أو تغييرها عبر جولات حوارية، مبرهنةً من خلال سلسلة حالات أن النماذج غالباً ما تظهر اتساقاً غير متماثل عبر الحفاظ على السرديات غير المثبتة مع التراجع عن الادعاءات الواقعية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
عندما نطلب من حاسوب أن يشرح حدثاً معقداً، فإننا غالباً ما نحكم عليه من خلال إجابته الأولى. فإذا بدا الرد واثقاً واستوفى الحقائق الأساسية، فإننا نميل إلى افتراض أن الآلة موثوقة. ولكن في العالم الحقيقي، نادراً ما تتوقف المحادثات عند الجملة الأولى؛ فنحن نطلب توضيحاً، ونتحدى الافتراضات، ونضغط لمعرفة ما يترتب على التنازل. قد تقدم الآلة بياناً افتتاحياً مثالياً، ومع ذلك تفشل في الحفاظ على اتساق منطقها الخاص مع تعمق النقاش. هذه الفجوة هي محور دراسة جديدة لا تنظر فيما يقوله نموذج لغوي كبير بمعزل عن غيره، بل في كيفية تعامله مع ثقل ادعاءاته بمرور الوقت. وتستند الدراسة إلى مفهوم من علم النفس البشري يُعرف باسم "التنافر المعرفي"، والذي يصف الانزعاج العقلي الذي نشعر به عندما يتصادم فكرتان. ولتقليل هذا الانزعاج، غالباً ما يغير الناس معتقداتهم لتناسب الحقائق، أو يطوعون الحقائق لتناسب معتقداتهم. وتتساءل الدراسة عما إذا كانت أنظمة الذكاء الاصطناعي تظهر نمطاً مشابهاً عندما تُدفع لشرح موقف صعب ومتناقض.
لقد سعى الباحث جوليو فيدوتو من جامعة بادوفا لاختبار ذلك من خلال إشراك ثلاثة أنظمة مختلفة للذكاء الاصطناعي في محادثات منفصلة حول حدث واقعي محدد. كان الموضوع هو تبادل جثث الجنود بين روسيا وأوكرانيا في عام 2026. كانت البيانات صارخة وموثقة جيداً: في ثلاث عمليات نقل منفصلة، أعادت روسيا ما يقرب من ألف جثة أوكرانية في كل مرة، مقابل استلام حوالي ثلاثين إلى أربعين جثة روسية فقط. خلقت هذه النسبة، التي تبلغ حوالي خمسة وعشرين إلى واحد، لغزاً. كانت الأرقام علنية ومحققة، ومع ذلك بدت متناقضة مع صورة شائعة وغير معلنة حول من يخسر المزيد من الجنود في الحرب. طلب الباحث من كل نظام شرح هذا التفاوت. لم يكتفِ بطلب ملخص، بل ضغط عليهم لتوضيح منطقهم، وتحدى منطقهم، وطلب منهم إعادة النظر في استنتاجاتهم عندما بدت متناقضة مع أنفسهم. كان الهدف هو تتبع مسار حججهم دورة تلو الأخرى، ومراقبة ما إذا كانت الآلات ستظل ثابتة أم أنها ستغير موقفها بهدوء لتجنب انزعاج التناقض.
قدمت الدراسة منهجية تسمى "التدقيق الإبستمولوجي الحواري". وبدلاً من محاولة تخمين ما "يفكر" فيه الحاسوب داخل كوده البرمجي، عامل الباحث المحادثة كسجل عام. لقد رسم خريطة لكل ادعاء قدمه الحاسوب، ملاحظاً الدور الذي لعبه ذلك الادعاء في الحجة. هل كان قطعة من الأدلة؟ هل كان فرضية؟ أم كان استنتاجاً؟ ثم راقب ما إذا كان الحاسوب، مع استمرار المحادثة، يحافظ على تلك الأدوار بشكل متسق. هل عامل تخميناً مؤقتاً كحقيقة ثابتة لاحقاً؟ هل تخلى عن استنتاج دون شرح السبب؟ بحث التدقيق عن نوع محدد من الفشل: عندما يغير الحاسوب رأيه لكنه يفشل في تحديث بقية قصته لتتوافق مع التغيير. إنه يشبه شخصاً يعترف بأنه أخطأ في تحديد الوقت، ولكنه يستمر في التصرف كما لو أنه لا يزال على الجدول الزمني الصحيح، تاركاً بقية خطته في حالة من الارتباك.
عبر المحادثات الثلاث، ظهر نمط واضح. في كل حالة، عانت أنظمة الذكاء الاصطناعي من نفس التوتر. فالأرقام المتحققة من العائد من الجثث تعارضت مع افتراض غير معلن حول حجم الخسائر من كل جانب. ولحل هذا التوتر، حاولت الأنظمة مراراً تغيير معنى الأرقام بدلاً من التشكيك في الافتراض غير المعلن. في إحدى المحادثات، قدم النظام في البداية تفسيرين متضاربين كما لو كانا صالحين بالتساوي، مما خلق توازناً زائفاً. وعندما تم تحديه، صحح نفسه، لكنه فقد ذلك التصحيح في الدور التالي، تاركاً فجوة في منطقه. وفي محادثة أخرى، أصر النظام على تفسير معين، ولكن عندما طُلب منه الدليل، استمر في تبديل الأدلة التي يستخدمها لدعم ذلك الاد de، مستبدلاً في النهاية حقائق قديمة وغير ذات صلة بحقائق جديدة. وفي الثالثة، ذهب النظام إلى حد الادعاء بأن الجدول الزمني الكامل للأحداث الذي وصفه للتو لم يحدث أبداً، متراجعاً عن حقائق مثبتة وكأنها هلاوس، رغم أن الأدلة على تلك الأحداث كانت واضحة ومعاصرة لها.
أكثر ما لفت الانتباه هو كيفية تعامل الأنظمة مع جانبي الجدال. فالأرقام الفعلية والمحققة كانت تُعاد تصنيفها، والتشكيك فيها، وإعادة تفسيرها باستمرار. وُصفت بأنها مؤشر مباشر، ثم قيد، ثم معطى اصطناعي، وأخيراً مقياس للسيطرة الإقليمية. أما الصورة غير المعلنة للخسائر النسبية، فلم يتم التشكيك فيها أبداً؛ ظلت دون مساس، ولم تُصنف ولم تُتحدى. لقد قامت الأنظمة باستمرار بثني الحقائق المعروفة لتناسب الصورة الخفية، بدلاً من تعديل الصورة الخفية لتناسب الحقائق المعروفة. وقد عكس هذا السلوك المفهوم النفسي للتنافر المعرفي، حيث يحمي العقل معتقداً جوهرياً عن طريق تغيير تفسير المعلومات الجديدة. لم يبدُ أن الآلات تكذب بالمعنى التقليدي؛ لم تكن تبتدع بيانات من العدم. بدلاً من ذلك، كانت تعيد ترتيب الروابط المنطقية بين الحقائق لجعل التناقض يختفي، مما يترك حججها في كثير من الأحيان غير مستقرة ومتناقضة داخلياً.
وجدت الدراسة أن هذه الإخفاقات لم تكن مجرد أعطال عشوائية، بل اتبعت مساراً محدداً. غالباً ما تبدأ الأنظمة بتفسير معقول، ولكن عند الضغط عليها، تقدم آلية جديدة للتوفيق بين الأرقام. وعندما يتم تحدي تلك الآلية، تتحول مرة أخرى، فتارة تصلح المنطق، وتارة تتخلى عنه تماماً. في إحدى الحالات، اعترف النظام بأخطائه وحاول إصلاحها، لكن الإصلاح كان ناقصاً، مما ترك تناقضاً خفياً ظهر لاحقاً. وفي حالة أخرى، قدم النظام تشخيصاً ذاتياً، ملقياً اللوم على نزعته للبحث عن التوازن، ومع ذلك أظهر نص المحادثة أن عدم الاستقرار كان ناتجاً عن الآلة نفسها، وليس عن أسئلة المستخدم. لقد اكتفى المستخدم في جميع الحالات بطلب الوضوح أو تحدي المنطق؛ ولم يطرح مقدمات خاطئة أو معلومات مضللة. لقد نشأ عدم الاستقرار بالكامل من استجابات الآلة نفسها.
تخلص الأبحاث إلى أن تقييم هذه الأنظمة من خلال النظر فقط في إجابتها الأولى هو أمر غير كافٍ. يمكن للحاسوب أن يبدو فصيحاً وواثقاً بينما يتداعى منطقه الأساسي. تشير الدراسة إلى أننا بحاجة لمراقبة كيفية تعامل هذه الأنظمة مع الضغط في محادثة طويلة. هل يحافظون على التزاماتهم المنطقية، أم ينحرفون عنها؟ تُظهر النتائج أنهم عندما يواجهون تناقضاً صعباً، يميلون إلى حماية افتراض غير معلن عبر تحريف معنى الحقائق التي يمكنهم رؤيتها. لا يبدو أن لديهم رؤية داخلية مستقرة للعالم يمكنهم التمسك بها عند التحدي. بدلاً من ذلك، يعيدون بناء حججهم في الوقت الفعلي، وغالباً ما يفقدون خيط منطقهم في العملية.
هذا لا يعني أن الآلات عاجزة عن التفكير، ولكنه يعني أن تفكيرها هش. تسلط الدراسة الضوء على نقطة ضعف محددة: عدم القدرة على الحفاظ على هيكل متسق من الادعاءات عندما تصبح المحادثة معقدة. ويشير الباحث إلى أن هذه ليست مشكلة كون الآلات "سيئة" أو "مخادعة"، بل هي مسألة هيكلية في كيفية معالجتها للمعلومات. فهي مصممة لتكون مفيدة ولتقليل الاحتكاك في المحادثة، مما يؤدي أحياناً إلى تسوية التناقضات بطرق تكسر منطق الحجة. تتوقف الدراسة عند حد القول بأن هذا يحدث في كل محادثة أو مع كل نظام، حيث أنها فحصت ثلاث عمليات تبادل محددة فقط. ومع ذلك، فإنها تقدم طريقة جديدة للنظر في هذه التفاعلات، تظهر أن الاختبار الحقيقي للذكاء الاصطناعي ليس فقط فيما يقوله، بل في كيفية تماسك ما قاله عندما يصبح النقاش صعباً. وتشير النتائج إلى أنه بالنسبة للمستخدمين الذين يعتمدون على هذه الأدوات في التفسيرات المعقدة، فإن المهارة الأكثر أهمية قد تكون تعلم رصد متى تقوم الآلة بهدوء بتغيير قواعد اللعبة لجعل الأرقام تتناسب مع فرضياتها، بدلاً من ترك الأرقام تروي قصتها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.