Quantifying Logical Consistency in Transformers via Query-Key Alignment

لقد أصبحت النماذج اللغوية الكبيرة بارعة بشكل ملحوظ في محاكاة المحادثة البشرية، وكتابة الشعر، وتلخيص النصوص المعقدة. وهي تحقق ذلك من خلال التنبؤ بالكلمة التالية في الجملة بناءً على كميات هائلة من بيانات التدريب. ومع ذلك، عندما تُسأل هذه الأنظمة عن حل لغز منطقي متعدد الخطوات، فإنها غالباً ما تتعثر. فقد تولد سلسلة من الاستنتاجات تبدو مقنعة ولكنها تؤدي إلى استنتاج خاطئ تماماً، أو قد يتشتت انتباهها بسبب تفاصيل غير ذات صلة في النص المطلوب. وبينما وجد الباحثون طرقاً لاستخراج أداء أفضل من هذه النماذج عبر مطالبتها بـ "التفكير خطوة بخطوة"، إلا أن مشكلة جوهرية لا تزال قائمة: وهي أن هذه النماذج نفسها لا تملك وسيلة داخلية للتحقق مما إذا كان استنتاجها منطقياً ومتماسكاً بالفعل. فهي يمكن أن تنتج مساراً يبدو منطقياً دون أن تدرك حقاً ما إذا كانت الخطوات مترابطة بشكل صحيح.

يخلق هذا اليقين فجوة معرفية في الذكاء الاصطناعي؛ فنحن نستطيع رؤية الإجابة النهائية التي يقدمها النموذج، لكننا لا نستطيع بسهولة رؤية الإشارات الداخلية التي تشير إلى ما إذا كان النموذج يتبع قواعد المنطق فعلياً أم أنه مجرد يخمن. ولمعالجة ذلك، طور فريق من الباحثين من معهد سكولكوفو للعلوم والتكنولوجيا ومؤسسات أخرى طريقة جديدة لإلقاء نظرة داخل "عقل" النموذج أثناء عملية التفكير. فبدلاً من الانتظار حتى ينهي النموذج إجابته ثم التحقق مما إذا كانت صحيحة، هم ينظرون إلى الروابط الداخلية المحددة التي يصنعها النموذج بينما لا يزال في مرحلة التفكير. وقد وجدوا أن أجزاء معينة من بنية النموذج تعمل كنقاط تفتيش موثوقة، تعطي إشارة حول مدى صحة الخطوة المنطقية قبل وقت طويل من نطق الإجابة النهائية.

ركز الباحثون على كيفية معالجة هذه النماذج للمعلومات داخلياً. فداخل النموذج اللغوي الكبير، تتدفق المعلومات عبر طبقات من العمليات الرياضية. وفي قلب هذه العملية توجد "رؤوس الانتباه" (attention heads)، والتي تعمل مثل مفاتقات صغيرة تقرر أي أجزاء من المدخلات هي المهمة للتركيز عليها في أي لحظة معينة. واكتشف الفريق أنه يمكنهم قياس التوافق بين إشارتين محددتين داخل هذه الرؤوس: الإشارة التي تمثل العبارة التي يتم اختبارها، والإشارة التي تمثل الإجابة المحتملة. ومن خلال حساب درجة بسيطة بناءً على مدى تطابق هاتين الإشارتين، استطاعوا تحديد ما إذا كان النموذج قد أدرك الرابط المنطقي بين المقدمة والنتيجة.

لاختبار هذه الفكرة، أجرى الباحثون تجارب على مجموعة واسعة من مهام الاستدلال المنطقي. واستخدموا مجموعات بيانات اصطناعية حيث كانت القواعد واضحة والإجابات صحيحة أو خاطئة بشكل قاطع، مثل تحديد ما إذا كانت شخصية تدعى "بولي" معتمة بناءً على مجموعة من القواعد الخيالية حول "الرومبوس" و"الجومبوس". كما اختبروا الطريقة على مجموعات بيانات أكثر تعقيداً تتضمن لغة من العالم الحقيقي وخطوات متعددة من الاستنتاج. وفي هذه الاختبارات، قارنوا أداء طريقة التقييم الداخلي الجديدة هذه مقابل الطريقة القياسية للنموذج في الإجابة، والتي تتمثل ببساطة في اختيار الخيار ذي الاحتمالية الأعلى.

أظهرت النتياج أن طريقة التقييم الداخلي كانت أكثر موثوقية بكثير من تخمين النموذج النهائي. ففي السيناريوهات التي عُرضت فيها معلومات مشتتة وغير ذات صلة، غالباً ما ارتبك النموذج القياسي وأعطى إجابة خاطئة. ومع ذلك، ظلت الإشارات الداخلية المحددة التي تتبعها الأبحاث ثابتة، حيث حددت المسار المنطقي الصحيح بدقة حتى عندما كانت مخرجات النموذج النهائية خاطئة. وهذا يشير إلى أن النموذج يمتلك في الواقع قدرة الاستدلال الصحيحة في أعماق طبقاته، ولكن هذه القدرة يمكن أن تُحجب أحياناً بواسطة مراحل المعالجة اللاحقة أو بسبب ضجيج السياق المشتت.

اختبر الفريق هذا النهج على نماذج تتراوح أحجامها من نماذج صغيرة جداً بسعة 1.5 مليار معلمة إلى نماذج ضخمة بسعة 70 مليار معلمة. وفي جميع الحالات، وجدوا أن رؤوس انتباه محددة تعمل باستمرار كـ "مرتكزات تحقق" (verification anchors). حيث استطاعت هذه الرؤوس التمييز بين الاستنتاجات الصحيحة والخاطئة بدقة عالية، بغض النظر عن عدد خطوات الاستدلال المطلوبة أو عدد المشتتات الموجودة. وفي بعض الحالات، كانت الدرجة الداخلية صحيحة بنسبة تزيد عن 90 بالمائة، بينما كانت إجابة النموذج النهائية صحيحة بنسبة تقل عن 60 بالمائة. وهذا يشير إلى أن النموذج غالباً ما يكون "يعرف" الإجابة الصحيحة داخلياً ولكنه يفشل في التعبير عنها بشكل صحيح في مخرجه النهائي.

كان أحد أهم الاكتشافات هو أن هذه الطريقة لا تتطلب تغيير النموذج أو إعادة تدريبه. إذ يمكن للباحثين ببساطة تشغيل النموذج مرة واحدة، والنظر في الإشارات الداخلية، واستخلاص درجة غالباً ما تكون أكثر دقة من تنبؤ النموذج نفسه. وهذا يوفر طريقة خفيفة وفعالة لتقييم الاتساق المنطقي دون التكلفة الحسابية العالية للطرق السابقة، التي كانت تتضمن غالباً تعطيل أجزاء من النموذج لمعرفة ما سيحدث. وتشير الدراسة إلى أنه من خلال تحديد هذه المكونات الداخلية المحددة، يمكننا الحصول على نافذة أوضح لكيفية معالجة الذكاء الاصطناعي للعلاقات المعقدة، مما يقربنا من أنظمة ليست فقط طليقة في اللغة، بل أيضاً موثوقة في استدلالها.

أشار الباحثون إلى أن طريقتهم تعمل بشكل أفضل عندما يتوفر قدر كافٍ من البيانات لمعايرة الإشارات الداخلية المحددة التي يجب الوثوق بها لمهمة معينة. كما أقروا بأن هذا النهج لا يعني أن هذه الأجزاء المحددة هي الوحيدة المسؤولة عن المنطق، كما أنه لا يحل كل المشكلات المتعلقة بالاستدلال في الذكاء الاصطناعي. ومع ذلك، فإن هذا العمل يوفر طريقة ملموسة وقابلة للقياس لرؤية أين يصمد المنطق وأين ينهار، مما يقدم أداة جديدة لبناء نماذج لغوية أكثر شفافية وموثوقية. ومن خلال التركيز على توافق الإشارات الداخلية بدلاً من مجرد المخرج النهائي، تكشف الدراسة أن القدرة على الاستدلال السليم موجودة غالباً داخل النموذج، وهي تنتظر فقط من يقرأها بشكل صحيح.