Does Accuracy Equal Evidence? Reasoning Faithfulness under KV Cache Compression

تخيل عالماً تعمل فيه حواسيب عملاقة فائقة الذكاء كالمحققين الدؤوبين، حيث تحل الألغاز المعقدة عبر كتابة كامل عملية تفكيرها خطوة بخطوة قبل إعطائك الحكم النهائي. هكذا تعمل "نماذج الاستدلال الكبيرة" الحديثة: فهي لا تكتفي بمجرد التخمين، بل تبني قصة منطقية طويلة لتثبت صحة استنتاجها. لكن هذه القصص يمكن أن تصبح طويلة للغاية، مما يستهلك كميات هائلة من ذاكرة الحاسوب، تماماً مثل محقق يحاول الاحتفاظ بكل دليل، وكل إفادة شاهد، وكل خريطة في ذهنه في آن واحد. ولجعل هذه الحواسيب أسرع وأقل تكلفة في التشغيل، اخترع العلماء حيلة تسمى "ضغط ذاكرة الـ KV" (KV cache compression). فكر في هذا الأمر كأنه نظام أرشفة سحري يتخلص من الأجزاء "المملة" أو "المكررة" من ملاحظات المحقق لتوفير المساحة، محتفظاً فقط بالقطع الأكثر أهمية حتى يتمكن الحاسوب من حل القضية.

لفترة طويلة، افترض الجميع أنه إذا حافظ هذا النظام على صحة الإجابة النهائية، فلا بد أنه حافظ أيضاً على الأدلة المهمة التي أدت إليها. بدا الأمر منطقياً: إذا قال المحقق "الخادم هو الفاعل"، وكانت الإجابة صحيحة، فلا بد أن الملاحظات كانت جيدة، أليس كذلك؟ لكن دراسة جديدة تشير إلى أن هذا قد يكون وهماً خطيراً. فقد وجد الباحثون أنه يمكنك الحصول على محقق يعطي الإجابة الصحيحة، لكنه نسي تماماً (أو رمى) الأدلة التي تثبت صحتها. لقد اكتشفوا أن الحاسوب قد يكون "يهلوس" باستنتاج صحيح بناءً على سلسلة منطقية مكسورة، ولأننا كنا نتحقق فقط من الإجابة النهائية، لم نلاحظ أن المحقق كان في الواقع يختلق الأمور. وهذا أمر بالغ الأهمية لأننا في الحياة الواقعية، كما في الطب أو العلوم، نعتبر معرفة لماذا الإجابة صحيحة لا تقل أهمية عن الإجابة نفسها.

لغز "الإجابة الصحيحة، والسبب الخاطئ" العظيم

في هذه الورقة البحثية، قرر الباحثون من جامعة إلينوي في أوربانا-شامبين وضع هذا "نظام الأرشفة السحري" تحت الاختبار. أرادوا معرفة ما إذا كان ضغط ذاكرة الحاسوب يحافظ فعلياً على الاستدلال وراء الإجابة، أم أنه يحافظ فقط على الإجابة نفسها بينما يمزق الدليل. وللقيام بذلك، أعدوا تجربة ذكية تعمل كإعادة تشغيل عبر الزمن.

أولاً، تركوا حاسوباً فائق الذكاء (بدون أي ضغط للذاكرة) يحل مجموعة من المشكلات الصعبة، مثل الألغاز الرياضية المعقدة، والأسئلة العلمية، والحسابات الطبية. ثم قاموا بحفظ "أثر التفكير" الكامل للحاسوب؛ أي القصة الكاملة التي كتبها خطوة بخطوة. بعد ذلك، أخذوا نفس تلك القصة بالضبط وطلبوا من طرق ضغط مختلفة "إعادة تشغيل" النهاية. أُجبر الحاسوب على استخدام النسخة المضغوطة والموفرة للذاكرة من ملاحظاته لإكمال القصة. النقطة الجوهرية هنا هي أن نص القصة كان ثابتاً؛ الشيء الوحيد الذي تغير هو ذاكرة الحاسوب الداخلية لما قرأه للتو. سمح هذا للباحثين بعزل تأثير الضغط بدقة على قدرة الحاسوب على فهم ملاحظاته الخاصة.

لقد اختبروا إحدى عشرة طريقة مختلفة للضغط، بما في ذلك الطرق التي تتخلص من الرموز (tokens) القديمة، وتلك التي تدمج الأفكار المتشابهة، وطريقة أخرى تقوم فقط بتقليص حجم الملاحظات دون حذف أي شيء منها. ونظروا في ثلاثة أمور:

1. الدقة النهائية: هل حصل الحاسوب على الإجابة الصحيحة؟
2. اتساق السلسلة: هل كانت القصة التي رواها منطقية وصحيحة حقاً، أم أنها تخطت خطوات أو اختلقت أموراً من عندها؟
3. الأمانة (Faithfulness): إذا دسسنا إجابة خاطئة في منتصف القصة، هل سيكتشفها الحاسوب أم سيتبع الخطأ بشكل أعمى؟

الاكتشاف الصادم: "فجوة الإجابة-الدليل"

كانت النتائج مذهلة. وجد الباحثون فجوة هائلة بين الحصول على الإجابة الصحيحة وامتلاك الدليل الصحيح. وقد أطلقوا عليها اسم "فجوة الإجابة-الدليل" (Answer-Evidence Gap).

إليك ما حدث: في المهام الرياضية والعلمية الصعبة، تمكنت العديد من طرق الضغط من إنتاج الإجابة النهائية الصحيحة بمعدل يبدو جيداً جداً مقارنة بالحاسوب الكامل غير المضغوط. ومع ذلك، عندما تحقق الباحثون من الاستدلال وراء تلك الإجابات، كانت النتيجة كارثية. فغالباً ما كان الحاسوب ينتج "إجابات صحيحة بسلسلة خاطئة". وهذا يعني أن الرقم النهائي أو الخيار النهائي كان صحيحاً، لكن المسار للوصول إليه كان مليئاً بالثغرات، أو القفزات المنطقية، أو الحقائق المختلقة.

على سبيل المثال، في اختبار رياضي يسمى AIME، حصلت بعض طرق الضغط على الإجابة الصحيحة بنسبة 50% تقريباً. ولكن عندما نظروا في كيفية وصول الحاسوب إلى هناك، وجدوا أنه في كثير من تلك الحالات "الصحيحة"، كان الحاسوب قد تخطى خطوات حاسمة، أو استخدم صيغاً خاطئة، أو ببساض قام بتخمين الإجابة ثم حاول كتابة قصة مزيفة لتبريرها. إنه يشبه طالباً يحصل على الإجابة الصحيحة في الاختبار، لكنه كتب "استخدمت السحر" كشرح لإجابته.

أظهرت الدراسة أن هذه الفجوة تزداد سوءاً في الطرق التي تقوم بـ الإقصاء (أي التخلص من) أجزاء من الذاكرة. يبدو أن هذه الطرق تحتفظ بـ "إشارات الإجابة" (الكلمات التي تبدو كأنها الاستنتاج النهائي) بينما تتخلص من "دعم الأدلة"، مثل الحسابات الوسيطة وخطوات التحقق. الأمر يشبه نظام الأرشفة الذي احتفظ بختم "أُغلقت القضية" ولكنه رمى تقارير الشرطة وبصمات الأصابع.

ومن المثير للاهتمام، وجد الباحثون أن التكميم (Quantization) (وهي طريقة تقلص حجم الملاحظات دون حذف أي منها) كان أداؤها أفضل بكثير. فقد حافظت على سلسلة الاستدلال سليمة إلى حد كبير، مما يشير إلى أن المشكلة ليست مجرد امتلاك ذاكرة أقل، بل تتعلق تحديداً بـ فقدان الوصول إلى أجزاء مسار الاستدلال التي تثبت صحة الإجابة.

لماذا يهم هذا: خطر "الكفاءة المزيفة"

تجادل الورقة البحثية بأن الاعتماد فقط على "الدقة النهائية" هو فخ. إذا كنت تتحقق فقط مما إذا كانت الإجابة صحيحة، فقد تعتقد أن الحاسوب المضغوط يعمل بشكل مثالي. ولكن في الواقع، قد يكون "كاذباً كفؤاً"؛ فهو يعطيك الإجابة الصحيحة، لكن لا يمكنك الوثوق به لأن الاستدلال معطل.

اختبر الباحثون ذلك عن طريق "إرباك" القصص؛ حيث أدخلوا إجابة خاطئة بوضوح في منتوسط ملاحظات الحاسوب وطلبوا منه الاستمرار. عادةً ما يكتشف الحاسوب غير المضغوط الخطأ ويصححه لنفسه. لكن الحواسيب المضغوتة؟ الكثير منها استمر في اتباع الخطأ، متبنياً الإجابة الخاطئة لأن الأدلة اللازمة لرصد الخطأ قد تم التخلص منها.

هذا اكتشاف حاسم لأي شخص يستخدم نماذج الذكاء الاصطناعي هذه في مواقف عالية الخطورة، مثل تشخيص مريض أو حل مشكلة هندسية معقدة. إذا اعتمد الطبيب على ذكاء اصطناعي يقول "المريض يعاني من الحالة X" (وهي حالة صحيحة بالفعل)، ولكن استدلال الذكاء الاصطناعي عبارة عن فوضى من المعلومات الخاطئة، فلن يعرف الطبيب ما إذا كان الذكاء الاصطناعي محقاً حقاً أم أنه كان محظوظاً فحسب. تقترح الورقة أننا بحاجة إلى طرق جديدة لتقييم هذه الحواسيب، طريقة لا تتحقق فقط مما يقولونه، بل كيف وصلوا إلى هناك.

الخلاصة

تخلص الدراسة إلى أنه بينما يمكن للضغط توفير الذاكرة وتسريع الحواسيب، فإنه غالباً ما يفعل ذلك على حساب أمانة الاستدلال. إن "فجوة الإجابة-الدليل" حقيقية: يمكن للنماذج المضغوطة أن تحافظ على الإجابة النهائية بينما تضعف صلاحية الدعم الذي يقف خلفها. يقترح المؤلفون أن طرق الضغط المستقبلية لا ينبغي أن تحاول فقط الاحتفاظ بـ "الكلمات الأكثر أهمية" بناءً على عدد مرات ظهورها؛ بل يجب أن تكون أكثر ذكاءً في الحفاظ على بنية الاستدلال—مثل التعريفات، والخطوات الوسيطة، وعمليات التحقق. وحتى ذلك الحين، يجب أن نكون حذرين بشأن الثقة في نماذج الذكاء الاصطناعي التي تعطي الإجابة الصحيحة ولكن لا تستطيع شرح كيف فعلت ذلك، لأنه في عالم نماذج الاستدلال الكبيرة، الإجابة الصحيحة بدون سبب صالح ليست سوى تخمين محظوظ.