The Silent Cost of Conversation History in LLM Reasoning
تُثبت هذه الورقة أن تراكم تاريخ المحادثة في تفاعلات النماذج اللغوية الكبيرة متعددة الأدوار يؤدي بشكل كبير إلى تدهور دقة الاستنتاج بمرور الوقت، وهو تدهور تعجز مقاييس الاتساق والتماسك القياسية عن التنبؤ به مبكراً، مما يستلزم إدارة خارجية لحالة المهمة ومراقبة عبر الجلسات.
في العالم الرقمي الحديث، غالبًا ما يعمل الذكاء الاصطناعي كمساعد دؤوب، يخوض محادثة تمتد عبر عشرات التبادلات. تخيل مديرًا لوجستيًا يطلب من حاسوب تتبع المخزون عبر مستودع، أو مخططًا ماليًا يحدث ميزانية مع وصول فواتير جديدة. يتذكر الحاسوب كل رسالة سابقة، ويبني سجلًا طويلًا للمحادثة لفهم السؤال الحالي. ومن المفترض أن يساعد هذا السجل المتنامي الآلة على التفكير بشكل أفضل، ليعمل مثل دفتر ملاحظات مشترك بين الإنسان والحاسوب. ومع ذلك، هناك خطر خفي في هذا النهج؛ فكلما طالت المحادثة، يتعين على الحاسوب معالجة ليس فقط السؤال الجديد، بل وأيضًا إجاباته السابقة التي قد تحتوي على أخطاء. إذا ارتكبت الآلة خطأً في وقت مبكر، فقد تحبس نفسها داخل تلك الفكرة الخاطئة، وتكرر الخطأ باستمرار طوال بقية المحادثة دون أن تظهر أي علامات على الارتباك. والنتيجة هي نظام يبدو واثقًا وفصيحًا ولكنه خاطئ جوهريًا، ولأن الأخطاء متسقة، فإن الفشل قد يظل غير مرئي للمستخدم.
لقد سعى الباحثون إلى قياس مدى الضرر الذي يلحقه تاريخ المحادثة المتنامي بقدرة الحاسوب على حل المشكلات بشكل صحيح. واختبروا ذلك من خلال إجراء نوعين مختلفين من التجارب. في التجربة الأولى، أخذوا مجموعة من المسائل الرياضية وقسموا المعلومات إلى قطع صغيرة، كاشفين عنها واحدة تلو الأخرى. وطلبوا من الحاسوب حل المسألة بطريقتين: إحداهما مع سجل كامل لإجاباته السابقة، والأخرى بصفحة بيضاء لا تعرض سوى المعلومات الجديدة. كانت النتائج واضحة ومتسقة؛ فعندما سُمح للحاسوب بالاحتفاظ بردوده السابقة في ذاكرته، انخفض معدل نجاحه بشكل كبير. فبالنسبة لأحد النماذج التي تم اختبارها، انخفضت فرصة الحصول على الإجابة النهائية الصحيحة بنسبة تقارب ثلاثين نقطة مئوية، وبالنسبة لنموذج آخر، انخفضت بنحو واحد وعشرين نقطة. لم يكن الحاسوب مشتتًا فحسب، بل كان يعيق نفسه فعليًا من خلال التاريخ الذي كان من المفترض أن يستخدمه للمساعدة.
دفعت التجربة الثانية هذه الفكرة إلى أقصى حدودها، عبر محاكاة محادثة استمرت مائة دورة. كانت هذه مهمة طويلة ومعقدة حيث تعين على الحاسوب تتبع التغييرات في ميزانية أو مخزون بمرور الوقت. حرص الباحثون بعناقة على ضمان بقاء صعوبة الأسئلة ثابتة طوال المحادثة، ليتأكدوا من أن أي انخفاض في الأداء يعود لطول الدردشة وليس لصعوبة الأسئلة. ووجدوا أن دقة الحاسوب انهارت بسرعة؛ ففي غض-ن تجربة عشرين دورة فقط، انخفضت القدرة على إعطاء الإجابة الصحيحة من حوالي ستين بالمائة إلى عشرة بالمائة. كان الحاسوب يفشل تقريبًا في كل سؤال، رغم أن الأسئلة نفسها لم تصبح أكثر صعوبة. حدث هذا الانهيار لأن الحاسوب كان يبني إجاباته الجديدة فوق أساس من الأخطاء السابقة، مما خلق سلسلة من الاستنتاجات المتسقة ولكن الخاطئة.
ومن الأهمية بمكان أن الباحثين بحثوا أيضًا عن وسيلة لرصد هذا الفشل قبل وقوعه. ففي الأنظمة الواقعية، لا يمكنك دائمًا معرفة الإجابة الصحيحة مسبقًا، لذا تحتاج إلى إشارة تحذير تخبرك بأن الحاسوب ينحرف عن المسار. اختبروا عدة طرق معيارية لقياس جودة تفكير الحاسوب، مثل التحقق مما إذا كانت إجاباته متسقة مع بعضها البعض أو ما إذا كان منطقه يتدفق بسلاسة. وكانوا يأملون أنه مع بدء فشل الحاسوب، ستنخفض درجات الجودة هذه، لتطلق جرس الإنذار. وبدلاً من ذلك، وجدوا العكس تمامًا؛ فبينما كانت الدقة تنهار، ظلت مقاييس الاتساق والتدفق المنطقي مرتفعة أو حتى تحسنت. لقد أصبح الحاسوب أكثر تمسكًا بالخطأ بشكل غريب؛ فكانت إجاباته متسقة تمامًا مع بعضها البعض، لكنها كانت خاطئة تمامًا. كانت أدوات رصد المشاكل المعتادة صامتة تمامًا، ولم تقدم أي تحذير من أن النظام يفشل.
كما اختبرت الدراسة ما إذا كانت البرامج الحاسوبية المصممة خصيصًا للكشف عن التغيرات في السلوك يمكنها رصد المشكلة. هذه البرامج تشبه أجهزة كشف الدخان للبيانات، حيث تبحث عن التحولات المفاجئة التي تشير إلى وجود خطأ ما. ومع ذلك، وجد الباحثون أن هذه الكواشف كانت بطيئة للغاية بحيث لا يمكن الاستفادة منها؛ فبحلول الوقت الذي تطلق فيه الكواشف الإنذار أخيرًا، يكون الحاسوب قد بدأ بالفعل في الفشل منذ فترة طويلة. لقد بدأ تراجع الأداء في وقت مبكر جدًا من المحادثة لدرجة أن الكواشف لم تستطع إنشاء خط أساس للسلوك الطبيعي للمقارنة به. وحتى عندما حاول الباحثون إصلاح ذلك من خلال النظر في محادثات عديدة في آن واحد، ظلت إشارات التحذير ضعيفة وغير موثوقة. الطريقة الوحيدة التي نجحت هي إزالة تاريخ المحادثة تمامًا؛ فبدلاً من تغذية الحاسوب بنص المحادثة الطويل، أعطاه الباحثون ملخصًا قصيرًا وموثقًا للحالة الراهنة، كتبه نظام منفصل وموثوق. وعندما فعلوا ذلك، ظلت دقة الحاسوب عالية ومستقرة طوال المائة دورة، مما أثبت أن المشكلة تكمن في التاريخ نفسه، وليس في المهمة.
تشير النتائج إلى أنه بالنسبة لأي نظام يعتمد على الذكاء الاصطناعي لإدارة مهام معقدة وطويلة الأمد، فإن الاحتفاظ بنص كامل للمحادثة يعد عبئًا. فالآلة لا تصبح أكثر ذكاءً من خلال تذكر أخطائها، بل تقع في فخها. ويخلص الباحثون إلى أن النهج الأفضل هو الاحتفاظ بحالة المهمة، مثل إجمالي الميزانية أو عدد المخزون، في سجل منفصل وموثق خارج المحادثة. يجب إرسال هذا السجل إلى الحاسوب بشكل جديد مع كل سؤال جديد، بدلاً من ترك الحاسوب يعيد بناء الحالة من ذاكرته المعيبة. وبينما تعد قدرة الحاسوب على إجراء محادثة طويلة أمرًا مثيرًا للإعجاب، فإن هذه الدراسة تظهر أنه بالنسبة لمهام الاستنتاج الجادة، فإن التاريخ الأقل هو الأكثر دقة. إن صمت أنظمة التحذير يعد تذكيرًا صارخًا بأن الإجابة الفصيحة والمتسقة ليست دائمًا إجابة صحيحة، وأنه في عالم الذكاء الاصطناعي، قد تكون الذاكرة الأكثر موثوقية هي تلك التي تنسى الماضي.
ملخص تقني: التكلفة الصامتة لسجل المحادثة في استدلال النماذج اللغوية الكبيرة (LLMs)
1. بيان المشكلة
يتم نشر النماذج اللغوية الكبيرة (LLMs) بشكل متزايد في أنظمة المعلومات متعددة الأدوار (مثل مساعدي المشتريات، أو متتبعي اللوجستيات) حيث يتراكم السياق من ردود النموذج السابقة إلى جانب حالة المهمة المتغيرة. تبحث هذه الورقة في فجوتين حرجتين في الموثوقية:
فجوة القياس: هل يؤدي الاحتفاظ بسجل المحادثة الكامل (سجل الحوار) إلى تدهور دقة الاستدلال عبر الآفاق الطويلة، وهل يتفاقم هذا التدهور مع نمو المحادثة؟ غالبًا ما تستخدم الدراسات الحالية آفاقًا قصيرة أو تفشل في ضبط صعوبة المهمة، مما يجعل من غير الواضح ما إذا كان انخفاض الدقة ناتجًا عن طول السياق أم عن الأسئلة التي تزداد صعوبة.
فجوة المراقبة: هل يمكن لمقاييس جودة الاستدلال الراسخة أو كواشف الانحراف أن توفر تحذيرًا مبكرًا من هذا التدهور قبل فشل الإجابة النهائية؟ تعتمد الأنظمة الحالية غالبًا على افتراض أن الردود الفصيحة والمتماسكة محليًا تشير إلى سلامة النظام، ولكن قد يلتصق النموذج بحالة مهمة خاطئة ويولد إجابات متسقة ولكنها خاطئة دون إظهار أعراض الفشل التقليدية (مثل عدم التماسك).
الفرضية الأساسية هي أن السجل المتراكم يسمح للنماذج بـ "الارتكاز" على الأخطاء المبكرة، مما يؤدي إلى انهيار صامت في الدقة تفشل مقاييس الجودة القياسية (الاتساق، التماسك، الاستقرار) في اكتشافه لأن النموذج يظل متماسكًا محليًا حتى عندما يكون خاطئًا عالميًا.
2. المنهجية
تستخدم الورقة دراستين استباقيتين ببروتوكولات مجمدة قبل حساب النتائج.
الدراسة 1: التأثير المقترن للاحتفاظ بالردود
المهمة: 48 مسألة رياضية مجزأة من بنك GSM8K (معيار Lost in Conversation)، مقسمة إلى 4-9 أدوار.
التصميم: مقارنة مقترنة لثلاثة نماذج (GPT-4o-mini، Llama-4 Scout، Mistral-7B).
ذراع سجل الحوار: يتضمن السياق جميع أدوار المستخدم السابقة وردود النموذج السابقة.
ذراع البادئة الجديدة: يتضمن السياق أدوار المستخدم فقط (بدون ردود النموذج السابقة).
المقاييس: نجاح الدور الأخير (الدقة) ومقاييس ما قبل الدور الأخير (الاتساق، التماسك المنطقي، الاستقرار) لاختبار إشارات التحذير المبكر. يقيس "تأخر الحل التراكمي" (CRL) ما إذا كان ذراع السجل يؤخر الإجابة مقارنة بالبادئة الجديدة.
الدراسة 2: التدهور طويل الأمد (CDR-Stream)
المهمة: معيار مصمم خصيصًا لـ 100 دور من حوارات تتبع الحالة عبر أربعة مجالات (الميزانية، المخزون، بروتوكولات المختبر، المعالم الرئيسية).
التصميم:
معايرة الصعوبة: سلم صعوبة مكون من 12 مستوى تمت معايرته لكل نموذج لضمان بقاء المهام ضمن نطاق دقة معلوماتي (0.35-0.92).
السيناريوهات: تشمل أنظمة ثابتة (سهلة/صعبة) وأنظمة ديناميكية (درج، تحولات مفاجئة، تعافي) لاختبار اكتشاف الانحراف.
الأذرع:
سجل الحوار: نص كامل.
ملخص الحالة المتحقق منه: استبدال السياق بملخص حالة دقيق تم إنشاؤه بواسطة حلّال (solver) لحالة المهمة الحالية، مما يزيل أي حوار سابق.
إطار المراقبة:
إشارات الجودة: ستة أبعاد من RQEval (الدقة، الاتساق، المتانة، التماسك المنطقي، الكفاءة، الاستقرار).
الكواشف: خمسة كواشف للتدفق (CUSUM، Page–Hinkley، EWMA، DDM، ADSW) تمت معايرتها على حالات صفرية ثابتة للتحكم في معدلات الإنذار الكاذب.
التقييم: اختبار ما إذا كانت الكواشف ستحدد تغييرات الصعوبة المجدولة أو الانهيار الأولي في الدقة قبل أن ينخفض مقياس الدقة (CQ) نفسه.
3. النتائج الرئيسية
تدهور الدقة
الدراسة 1 (الأفق القصير): أدى الاحتفاظ بردود المساعد إلى خفض النجاح النهائي بشكل كبير.
GPT-4o-mini: انخفاض من 0.896 إلى 0.688 (p=0.026).
Mistral-7B: انخفاض من 0.354 إلى 0.063 (p=0.004).
أظهر Llama-4 Scout اتجاهًا مشابهًا ولكنه لم يكن ذا دلالة إحصائية.
ملاحظة: مال نموذج Mistral-7B تحديدًا إلى العلوق في حالة "الحاجة لمزيد من المعلومات" عندما كانت ردوده مدرجة، بينما أجاب بشكل صحيح بدونها.
الدراسة 2 (الأفق الطويل): انهارت الدقة بسرعة تحت تأثير السجل الكامل.
عبر جميع النماذج، انخفضت الدقة من ~0.6 في الدور الخامس إلى ~0.1 بحلول الدور العشرين.
في السيناريوهات الثابتة (السهلة) حيث لم تزداد الصعوبة، ظلت الدقة عند 0.10–0.14 تحت السجل الكامل، بينما ظلت عند 0.82–0.86 تحت ملخص الحالة المتحقق منه.
حافظ ملخص الحالة المتحقق منه على الدقة عبر جميع مستويات الصعوبة، مما يؤكد أن الانهيار مدفوع بتراكم السياق/الردود وليس بتعقيد المهمة.
فشل إشارات التحذير المبكر
مقاييس الجودة: لم تعمل أي من المقاييس القياسية (الاتساق، التماسك المنطقي، الاستقرار) كإشارات تحذير مبكر قوية.
التماسك والاستقرار: غالبًا ما ارتفعت هذه المقاييس أو ظلت ثابتة مع انهيار الدقة. فبينما ارتكزت النماذج على حالة خاطئة، أصبحت ردودها أكثر اتساقًا وتماسكًا محليًا مع بعضها البعض، مما حجب الفشل العالمي.
الاتساق: انخفض ببطء وفقط بعد فقدان معظم الدقة بالفعل.
كواشف الانحراف:
فشلت الكواشف في تقديم تحذيرات مبكرة للانهيار الأولي لأن التدهور يبدأ فورًا (الدور 1)، مما لا يترك فترة مرجعية ثابتة.
بالنسبة للانحرافات المجدولة (في ذراع الحالة المتحقق منها)، أظهرت الكواشف تغطية منخفضة وقدرة نقل ضعيفة عبر النماذج.
تحليل القدرة: أظهر تحليل نظري ومحاكاة أن تدفقًا واحدًا مكونًا من 100 دور يفتقر إلى القدرة الإحصائية لاكتشاف انخفاضات الدقة المتوسطة (0.1–0.3) عند التحكم في معدلات الإنذار الكاذب. يتطلب اكتشاف مثل هذه الانخفاضات تجميع البيانات عبر جلسات متعددة.
4. المساهمات
التقدير المقترن الاستباقي: تقدير مقترن مجمد يؤكد أن الاحتفاظ بردود المساعد يقلل النجاح في المهام القصيرة والمجزأة، مما يكرر ويوسع النتائج السابقة.
معيار CDR-Stream: معيار مكون من 100 دور ومعاير الصعوبة، يوضح أن السجل الكامل يسبب انهيار الدقة في غضون ~20 دورًا، بينما يحافظ ملخص الحالة المتحقق منه على الأداء.
تقييم المراقبة: تقييم منهجي يظهر أن مقاييس جودة الاستدلال المعتادة وكواشف الانحراف أحادية المسار لا توفر تحذيرات مبكرة قوية وعامة للنماذج لهذا النوع من الفشل. تسلط الورقة الضوء على أن الفشل "الصامت" (متماسك ولكنه خاطئ) غير مرئي للمقاييس التي تكافئ الاتساق المحلي.
5. الأهمية والادعاءات
تخلص الورقة إلى أن الاعتماد على نص خام كذاكرة وحيدة لمهام النماذج اللغوية المرتبطة بالحالة ينطوي على تكلفة كبيرة يمكن تجنبها.
تصميم النظام: للمهام ذات الحالة الصريحة (دفاتر الأستاذ، المخازن)، يجب الحفاظ على حالة المهمة في مخزن خارجي متحقق منه وحقنها في المطالبة (prompt)، بدلاً من الاعتماد على النموذج لتتبع الحالة عبر سجل المحادثة. حافظ هذا النهج على دقة أعلى بمقدار 0.52–0.59 في الدراسة وقلل طول السياق بشكل كبير.
محدودية المراقبة: لوحات المعلومات التي تعرض الاتساق أو التماسك ستظل على الأرج likely "مطمئنة" حتى مع انهيار الدقة. تتطلب المراقبة الفعالة تجميع البيانات عبر الجلسات أو استخدام إعادة الاستعلام المضاد (مقارنة السياق المنشور مع خط أساس خالٍ من السجل) بدلاً من الاعتماد على مقاييس المسار الواحد.
التواضع: يشير المؤلف إلى أنه بينما أثبتوا الفشل المشترك لتتبع الحالة تحت النصوص المتنامية، فإن الدراسة 1 تعزل التكلفة المحددة لردود النموذج نفسها. هم لا يدعون حل مشكلة الاكتشاف، بل أثبتوا حدود المنهجيات الحالية وضرورة إدارة الحالة الخارجية.