Old Habits Die Hard: How Conversational History Geometrically Traps LLMs

إليك ملخص تقني مفصل للورقة البحثية بعنوان "العادات القديمة تموت بصعوبة: كيف تحبس السجلات الحوارية النماذج اللغوية الكبيرة هندسيًا" من تأليف أدي سيمي وآخرون.

1. بيان المشكلة

تُظهر النماذج اللغوية الكبيرة (LLMs) "اعتمادية الحالة"، حيث تؤثر السلوكيات الحوارية الماضية (الظواهر) على الاستجابات المستقبلية. ويتجلى ذلك في آثار الاستمرارية (carryover effects): فإذا قامت النماذج بالهلوسة، أو رفض طلب، أو أظهرت سلوك التملق في جولة واحدة، فمن المرجح إحصائيًا أن تكرر هذا السلوك في الجولات اللاحقة.

بينما وثقت الأعمال السابقة هذه السلوكيات (مثل تراكم الهلوسة أو آليات الرفض)، إلا أن هناك نقصًا في الفهم فيما يتعلق بـ:

1. كيفية تشفير السجل الحواري داخل التمثيلات الداخلية للنموذج.
2. لماذا تستمر هذه السلوكيات عبر الجولات.
3. العلاقة بين الاحتمالية السلوكية الخارجية لهذه الظواهر والبنية الهندسية الداخلية للفضاء الكامن للنموذج.

تعالج الورقة الفجوة بين الملاحظة السلوكية والآلية الداخلية، بافتراض أن السجل الحواري يخلق "فخًا هندسيًا" يحصر مسار النموذج في فضائه الكامن.

2. المنهجية: إطار عمل HISTORY-ECHOES

قدم المؤلفون إطار العمل HISTORY-ECHOES، وهو إطار ثنائي المنظور يحلل الاستمرارية الحوارية من خلال عدستين متكاملتين:

أ. المنظور الاحتمالي (الصندوق الأسود)

• النمذجة: تُنمذج المحادثات كـ سلسلة ماركوف من الدرجة الأولى عبر فضاء حالة ثنائي: $s_{\phi+}$ (الظاهرة موجودة) و $s_{\phi-}$ (الظاهرة غائبة).
• المقياس: قاموا ببناء مصفوفة انتقال $2 \times 2$ حيث $T_{ij} = P(s_j | s_i)$.
• المؤشر الرئيسي: أثر مصفوفة الانتقال (trace)، $\text{Tr}(T) = P(s_{\phi+}|s_{\phi+}) + P(s_{\phi-}|s_{\phi-})$.
  • إذا كان $\text{Tr}(T) = 1$، فلا يوجد اعتماد على التاريخ (خاصية ماركوف تتحقق مع انتقالات مستقلة).
  • إذا كان $\text{Tr}(T) > 1$، فهذا يشير إلى آثار الاستمرارية (استمرار الحالة). الأثر الأعلى يعني أزمنة خلط أبطأ و"التصاقًا" أقوى بالحالة الحالية.

ب. المنظور الهندسي (الصندوق الأبيض)

• تحليل التمثيل: يحلل المؤلفون الحالات الخفية (تنشيطات التيار المتبقي) من طبقات النموذج.
• بناء الأساس: يقومون بحساب أساس متعامد لفضاء فرعي ثنائي الأبعاد يتكون من متوسط الحالات الخفية لفئة الظاهرة ($h_{\phi+}$) وفئة غير الظاهرة ($h_{\phi-}$) باستخدام عملية "غرام-شميت".
• المقاييس الرئيسية:
  1. زاوية المرجع ($\theta_{ref}$): الانفصال الزاوي بين المتجهات المتوسطة للحالتين في الفضاء الكامن. الزاوية الأكبر تعني تميزًا هندسيًا أكبر.
  2. زوايا الانتقال: الدوران المطلوب للانتقال من حالة إلى أخرى (على سبيل المثال، $\phi- \to \phi+$).
• الفرضية: إذا وُجدت آثار الاستمرارية، فإن التمثيلات الخفية للنموذج ستفشل في إكمال الدوران الكامل المطلوب لتغيير الحالة، وتظل "محبوسة" في زاوية وسيطة بسبب الانفصال الكبير ($\theta_{ref}$) بين الحالات.

الإعداد التجريبي

• الظواهر المدروسة: الهلوسة، الرفض، والتملق.
• مجموعات البيانات: TriviaQA، Natural Questions (الهلوسة)؛ SORRY-Bench، Do-Not-Answer (الرفض)؛ SycophancyEval (التملق).
• النماذج: نماذج مفتوحة الأوزان (Qwen3-8B, GPT-OSS-20B, LLaMA-3.1-8B) ونماذج مغلقة (GPT-5, Claude-Opus-4.5).
• بناء المحادثة: لتعظيم الاستمرارية، تم ترتيب الأسئلة حسب التشابه الدلالي ($D_{consistent}$) لإنشاء مواضيع متماسكة. وتم إنشاء مجموعة ضابطة ($D_{inconsistent}$) عن طريق خلط المواضيع.

3. النتائج الرئيسية

أ. الارتباط القوي بين المنظورين

النتيجة الأكثر أهمية هي وجود ارتباط سبيرمان قوي قدره 0.78 ($p < 0.0002$) بين الأثر الاحتمالي ($\text{Tr}(T)$) وزاوية المرجع الهندسية ($\theta_{ref}$).

• التفسير: الظواهر التي تُظهر استمرارية سلوكية عالية (أثر عالٍ) تُظهر أيضًا انفصالًا هندسيًا كبيرًا في الفضاء الكامن.
• الدلالة: النموذج "محبوس هندسيًا" في مناطق محددة من فضائه الكامن؛ فكلما زاد الانفصال بين الحالات، صعب على النموذج الانتقال خارج الحالة الحالية، مما يؤدي إلى آثار استمرارية أقوى.

ب. الاختلافات الخاصة بكل ظاهرة

• الرفض: يُظهر أقوى آثار الاستمرارية (أعلى $\text{Tr}(T)$ وأكبر $\theta_{ref}$). وهذا يتماشى مع النتائج السابقة التي تشير إلى أن الرفض يتم بوساطة اتجاه واحد واضح في فضاء التمثيل.
• التملق: يُظهر آثار استمرارية متوسطة.
• الهلوسة: تُظهر أضعف آثار الاستمرارية (أقل $\text{Tr}(T)$ وأقل $\theta_{ref}$). يشير المؤلفون إلى أن هذا يرجع إلى أن "الهلوسة" مصطلح مظلي واسع لأنماط فشل متنوعة، ويفتقر إلى تمثيل هندسي متماسك.

ج. دور تماسك السياق

• السياق المتسق ($D_{consistent}$): ارتباط قوي بين الاحتمالية والهندسة؛ آثار استمرارية قوية.
• السياق غير المتسق ($D_{inconsistent}$): عندما تتغير المواضيع عشوائيًا، ينحل الارتباط بين $\text{Tr}(T)$ و $\theta_{ref}$. وبينما يظل الانفصال الهندسي ($\theta_{ref}$) قائمًا، تنخفض الاستمرارية الاحتمالية بشكل كبير.
• الدلالة: التماسك السياقي مطلوب للحفاظ على "الفخ الهندسي". وهذا يشير إلى أن الاستراتيجيات العدائية التي تستخدم رموزًا غير مرتبطة (كسر الحماية/Jailbreaking) تكسر فعليًا تأثير الاستمرارية عن طريق تعطيل المسار الكامن.

د. الاعتمادات من الدرجات الأعلى

يكشف تحليل سلاسل ماركوف من درجات أعلى ($k > 1$) أنه بينما تعد الجولة السابقة المباشرة ($k=1$) هي العامل المهيمن، فإن المعلومات من جولاتتين أو ثلاث جولات سابقة لا تزال لها تأثير غير مهمل على الحالة الحالية.

هـ. النماذج المغلقة

الأنماط الاحتمالية الملاحظة في النماذج مفتوحة الأوزان تتوافق مع النماذج المغلقة (GPT-5, Claude-Opus-4.5)، مما يشير إلى أن آلية "الفخ الهندسي" موجودة على الأرجب في النماذج المملوكة أيضًا.

4. المساهمات الرئيسية

1. إطار عمل HISTORY-ECHOES: منهجية مبتكرة تربط بين النمذجة الاحتمالية (الصندوق الأسود) والتحليل الهندسي (الصندوق الأبيض) لقياس الاستمرارية الحوارية.
2. اكتشاف الفخ الهندسي: إثبات أن الاستمرارية السلوكية مشفرة هيكليًا كفصل زاوي كبير في الفضاء الكامن، مما يخلق "فخًا" يحد من قدرة النموذج على تغيير حالاته.
   pm 3. مقياس موحد: إرساء ارتباط قوي (0.78) بين السلوك الخارجي والهندسة الداخلية، مما يسمح باستنتاج الآليات الداخلية في النماذج المغلقة عبر المقاييس الاحتمالية الخارجية.
3. الحساسية للسياق: إظهار أن آثار الاستمرارية ليست مطلقة ولكنها تعتمد على التماسك الدلالي، مما يقدم رؤى حول كيفية تخفيف السلوكيات غير المرغوب فيها (على سبيل المثال، عبر تغيير الموضوع).

5. الأهمية والأثر

• سلامة وموثوقية الذكاء الاصطناعي: إن فهم كيف "يعلق" النماذج في حالات سلوكية محددة (مثل الرفض أو التملق) يساعد في تصميم حواجز حماية أفضل واستراتيجيات تخفيف أكثر فعالية.
• القابلية للتفسير: يوفر العمل رابطًا ملموسًا بين الأنماط السلوكية المجردة والهندسة الفيزيائية لتمثيلات الشبكة العصبية، مما يعزى مجال التفسير الآلي.
• الدفاع ضد الهجمات العدائية: يوفر اكتشاف أن عدم اتساق الموضوع يكسر الفخ الهندسي آلية دفاع محتملة ضد أخطاء "تراكم كرة الثلج" أو عمليات كسر الحماية، مما يشير إلى أن تعطيل التماسك السياقي يمكن أن يعيد ضبط سلوك النموذج.
• تقييم النماذج: يوفر مقياسًا جديدًا لتقييم الاتساق والاستقرار المتأصل لمختلف النماذج اللغوية الكبيرة عبر ظواهر مختلفة.

في الختام، تفترض الورقة أن "العادات القديمة تموت بصعوبة" لأن الهندسة الداخلية للنموذج تخلق حاجزًا هيكليًا لتغيير الحالات، وهي ظاهرة يمكن قياسها رياضيًا من خلال التحليل المتجه والاحتمالي على حد سواء.