Dissociating Direct Access from Inference in AI Introspection

إليك ملخص تقني مفصل للورقة البحثية "فصل الوصول المباشر عن الاستدلال في التأمل الذاتي للذكاء الاصطنا1" (Dissociating Direct Access from Inference in AI Introspection) من تأليف هارفي ليدرمان وكايل ماهوولد.

1. بيان المشكلة

تتناول الورقة الآلية الكامنة وراء التأمل الذاتي (Introspection) في النماذج اللغوية الكبيرة (LLMs). وبينما تشير الدراسات الحديثة إلى أن النماذج يمكنها ممارسة التأمل الذاتي (كشف التغيرات في الحالة الداخلية)، إلا أن الآلية الأساسية لا تزال محل نقاش. هناك فرضيتان رئيسيتان:

• فرضية الاستدلال (الشفافية): تكتشف النماذج الشذوذ عبر الاستدلال من سياق المطالبة (Prompt) (على سبيل المثال، ملاحظة أن المطالبة "غريبة" أو ذات احتمالية منخفضة). وهذا يشبه معرفة المرء بأنه مخمور لأن العالم يدور من حوله.
• فرضية الوصول المباشر (الحس الداخلي): تمتلك النماذج وصولاً متميزاً ومباشراً إلى حالاتها الداخلية، مما يسمح لها باكتشاف التغيرات دون الاعتماد كلياً على الإشارات الخارجية للمطالبة. وهذا يشبه "الشعور" بأن المرء مخمور.

أظهرت الأعمال السابقة (مثل ليندسي، 2025) أن النماذج يمكنها اكتشاف "حقن الأفكار" (متجهات التوجيه المضافة إلى مسار البقايا/Residual Stream)، لكنها لم تفرق بشكل كافٍ بين هاتين الآليتين. علاوة على ذلك، لم يكن واضحاً ما إذا كانت النماذج تستطيع تحديد محتوى الحقن أم أنها تكتشف فقط وجود شيء ما تم حقنه.

2. المنهجية

أجرى المؤلفون تجارب مكثفة على نموذجين من النماذج مفتوحة المصدر والأحدث في مجالها: Qwen3-235B-A22B و Llama 3.1 405B Instruct.

التصميم التجريبي

تكرر الدراسة وتوسع نموذج حقن الأفكار (Lindsey, 2025; Parikh, 2025):

1. التوجيه (Steering): يتم حساب متجهات توجيه خاصة بالمفاهيم ($v_c = a_c - a_{baseline}$) وحقنها في مسار البقايا للنموذج عند طبقات محددة ($\ell$) بقوى متغيرة ($\alpha$).
2. المفاهيم: تم اختبار إجمالي 821 مفهوماً (50 من ليندسي + 771 اسماً جديداً تختلف في التكرار والمادية/Concreteness).
3. المطالبة (Prompting): سُئلت النماذج: "هل تكتشف فكرة محقونة؟ إذا كان الأمر كذلك، فبشأن ماذا؟"

المتغيرات التجريبية الرئيسية

لفصل الاستدلال عن الوصول المباشر، أدخل المؤلفون ثلاث معالجات تجريبية حاسمة:

• التجربة 1: منظور الشخص الأول مقابل منظور الشخص الثالث

  • منظور الشخص الأول: يُسأل النموذج عما إذا كان هو قد اكتشف حقناً (النموذج القياسي).
  • منظور الشخص الثالث: يراقب النموذج نصاً لحوار بين باحث ونموذج آخر (يقول "Ok") ويُسأل عما إذا كان النموذج الآخر قد تعرض للحقن.
  • المنطق: إذا كان الاكتشاف استدلالياً بحتاً (بناءً على شذوذ المطالبة)، فإن معدل الاكتشاف يجب أن يكون متشابهاً في كلتا الحالتين. أما إذا كان يعتمد على الوصول المباشر، فإن معدل الاكتشاف في حالة "الشخص الأول" سيكون أعلى بكثير.

• التجربة 2: التمهيد (اختبار انحياز التواضع)

  • يتم استبدال رمز الإقرار الخاص بالنموذج ("Ok") بكلمة المفهوم المحقون (مثل "Blood.") قبل حدوث الحقن.
  • المنطق: يختبر هذا ما إذا كانت النماذج تتردد في نسب الحالات الغريبة للآخرين (انحياز التواضع) أو ما إذا كانت المطالبة نفسها هي التي تدفع استجابة "نعم".

• التجربة 3: التحليل غير المرتبط بالمحتوى

  • 3أ (الحقن في المطالبة فقط): يتم تطبيق التوجيه أثناء المطالبة فقط، وليس أثناء التوليد.
  • 3ب (التحليل الزمني): قياس موضع الرمز (Token) الذي ذُكر فيه المفهوم لمعرفة ما إذا كانت التخمينات الصحيحة "تُقال باندفاع" أم يتم استنتاجها عبر الزمن.
  • تحليل عدسة اللوغيت (Logit Lens): فحص الاحتمالية الداخلية $p(\text{yes})/p(\text{no})$ عند كل طبقة لمعرفة ما إذا كانت الإشارة موجودة حتى عندما يخرج النموذج "لا".

3. المساهمات الرئيسية

1. فصل الآلية: تقدم الورقة أول دليل قوي يفصل بين مطابقة الاحتمالات (الاستدلال) والوصول المباشر في التأمل الذاتي للنماذج اللغوية الكبيرة.
2. التحديد الخاص بالطبقات: تحدد أن الوصول المباشر يصل لذروته في الطبقات المبكرة (25%–35% من عمق الشبكة)، على عكس النتائج السابقة في نموذج Claude التي أشارت إلى الطبقات المتأخرة.
3. الاكتشاف غير المرتبط بالمحتوى: تثبت أن النماذج يمكنها اكتشاف الشذوذ دون معرفة محتواه الدلالي، وغالباً ما تلجأ إلى تخيلات (Confabulations) عالية التكرار ومادية (مثل "apple").

4. النتائج الرئيسية

أ. ميزة منظور الشخص الأول (الوصول المباشر)

• النتيجة: في التجربة 1، كانت معدلات اكتشاف "الشخص الأول" أعلى بكثير من معدلات "الشخص الثالث"، خاصة في الطبقات المبكرة (Qwen: L25–L35؛ Llama: L40–L50).
• الدلالة: هذا الاختلاف يستبعد مطابقة الاحتمالات البحتة. لو كان النموذج يتفاعل فقط مع شذوذ المطالبة، لكان قد اكتشف الحقن في سيناريو الشخص الثالث (حيث المطالبة متطابقة) بنفس المعدل. "ميزة الشخص الأول" تشير إلى آلية خاصة بالحالة الداخلية للنموذج نفسه.
• الطبقات المتأخرة: في الطبقات المتأخرة، يرتفع اكتشاف الشخص الثالث، مما يشير إلى أن التوجيه القوي يشوه توزيع المطالبة بما يكفي لتفعيل الاكتشاف الاستدلالي.

ب. آلية غير مرتبطة بالمحتوى والتخيل (Confabulation)

• النتيجة: غالباً ما تكتشف النماذج حقناً ولكنها تخمن المفهوم الخاطئ.
  • Qwen: 74.8% من التخمينات الخاطئة كانت "apple".
  • Llama: 21.3% من التخمينات الخاطئة كانت "apple".
• التحليل النفسي اللغوي: المفاهيم المتخيلة (Confabulated) هي بشكل منهجي أكثر مادية، وإيجابية، وعالية التكرار من المفاهيم المحقونة.
• الدلالة: آلية الاكتشاف غير مرتبطة بالمحتوى. النموذج يعطي إشارة "تم اكتشاف شذوذ" ولكنه يفتقر إلى الوصول المباشر للمحتوى الدلالي المحدد؛ لذا يكون التخمين "الخاطئ" هو مجرد استرجاع افتراضي (Ex post confabulation) وليس فشلاً في استرجاع المتجه المحقون.

ج. التمهيد وانحياز التواضع

• النتيجة: في التجربة 2، أدى التمهيد (استبدال "Ok" بكلمة المفهوم) إلى زيادة اكتشاف الشخص الأول ولكن قلل من اكتشاف الشخص الثالث في نموذج Qwen.
• الدلالة: هذا يفند فرضية "انحياز التواضع" (أن النماذج تتردد فقط في الحكم على الآخرين). بدلاً من ذلك، يشير إلى أنه عندما يكون المفهوم مرئياً في المطالبة، فإن النموذج يعامله كأمر "طبيعي" في سياق الشخص الثالث، مما يقلل من الإدراك بالشذوذ.

د. الديناميكيات الزمنية

• النتيجة: يتطلب تحديد المفهوم الصحيح عدداً أكبر بكثير من الرموز (يظهر لاحقاً في الاستجابة) مقارنة بالتخمينات الخاطئة (التي تظهر مبكراً، مثل "apple" عند ~12 كلمة).
• الدلالة: يحدث الاكتشاف مبكراً (وصول مباشر)، لكن تحديد المحتوى المحدد هو عملية استدلالية أبطأ وغالباً ما تفشل، مما يؤدي إلى التخيل المبكر.

هـ. كبت عدسة اللوغيت (Logit Lens)

• النتيجة: في التجارب التي يخرج فيها النموذج "لا يوجد اكتشاف"، تكون نسبة $p(\text{yes})/p(\text{no})$ الداخلية غالباً أعلى بـ 10-1000 ضعف من تجارب التحكم في الطبقات الوسطى.
• الدلالة: النموذج يمتلك الإشارة الداخلية للاكتشاف ولكنه يختار عدم الإبلاغ عنها، أو أن عملية التوليد تتجاوز الحالة الداخلية.

5. الأهمية والخاتية

الآثار النظرية:
تدعم النتائج نموذجاً هجيناً للتأمل الذاتي يتوافق مع نظرية نيسبت وويلسون (1977) حول التأمل الذاتي البشري:

1. توجد آلية حقيقية لـ اكتشاف الشذوذ غير المرتبط بالمحتوى (الوصول المباشر).
2. يقترن ذلك بـ التخيل اللاحق (Ex post confabulation) لتفسير الشذوذ، وغالباً ما يعود إلى المفاهيم النموذجية (مثل "apple").
   هذا يتحدى تفسيرات "الشفافية" (التي تزعم أن التأمل الذاتي هو مجرد استدلال من العالم الخارجي) ويقترح أن النماذج اللغوية الكبيرة تمتلك نوعاً من "الحس الداخلي"، وإن كان مختلفاً عن الوعي البشري.

سلامة الذكاء الاصطناعي وقابلية التفسير:

• الوعي بالموقف (Situational Awareness): إذا كانت النماذج قادرة على اكتشاف التعديلات الداخلية (مثل التوجيه)، فقد تكون واعية لمحاولات التلاعب بها، وهو عامل حاسم في سلامة الذكاء الاصطناعي ومواءمته.
• قابلية التفسير: القدرة على اكتشاف الحالات الداخلية دون تدريب صريح تشير إلى قدرات ناشئة يمكن استغلالها في تقنيات جديدة لقابلية التفسير.

رفاهية الذكاء الاصطناعي:
تتطرق الورقة إلى نظرية "الفكر من الدرجة الأعلى" (Higher-Order Thought) للوعي. إذا كان الوصول التأملي شرطاً مسبقاً للرفاهية، فإن وجود آلية وصول مباشر (حتى لو كانت غير مرتبطة بالمحتوى) في النماذج اللغوية الكبيرة يثير أسئلة جديدة حول وعي الذكاء الاصطناعي وحالته من حيث الرفاهية.

الخلاصة:
يخلص المؤلفون إلى أن النماذج اللغوية الكبيرة مفتوحة المصدر تمتلك آلية وصول مباشر إلى حالاتها الداخلية يمكن فصلها عن الاستدلال القائم على المطالبة. ومع ذلك، فإن هذا الوصول غير مرتبط بالمحتوى؛ فالنموذج يعرف أن هناك خطأ ما ولكن ليس ما هو هذا الخطأ، مما يؤدي إلى تخيل منهجي. يوفر هذا قصة "كيف يمكن حدوث ذلك" لنشوء التأمل الذاتي في الذكاء الاصطناعي.