ملخص تقني: الاستدلال عبر التنشيط (ACTIVATIONREASONING - AR)

بيان المشكلة

تتفوق النماذج اللغوية الكبيرة (LLMs) في توليد نصوص بليغة، لكنها تعاني من آليات استدلال داخلية غامضة. فتنشيطاتها الداخلية موزعة ومتشابكة (وهي ظاهرة تُعرف باسم "التراكب" أو superposition)، حيث تشفر ميزات متعددة غير مترابطة في أبعاد متداخلة. هذا الأمر يحجب التمثيلات المفاهيمية، ويحد من القابلية للتفسير، ويعيق الاستدلال المنهجي، والتعميم التركيبي، وفرض القواعد. وبينما برزت المشفّرات التلقائية المتفرقة (Sparse Autoencoders - SAEs) كأداة لإظهار الميزات الكامنة التي غالبًا ما تتماشى مع المفاهيم القابلة للتفسير بشريًا، إلا أن هذه الميزات تظل هشة، وسلبية، وغالبًا ما تكون متعددة المعاني أو غير مستقرة سياقيًا. والأهم من ذلك، تفتقر هذه المشفّرات (SAEs) إلى آليات التركيب والاستدلال من الرتب العليا. وعلى العكس من ذلك، يقدم المنطق الصوري تركيبية وشفافية صريحة، لكنه يفترض وجود وحدات قضائية منفصلة، وهو ما يتعارض مع التمثيلات المستمرة والمتراكبة للنماذج اللغوية الكبيرة. هذا التباين حال تاريخيًا دون الدمج المباشر للاستدلال الرمزي في البنى العصبية.

المنهجية: الاستدلال عبر التنشيط (ACTIVATIONREASONING - AR)

يقترح المؤلفون إطار عمل الاستدلال عبر التنشيط (AR)، وهو إطار يدمج الاستدلال المنطقي الصريح مباشرة في فضاء التنشيط الكامن للنماذج اللغوية الكبيرة. يعامل AR الميزات المستمدة من SAE كـوحدات قضائية ويقوم بتركيبها من خلال قواعد يحددها المستخدم. يعمل إطار العمل عبر ثلاث مراحل متميزة:

1. إيجاد التمثيلات الكامنة

تبني المرحلة الأولى قاموس مفاهيم ($D$) مرتكزًا على الفضاء الكامن للنموذج اللغوي الكبير.

• الصياغة الرسمية: يُعرَّف المفهوم $c$ كزوج مرتب $(n_c, r_c, \tau_c)$، حيث $n_c$ هو معرف دلالي، و$r_c$ هي دالة التمثيل الكامن، و$\tau_c$ هو عتبة تنشيط ناعمة.
• التكامل مع SAE: لمعالجة مشكلة التراكب، يتم إسقاط تنشيطات النموذج اللغوي الخام إلى فضاء ميزات متفرق باستخدام SAEs لتعزيز أحادية المعنى.
• أنواع التمثيل: يدعم AR ثلاثة أشكال من التمثيل الكامن للتعامل مع مستويات التجريد وتعدد المعاني المختلفة:
  • الميزة الفردية ($R_{single}$): تربط المفهوم بميزة واحدة من ميزات SAE.
  • الميزة المتعددة ($R_{multi}$): تربط المفهوم بمجموعة من $k$ من ميزات SAE، مع تجميع الأدلة عبر مجموع أوزان لتعامل مع الميزات المجزأة أو متعددة المعاني.
  • الميزة العلاقاتية ($R_{relation}$): تُعرف المفاهيم عبر علاقات مهيكلة (مثل أشجار القرار) بين ميزات SAE، مما يسمح بتفاعلات معقدة مثل الروابط المنطقية أو الاستثناءات المعتمدة على السياق (مثل التمييز بين خطاب الكراهة والاستخدام التعليمي).
• الاستخراج: يتم استخراج التمثيلات تلقائيًا عن طريق تحديد ميزات SAE التي تميز بشكل أفضل الرموز (tokens) المصنفة ضمن مفهوم معين عن تلك التي لا تنتمي إليه، أو يتم تعيينها يدويًا من قبل الخبراء.

2. تنشيط القضايا

أثناء عملية الاستدلال، يراقب AR تنشيطات مستوى الرمز (token-level) لربطها بالقضايا الذرية.

• تسجيل التنشيط: لكل رمز $t$ ومفهوم $c$، يتم حساب درجة تنشيط $a(c, t)$ بناءً على نوع التمثيل المختار (على سبيل المثال، جمع قيم الميزات الموزونة لـ $R_{multi}$).
• تشكيل القضية: يتم تحديد درجات التنشيط مقابل العتبة $\tau_c$ لتشكيل مصفوفة تنشيط $A$. تتضمن هذه المصفوفة:
  • التنشيطات المحلية ($A_{local}$): أدلة على مستوى الرمز.
  • التنشيطات العالمية ($A_{global}$): أدلة مجمعة على مستوى التسلسل، تلتقط الدلالات المجردة (مثل السخرية) التي تظهر فقط عبر نطاق نصي.

3. الاستدلال المنطقي

تُطبق قواعد منطقية محددة من قبل المستخدم ($L$) على مصفوفة التنشيط $A$ لاستنتاج هياكل من رتب عليا.

• الاستدلال الأمامي (Forward Chaining): يقوم النظام بتطبيق القواعد بشكل تكراري (على سبيل المثال، $Bridge \land San Francisco \land USA \rightarrow Golden Gate Bridge$) على التنشيطات المتقطعة.
• المصفوفة المُثرية: تؤدي هذه العملية إلى إنتاج مصفوفة مُثرية $A'$ تحتوي على كل من المفاهيم المكتشفة مباشرة والقضايا المستنتجة. يسمح هذا للنظام بتركيب مفاهيم جديدة غائبة عن قاموس SAE الأصلي والقيام بالاستنتاج متعدد الخطوات.

التكامل والتحكم

تخدم المصفوفة المُثرية $A'$ غرضين:

1. التحليل: الفحص الدقيق لسلوك النموذج، وتتبع الإخفاقات وصولاً إلى تنشيطات محددة، وتقييم الالتزام بقواعد السلامة.
2. التحكم: التدخل المباشر أثناء الاستدلال. يمكن لـ AR توجيه النموذج عن طريق تضخيم أو كبح التنشيطات الكامنة المقابلة لمفاهيم معينة (مثل التوجيه نحو "آمن" أو "أحمر") باستخدام أوزان فك الترميز المشتقة من SAE.

المساهمات الرئيسية

1. إطار العمل: تقديم الاستدلال عبر التنشيط (AR)، وهي طريقة ترسخ القضايا المنطقية في ميزات SAE الكامنة وتسمح بالاستدلال التركيبي عبر قواعد صريحة.
2. المعيار المرجعي: اقتراح Rail2Country، وهو معيار مرجعي جديد للاستدلال على أوصاف المفاهيم ذات المستوى الميتافيزيقي (مثل التشبيهات مثل "ملون مثل الطماطم" بدلاً من "أحمر" الصريحة).
3. التحقق التجريبي: إثبات أن التنشيطات الكامنة تعمل كركيزة قابلة للتطبيق للاستدلال المنطقي المهيكل، مما يعزز الشفافية والمتانة والتحكم عبر مهام الاستدلال والتجريد والسلامة.

النتائج التجريبية

قيم المؤلفون AR باستخدام نماذج Llama-3.1-8B و Gemma-2-9B كقواعد أساسية عبر أربعة إعدادات:

• الاستدلال متعدد الخطوات (PrOntoQA): حل AR مهام الاستنتاج بـ 1 و3 و5 خطوات بدقة تجاوزت 93%. وخلافًا للنماذج المرجعية (بما في ذلك النماذج الأكبر والموجهة للتعليمات والنماذج المتخصصة في الاستدلال مثل DeepSeek-R1)، لم يتدهور أداء AR مع زيادة تعقيد المهمة.
• التجريد على المستوى الميتا (Rail2Country): في إعداد R2C-Mono (الألوان الصريحة)، تفوق AR بشكل كبير على النماذج المرجعية. وفي إعداد R2C-Meta (الألوان الموصوفة عبر التشبيهات)، انهارت نماذج SAE التقليدية إلى دقة 0%، وانخفضت النماذج الأساسية إلى حوالي 30%. حافظ AR على أداء قوي، محققًا 86% على Gemma-2-9B، ونجح في سد الفجوة بين الإشارات اللغوية الصريحة والأوصاف الدلالية الضمنية.
• الاستدلال باللغة الطبيعية (ProverQA): أظهر AR متانة تجاه التنوع اللغوي، محققًا دقة تقارب 70% في فئة "الصعب" (Hard) حيث سجلت جميع النماذج الأخرى (بما في ذلك GPT-4o وDeepSeek-R1) أقل من 50%.
• السلامة والمواءمة (BeaverTails): حسن AR دقة التوازن عبر 14 بُعدًا للسلامة. حقق التمثيل العلاقاتي ($R_{relation}$) أفضل أداء إجمالي (83.0%)، متفوقًا بشكل كبير على نماذج SAE الأساسية (57.9%) والمتغيرات الفردية/المتعددة، لا سيما في مفاهيم السلامة المجردة والحساسة للسياق.

الأهمية والادعاءات

يزعم البحث أن ترسيخ الهيكل المنطقي في التنشيطات الكامنة يوفر آلية مستقلة عن النموذج تحسن أداء الاستدلال وتزيد في الوقت نفسه من الشفافية والتحكم. وتشمل الادعاءات الرئيسية ما يلي:

• المتانة: يتوسع AR بمتانة مع تعقيد الاستدلال ويتعمم بنجاح في المهام المجردة والحساسة للسياق حيث تفشل النماذج اللغوية القياسية وحتى النماذ الأكبر.
• القابلية للنقل: ينتقل النهج عبر بنيات نماذج مختلفة (Llama وGemma).
• الكفاءة: لا يتسبب AR في عبء تشغيل ضئيل مقارنة بسلسلة الأفكواب (CoT) أو النماذج المتخصصة في الاستدلال، حيث يحدث الاستدلال في فضاء التنشيط بدلاً من توليد رموز مكثفة.
• التحكم القابل للتدقيق: من خلال العمل على قضايا منفصلة مشتقة من الميزات الكامنة، يتيح AR آليات قابلة للتدقيق للسلامة والمواءمة، مما يسمح بالتوجيه المباشر لسلوك النموذج دون الحاجة لإعادة التدريب.

يضع المؤلفون AR كخطوة نحو توحيد الثراء الدلالي للنماذج اللغوية الكبيرة مع التعميم المنهجي للمنطق، والتحرك نحو نماذج أكثر موثوقية وقابلية للتوجيه والمواءمة مع القيم البشرية. كما يقرون بالقيود المتعلقة بالاعتماد على جودة SAE والاعتماد الحالي على القواعد المحددة يدويًا، مما يشير إلى عمل مستقبلي في الاستدلال الآلي والاستدلال الاحتمالي.