🤖 machine learning

Towards Effective Theory of LLMs: A Representation Learning Approach

تقدم هذه الورقة نظرية التمثيل الفعال (RET)، وهي إطار عمل يعمل على تجريد الحالات الخفية للنماذج اللغوية الكبيرة إلى حالات كليّة عالية المستوى للكشف عن مسارات استدلال متسقة زمنياً، واستيعاب البنية الدلالية، وتمكين التنبؤ والتدخل في سلوك النموذج.

المؤلفون الأصليون: Muhammed Ustaomeroglu, Guannan Qu

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Muhammed Ustaomeroglu, Guannan Qu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل نموذج لغة ضخم (LLM) كأنه مدينة صاخبة ومزدحمة بمليارات العمال الصغار (الأعصاب) الذين يتبادلون الملاحظات، ويصرخون بالتحديثات، وينقلون الأثاث باستمرار. إذا حاولت فهم هذه المدينة من خلال مراقبة كل خطوة قدم لكل عامل، فستضيع في الضجيج. سترى الغبار، والعرق، والكلمات المحددة التي يهمسون بها، لكنك ستفقد الصورة الكبيرة: ما الذي تفعله المدينة حقاً الآن؟ هل هي تبني جسراً؟ هل تقيم حفلة؟ أم أنها تصاب بالذعر بسبب حريق؟

تقدم هذه الورقة طريقة جديدة للنظر إلى نماذج الذكاء الاصطناعي هذه، تسمى النظرية الفعالة للتمثيل (Representational Effective Theory - RET). فكر في (RET) كأنها "لوحة تحكم للمدينة" تتجاهل العمال الأفراد وتكتفي بإظهار الحالة العامة لمناطق المدينة.

إليك كيف تشرح الورقة ذلك، باستخدام تشبيهات بسيطة:

1. المشكلة: الكثير من الضجيج

حالياً، عندما يحاول العلماء فهم الذكاء الاصطناعي، فإنهم ينظرون إلى التفاصيل "المجهرية" — مليارات الأرقام التي تتغير داخل الكمبيوتر. تجادل الورقة بأن هذا يشبه محاولة فهم فيلم من خلال النظر إلى البكسلات الفردية التي تومض على الشاشة. يمكنك رؤية الألوان، لكن لا يمكنك معرفة ما إذا كانت الشخصية سعيدة أم حزينة.

2. الحل: لوحة تحكم "الحالة الذهنية"

ابتكر المؤلفون أداة (RET) تعمل مثل توقعات الطقس لعملية تفكير الذكاء الاصطناعي.

الحالة الصغرى (Microstate): البيانات الخام والفوضوية لكل عصب يشتعل (مثل سرعة الرياح، والرطوبة، والضغط الجوي في كل بوصة مربعة من الأرض).
الحالة الكبرى (Macrostate - لوحة التحكم): ملخص مبسط، مثل "إنه يوم ثلاثاء عاصف" أو "إنه بعد ظهر مشمس".

تتعلم (RET) تجميع الضجيج الفوضوي في 12 حالة ذهنية متميزة (مثل "إعداد المشكلة"، "الرياضيات الرمزية"، "مراجعة العمل"، أو "إعطاء الإجابة النهائية"). وهي تفعل ذلك من خلال مراقبة حل الذكاء الاصطناعي للمسائل الرياضية وتعلم أي أنماط من النشاط تحدث معاً.

3. كيف تعمل: التنبؤ بالخطوة التالية

تستخدم الورقة حيلة ذكية لتعليم الذكاء الاصطناعي التعرف على هذه الحالات. تخيل أنك تشاهد فيلماً وتحاول تخمين المشهد التالي.

إذا نظرت فقط إلى الإطار الحالي (البيانات الخام)، فمن الصعب تخمين ما سيحدث بعد ذلك.
ولكن إذا فهمت الحبكة (الحالة الكبرى)، يمكنك بسهولة تخمين المشهد التالي.

تدرب (RET) نفسها على التنبؤ بـ "الحالة الذهنية التالية" بناءً فقط على "الحالة الذهنية الحالية"، متجاهلة التفاصيل الصغيرة. وإذا نجحت في القيام بذلك بشكل جيد، فهذا يثبت أنها وجدت خريطة مفيدة ومبسطة لكيفية تفكير الذكاء الاصطناعي.

4. ماذا وجدوا: للذكاء الاصطناعي "قصة"

اختبر الباحثون هذه لوحة التحكم على ذكاء اصطناٍ يعمل على حل مسائل رياضية. إليك ما رأوه:

قصص متماسكة: بدلاً من قفز الذكاء الاصطناعي عشوائياً بين الحالات، أظهرت لوحة التحكم قصة واضحة: إعداد المشكلة ← إجراء العمليات الحسابية ← مراجعة العمل ← إعطاء الإجابة.
الاستقرار: على عكس الطرق الأخرى التي تومض بجنون مع كل كلمة جديدة، تظل لوحة تحكم (RET) ثابتة أثناء "المشهد". إذا كان الذكاء الاصطناعي في مرحلة "الرياضيات"، فستظل لوحة التحكم على "الرياضيات" لفترة طويلة، تماماً كما يبقى مشهد الفيلم في نفس الموقع.
تحولات ذات معنى: عندما ينتقل الذكاء الاصطناعي من "إجراء الرياضيات" إلى "مراجعة عمله"، يتغير لون لوحة التحكم تماماً في تلك اللحظة.

5. التنبؤ بـ "التملق" (تأثير "نعم يا سيدي")

كان أحد أكثر الاختبارات إثارة للاهتمام هو التنبؤ متى سيبدأ الذكاء الاصطناعي في الموافقة على المستخدم لمجرد أن يكون لطيفاً، حتى لو كان المستخدم مخطئاً (وهو ما يسمى "التملق" أو Sycophancy).

التشبيه: تخيل رجل مبيعات. أنت تريد أن تعرف ما إذا كان على وشك الاستسلام وبيع منتج سيء لك فقط لأنك تضغط عليه.
النتيجة: استطاعت لوحة تحكم (RET) رصد حالة ذهنية "الاستسلام" في وقت مبكر في المحادثة، قبل وقت طويل من قول الذكاء الاصطناعي للشيء الخاطئ. لقد كانت أفضل في ذلك من النظر إلى البيانات الخام أو الأدوات الأخرى الموجودة. إنه يشبه رؤية لغة جسد البائع المتوترة قبل أن يتحدث.

6. توجيه الذكاء الاصطناعي: "جهاز التحكم عن بعد"

أخيراً، أظهرت الورقة أنه يمكنك استخدام هذه اللوحة لـ "توجيه" الذكاء الاصطناعي.

التشبيه: تخيل أنك تقود سيارة. لا يمكنك التحكم في مكابس المحرك مباشرة، ولكن يمكنك استخدام عجلة القيادة للالتفاف يساراً أو يميناً.
التجربة: قام الباحثون بدفع "لوحة تحكم" الذكاء الاصطناعي نحو حالة معينة (مثل "استخدام صيغة رياضية" بدلاً من "العد واحداً تلو الآخر").
النتيجة: تغير سلوك الذكاء الاصطناعي بالفعل. عندما تم دفعه نحو حالة "الصيغة"، توقف عن عد الأرقام واحداً تلو الآخر وبدأ في استخدام صيغة مختصرة. وهذا يثبت أن لوحة التحكم ليست مجرد وصف؛ بل هي مقبض للتحكم.

الملخص

تزعم الورقة أننا لسنا بحاجة لفهم كل عصب لنفهم الذكاء الاصطناعي. باستخدام RET، يمكننا ضغط عقل الذكاء الاصطناعي المعقد إلى بضع "حالات ذهنية" بسيطة (مثل لوحة التحكم). هذه اللوحة:

تخبرنا بما يفكر فيه الذكاء الاصطناعي بلغة واضحة.
تتنبأ بالسلوك السيئ (مثل الكذب أو الموافقة المفرطة) قبل حدوثه.
تسمح لنا بدفع الذكاء الاصطناقي بلطف ليفكر بشكل مختلف، مثل تغيير مسار السائق.

إنه انتقال من النظر إلى البكسلات في عقل الذكاء الاصطناعي إلى مشاهدة الفيلم الذي يعرضه.

ملخص تقني: نحو نظرية فعالة للنماذج اللغوية الكبيرة: نهج تعلم التمثيلات

بيان المشكلة

يتم نشر النماذج اللغوية الكبيرة (LLMs) بشكل متزايد في مجالات حرجة، ومع ذلك تظل حساباتها الداخلية غامضة. وبينما تُعرف العمليات المجهرية للنماذج اللغوية الكبيرة (ضرب المصفوفات، تحديثات الانتباه، التنشيطات)، فإن فهم السلوك مباشرة من هذه التفاصيل غالبًا ما يكون مستعصيًا، ويفشل في الكشف عن التنظيم العياني (macroscopic) الضروري للتفسير. تعاني طرق التفسير الحالية، مثل تتبع الدوائر أو استخدام المشفرات التلقائية المتفرقة (SAEs)، من صعوبة في التقاط المراحل الحسابية المتماسكة عالية المستوى أو "الحالات الذهنية" التي تستمر عبر تسلسلات الرموز (tokens). هناك حاجة لإطار عمل يجرد التفاصيل المجهرية غير ذات الصلة مع الحفاظ على البنية المطلوبة للتنبؤ، والتفسير، والتدخل، على غرار النظريات الفعالة في الفيزياء (مثل الديناميكا الحرارية) التي تصف الأنظمة المعقدة عبر متغيرات عيانية.

المنهجية: النظرية التمثيلية الفعالة (RET)

يقترح المؤلفون النظرية التمثيلية الفعالة (RET)، وهو إطار عمل يتعلم الحالات العيانية (macrostates) من مسارات الحالات الخفية للنماذج اللغوية الكبيرة باستخدام نهج تعلم تمثيلي ذاتي الإشراف.

الإطار الجوهري

تعامل RET الحالات الخفية للنموذج اللغوي كركيزة مجهرية ( $x_t$ ) وتتعلم رسم خرائط إلى حالة عيانية ( $z_t$ ) ذات أبعاد أقل تحقق ثلاثة شروط:

التجريد من التفاصيل المجهرية: التخلص من التباين المحلي للرموز مع الحفاظ على البنية ذات المعنى السلوكي.
ديناميكيات مغلقة تقريبًا: يجب أن تكون الحالة العيانية التالية ( $z_{t+1}$ ) قابلة للتنبؤ من الحالة العيانية الحالية ( $z_t$ ) مع الاعتماد الأدنى على الحالة المجهرية الكاملة ( $x_t$ ).
الأهمية العملية: يجب أن تدعم الحالات العيانية مهام تفسير ملموسة (التفسير، التنبؤ، التدخل).

إجراء التعلم

الركيزة البيانية: يتم استخراج بادئات الحالات الخفية ( $h^{(\ell_{mid})}_{0:t}$ ) من طبقة وسطى ثابتة لنموذج لغوي كبير مجمد.
البنية: يقوم مشفر خفيف الوزن ( $f_\theta$ ) برسم خريطة للبادئة إلى حالة عيانية $z_t$ . ويتنبأ مُتنبئ ( $T_\phi$ ) بالحالة العيانية التالية $z_{t+1}$ من $z_t$ .
الهدف: يتم تدريب النظام باستخدام هدف تعلم ذاتي الإشراف من نمط BYOL/JEPA: يقلل المتنبئ المسافة من نوع $L_1$ بين تنبؤه ومخرجات المشفر المستهدف للخطوة التالية:
$L_{pred} = \|T_\phi(f_\theta(x_t)) - \bar{f}_\theta(x_{t+1})\|_1$
حيث $\bar{f}_\theta$ هو متوسط متحرك أسي (EMA) للمشفر. يشجع هذا الهدف المشفر على ضغط الحالة المجهرية في تمثيل يدعم التنبؤ الذاتي، مما يؤدي فعليًا إلى تعلم "نظرية فعالة" لديناميكيات النموذج.
التجميع (Clustering): يتم تجميع الحالات العيانية المتعلمة (على سبيل المثال، عبر K-means) وتجميعها في مجموعات منفصلة لتشكيل آلة حالة رمزية تمثل "الحالة الذهنية" للنموذج.

المساهمات الرئيسية

صياغة منظور النظرية الفعالة: يحدد البحث رؤية مبدئية لتفسير النماذج اللغوية الكبيرة تتمحور حول المتغيرات العيانية، والإغلاق التقريبي، والأهمية العملية، مع استحضار أوجه الشبه مع الفيزياء وعلوم التعقيد.
إطار عمل RET: تقديم طريقة بسيطة لتعلم التمثيلات لاكتساب الحالات العالية وتدابير انتقالها من مسارات الحالات الخفية دون الحاجة لتسميات مهام.
التحقق التجريبي: إثبات أن حالات RET العيانية مفيدة عبر ثلاث إعدادات تفسيرية متميزة:
- التفسير: توليد مسارات متماسكة زمنيًا ومستقرة لمراحل الاستدلال.
- التنبؤ: الكشف المبكر عن النتائج السلوكية اللاحقة (تحديدًا التملق/Sycophancy).
- التدخل: توفير مقابض سببية لتوجيه توليد النموذج نحو استراتيجيات حسابية محددة.

النتائج التجريبية

1. مسارات الاستدلال القابلة للتفسير

الإعداد: تم تطبيق RET على نموذج GPT-OSS-20B لحل مسائل NuminaMath. تم تجميع الحالات العيانية في 12 مجموعة.
النتائج: أنتج RET مسارات متسقة زمنيًا تتوافق مع مراحل الاستدلال القابلة للتفسير بشريًا (مثل: إعداد المسألة، التحويل الرمزي، التحقق).
المقارنة: أنتجت النماذج المرجعية (الحالات الخفية الخام، PCA، ميزات SAE) مسارات غير مستقرة وتغييرات على مستوى الرمز (token-level).
المقياس: تم تقديم درجة قابلية تفسير الحالة الذهنية (MIS): حققت RET درجة قدرها 5.61 على البيانات المحجوزة، متفوقة بشكل كبير على SAE التي سجلت 4.24، مما يشير إلى أن RET تستعيد السرد الاستدلالي المرئي في النص الخام بشكل أفضل.

2. الاتساق الزمني

الإعداد: تجارب على Pythia-160M مع تغييرات مشاهد مزروعة (مثلاً: مباراة كرة قدم $\leftarrow$ عاصفة ممطرة $\leftarrow$ مكتبة).
النتائج: أظهرت حالات RET العيانية ( $z_t$ ) مسارات سلسة مع انقطاعات حادة عند حدود المشاهد، مكونة هياكل قطرية في مصفوفات تشابه جيب التمام.
المقارنة: ظلت النماذج المرجعية (الحالة الخفية $h$ الخام، $h$ المجمعة، SAE) تهيمن عليها التقلبات المعجمية السريعة وفشلت في الحفاظ على حدود السياق أو التمييز بين الكلمات المتكررة في سياقات مختلفة.

3. التنبؤ المبكر بالتملق (Sycophancy)

الإعداد: تم إنشاء مجموعة بيانات تملق متعددة الجولات جديدة (توسيع SYCON-Bench إلى حوالي 14 ألف عينة). تم تدريب أدوات استقصاء للتنبؤ بما إذا كان النموذج سيستسلم في النهاية للافتراضات المسبقة الخاطئة أو ضغط النقاش، باستخدام أول 5-10% فقط من الاستجابة.
النتائج: حقق متغير RET الخاضع للإشراف (المدرب باستخدام خسارة تملق مساعدة) أعلى دقة متوازنة (0.80 في الافتراضات المسبقة الخاطئة، 0.90 في النقاش)، متفوقًا على جميع النماذج المرجعية للحالات الخفية (بما في ذلك نموذج Transformer Block) وعلى RET غير الخاضع للإشراف.
الاستنتاج: تلتقط الحالات العفية المتعلمة بنية ذات صلة سلوكيًا تسمح بالكشف المبكر عن إخفاقات المحاذاة (Alignment).

4. التوجيه غير الخاضع للإشراف

الإعداد: تم دفع الحالات الخفية للنموذج نحو أو بعيدًا عن مراكز مجموعات محددة (جاذبات/تنافرات) أثناء التوليد.
النتائج: نجح التوجيه في تغيير استراتيجيات الحل. على سبيل المثال، أدى التوجيه نحو مجموعة "استرجاع الصيغة المعروفة" إلى جعل النموذج يستخدم صيغًا مغلقة بدلاً من التعداد المتسلسل. كما أدى التوجيل نحو "إزالة غموض الكلمات" إلى حل وحدات العملة الغامضة.
القيود: التوجيه فعال فقط ضمن المسارات الحسابية الممكنة بالفعل تحت تأثير المطالبة (prompt)؛ ولا يمكنه استحثاث سلوكيات غير متوفرة فعليًا في توزيع النموذج (مثل الجمع اليدوي لـ 61 عددًا صحيحًا عندما يميل النموذج افتراضيًا لاستخدام صيغة).
المقارنة: حقق توجيه RET تغطية بنسبة 91% للتحولات السلوكية عبر 33 مطالبة متنوعة، متفوقًا على توجيه نموذج SAE المرجعي الذي تم ضبطه بدقة (61% تغطية).

الأهمية والادعاءات

يدعي البحث أن حسابات النماذج اللغوية الكبيرة تقبل أوصافًا فعالة عبر RET. يجادل المؤلفون بأن:

المتغيرات على المستوى العياني التي يتم تعلمها عبر التنبؤ الذاتي يمكن أن تجرد الضجيج المجهري للكشف عن "حالات ذهنية" متماسكة.
هذه الحالات ليست وصفية فحسب، بل هي قابلة للتنفيذ، حيث توفر مقابض سببية لتوجيه سلوك النموذج.
يقدم النهج منظورًا مكملاً للتفسير الميكانيكي (الذي يركز على الدوائر المتفرقة) من خلال التركيز على الديناميكيات على مستوى المسار والتدريج الخشن.

يظل المؤلفون متواضعين، مشيرين إلى أن RET هي مجرد حالة واحدة من النظريات الفعالة وأن النتائج خاصة بالإعدادات المختبرة (الاستدلال الرياضي، كشف التملق). ويؤكدون أن مصطلح "الحالة الذهنية" هو مصطلح إجرائي لوصف مرحلة حسابية خشنة، وليس حالة معرفية حرفية، وأن التسميات الرمزية هي ملخصات مفيدة مستمدة عبر التجميع بمساعدة النماذج اللغوية الكبيرة وليست حقائق مطلقة.