ملخص تقني: Autolearn – التعلم عبر المفاجأة، والالتزام عبر الإثبات

1. بيان المشكلة

تفتقر النماذج اللغوية الكبيرة (LLMs) الحالية إلى القدرة على التعلم من المستندات التي تقرأها بعد مرحلة النشر. حيث تدخل المعلومات الجديدة إلى نافذة السياق كذاكرة مؤقتة (buffer) ثم يتم التخلص منها بمجرد انتهاء السياق. وتفشل الحلول الحالية في معالجة فجوة "التعلم" هذه بفعالية:

• الضبط الدقيق (Fine-tuning): يفرض تحديثات عشوائية للأوزان، مما يؤدي إلى "النسيان الكارثي" للمعرفة السابقة.
• التوليد المعزز بالاسترجاع (RAG): يتجنب تحديث الأوزان ولكنه يفشل في دمج المعلومات في ذاكرة طويلة المدى، ويعاني من تلوث السياق وعدم القدرة على تكوين استنتاجات عابرة للمستندات.
• تحرير المعرفة (Knowledge Editing) وطرق التعلم المستمر (Continual Learning): إما أنها لا تتوسع لتشمل نطاقات واسعة أو تتطلب إشرافاً خارجياً.

تتمثل الصعوبة الجوهرية في التمييز بين الجدة (المعرفة الجديدة الحقيقية) والضجيج (الأكاذيب المعقولة أو الفساد المعلوماتي). كلاهما ينتج "دهشة" (surprisal) عالية غير طبيعية لكل رمز (token). وبدون تحقق خارجي، فإن فتح عملية التحسين (optimizer) للمحتوى عالي الخسارة (high-loss) ينطوي على خطر إفساد أوزان النموذج. علاوة على ذلك، فإن الضبط الدقيق الخاضع للإشراف (SFT) التقليدي على النصوص الخام غالباً ما يؤدي إلى حفظ تسلسل الرموز بدلاً من الفهم الدلالي، حيث يقوم النموذج بتشفير ترتيب الكلمات بدقة.

2. المنهجية: مسار عمل Autolearn

Autolearn هو إطار عمل للتدريب اللاحق ذاتي البوابة يُمكّن النماذج من التعلم من المستندات دون إشراف خارجي. وهو يعمل عبر ثلاث مراحل، تحاكي بنية معرفية تعتمد على اكتشاف المفاجأة، والتحقق الذاتي، وترسيخ الذاكرة.

المرحلة 1: الكشف والتأسيس (المفاجأة)

يقوم النظام بحساب المفاجأة على مستوى الفقرة ($S_i$) عن طريق تجميع خسارة كل رمز ($s_t = -\log p_\theta(x_t | x_{<t})$) عبر نافذة منزلقة.

• التوسيم (Flagging): يتم وسم الفقرات التي تكون فيها $S_i > \tau$ (عتبة مُعايرة بناءً على المحتوى المعروف) بأنها "مفاجئة".
• التأسيس (Grounding): لكل فقرة موسومة، يسجل النظام زوجاً تأسيسياً $G_i = (P_i, S_i, d_i)$، حيث $d_i$ هو نسبة الانخفاض (الانخفاض المعياري في المفاجأة من بداية الفقرة إلى نهايتها).
• النتيجة: تقوم هذه المرحلة بتصفية المحتوى الذي لا يعرفه النموذج جيداً، ولكن لا يمكنه بعد تمييزه بين الجدة الحقيقية والفساد المعلوماتي.

المرحلة 2: التحقق، التصنيف، والهضم (التحقق الذاتي)

بدلاً من قبول أو رفض الفقرة، يقوم النموذج بتوليد سلسلة سؤال وجواب (Q&A chain) لتوضيح معرفته الخاصة فيما يتعلق بادعاءات الفقرة.

• التوليد: يولد النموذج $N$ من أزواج الأسئلة والأجوبة، حيث يتناسب $N$ مع مفاجأة الفقرة ($N = \lceil S_i \cdot c \rceil$). تُصنف الأسئلة حسب الأصل المعرفي:
  • [existing] (موجود): يؤكد الحقائق الخلفية التي تفترضها الفقرة.
  • [mechanism] (آلية): يستقصي خطوات سببية محددة مقترحة في الفقرة (مثلاً: "هل البروتين X يرتبط بالمستقبل Y؟").
  • [implication] (تضمين): يختبر ما إذا كانت العواقب تتعارض مع الحقائق المعروفة.
• فحص الاتساق: يتم التحقق من كل زوج مقابل معرفة النموذج الحالية.
  • تؤدي الإخفاقات في أسئلة [mechanism] أو [implication] إلى "كسر حاد" في السلسلة.
  • يتم التعامل مع الإخفاقات في أسئلة [existing] بمرونة أكبر.
• عمق الاقتناع ($k$): تنتج السلسلة درجة $k$ (عدد الأسئلة التي تم اجتيازها). تحدد هذه الـ $k$ قوة التعلم. الفقرات التي تنكسر مبكراً تتلقى تعلماً ضعيفاً؛ أما تلك التي تكمل السلسلة كاملة فتتلقى التزاماً قوياً.
• سجلات الغرابة (Strangeness Records): إذا انكسرت السلسلة، يتم تحويل المنطق وراء الفشل إلى عنصر تدريبي مؤطر بعدم اليقين ("الفقرة تدعي X، ولكنني غير متأكد من...")، مما يسمح للنموذج بتعلم حدود معرفته.

المرحلة 3: تحديث الأوزان المبوّب (الترسيخ)

يحدث التدريب على أزواج الأسئلة والأجوبة المتحقق منها وسجلات الغرابة.

• تعديل $\beta_2$ المتناسب مع الاقتناع: يقوم إطار العمل بتعديل معامل العزم الثاني لمحسن AdamW بناءً على عمق الاقتناع $k$:
  $$\beta_2^{(k)} = 0.999 \cdot r^k$$
  حيث $r \in (0, 1)$ هو عامل اضمحلال. كلما زادت $k$ (الاقتناع القوي)، انخفضت $\beta_2$ قليلاً، مما يسمح بتراكم التدرجات (gradients) بكفاءة أكبر للعناصر المتحقق منها جيداً.
• تنسيق التدريب: من الضروري أن يتم التدريب على أزواج الأسئلة والأجوبة بدلاً من النص الخام. هذا يجبر النموذج على تشفير الارتباطات الدلالية (سؤال $\leftarrow$ جواب) بدلاً من تسلسلات الرموز.

3. المساهمات الرئيسية

مقياس فجوة الاضطراب (The Perturbation Gap Metric)

يقدم البحث فجوة الاضطراب (نسبة إدراك النص المعاد صياغته إلى النص الأصلي) كمقياس للتمييز بين الحفظ والفهم.

• الحفظ: إذا حفظ النموذج تسلسلات الرموز، فإنه سيتنبأ بالنص الأصلي جيداً ولكنه سيفشل في النصوص المعاد صياغتها، مما ينتج فجوة عالية ($\gg$ خط الأساس للنموذج المدرب مسبقاً).
• الفهم: إذا تعلم النموذج الارتباطات الدلالية، فإنه سيتنبأ بكل من النص الأصلي والمعاد صياغته بشكل متشابه، مما ينتج فجوة قريبة من خط الأساس للنموذج المدرب مسبقاً.
• الأهمية: الفجوة التي تقع تحت خط الأساس تشير إلى "تعلم دلالي نقي" حيث يتحسن الفهم دون حفظ تسلسل الرموز.

خاصية الانطفاء الذاتي (Self-Extinguishing Property)

النظام ذاتي الحد من نفسه. فبينما يتعلم النموذج فقرة ما، تنخفض مفاجأته ($S_i$). وبمجرد أن تنخفض $S_i$ عن العتبة $\tau$، لا يتم وسم الفقرة كـ "مفاجئة" في اللقاءات المستقبلية. وبالتالي، يتجه النظام طبيعياً نحو سلوك AdamW القياسي مع استنفاد "المحتوى المفاجئ" في المستند.

التعلم الانتقائي عبر بوابات فضاء البيانات

على عكس طرق التعلم المستمر السابقة التي تضع بوابات في فضاء المعاملات (مثل EWC)، يقوم Autolearn بالبوابات في فضاء البيانات. فهو يتحكم في أي العناصر يتم تعلمها ومدى قوة تعلمها عبر تعديلات $\beta_2$ لكل عنصر، وهي آلية لم تُقترح سابقاً للترسيخ الانتقائي.

4. النتائج التجريبية

أُجريت التجارب على Qwen3-14B (وتم تكرارها عبر Qwen3-8B/32B و Phi-4-14B) باستخدام مجموعة من 60 فقرة (20 معروفة، 20 جديدة، 20 فاسدة).

الحفظ مقابل الفهم

• Autolearn هو الطريقة الوحيدة التي تدخل منطقة "ما تحت خط الأساس" (sub-baseline).
  • خط الأساس للنموذج المدرب مسبقاً: 2.204.
  • Autolearn (الأفضل): 2.098 ($\Delta = -0.106$، $>10\sigma$).
  • SFT القياسي (الأفضل): 2.194 ($\Delta = -0.010$، $<1\sigma$، ضمن نطاق الضجيج).
• يؤكد هذا أن تنسيق تدريب الأسئلة والأجوبة (Q&A) يثبط حفظ تسلسل الرموز، مما يتيح تعلماً دلالياً نقياً.

اكتساب المعرفة

• التقييم العشوائي: باستخدام عينة بدرجة حرارة 0.7، ارتفع احتمال توليد حقائق جديدة صحيحة بشكل كبير بعد التدريب (مثلاً، من 6% إلى 54% لحقيقة متعلقة بركيزة الجرافين، $p < 10^{-4}$).
• الجدة مقابل الفساد: طابق Autolearn أو تجاوز SFT في مقاومة المحتوى الفاسد (مثلاً، 50.5% دقة على الأسئلة المباشرة للفاسد مقابل 47.4% لـ SFT عند $lr=5\times10^{-5}$).
• هيمنة التنسيق: أظهرت دراسات الاستئصال (Ablation) أن تنسيق الأسئلة والأجوبة هو المحرك الرئيسي لقمع الحفظ. أدى تعديل $\beta_2$ (بمقارنة $r=1.0$ مع $r=0.999$) إلى إنتاج فجوات اضطراب متطابقة تقريباً، مما يشير إلى أن التنسيق، وليس البوابة، هو العامل المهيمن في هذا النطاق الحالي.

التعميم عبر النماذج

هذا النمط ثابت عبر أربعة نماذج (Qwen3-8B, 14B, 32B; Phi-4-14B). يحقق Autolearn باستمرار فجوة اضطراب أقل من SFT، وهو الوحيد الذي يدخل منطقة ما تحت خط الأساس.

5. الأهمية والادعاءات

يزعم البحث أن Autolearn يمثل مساراً قابلاً للتطبيق لـ الاكتساب المعرفي الذاتي في النماذج اللغوية الكبيرة دون إشراف خارجي. وتكمن أهميته الأساسية في:

1. حل مشكلة الجدة/الضجيج: من خلال استخدام سلاسل الأسئلة والأجوبة المولدة ذاتياً للتحقق، يمكن للنموذج التمييز بين الأكاذيب المعقولة والجدة الحقيقية بناءً على الاتساق الداخلي، حتى بدون وجود مصادر خارجية (oracles).
2. منع الحفظ: يثبت أن تنسيق بيانات التدريب (الأسئلة والأجوبة مقابل النص الخام) هو العامل الحاسم في تحديد ما إذا كان التعلم سيؤدي إلى فهم دلالي أم حفظ آلي.
3. التنظيم الذاتي: النظام "ذاتي الانطفاء"، حيث يتوقف تلقائياً عن عملية التعلم للفقرة بمجرد فهمها، مما يمنع الإفراط في التخصيص (overfitting) والحلقات اللانهائية.

يشير المؤلفون إلى بعض القيود، بما في ذلك الاعتماد على معرفة النموذج الحالية للتحقق (والتي قد تصادق على الأخطاء المتسقة) والحاجة الحالية لأن يكون النموذج كبيراً بما يكفي (مثلاً، >3 مليار معلمة) للتمييز بفعالية بين الجدة والفساد. يُقدم الإطار كتماثل حوسبي لعملية ترسيخ الذاكرة البيولوجية (التفاعل بين الحصين والقشرة الجديدة)، مما يوفر آلية للنماذج اللغوية الكبيرة لـ "الدراسة" مما تقرأه.