🤖 AI

MIITA: Memory-Induced Inference-Time Adaptation for Continual Learning with Small Language Models

تقترح هذه الورقة MIITA، وهو إطار عمل للتكيف أثناء الاستنتاج مستحث بالذاكرة يُمكّن النماذج اللغوية الصغيرة من أداء التعلم المستمر في ظل تخزين مقيد عبر استرجاع نماذج أولية مدمجة لاتجاه التصحيح أثناء الاستنتاج لتكييف الحالات الخفية دون تحديث معاملات العمود الفقري أو التسبب في النسيان الكارثي.

المؤلفون الأصليون: Dong Li, Yanchi Liu, Xujiang Zhao, Wei Cheng, Zhengzhang Chen, Xintao Wu, Zhong Chen, Chen Zhao, Haifeng Chen

نُشر 2026-07-28

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Dong Li, Yanchi Liu, Xujiang Zhao, Wei Cheng, Zhengzhang Chen, Xintao Wu, Zhong Chen, Chen Zhao, Haifeng Chen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً آلياً صغيراً فائق السرعة يعيش داخل هاتفك. إنه صغير وفعال، ومثالي للمهام السريعة، لكنه يمتلك بنك ذاكرة محدود للغاية. الآن، تخيل أن العالم يستمر في التغير، وأن هذا الروبوت يحتاج إلى تعلم مهارات جديدة كل يوم—مثل فهم كلمة عامية جديدة، أو التعرف على نوع جديد من الحشرات، أو المساعدة في واجب منزلي جديد. المشكلة الكبيرة في عالم الذكاء الاصطناعي هي أنه عندما تحاول هذه الروبوتات الصغيرة تعلم شيء جديد، فإنها غالباً ما "تنسى" عن طريق الخطأ كل ما عرفته بالأمس. الأمر يشبه محاولة كتابة فصل جديد في دفتر ملاحظات ممتلئ بالفعل؛ إذا حاولت حشر الكلمات الجديدة، فسيتعين عليك مسح الكلمات القديمة. يطلق العلماء على هذه الظاهرة اسم "النسيان الكارثي".

ولإيقاف ذلك، يحاول الباحثون عادةً حفظ الدروس القديمة في "بنك ذاكرة" منفصل حتى يتمكن الروبوت من الرجوع إليها. لكن هناك عقبة؛ فمعظم أنظمة الذاكرة المتطورة المصممة لعقول الذكاء الاصطناعي العملاقة والذكية جداً هي ثقيلة ومعقدة للغاية بالنسبة لروبوتنا الصغير. فهي تحاول حفظ قصص كاملة أو قوائم طويلة من الأمثلة، مما يستغرق مساحة كبيرة ويتطلب من الروبوت أن يكون ماهراً جداً في القراءة بين السطور—وهي مهارة لا يمتلكها الروبوتات الصغيرة. لذا، السؤال الكبير هو: كيف يمكننا تعليم روبوت صغير محدود الموارد أن يستمر في التعلم للأبد دون أن تنفد المساحة لديه أو يفقد ذكرياته القديمة؟

هنا يأتي دور MIITA، وهي طريقة مبتكرة اقترحها فريق من الباحثين تعمل مثل "ورقة غش ذكية" لهذه الروبوتات الصغيرة. فبدلاً من حفظ قصص ضخمة أو قوائم طويلة من الأمثلة، تقوم MIITA بتغيير قواعد اللعبة عبر حفظ "جوهر" ما يحتاج إلى تصحيح فقط. فكر في الأمر بهذه الطريقة: إذا كنت تعلم صديقاً لك كيفية ركوب الدراجة، فلن تحفظ فيديو له وهو يسقط في كل مرة. بدلاً من ذلك، ستسجل ملاحظة صغيرة تقول: "مل بجسمك لليسار عند الانعطاف لليمين". هذه الملاحظة هي "اتجاه التصحيح". تقوم MIITA بتحويل كل تجربة تعلم إلى هذه الملاحظات الصغيرة والموجزة.

عندما يواجه الروبوت موقفاً جديداً، لا تقوم MIITA بمجرد إلقاء الملاحظات القديمة عليه. بل تستخدم خدعة خاصة لمعرفة الملاحظة المطلوبة في اللحظة الحالية. فهي تنظر إلى المشكلة الحالية وتسأل: "أين يواجه الروبوت ارتباكاً؟" إذا كان الروبوت غير متأكد من إجابته، تستخدم MIITA هذا الارتباك كدليل للعثور على ملاحظة "مل لليسار" المثالية من بنك ذاكرتها. ثم تطبق هذا التصحيح مؤقتاً على عملية تفكير الروبوت، لجزء من الثانية فقط، لمساعدته على الحصول على الإجابة الصحيحة. وبمجرد انتهاء المهمة، يتلاشى التصحيح، تاركاً عقل الروبوت الأساسي دون أي تغيير، وجاهزاً للتحدي التالي.

اختبر الباحثون هذه الفكرة في عدة مهام مختلفة، من فهم شكاوى العملاء إلى الإجابة على الأسئلة بلغات متعددة. ووجدوا أن MIITA ساعدت النماذج اللغوية الصغيرة باستمرار على تذكر المهارات القديمة بشكل أفضل من الطرق الأخرى، حتى عندما كانت مساحة الذاكرة ضيقة للغاية. وفي الواقع، بينما عانت الطرق الأخرى للعمل على أصغر النماذج، حافظت MIITA على أدائها الجيد. كما أظهر الفريق أن حفظ "ملاحظات التصحيح" هذه كان أكثر فعالية بكثير من حفظ القصص الكاملة أو الملخصات، مما أثبت أنه بالنسبة للروبوتات الصغيرة، الأمر لا يتعلق بكمية ما تتذكره، بل بكيفية تذكرك له. فمن خلال التركيز على "الدفعة" الوظيفية اللازمة لإصلاح الخطأ بدلاً من البيانات الخام، توفر MIITA طريقة خفيفة الوزن وفعالة لكي يستمر الذكاء الاصطناعي الصغير في التعلم دون أن ينسى هويته.

ملخص تقني: MIITA

بيان المشكلة

تواجه عملية التعلم المستمر (CL) للنماذج اللغوية الصغيرة (SLMs) عقبة حرجة في عمليات النشر ذات الموارد المحدودة. وبينما تُعد النماذج اللغوية الصغيرة ضرورية للتطبيقات المحلية، ومنخفضة زمن الاستجابة، والحساسة للخصوصية، فإن سعتها المحدودة من المعلمات تجعلها عرضة بشكل كبير لـ "النسيان الكارثي" (catastrophic forgetting) عندما تُكتب الخبرات الإشرافية الجديدة مباشرة في الهيكل الأساسي (backbone). تعتمد أساليب التعلم المستمر القائمة على الذاكرة الحالية، والمصممة أساسًا للنماذج اللغوية الكبيرة (LLMs)، على تخزين الأمثلة النصية أو الملخصات أو العروض التوضيحية. وتفشل هذه الأساليب في سياقات النماذج اللغوية الصغيرة لسببين:

عدم كفاءة التخزين: تحتفظ الذاكرة النصية بالمحتوى السطحي جنبًا إلى جنب مع الإشارات القابلة لإعادة الاستخدام، مما يستهلك مساحة تخزين مفرطة في ظل ميزانيات ثابتة.
القيود في الاستنتاج: تفتقر النماذج اللغوية الصغيرة إلى قدرات الاستنتاج القوية داخل السياق (in-context reasoning) المطلوبة لاستنتاج كيفية تأثير الذاكرة النصية المسترجعة بفعالية على التنبؤات.

وبناءً على ذلك، فإن الأساليب الحالية إما تتدهور بشكل كبير مع انخفاض حجم النموذج، أو تفشل في الحد من النسيان تحت قيود التخزين الصارمة.

المنهجية: MIITA

يقترح المؤلفون إطار عمل MIITA (التكيف المستحث بالذاكرة أثناء الاستنتاج - Memory-Induced Inference-Time Adaptation)، وهو إطار مصمم للتعلم المستمر الإشرافي في النماذج اللغوية الصغيرة تحت قيود التخزين الدائم. يقوم MIITA بفصل الاحتفاظ بالمعرفة عن مساحة معلمات النموذج عبر تخزين الخبرات ليس كنصوص خام، بل كـ اتجاهات تصحيح وظيفية مدمجة.

المكونات الأساسية

تمثيل الذاكرة الموجه بالاتجاه:
- بدلاً من تخزين الأمثلة الخام $(x, y)$ ، يقوم MIITA بتحويل كل خبرة إشرافية إلى اتجاه تصحيح $d$ في الفضاء الخفي لما قبل رأس النموذج اللغوي (pre-LM-head hidden space). يمثل هذا الاتجاه تحديث التدرج المطلوب لزيادة احتمالية المخرج المستهدف.
- يتم تنظيم الذكريات كـ نماذج أولية (prototypes) $u_j = (d_j, A_j, n_j)$ ، حيث $d_j$ هو اتجاه التصحيح المعياري، و $A_j$ هي مجموعة من الركائز الدلالية خفيفة الوزن (المفاتيح) المستخدمة حصريًا للاسترجاع، و $n_j$ يتتبع عدد الخبرات المدمجة.
- يفصل هذا التصميم بين الاحتفاظ الوظيفي (الاتجاه) والوصول الدلالي (الركيزة)، مما يسم يسمح بدمج الأمثلة المتباينة دلاليًا التي تؤدي إلى تصحيحات متطابقة.
إدارة الذاكرة الواعية بالميزانية:
- تعيين النماذج الأولية: يتم دمج الخبرات الجديدة في النماذج الأولية الموجودة إذا كانت اتجاهات التصحيح الخاصة بها متوافقة بشكل كافٍ (تشابه جيب التمام > العتبة $\tau_d$ ). خلاف ذلك، يتم إنشاء نموذج أولي جديد.
- إصلاح الذاكرة: عندما تتجاوز ميزانية التخزين $C_{mem}$ ، يقوم النظام بتقليم الركائز الدلالية الزائدة، ودمج النماذج الأولية المتشابهة، واستبعاد النموذج الأولي الأقل قيمة بناءً على دالة قيمة تعطي الأولوية للتميز الاتجاهي وكفاءة التخزين.
الاسترجاع والتكيف أثناء الاستنتاج:
- الاسترجاع: عند الاستنتاج، يسترجع MIITA النماذج الأولية ذات الصلة باستخدام مؤشرين:
  - الصلة الدلالية: مطابقة المفتاح الدلالي للاستعلام مع الركائز المخزنة.
  - الوكيل الاتجاهي الموجه باليقين: نظرًا لعدم توفر الحقيقة الأرضية (ground truth) أثناء الاستنتاج، يقوم MIITA بحساب تدرج الإنتروبيا التنبؤية المقيدة لتوليد "وكيل اتجاهي" يشير إلى المسار الأكثر انحدارًا لتقليل اليقين.
- التكيف: يتم تجميع الاتجاهات المسترجعة في متجه تصحيح خاص بالاستعلام $\bar{d}_q$ . يتم تطبيق هذا المتجه عبر تحديث الحالة الخفية المؤقت المبوّب:
  $p'_t = \text{softmax}(W_{LM}(h^{out}_t + \eta \alpha_t \bar{d}_q))$
  حيث $\alpha_t$ هو بوابة تنشيط تعتمد على التشابه بين حالة التوليد الحالية وحالة الاستعلام. هذا التكيف مؤقت؛ فهو لا يتطلب انتشارًا عكسيًا (backpropagation)، أو تحديثات للمعلمات، أو توسيعات للمطالبات (prompts).

الرؤى النظرية

تقدم الورقة تحليلًا نظريًا محليًا يثبت أن:

اتجاهات التصحيح هي مثالية من الدرجة الأولى لتقليل الخسارة الإشرافية.
الاتجاهات الموجهة باليقين تحدد المسار الأكثر انحدارًا لتقليل الإنتروبيا التنبؤية المحلية، مما يجعلها مؤشرات استرجاع فعالة خالية من الملصقات (label-free).
التحكم في الاحتفاظ بمعرفة المراحل القديمة يتم من خلال التغطية الاتجاهية للذاكرة المخزنة، وليس تغطية الأمثلة الخام.

المساهمات الرئيسية

الذاكرة الموجهة بالاتجاه: تمثيل مبتكر يخزن الخبرات الإشرافية كنماذج أولية لاتجاهات التصحيح مع ركائز دلالية خفيفة الوزن، مما يتغلب على تكاليف التخزين والاستنتاج للذاكرة النصية في النماذج اللغوية الصغيرة.
آلية التكيف أثناء الاستنتاج: طريقة لتطبيق الاتجاهات التاريخية المسترجعة عبر تحديثات الحالة الخفية المؤقتة المبوّبة، مما يتيح إعادة الاستخدام غير المدمر للإشراف السابق دون الحاجة للانتشار العكسي أثناء الاختبار.
التحليل النظري: إطار نظري محلي يربط التصميم بتقليل الخسارة من الدرجة الأولى، والاسترجاع الموجه باليقين، ودور التغطية الاتجاهية في الاحتفاظ بالمعرفة.
التحقق التجريبي: تقييم شامل يظهر تحسينات مستمرة في الأداء النهائي وتقليل النسيان عبر مختلف إعدادات التعلم المستمر الإشرافي وأحجام النماذج.

النتائج التجريبية

أُجريت التجارب على أربعة معايير (Banking77, DSC, PAXQA, SuperNI) باستخدام نماذج لغوية صغيرة (Qwen3-0.6B إلى 4B, LLaMA-3.2-3B إلى 8B) تحت ميزانية ذاكرة ثابتة بنسبة 1%.

الأداء: حقق MIITA باستمرار أفضل أداء إجمالي (OP) ونقل خلفي (BWT) عبر جميع المعايير وأحجام النماذج، متفوقًا على كل من أسس تحديث المعلمات (مثل LoRA) وأسس الذاكرة للنماذج اللغوية الكبيرة (مثل CIS, FOREVER).
تدرج حجم النموذج: على عكس أساليب الذاكرة المتمحورة حول النماذج اللغوية الكبيرة والتي تتدهور بشكل كبير مع انخفاض حجم النموذج، حافظ MIITA على أداء قوي حتى في أصغر النماذج (0.6B).
الحساسية للميزانية: أظهر MIITA أداءً فائقًا في الأنظمة ذات الميزانية المنخفضة (0.1%–2%)، بينما احتاجت الأساليب القائمة على إعادة التشغيل (replay-based) إلى ميزانيات أكبر بكثير للمنافسة.
دراسات الاستئصال (Ablation Studies):
- الوظيفي مقابل الدلالي: تفوق تخزين اتجاهات التصحيح الوظيفية (DirectionMem) بشكل كبير على تخزين الأمثلة الخام، أو الملخصات، أو التضمينات الدلالية، مما يؤكد أن التكرار الوظيفي يختلف عن التكرار الدلالي.
- الاسترجاع: أدى الجمع بين الاسترجاع الدلالي والموجه باليقين إلى تحقيق أفضل النتائج، مما أكد فائدة الوكيل الاتجاهي الخالي من الملصقات.

الأهمية

تجادل الورقة بأن المفتاح للتعلم المستمر في النماذج اللغوية الصغيرة ليس مجرد استخدام الذاكرة، بل كفاءة ووظيفية التمثيل المخزن. من خلال الانتقال من حفظ النصوص الخام إلى حفظ إشارات التصحيح الوظيفية المدمجة، يعالج MIITA العقبة المزدوجة المتمثلة في محدودية التخزين وضعف الاستنتاج داخل السياق. يتيح هذا النهج للنماذج اللغوية الصغيرة التكيف المستمر مع الاحتياجات المتطورة دون الكتابة فوق مساحة المعلمات الشحيحة أو الاعتماد على الضبط الدقيق المدمر، مما يوفر مسارًا قابلًا للتطبيق لنشر ذكاء اصطناعي قابل للتكيف في البيئات محدودة الموارد.