ملخص تقني: LANTERN – نقل عصبي-رمزي معزز بالنماذج اللغوية الكبيرة (LLM) مع شبكات استدلال محكومة بالخبرة

بيان المشكلة

غالبًا ما تعاني التعلم المعزز (RL) من عدم كفاءة العينات، لا سيًا في المهام التي تتضمن أهدافًا طويلة الأمد وغير ماركوفية تتطلب استدلالًا زمنيًا مهيكلًا. وبينما أدت النهج العصبية-الرمزية (neurosymbolic)—التي تدمج التمثيلات الرمزية مثل الأوتوماتا المحددة (DFAs) في التعلم المعزز—إلى تحسين كفاءة العينات، تواجه طرق نقل التعلم الحالية ثلاث قيود حرجة:

1. التوصيف اليدوي: تتطلب معظم الطرق مواصفات خبير للأوتوماتا أو صيغ المنطق الزمني، وهي أمور يصعب الحصول عليها. كما أن نهج الاستدلال القواعدي (Grammatical inference) يتطلب بيانات مسار مهيكلة غير مناسبة لعمليات الاستكشاف أو التعلم المعزز شحيح البيانات.
2. الاعتماد على مصدر واحد: تعتمد طرق النقل الحالية (مثل تقطير الأوتوماتا، أو تقطير السياسة) عادةً على مهمة مصدر واحدة. وهذا يحد من فعاليتها عندما تكون مهام المصدر والهدف متباينة الأهداف أو متوافقة جزئيًا فقط في الهياكل.
3. آليات التكامل الثابتة: تستخدم الأطر الحالية مخططات أوزان محددة مسبقًا (مثل التحلل الأسي)، وتفشل في التكيف عندما تختلف صلة المصدر عبر الحالات أو عبر الزمن.

يعالج البحث تحدي النقل العصبي-الرمزي متعدد المصادر في الإعدادات التي تمتلك فيها مهام مصادر متعددة أهدافًا متميزة ومتداخلة جزئيًا. في هذه الأنظمة، يكون إعادة الاستخدام المباشر لسياسة مصدر واحدة أو أوتوماتا واحدة غير كافٍ؛ بدلاً من ذلك، يتطلب النظام محاذاة دلالية وتجميعًا للمعرفة المهيكلة عبر المهام المتباينة.

المنهجية: إطار عمل LANTERN

إطار LANTERN (النقل العصبي-الرمزي المعزز بالنماذج اللغوية الكبيرة مع شبكات الاستدلال المحكومة بالخبرة) هو إطار موحد مصمم للتغلب على القيود المذكورة أعلاه من خلال خمس مراحل متميزة:

1. توليد الأوتوماتا المعزز بالنماذج اللغوية الكبيرة (LLM)

بدلاً من التوصيف اليدوي، يستخدم LANTERN النماذج اللغوية الكبيرة (LLMs) لتوليد أوتوماتا (DFAs) للهدف ($D_{tgt}$) مباشرة من أوصاف المهام باللغة الطبيعية ($T_{desc}$).

• العملية: يقوم أمر (prompt) مهيكل بتوجيه النموذج اللغوي لاستخراج الأهداف الفرعية، وتحديد حالات الأوتوماتا التي تمثل المعالم، وتحديد الانتقالات الحتمية، وتوليد أوصاف دلالية باللغة الطبيعية لكل حالة.
• المخرج: أوتوماتا (DFA) للهدف وخريطة لربط حالات الأوتوماتا بالأوصاف الدلالية، والتي تعمل كأساس للمحاذاة عبر المهام.

2. التضمين الدلالي وبناء الجوار

لتمكين النقل عبر المهام ذات الأهداف المختلفة، يبني LANTERN فضاء تضمين دلالي مشترك.

• التضمين: يتم رسم أوصاف اللغة الطبيعية لحالات الأوتوماتا (من مهام المصدر والهدف) إلى فضاء متجهي $\phi(\omega) \in \mathbb{R}^d$ باستخدام نموذج تضمين نصي ثابت (مثل sentence-BERT).
• التشابه والجوار: يتم حساب التشابه الدلالي بين حالة الهدف $\omega_{tgt}$ وحالات المصدر $\omega_{src}^k$ عبر تشابه جيب التمام (cosine similarity). لكل حالة هدف، يتم تشكيل "جوار دلالي" ($N_M$) عن طريق اختيار أفضل $M$ من حالات المصدر الأكثر تشابهًا عبر جميع المهام $K$.
• التوزين: يتم تطبيع أوزان التجميع بناءً على درجات التشابه، مما يضمن أن الحالات المتوافقة دلاليًا تساهم بقوة أكبر في التوجيه.

3. تجميع المعرفة متعددة المصادر

يقوم LANTERN بتجميع التوجيه من الجوار الدلالي في بُعدين:

• التوجيه الاستراتيجي (على مستوى الأوتوماتا): يجمع قيم Q المستخلصة ($Q_{k,AD}$) التي تمثل تقدم المهمة رفيع المستوى من مهام المصدر. القيمة المجمعة $Q_{agg}^{AD}$ هي مجموع مرجح للقيم الاستراتيجية للمصادر.
• التوجيه التكتيكي (على مستوى السياسة): يجمع سياسات المعلم ($\pi_{teacher}^k$) من حالات المصدر المتوافقة لتوفال توجيه على مستوى الإجراء.

4. بوابات الخبرة مزدوجة التقلب

للتكيف في موازنة تعلم الطالب مع توجيه المعلم، يقدم LANTERN بوابة ثقة مركبة $\tau$ تجمع بين مقيالي تقلب:

• تقلب الخبرة ($V^{exp}$): يتتبع تقلب خطأ الفرق الزمني (TD error) في تعلم الطالب. يشير التقلب العالي إلى عدم الاستقرار، مما يفضل توجيه المعلم.
• التقلب الدلالي ($V^{sem}$): يقيس عدم المحاذاة بين حالة الهدف وأفضل حالات المصدر المتوافقة معها (بناءً على التشابه). يشير التقلب الدلالي العالي إلى ضعف المحاذا، مما يقلل الثقة في المصدر.
• الآلية: معامل الثقة النهائي $\tau = \tau^{exp} \cdot \tau^{sem}$ هو معامل ضربي. يكون تأثير المعلم قويًا فقط عندما يكون التعلم غير مستقر و المصدر متوافقًا دلاليًا. هذا يمنع النقل السلبي في المناطق ضعيفة المحاذاة.

5. تحديث التعلم الموحد

يتعلم الطالب في نظام MDP المنتج ($M_{tgt} \times D_{tgt}$) باستخدام قاعدة تحديث Q معدلة:
$$\Delta Q = \alpha [ \tau \cdot \delta_t + (1 - \tau) \cdot G_{multi} ]$$
حيث $\delta_t$ هو خطأ TD القياسي و $G_{multi}$ هو التوجيه متعدد المصادر المجمع (الذي يجمع بين المكافآت الاستراتيجية والتفاوتات السياسية التكتيكية). عندما تقترب $\tau$ من $1$، يعتمد التحديث على تعلم TD القياسي؛ وعندما تقترب من$0$، يعتمد على توجيه المعلم المجمع.

المساهمات الرئيسية

1. صياغة النقل العصبي-الرمزي متعدد المصادر: يصيغ البحث إعدادًا حيث تمتلك مهام المصدر أهدافًا متباينة، مما يستلزم التجميع الدلالي بدلاً من إعادة الاستخدام المباشر لمصدر واحد.
2. بنية LANTERN: تطوير إطار عمل يدمج توليد الأوتوماتا المعزز بالنماذج اللغوية الكبيرة، والتجميع الدلالي متعدد المصادر، والبوابة مزدوجة التقلب التكيفية.
3. التحقق التجريبي: إثبات التحسينات الكبيرة في كفاءة العينات عبر مجالات متنوعة (إدارة الموارد والملاحة) مع الحفاظ على المتانة تجاه المصادر ضعيفة المحاذاة.

النتائج التجريبية

تم تقييم الإطار في مجالين: Dungeon Quest (ملاحة متسلسلة) و Blind Craftsman (إدارة موارد مع قيود المخزون). تضمنت مهام المصدر مهمات ذات أهداف مختلفة (مثل الإنقاذ مقابل البحث عن الكنز؛ التعدين مقابل الزراعة).

• كفاءة العينات: حقق LANTERN تحسينات بنسبة 40-60% في كفاءة العينات مقارنة بالنماذج المرجعية، بما في ذلك طرق النقل أحادية المصدر (Automaton Distillation, CADENT, LARM) ونموذج "عدم النقل" (No Transfer).
• المتانة: ظل النظام متينًا حتى عندما كانت مهام المصدر تمتلك هياكل متميزة وتداخلًا دلاليًا جزئيًا فقط مع الهدف.
• دراسات الاستئصال (Ablation Studies):
  • متعدد المصادر مقابل أحادي المصدر: أدى تجميع المعرفة الجزئية من مصادر متعددة إلى تحسن بنسبة 26% مقارنة باستخدام أكثر مصدر مشابه بمفرده.
  • مزدوج التقلب مقابل الخبرة فقط: أدت بوابة التقلب الدلالي إلى منع النقل السلبي في المناطق غير المتوافقة، مما حقق تحسنًا بنسبة 18%.
  • استراتيجي + تكتيكي مقابل استراتيجي فقط: وفر الجمع بين نوعي التوجيه تحسنًا بنسبة 31%، مما يسلط الضوء على التآزر بين تفكيك المهام الخشن وتوجيه الإجراء الدقيق.

الأهمية والادعاءات

يزعم البحث أن LANTERN يثبت أن النقل العصبي-الرمزي متعدد المصادر والموزون تكيفيًا يمكن أن يحسن بشكل كبير من القابلية للتوسع والمتانة في إعدادات التعلم الرمزي. من خلال الابتعاد عن التوصيف اليدوي والاعتماد على مصدر واحد، يُمكّن الإطار الوكلاء من الاستفادة من المعرفة المتكاملة من مهام متباينة.

يؤكد المؤلفون أن آلية البوابة مزدوجة التقلب حاسمة لمنع النقل السلبي، مما يسمح للنظام بـ "التدهور التدريجي" عندما تكون المحاذاة مع المصدر ضعيفة. تشير النتائج إلى أن محاذاة حالات الأوتوماتا في فضاء تضمين دلالي مشترك يوفر آلية فعالة لنقل المعرفة المهيكلة عبر مجالات تختلف في الموارد، والتخطيطات، ودلالات المهام.

القيود التي لاحظها المؤلفون:

• الاعتماد على جودة النماذج اللغوية الكبيرة (LLM) لتوليد الأوتوماتا.
• قيود القابلية للتوسع بسبب استخدام تعلم Q الجدولي (tabular Q-learning).
• متطلبات محاذاة فضاء العمليات (action-space alignment).

تشمل اتجاهات العمل المستقبلي تحسين الأوتوماتا باستخدام التغذية الراجعة، والتقريب الدالي العميق للمجالات المستمرة، وتعيين الإجراءات المتعلم، والنقل المتعدد المصادر المستمر.