🤖 machine learning

TabQL: In-Context Q-Learning with Tabular Foundation Models

تقترح هذه الورقة TabQL، وهو إطار عمل للتعلم المعزز يستبدل شبكة Q البارامترية في التعلم العميق لـ Q بشبكة نموذج أساسي جدولي لتمكين التكيف السريع داخل السياق وتحسين كفاءة العينات من خلال استدلال قيم Q بأسلوب الصفر أو القليل من الأمثلة.

المؤلفون الأصليون: Qisai Liu, Zhanhong Jiang, Timilehin Ayanlade, Ashutosh Kumar Nirala, Yang Li, Aditya Balu, Soumik Sarkar

نُشر 2026-05-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Qisai Liu, Zhanhong Jiang, Timilehin Ayanlade, Ashutosh Kumar Nirala, Yang Li, Aditya Balu, Soumik Sarkar

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتاً كيفية التنقل في متاهة. الطريقة القديمة للقيام بذلك (والتي تسمى التعلم العميق لـ Q أو DQN) تشبه إجبار الروبوت على حفظ كل منعطف، وكل خطأ، وكل مكافأة من خلال عملية التجربة والخطأ، مع إعادة كتابة "دماغه" (الشبكة العصبية) باستمرار عبر حسابات رياضية معقدة. هذه الطة تعمل، لكنها بطيئة، وتتطلب ملايين الخطوات، وغالباً ما ينسى الروبوت ما تعلمه إذا تغيرت المتاهة قليلاً.

تقدم الورقة البحثية طريقة جديدة تسمى TabQL (التعلم بجدول Q). فكر في TabQL كأنك تعطي الروبوت مدرساً خصوصياً ذكياً للغاية ومُدرباً مسبقاً لا يحتاج إلى إعادة تدريب من الصفر. بدلاً من إعادة كتابة دماغه، يقوم الروبوت ببساطة بعرض "ورقة غش" قصيرة لتجاربه الأخيرة على المدرّس، ليقوم المدرّس فوراً بتحديد الحركة الأفضل.

إليك تفصيل لكيفية عمل TabQL باستخدام تشبيهات بسيطة:

1. الرقصة ذات الخطوتين: الإحماء والتبديل

لا يقفز TabQL مباشرة إلى الطريقة الجديدة، بل يستخدم نهجاً يتكون من مرحلتين:

المرحلة الأولى: الإحماء (مرحلة "عجلات التدريب"):
أولاً، يستخدم الروبوت الطريقة القديمة القياسية (DQN) لفترة قصيرة. تخيل طالباً يقوم بتمارين الرياضيات الأساسية. الهدف هنا ليس أن يصبح بارعاً على الفور، بل لإنشاء مجموعة جيدة من الملاحظات. يستكشف الروبوت المتاهة قليلاً، ويرتكب بعض الأخطاء، ويجمع مجموعة صغيرة من البيانات (الحالة، الإجراء، المكافأة). هذا يضمن أن لدى الروبوت فكرة تقريبية عن وجهته قبل الانتقال إلى النظام الجديد.
المرحلة الثانية: التبديل (مرحلة "السياق"):
بمجرد أن يمتلك الروبوت ما يكفي من الملاحظات، ينتقل إلى TabQL. بدلاً من إجراء تحديثات رياضية معقدة، يأخذ الروبوت "ملاحظاته" الأخيرة (نافذة صغيرة من تجاربه الأخيرة) ويغذي بها نموذج أساسي جدولي (TFM).
- التشبيه: تخيل أنك تلعب لعبة فيديو. بدلاً من حساب فيزياء كل قفزة، تنظر إلى آخر 10 حركات قمت بها في دفتر ملاحظات. مساعد فائق الذكاء (الـ TFM) يقرأ تلك الحركات العشر ويقول: "بناءً على ما فعلته للتو، فإن أفضل حركة الآن هي هذه".
- الـ TFM هو نموذج "مدرب مسبقاً" على ملايين المشكلات البيانية العامة (مثل مدرس قد رأى كل أنواع مسائل الرياضيات من قبل). هو لا يحتاج إلى إعادة تدريب لتعلم المتاهة؛ يحتاج فقط إلى رؤية السياق الخاص بموقفك الحالي ليعطيك إجابة ذكية.

2. كيف يتعلم: "داخل السياق" مقابل "الانحدار الاشتقاقي"

الطريقة القديمة (DQN): مثل طالب يحاول التعلم عن طريق حل مسألة، ثم يخطئ، ثم يعدل فهمه الكامل للرياضيات بشكل مؤلم لإصلاح الخطأ. يحدث هذا ملايين المرات.
طريقة TabQL: مثل طالب أتقن بالفعل "مفهوم" الرياضيات. عندما يواجه مسألة جديدة، فإنه ينظر فقط إلى بعض الأمثلة المشابهة في دفتر ملاحظاته (السياق) ويطبق النمط فوراً. هو لا يحتاج لإعادة تعلم الرياضيات؛ يحتاج فقط لرؤية الأمثلة المحددة المتعلقة باللحظة الراهنة.

تسمي الورقة البحثية هذا "التعلم داخل السياق" (In-Context Learning). يتعلم الروبوت من خلال النظر في السياق (التاريخ الأخير) بدلاً من تغيير أوزانه الداخلية (إعادة التدريب).

3. مراقبة جودة "ورقة الغش"

تشير الورقة إلى تفصيل بالغ الأهمية: لا يزال الروبوت يستخدم طريقة DQN القديمة لإنشاء "العلامات" (الإجابات) لورقة الغش أثناء العملية.

الخطر: إذا انتقلت إلى الطريقة الجديدة مبكراً جداً (قبل أن يقوم الروبوت بما يكفي من الإحماء)، فستكون "ورقة الغش" مليئة بالملاحظات السيئة. وسوف يقرأ المدرس الفائق الذكاء ملاحظات سيئة ويعطي نصيحة سيئة.
الحل: تثبت الورقة وجود "عتبة" (Threshold). يجب عليك القيام بما يكفي من الإحماء لتكون الملاحظات جيدة. وبمجرد تجاوز ذلك الخط، تتولى الطريقة الجديدة القيادة وتتعلم بشكل أسرع بكثير من الطريقة القديمة.

4. لماذا هو أفضل (النتائج)

اختبر المؤلفون هذه الطريقة على عدة ألعاب عالم الشبكة (مثل Taxi و CliffWalking و FrozenLake).

السرعة: وصل TabQL إلى "الدرجة المثالية" بشكل أسرع بكثير من نظام DQN القياسي. لقد احتاج إلى خطوات أقل بكثير لتعلم المتاهة.
الاستقرار: نظرًا لاعتماده على النظر في الأنماط في البيانات الأخيرة بدلاً من التحديثات الرياضية المزعجة، كان أقل عرضة للارتباك أو "النسيان".
التعميم: عندما تغيرت الظروف الأولية للمتاهة، تكيف TabQL بشكل أفضل من الطرق القديمة، غالباً لأن "المدرس" يمكنه التعرف على الأنماط عبر سيناريوهات مختلفة بسهولة أكبر.

الملخص

TabQL هو طريقة جديدة لتعليم الروبوتات كيفية اتخاذ القرارات. بدلاً من إجبار الروبوت على إعادة تعلم دماغه بشكل مؤلم في كل مرة يتخذ فيها خطوة، يعطي TabQL الروبوت "مدرساً خصوصياً" مدرباً مسبقاً. يعرض الروبوت للمدرس بعض الأمثلة الأخيرة لما حدث، ويتنبأ المدرس فوراً بأفضل حركة تالية.

يعمل هذا النظام بشكل أفضل إذا تركت الروبوت يقوم ببعض "تمارين الإحماء" أولاً لضمان جودة الأمثلة. بمجرد الانتهاء من ذلك، يتعلم الروبوت المتاهة بشكل أسرع وأكثر كفاءة من ذي قبل.

ملخص تقني: TabQL – التعلم بـ Q في السياق باستخدام النماذج التأسيسية الجدولية

بيان المشكلة

نجح التعلم العميق لـ Q (DQN) في توسيع نطاق التعلم المعزز (RL) ليشمل مساحات الحالة عالية الأبعاد عبر تقريب دالة قيمة الفعل باستخدام الشبكات العصبية العميقة. ومع ذلك، يعتمد DQN على كميات هائلة من التفاعل عبر الإنترنت، وهو حساس لتغيرات التوزيع، وغالبًا ما يتعميم بشكل سيئ خارج نظام التدريب الخاص به. تنبع هذه القيود من اعتماده على التدرج الاشتقاقي العشوائي (SGD) البطيء والمكثف للتفاعل لإجراء تحديثات "بيلمان" (Bellman updates) المتكررة.

وعلى العكس من ذلك، أظهرت التطورات الأخيرة في النماذج التأسيسية (Foundation Models) قدرة "التعلم في السياق" (In-Context Learning - ICL)، حيث يمكن لنماذج التسلسل الكبيرة التكيف مع مهام جديدة من خلال التكييف مع عدد قليل من الأمثلة دون الحاجة إلى تحديث صريح للمعلمات. وبينما توجد طرق تعلم معزز قائمة على التسلسل (مثل Decision Transformers)، إلا أنها تركز أساسًا على الإعدادات غير المتصلة (Offline) أو التقليد (Imitation)، ولا توفر نماذج صريحة لأمثلية بيلمان أو ضمانات للتقارب في تعلم Q عبر الإنترنت.

السؤال المركزي الذي تعالجه هذه الدراسة هو: هل يمكن إجراء تعلم قيمة الفعل (Action-value learning) من خلال الاستدلال في السياق بدلاً من تحديثات بيلمان المتكررة القائمة على التدرج؟ يجادل المؤلفون بأن تعلم Q يمكن إعادة صياغته كمسألة تنبؤ مشروط على الخبرة، حيث يكون تقدير قيمة Q لزوج جديد من (الحالة-الفعل) عبارة عن تنبؤ مشروط بسجل من الأزواج السابقة.

المنهجية: التعلم الجدولي لـ Q (TabQL)

إن TabQL هو إطار عمل للتعلم المعزز يستبدل شبكة Q البارامترية في DQN بنموذج تأسيسي جدولي (Tabular Foundation Model - TFM) قادر على إجراء استدلال بيلمان في السياق. يعمل إطار العمل من خلال بنية هجينة تجمع بين مرحلة الإحماء ومرحلة الاستدلال عبر الإنترنت.

1. المكونات الأساسية

النموذج التأسيسي الجدولي (TFM): نموذج تسلسلي مدرب مسبقًا ومجمد (مثل TabPFN أو TabDPT) يقوم برسم خريطة من سياق الانتقالات المجدولة وزوج (الحالة-الفعل) المستعلم عنه $(s, a)$ إلى تنبؤ بقيمة Q كعدد قياسي. لا يتم ضبط التعديل الدقيق (Fine-tuning) للـ TFM؛ بل يحدث التكيف بالكامل من خلال نافذة السياق.
تمثيل الخبرة: يتم تعزيز الانتقالات إلى أزواج $x_i = (s_i, a_i, r_i, s'_i, \hat{Q}^{DQN}(s_i, a_i))$ . الإحداثي الأخير، $\hat{Q}^{DQN}$ ، يعمل كـ "علامة ناعمة" (Soft Label) مستمدة من DQN، وتعمل كهدف لتراجع (Regression) الـ TFM.
تفكيك الذاكرة:
- DQN الإحماء (Warm-up DQN): يشفر المعلومات العالمية للقيمة ويوفر تقديرًا أوليًا خشنًا. وهو يوفر قيم Q تقريبية للانتقالات غير الموجودة في السياق المباشر.
- السياق المتداول ( $C_t$ ): يشفر معلومات القيمة المحلية والحديثة. يستخدم الـ TFM هذا السياق لإجراء استدلال دقيق في السياق.

2. إطار العمل الخوارزمي

تتقدم الخوارزمية عبر مرحلتين متمايزتين:

المرحلة 1: الإحماء (الأسطر 2-4): يتم تدريب DQN قياسي لمدة $T_0$ من الخطوات. تقوم هذه المرحلة بملء ذاكرة التخزين المؤقت بانتقالات غنية بالمعلومات وتضمن تقارب DQN بما يكفي لتوفير "علامات ناعمة" ( $\hat{Q}^{DGN}$ ) عالية الجودة. يتم إلحاق هذه العلامات بذاكرة التخزين المؤقت جنبًا إلى جنب مع بيانات الانتقال القياسية.
المرحلة 2: استدلال بيلمان في السياق (الأسطر 10-17):
- بناء السياق: يتم أخذ عينة من نافذة سياق $C_t$ بحجم $K$ من أحدث الانتقالات في ذاكرة التخزين المؤقت.
- استدلال قيمة Q: يتنبأ الـ TFM بقيم Q للحالة الحالية $s_t$ وجميع الأفعال الممكنة $a$ من خلال التكييف مع $C_t$ : $\hat{Q}^{TFM}_t(s_t, a) = f_\phi(C_t, s_t, a)$ .
- اختيار الفعل: يتم اختيار الأفعال عبر سياسة $\epsilon$ -greedy بناءً على تنبؤات TFM.
- توليد العلامات والتحديث: من المهم ملاحظة أنه بينما يختار TFM الأفعال، يتم استخدام DQN (الذي لا يزال يعمل بالتوازي) للتنبؤ بقيم Q للانتقالات المنفذة. تعمل قيم Q المتوقعة من DQN هذه كعلامات للانتقالات الجديدة، والتي تُضاف بعد ذلك إلى الذاكرة. هذا يحافظ على جودة السياق لعمليات الاستدلال المستقبلية.
- تحديث DQN: يتم تحديث معلمات DQN عبر خسارة TD القياسية على دفعات صغيرة (Mini-batches) من الذاكرة، مما يضمن بقاء علامات "المعلم" دقيقة.

3. الآلية النظرية

يعامل TabQL تعلم Q كمسألة استدلال مشروطة. يقرب الـ TFM النقطة الثابتة لمؤثر بيلمان التجريبي المستحث بواسطة السياق $C_t$ .

الاستهلاك المسبق (Amortization): بدلاً من التحديثات التدرجية التكرارية، يتم "استهلاك" تحديثات بيلمان في تمريرة أمامية واحدة للـ TFM.
هيكل الخطأ: يتم تفكيك الخطأ الإجمالي إلى:
1. تقلص بيلمان (Bellman Contraction): اضمحلال هندسي قياسي للخطأ.
2. الخطأ الإحصائي: الناجم عن حجم السياق المحدود وضجيج العلامات.
3. خطأ ICL: خطأ التقريب للـ TFM في التنبؤ بالنقطة الثابتة.
  على عكس DQN، حيث تتراكم أخطاء كل خطوة عبر ضجيج SGD، فإن أخطاء TabQL لكل خطوة تكون محدودة بثوابت ثابتة (بافتراض كفاية سعة TFM وجودة السياق).

المساهمات الرئيسية

الإطار المفاهيمي: تعيد الورقة صياغة تعلم Q كمسألة استدلال في السياق باستخدام النماذج التأسيسية الجدولية، مما يجسد الفجوة بين الطرق الجدولية الكلاسيكية، والتعلم المعزز العميق، والنماذج التأسيسية.
الخوارزمية العملية: تقديم TabQL، الذي يجمع بين مرحلة إحماء DQN مع تقدير Q السياقي عبر الإنترنت. الابتكار الرئيسي هو استخدام DQN لتوليد إشارات الإشراف (العلامات) للـ TFM أثناء التعلم عبر الإنترنت، مما يضمن جودة السياق دون الحاجة لإعادة تدريب TFM.
التحليل النظري: يقدم المؤلفون ضمانات صارمة للتقارب والتعقيد العيني. يوضحون أن TabQL يحقق تحكماً قريبًا من الأمثل عندما يكون خطأ تقريب ICL وخطأ العلامات صغيرين. يظهر التحليل أن TabQL يتجنب تراكم التباين المتأصل في تحديثات SGD، مما يؤدي إلى تحسين كفاءة العينات تحت ظروف معينة (مثل عندما يتركز الاستكشاف على مجموعات فرعية ذات صلة من الحالة-الفعل).
التحقق التجريبي: أظهرت التجارب المكثفة على بيئات Gymnasium (Taxi-v3, CliffWalking-v1, FrozenLake-v1, CartPole-v1) أن TabQL يصل إلى أداء قريب من الأمثل بعدد أقل بكثير من تفاعلات البيئة مقارنة بـ DQN وDouble DQN وDueling DQN.

النتائج التجريبية

كفاءة العينات: في البيئات المنفصلة (Taxi, CliffWalking, FrozenLake)، تصل متغيرات TabQL (باستخدام نماذج فقرات TabPFN وTabDPT) إلى عوائد قريبة من المثالية بشكل أسرع بكثير من خطوط الأساس للتعلم المعزز العميق، وغالبًا ما تتطلب طلبات تفاعل أقل بمراحل.
حساسية نقطة التبديل: تكشف التجارب عن سلوك عتبة لطول فترة الإحماء $T_0$ . إذا حدث الانتقال إلى التعلم في السياق مبكرًا جدًا (قبل أن يوفر DQN علامات دقيقة)، فإن TabQL يستقر عند سياسة فرعية ولا يمكنه التعافي. بمجرد تجاوز $T_0$ لعتبة معينة، يستقر الأداء عند المستوى الأمثل.
حجم السياق: يؤدي زيادة حجم السياق $K$ إلى تسريع التدريب واستقرار منحنيات التعلم حتى نقطة التشبع، التي تليها عوائد متناقصة.
التعميم: يظهر TabQL قدرة فائقة على التعميم عبر الظروف الأولية غير المرئية مقارنة بـ DQN، الذي غالبًا ما يفشل في النقل. يسمح تجميع الخبرة عبر بذور متعددة للـ TFM بتعلم أنماط استدلال قيمة قابلة للنقل بدلاً من حفظ إحصائيات المسارات المحددة.
المساحات المستمرة: تم اختبار إطار العمل أيضًا على CartPole-v1 (ملاحظة مستمرة)، حيث تفوق TabQL مع TabPFN على خطوط أساس DQN، مما يشير إلى إمكانية التطبيق لما وراء مساحات الحالة الصرفة.

الأهمية والادعاءات

تدعي الورقة أن TabQL يمثل نموذج تعلم جديد حيث يحدث التكيف أساسًا من خلال بناء السياق بدلاً من تعديل المعلمات. من خلال فصل التعلم عن التحسين عبر الإنترنت، يوفر TabQL:

تحسين كفاءة العينات: تقليل الحاجة إلى تفاعل هائل عبر الإنترنت، وهو أمر بالغ الأهمية للمجالات الواقعية مثل الروبوتات والرعاية الصحية حيث يكون جمع البيانات مكلفًا.
الاستقرار النظري: تجنب التباين المتراكم للتحديثات التدرجية العشوائية، مما يوفر بنية نظرية أكثر قوة للتقارب.
الاستكمال (Interpolation): ينجح إطار العمل في الاستكمال بين تعلم Q الجدولي البسيط، والتعلم القائم على Q العميق، والتعلم المعزز في السياق.

يقر المؤلفون بالقيود، مشيرين إلى أن نقطة التبديل تظل معلمة قابلة للضبط (Hyperparameter)، وأن النهج الحالي مناسب بشكل أفضل لمساحات الحالة-الفعل منخفضة الأبعاد. يتطلب توسيع الطريقة للمدخلات عالية الأبعاد (مثل الصور) نماذج أكثر تعبيرًا، وهو ما تم تحديده كاتجاه مستقبلي. يضع هذا العمل TabQL ليس كبديل لجميع طرق RL، بل كنهج متخصص وفعال للإعدادات المحدودة بالتفاعل حيث تُعطى الأولوية لتقليل تفاعل البيئة على تقليل تكلفة الاستدلال.