🤖 machine learning

Large Language Models for Sequential Decision-Making: Improving In-Context Learning via Supervised Fine-Tuning

تُثبت هذه الورقة أن الضبط الدقيق الخاضع للإشراف للنماذج اللغوية الكبيرة مسبقة التدريب على مسارات مُصنفة من قِبل "أوراكل" (oracle) بشكل غير متصل، يعزز بشكل كبير قدرات التعلم في السياق لاتخاذ القرارات المتسلسلة عبر عمليات ماركوف لاتخاذ القرار (MDPs)، وعمليات ماركوف لاتخاذ القرار ذات الملاحظة الجزئية (POMDPs)، وعمليات ماركوف لاتخاذ القرار ذات الملاحظة الجزئية والآلية (APOMDPs)، محققةً فجوات مثالية أقل بكثير من الطرق المرجعية، لا سيما في البيئات المعقدة، وطويلة الأفق، وذات الملاحظة الجزئية.

المؤلفون الأصليون: Minmin Zhang, Sina Aghaei, Soroush Saghafian

نُشر 2026-05-12

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Minmin Zhang, Sina Aghaei, Soroush Saghafian

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك أمين مكتبة عبقرياً ومطلعاً (هذا هو النموذج اللغوي الكبير أو LLM). لقد قرأ هذا الأمين كل كتاب تقريباً في العالم وهو ذكي للغاية، ومع ذلك، لم يسبق له أبداً أن لعب لعبة فيديو أو أدار استراتيجية معقدة. هو يعرف النظرية، لكنه لم يمارس الحركات المحددة اللازمة للفوز.

هذه الورقة البحثية تسأل: كيف نعلم أمين المكتبة هذا اتخاذ سلسلة من القرارات الذكية في لعبة جديدة وصعبة، باستخدام أمثلة قليلة فقط؟

إليك تفصيل نهج الورقة ونتائجها، باستخدام تشبيهات بسيطة:

1. التحدي: "التعلم من محاولة واحدة" مقابل "المدرب"

عادةً، إذا أردت من أمين المكتبة أن يلعب لعبة ما، فقد تكتفي بعرض بعض الأمثلة له لشخص آخر يلعب (وهذا ما يسمى التعلم داخل السياق - In-Context Learning).

المشكلة: إذا كانت اللعبة بسيطة، فسيؤدي أمين المكتبة بشكل جيد. ولكن إذا كانت اللعبة طويلة، أو مربكة، أو تحتوي على قواعد خفية (مثل ساحة معركة ضبابية حيث لا يمكنك رؤية العدو)، فسيضيع أمين المكتبة. قد يخمن الحركة الخاطئة لأنه يقوم فقط بـ "قراءة" الأمثلة في اللحظة الراهنة دون فهم الاستراتيجية الأساسية حقاً.

2. الحل: "معسكر التدريب المكثف" (الضبط الدقيق الخاضع للإشراف)

بدلاً من مجرد عرض بعض الأمثلة على أمين المكتبة قبل بدء اللعبة مباشرة، وضع المؤلفون أمين المكتبة في معسكر تدريبي.

الطريقة: قاموا بأخذ مكتبة ضخمة من فيديوهات "اللعب المثالي" (المسارات) حيث يكون خبير ("أوراكل" أو "عراف") قد فاز بالفعل في اللعبة. قاموا بتغذية هذه الفيديوهات لأمين المكتبة وقالوا له: "تعلم النمط الذي يفكر به الخبير ويتصرف بناءً عليه".
اللمسة المبتكرة: هم لم يعيدوا تدريب أمين المكتبة من الصفر (لأن ذلك يشبه تعليم طفل رضيع القراءة). بدلاً من ذلك، استخدموا تقنية تسمى QLoRA (وهي "مهايئ ذكي"). تخيل هذا الأمر كأنك تعطي أمين المكتبة نظارات خاصة أو كتيب قواعد محدداً يعدل معرفته الحالية بما يكفي لإتقان هذا النوع الجديد من الألعاب، دون إعادة كتابة دماغه بالكامل.

3. الأنواع الثلاثة من الألعاب التي تم اختبارها

اختبر الباحثون طريقة التدريب هذه على ثلاثة أنواع من سيناريوهات اتخاذ القرار، تتدرج في الصعوبة:

MDP (الغرفة الواضحة): تخيل لعبة حيث يمكنك رؤية كل شيء بوضوح تام. أنت تعرف بالضبط أين أنت وماذا سيحدث إذا تحركت يساراً أو يميناً.
- النتيجة: كان أمين المكتبة "المدرب" أفضل بكثير من أمين المكتبة "غير المدرب"، خاصة في الألعاب الطويلة.
POMDP (الغرفة الضبابية): تخيل نفس اللعبة، ولكن الآن هناك ضباب كثيف. لا يمكنك رؤية اللوحة بأكملها؛ أنت ترى فقط مساحة صغيرة حولك. عليك أن تخمن مكان العدو بناءً على أدلة محدودة.
- النتيجة: ساعد التدريب أمين المكتبة على التعامل مع الضباب بشكل أفضل بكثير. أمين المكتبة غير المدرب ارتبك بسهولة، أما المدرب فقد تعلم أن يثق في "شعوره الداخلي" (النمط الذي تعلمه أثناء التدريب).
APOMDP (الغرفة الضبابية مع لاعب مخادع): هذا هو المستوى الأصعب. ليس فقط هناك ضباب، بل إن قواعد اللعبة قد تختلف قليلاً اعتماداً على من يدير المحاكاة. إنه يشبه لعب لعبة قد تتغير فيها قوانين الفيزياء قليلاً في كل مرة تلعب فيها.
- النتيجة: لا يزال أمين المكتبة المدرب يتفوق على الجميع. لقد تعلم أن يكون قوياً بما يكفي للتعامل مع عدم اليقين والقواعد "المخادعة".

4. "لماذا" (النظرية)

لم يكتفِ المؤلفون بالقول "إنها تعمل فحسب"؛ بل حاولوا شرح لماذا باستخدام الرياضيات.

التشبيه: قارنوا آلية الانتباه لدى أمين المكتبة (كيف يركز على أجزاء من النص) بـ الآلة الحاسبة.
عندما يتم "تدريب" أمين المكتبة (الضبط الدقيق)، فإنه يتعلم استخدام طبقة الانتباه لديه لحساب "أفضل حركة" (دالة Q) سراً بناءً على الأمثلة القليلة التي تعرضها له أثناء اللعبة.
أثبتوا رياضياً أن أخطاء أمين المكتبة تأتي من مصدرين:
1. الارتباك من الأمثلة القليلة: إذا عرضت عليه مثالاً سيئاً واحداً فقط، فسيصاب بالارتباك.
2. التحيز من التدريب: إذا لم يكن "معسكر التدريب" طويلاً بما يكفي، فقد يكون قد تعلم طريقاً مختصراً ليس مثالياً.
- توضح الورقة أنه من خلال التدريب على فيديوهات "اللعب المثالي" الكافية، يمكنك تقليل هذه الأخطاء.

5. النتائج

أفضل من العشوائية: لم يقم أمين المكتبة المدرب بالتخمين فحسب؛ بل لعب باستراتيجية.
أفضل من "مجرد القراءة": تفوق أمين المكتبة المدرب على أمين المكتبة الذي عُرضت عليه الأمثلة مباشرة قبل اللعبة (التعلم داخل السياق).
الفوز الكبير: ساعد التدريب بشكل أكبر في الحالات الأكثر صعوبة: الألعاب الطويلة، والبيئات الضبابية، والألعاب ذات القواعد المتغيرة والمخادعة. في بعض الألعاب الطويلة، خفض أمين المكتبة المدرب "معدل الخطأ" إلى النصف مقارنة بالنسخة غير المدربة.

الملخص

تثبت الورقة أنه إذا أخذت ذكاءً اصطناعياً مدرباً مسبقاً وأعطيته "معسكراً تدريبياً" محدداً باستخدام بيانات "أوفلاين" (فيديوهات للعب المثالي)، فإنه يصبح سيداً في اتخاذ القرارات المتتالية. إنه يتعلم التعامل مع التخطيط طويل الأمد، والمعلومات المخفية، والقواعد غير المؤكدة بشكل أفضل بكثير مما لو طلبت منه فقط أن "يكتشف الأمر" في اللحظة ذاتها.

ملاحظة حول النطاق: اختبر المؤلفون هذا تحديداً على ألعاب اصطناعية (بيئات محاكاة مثل إدارة الطاقة أو عوالم الشبكة/Grid Worlds). وبينما ذكروا أن هذا يمكن أن يكون مفيداً في المجالات الواقعية مثل الرعاية الصحية (حيث تتوفر البيانات بكثرة ولكن التجارب مكلفة)، إلا أن الورقة نفسها تقدم النتائج من هذه الألعاب المحاكاتية فقط. لم يختبروا هذا على مرضى حقيقيين أو بيانات مستشفيات واقعية في هذه الدراسة.

ملخص تقني: النماذج اللغوية الكبيرة لاتخاذ القرار المتسلسل عبر الضبط الدقيق الخاضع للإشراف

بيان المشكلة

يعد اتخاذ القرار المتسلسل تحت ظروف عدم اليقين أمراً بالغ الأهمية في المجالات عالية المخاطر مثل تخطيط العلاج السريري وإدارة الموارد. وبينما توفر نظم العلاج الديناميكي (DTRs) إطاراً للتعلم من البيانات الرصدية، إلا أنها غالباً ما تعتمد على افتراض قوي وهو "التجاهل المتسلسل" (أن جميع العوامل المربكة قابلة للملاحظة). وفي الواقع، تستلزم العوامل المربكة غير المرئية وجود "نظم علاج ديناميكي غامضة" (ADTRs)، والتي تقيم السياسات مقابل مجموعة من النماذج المحتملة (غموض النموذج) بدلاً من نموذج واحد. وهذا يتوافق مع عمليات ماركوف لاتخاذ القرار جزئية الملاحظة الغامضة (APOMDPs).

على الرغم من أن النماذج اللغوية الكبيرة (LLMs) قد أظهرت قدرات مذهلة في التعلم داخل السياق (ICL)، إلا أن تطبيقها على اتخاذ القرار المتسلسل ظل محدوداً. عادةً ما تركز الأعمال السابقة على تدريب المحولات (Transformers) من الصفر، وتركز على عمليات ماركوف لاتخاذ القرار (MDPs) كاملة الملاحظة، وتتجاهل تحديات الملاحظة الجزئية وغموض النموذج الموجودة في البيئات الواقعية. تعالج هذه الورقة الفجوة في الاستفادة من النماذج اللغوية الكبيرة سابقة التدريب لاتخاذ القرار المتسلسل في بيئات MDP وPOMDP وAPOMDP باستخدام بيانات غير متصلة (offline) موسومة من قبل خبير (oracle).

المنهجية

يقترح المؤلفون إطار عمل يعمل على تكييف الضبط الدقيق الخاضع للإشراف (SFT) لتمكين النماذج اللغوية الكبيرة سابقة التدريب من أداء اتخاذ القرار المتسلسل بأسلوب "اللقطات القليلة" (few-shot).

1. نظرة عامة على إطار العمل

بدلاً من تدريب محول من الصفر، يقوم المؤلفون بإجراء ضبط دقيق لنموذج لغوي كبير مفتوح المصدر (تحديداً Llama-2-7B) باستخدام تقنية QLoRA (المهايئات منخفضة الرتبة المكممة) الفعالة في ضبط المعلمات. يتم تدريب النموذج على مسارات غير متصلة (offline trajectories) تم إنشاؤها بواسطة خبير إجراءات مثالي (أو قريب من المثالي).

التدريب: يتعلم النموذج التنبؤ بالرمز التالي للفعل (action token) بناءً على تاريخ من الملاحظات، الأفعال، والمكافآت، والتي يتم تسلسلها في تنسيق نصي. دالة الخسارة هي خسارة التنبؤ بالرمز التالي القياسية عبر هذه المسارات المتسلسلة.
الاستدلال: في وقت الاختبار، يتم تزويد النموذج بسياق من اللقطات القليلة (مسارات توضيحية لمهمة جديدة) والتاريخ الحالي. يقوم النموذج بتوليد الأفعال للمهمة الجديدة دون الحاجة إلى تحديثات إضافية للمعلمات، مما يجعله يعمل كسياسة مشروطة بالأمثلة الموجودة في السياق.

2. التحليل النظري

تقدم الورقة تحليلاً نظرياً يركز على عمليات ماركوف الخطية (linear MDPs) لفهم سبب تحسين عملية الضبط الدقيق الخاضع للإشراف (SFT) للأداء.

التفسير: يفسر المؤلفون طبقة الانتباه الذاتي الخطي (LSA) المدربة على أنها تقوم بتقدير معلمات دالة Q المثالية ضمنياً من البيانات الموجودة في السياق.
حد دون المثالية (Suboptimality Bound): يشتق المؤلفون حداً نهائياً لعدم المثالية للسياسة المستحثة. يفكك هذا الحد الخطأ إلى مكونين متميزين:
1. خطأ التقدير داخل السياق: ينخفض مع زيادة عدد مسارات الدعم في اللقطات القليلة ( $K_{test}$ ).
2. تحيز طول التدريب: ينخفض مع زيادة عدد مسارات التدريب ( $K$ ).
الرؤية الجوهرية: يشير التحليل إلى أنه بينما يساعد زيادة مسارات الدعم في تقدير المهمة المحددة، فإن زيادة حجم بيانات التدريب يقلل من التحيز الناتج عن الطول المحدود لتسلسل التدريب، وهو أمر بالغ الأهمية للمهام ذات الأفق الطويل.

المساهمات الرئيسية

إطار SFT لاتخاذ القرار المتسلسل: قدم المؤلفون طريقة لضبط النماذج اللغوية الكبيرة دقيقاً على المسارات غير المتصلة، مما يمكنها من التعميم على مهام جديدة عبر لقطات توضيحية دون تحديثات إضافية للمعلمات.
استخدام بيانات الخبير غير المتصلة (Offline Oracle Data): يستفيد إطار العمل من مجموعات البيانات غير المتصلة مقترنة بخبير إجراءات مثالي لتخليق مسارات تدريب عالية الجودة. وهذا أمر ذو أهمية خاصة في مجالات مثل الرعاية الصحية حيث تكون التجربة مكلفة أو غير أخلاقية، ويمكن بناء الإشراف المستمد من الخبراء من البيانات المسجلة.
تفكيك الخطأ نظرياً: توفر الورقة حداً نظرياً يفصل بين خطأ التقدير داخل السياق وتحيز طول التدريب، مما يقدم تفسيراً رسمياً لمكاسب الأداء الملحوظة مع SFT.
التقييم التجريبي عبر البيئات المعقدة: توسع الدراسة التقييم لما هو أبعد من MDP القياسية لتشمل POMDPs (الملاحظة الجزئية) وAPOMDPs (غموض النموذج)، مما يثبت المتانة في هذه البيئات الأكثر واقعية وتحدياً.

النتائج التجريبية

يقيم المؤلفون نهجهم عبر مهام اصطناعية في إعدادات MDP وPOMDP وAPOMDP، مقارنين النموذج اللغوي الكبير المضبط (SFT-LLM) مع النماذج العشوائية، ونماذج التعلم داخل السياق (ICL) فقط، ونموذج المحول لاتخاذ القرار (DPT).

مكاسب الأداء: تحقق النماذج اللغوية الكبيرة المضبطة (SFT) فجوات مثالية أصغر بكثير مقارنة بكل من السياسات العشوائية ونماذج ICL فقط.
- في MDPs، يقلل SFT فجوة المثالية بنحو النصف في الإعدادات ذات الأفق الطويل (على سبيل المثال، تقليل الفجوة من ~43% إلى ~15% عند الأفق $T=15$ ).
- في POMDPs وAPOMDPs، تكون المكاسب أكثر وضوحاً، حيث تحافظ نماذج SFT-LLM على فجوات مثالية منخفضة حتى في ظل الملاحظة الجزئية ( $q=0.8$ ) وغموض النموذج.
المقارنة مع DPT: يتفوق نهج SFT باستمرار على DPT في جميع الإعدادات. والجدير بالذكر أنه تحت معيار التشاؤم في APOMDPs ( $\alpha=1.0$ )، تتسع الفجوة في الأداء بين DPT وSFT-LLM مع زيادة حجم مجموعة الغموض، بينما يظل SFT-LLM مستقراً.
المتانة: يظهر النموذج متانة تجاه ظروف الاختبار خارج نطاق التوزيع (OOD)، حيث يحافظ على فجوات مثالية منخفضة عند اختباره على معاملات خارج توزيع التدريب (مثل احتمالات الانتقال المختلفة أو مستويات ضجيج الملاحظة).
مهمة الغرفة المظلمة (Darkroom Task): في مهمة الغرفة المظلمة الصعبة (المكافآت المتناثرة، الأهداف المخفية)، يحقق SFT-LLM حوالي 95% من أداء الخبير، متفوقاً بشكل كبير على السياسات العشوائية.

الأهمية والادعاءات

تدعي الورقة أن الضبط الدقيق الخاضع للإشراف يوفر مساراً فعالاً لإكساب النماذج اللغوية الكبيرة سابقة التدريب قدرات اتخاذ القرار المتسلسل المستمدة من البيانات غير المتصلة. وتكمن أهمية ذلك في:

استغلال القدرة التمثيلية الواسعة التي اكتسبتها النماذج أثناء مرحلة ما قبل التدريب، مما قد يحسن التعميم عبر المهام المتنوعة.
تقديم حل عملي لمجالات مثل الرعاية الصحية حيث تتوفر البيانات غير المتصلة بكثرة ولكن التجريب عبر الإنترنت محدود.
إثبات قدرة النماذج اللغوية الكبيرة على التعامل مع سيناريوهات اتخاذ القرار المعقدة التي تتضمن الملاحظة الجزئية وغموض النموذج، وهي أمور غالباً ما يتم تجاهلها في أدبيات التعلم داخل السياق الحالية.
يوفر التفكيك النظري للخطأ فهماً مبدئياً لكيفية تفاعل حجم بيانات التدريب مع الأمثلة الموجودة في السياق لتحديد جودة السياسة.

يقر المؤلفون بوجود قيود، بما في ذلك التكلفة الحسابية للضبط الدقيق، والاعتماد على خبير مثالي (والذي قد يصعب حسابه للمشكلات المعقدة)، والتركيز على عمليات ماركوف الخطية للتحليل النظري. ويقترحون أن العمل المستقبلي يجب أن يركز على تطبيق هذا الإطار على مجموعات البيانات السريرية في العالم الحقيقي، وتقليل الاعتماد على إشراف الخبير، واستكشاف الإعدادات متعددة الوسائط.