💬 NLP

DORA Explorer: Improving the Exploration Ability of LLMs Without Training

يُعد DORA Explorer إطار عمل لا يتطلب تدريباً يعزز قدرات الاستكشاف لدى وكلاء النماذج اللغوية الكبيرة في مهام اتخاذ القرار المتسلسل من خلال توليد مرشحين متنوعين للأفعال واختيارهم عبر معلمة قابلة للضبط، مما يتغلب على قيود استراتيجيات فك التشفير وطرق التلقين الحالية دون الحاجة إلى تدريب إضافي للنموذج.

المؤلفون الأصليون: Priya Gurjar, Md Farhan Ishmam, Kenneth Marino

نُشر 2026-04-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Priya Gurjar, Md Farhan Ishmam, Kenneth Marino

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتعليم روبوت ذكي جداً، ولكنه عنيد قليلاً، كيف يلعب لعبة مغامرات نصية. الروبوت قد قرأ كل الكتب في المكتبة ويعرف قواعد العالم تماماً. ومع ذلك، عندما يعلق في غرفة بها باب مغلق، يستمر في محاولة "ركل الباب" مراراً وتكراراً، رغم أنه يعلم أن ذلك لم يفلح في المرة الأولى. إنه يقع في حلقة مفرغة، ويكرر نفس أخطائه لأنه واثق جداً في "تخمينه الأفضل".

هذه هي المشكلة التي تحاول ورقة DORA Explorer حلها.

إليك قصة DORA، مشروحة ببساطة:

المشكلة: "غرفة الصدى" الخاصة بالروبوت

النماذج اللغوية الكبيرة (LLMs) تشبه الطلاب العباقرة الذين يريدون دائماً تقديم الإجابة "الصحيحة". في اللعبة، يعني هذا أن الروبوت يختار دائماً الإجراء الذي يعتقد أنه الأكثر احتمالاً للنجاح.

المشكلة: إذا كانت الإجابة "الصحيحة" هي في الواقع فخ، فسيستمر الروبوت في الوقوع فيه.
الحل القديم: حاول المطورون جعل الروبوت أكثر "عشوائية" عن طريق رفع "مقبض الإبداع" (الذي يسمى temperature).
لماذا فشل ذلك؟ رفع المقبض لم يجعل الروبوت يفكر خارج الصندوق؛ بل جعله يبدأ في قول كلام غير مفهوم أو اختلاق هراء. كان الأمر يشبه إخبار طاهٍ بأن "يكون جامحاً"، وبدلاً من ابتكار طبق جديد، بدأ يرمي المكونات العشوائية على الأرض.

الحل: DORA Explorer

ابتكر المؤلفون DORA (ترتيب الأفعال الموجه بالتنوع - Diversity-Oriented Ranking of Actions). فكر في DORA ليس كمولد عشوائي، بل كـ مرشد سياحي استراتيجي للروبوت.

إليك كيف يعمل DORA، خطوة بخطوة:

1. اجتماع "ماذا لو؟" (توليد المرشحين)

بدلاً من سؤال الروبوت: "ما هو الشيء الواحد الأفضل للقيام به الآن؟"، يسأله DORA: "اذكر 5 أشياء مختلفة يمكنك القيام بها الآن."

تشبيه: تخيل أنك عند مفترق طرق. بدلاً من اختيار المسار الذي سلكته من قبل، يجبر DORA الروبوت على تخيل خمسة مسارات مختلفة: "اذهب يساراً"، "تسلق الشجرة"، "احفر حفرة"، "اصرخ لطلب المساعدة"، و"اجلس".
الروبوت جيد بشكل مفاجئ في هذا عندما يُطلب منه سرد الخيارات، حتى لو كان يختار عادةً خياراً واحداً فقط.

2. "بطاقة التقييم" (التسجيل/Scoring)

الآن، ينظر DORA إلى تلك الأفكار الخمس. هو لا يختار الفكرة الأولى فحسب، بل يعطي كل فكرة درجة بناءً على شيئين:

الثقة: هل يعتقد الروبوت أن هذا الإجراء منطقي؟
الاتساق: هل الروبوت متأكد من كل كلمة في هذا الإجراء؟
تشبيه: الأمر يشبه معلماً يصحح قائمة أفكار طالب. "الذهاب يساراً" يحصل على درجة عالية لأنه منطقي. "حفر حفرة" يحصل على درجة أقل لأن الروبوت ليس متأكداً من كيفية القيام بذلك. لكن، يحتفظ DORA بفكرة "الحفر" لأنها مختلفة عما يفعله الروبوت عادةً.

3. "مقبض الاستكشاف" (المفتاح السحري)

هذا هو السر الحقيقي. يمتلك DORA مقبضاً يسمى $\lambda$ (لامدا).

$\lambda$ منخفضة (وضع الاستكشاف): يُقال للروبوت: "لا تقلق بشأن أن تكون مثالياً. جرب الأفكار الغريبة! ربياً ستفتح عملية 'الحفر' نفقاً سرياً".
$\lambda$ مرتفعة (وضع الاستغلال): يُقال للروبوت: "لقد تعلمت ما يكفي. الآن، اختر المسار الأكثر أماناً ومنطقية للفوز".
تشبيه: فكر في هذا مثل إعدادات الصعوبة في لعبة فيديو. في بداية اللعبة، ترفع المقبض إلى "استكشاف" لتجد جميع الصناديق المخفية. لاحقاً في اللعبة، تحول إلى وضع "الإنهاء" لهزيمة الزعيم بكفاءة.

لماذا هذا أفضل من الطريقة القديمة؟

الطريقة القديمة كانت تشبه رمي النرد لتحديد ما يجب فعله. أحياناً تحصل على حركة جيدة، ولكن غالباً ما تحصل على حركة سيئة.

DORA يشبه المخطط الذكي.

يقوم بتوليد قائمة متنوعة من الخيارات (حتى لا تعلق في حلقة مفرغة).
يقوم بتصفية الهراء (حتى لا يتحدث بكلام غير مفهوم).
يقرر متى يكون مغامراً ومتى يكون آمناً.

النتائج

اختبر المؤلفون هذا على شيئين:

آلات القمار (Multi-Armed Bandits): تخيل 5 آلات قمار. أنت لا تعرف أي منها يدفع الجوائز. علّم DORA الروبوت تجربة الآلات الخمس بسرعة للعثور على الفائز، بدلاً من التمسك بأول آلة سحب منها. لقد كان أداؤه قريباً جداً من خوارزمية رياضية مثالية.
ألعاب المغامرات النصية (TALES): في ألعاب مثل "TextWorld"، عادة ما يعلق الروبوت في حلقات (مثلاً: "افتح الباب" -> "الباب مغلق" -> "افتح الباب" -> "الباب مغلق").
- بدون DORA: يعلق الروبوت في حلقة أكثر من 600 مرة ولا يفوز أبداً.
- مع DORA: يجرب الروبوت أشياء جديدة، ويكسر الحلقة، ويجد المفتاح المخفي، ويفوز. لقد رفع معدل نجاح أحد الروبوتات من 29% إلى 45% (وحتى أعلى في نماذج أخرى).

الخلاصة

DORA Explorer هو ترقية "لا تحتاج لإعادة تدريب" (training-free). أنت لا تحتاج لإعادة تعليم الروبوت أو تغذيته ببيانات جديدة. أنت فقط تقوم بتوصيل نظام "المرشد السياحي" الجديد هذا في عقل الروبوت. يساعده على التوقف عن تكرار أخطائه، واستكشاف الزوايا المجهولة من العالم، وإيجاد الكنز المخفي في الأماكن التي كان يخشى النظر إليها.

إنه يحول الروبوت من الذي يقول: "أنا أعرف الإجابة"، إلى الروبوت الذي يقول: "لنحاول شيئاً جديداً، تحسباً لأي شيء".

1. بيان المشكلة

تعاني النماذج اللغوية الكبيرة (LLMs) المستخدمة كوكلاء لاتخاذ القرارات المتسلسلة من قصور حرج: عدم كفاية الاستكشاف. فبينما تمتلك هذه النماذج قدرات استدلال قوية، إلا أن طبيعتها ذات التوليد الذاتي (auto-regressive) تميل إلى إنتاج تسلسلات عالية الاحتمالية ومتكررة، مما يتسبب في:

التقارب نحو حلول غير مثالية.
الوقوع في حلقات من الأفعال (تكرار نفس الأفعال).
الفشل في اكتشاف السلوكيات ذات المكافأة العالية في البيئات التي تتطلب جمع معلومات نشط (مثل ألعاب المغامرات النصية، أو المربعات متعددة الأذرع - multi-armed bandits).

الأساليب الحالية تعاني من قيود:

تدرج الحرارة (Temperature Scaling): يُدخل عشوائية على مستوى الرمز (token)، لكنه غالباً ما يفشل في توليد تسلسلات أو أفعال مبتكرة. درجات الحرارة العالية تضعف التماسك ودقة المهمة، بينما تؤدي الدرجات المنخفضة إلى سلوك جشع وغير استكشافي.
التلقين (CoT, ToT): يحسن الاستدلال ولكنه لا يتحكم صراحة في المقايضة بين الاستكشاف والاستغلال (exploration/exploitation) ولا يضمن تنوع توليد الأفعال.
الأساليب القائمة على التعلم: تتطلب تدريباً إضافياً أو مصنفات خاصة بالمهمة، مما يحد من قدرتها على التعميم.

2. المنهجية: مستكشف DORA

يقترح المؤلفون إطار عمل DORA (الترتيب الموجه للتنوع للأفعال - Diversity-Oriented Ranking of Actions)، وهو إطار عمل يعمل في وقت الاستدلال (inference-time) ولا يتطلب تدريباً، صُمم للتحكم صراحة في الاستكشاف دون تعديل النموذج اللغوي الأساسي.

سير العمل الأساسي

يعمل DORA في ثلاث مراحل في كل خطوة قرار $t$ :

توليد الأفعال المرشحة:
- يقرر الوكيل ما إذا كان سيتصرف بأسلوب جشع (Greedy) أو استكشافي (Explore) بناءً على سياسة قرار $\pi_d$ .
- في حالة الاستكشاف، يتم توجيه النموذج اللغوي لتوليد قائمة من $n_C$ من الأفعال المرشحة في آن واحد. هذا التلقين على "مستوى القائمة" يجبر النموذج على استكشاف مدى توزيعه بدلاً من الانهيار إلى تسلسل رموز واحد عالي الاحتمالية.
- يتم استبعاد الأفعال غير الصالحة أو التي سبق استخدامها.
تسجيل نقاط الأفعال (Action Scoring):
- يتم تقييم كل فعل مرشح $a$ $a$ (وهو تسلسل من الرموز) بناءً على مقياسين مشتقين من احتمالات الـ log-probability:
  - متوسط الـ log-probability ( $\tilde{\mu}$ ): يشير إلى الاحتمالية العالمية (الثقة).
  - تباين الـ log-probability ( $\tilde{\sigma}^2$ ): يشير إلى الاتساق الداخلي.
- الدرجة النهائية $s$ هي مزيج موزون: $s = \alpha \cdot \tilde{\mu}(a) - (1-\alpha) \cdot \tilde{\sigma}^2(a)$ .
- تفضل آلية التسجيل هذه التسلسلات التي تكون محتملة ومتسقة داخلياً في آن واحد، مما يستبعد المخرجات "العشوائية" غير المتماسكة.
أخذ العينات الاحتمالي عبر $\lambda$ :
- يتحكم معامل استكشاف قابل للضبط $\lambda$ في توزيع أخذ العينات.
- يتم حساب احتمال اختيار الفعل $a$ كالتالي: $P_\lambda(a) = \text{Softmax}(\lambda \cdot s_a)$ .
- $\lambda$ منخفض: يجعل التوزيع مسطحاً، مما يشجع على استكشاف الأفعال ذات الدرجات الأقل (المتنوعة).
- $\lambda$ مرتفع: يجعل التوزيع حاداً، مما يفضل الاختيار الجشع لأعلى فعل درجة.
- يمكن تحديد $\lambda$ عبر جدول زمني ثابت (مثل التناقص بمرور الوقت) أو عبر أخذ عينة ديناميكية بواسطة النموذج اللغوي بناءً على السياق.

ميزات التصميم الرئيسية

خالٍ من التدريب (Training-Free): لا يتطلب ضبطاً دقيقاً (fine-tuning) أو معاملات إضافية للنموذج.
نمطي (Modular): يمكن دمجه بسهولة في خطوط أنابيب النماذج اللغوية الكبيرة الحالية.
واعٍ بالحالة (State-Aware): يتتبع الأفعال المستخدمة سابقاً بشكل صريح لمنع الحلقات الفورية.

3. المساهمات الرئيسية

إطار عمل مبتكر: تقديم DORA، وهو أول إطار عمل خالٍ من التدريب يفصل صراحة بين توليد المرشحين والاختيار للتحكم في الاستكشاف على مستوى التسلسل بدلاً من مستوى الرمز.
آلية للتنوع: يثبت أن التلقين لإنتاج عدة مرشحين معاً، جنباً إلى جنب مع تسجيل نقاط الـ log-probability، يستعيد التنوع الكامن الذي تفتقده عمليات أخذ العينات القياسية.
التحكم الديناميكي: يقدم معامل $\lambda$ مرن يسمح للوكلاء بالانتقال بسلاسة بين الاستكشاف والاستغلال، وهو قابل للتكيف عبر الجدولة أو السياسة.
تقييم شامل: تم التحقق من صحته عبر مجالين متميزين:
- المربعات متعددة الأذرع (MAB): اختبار نظري لمقايضات الاستكشاف والاستغلال.
- مجموعة بيئات تعلم المغامرات النصية (TALES): مجموعة من البيئات النصية المعقدة (TextWorld, AlfWorld, ScienceWorld, إلخ) التي تتطلب تخطيطاً طويل الأمد.

4. النتائج التجريبية

المربعات متعددة الأذرع (MAB)

الأداء: حقق DORA أداءً منافساً لخوارزمية UCB، متفوقاً على النماذج اللغوية القياسية (Zero-shot, CoT, ToT) وحتى على خوارزميات البنديت التقليدية مثل Thompson Sampling في مقاييس محددة.
الندم والفشل (Regret & Failure): حقق DORA صفر فشل في اللاحقة (Suffix Failure Frequency) (لم يعلق أبداً في ذراع غير مثالية بعد نصف الأفق)، بينما فشلت النماذج المعتمدة على تدرج الحرارة بنسبة تصل إلى 95% من الوقت.
المقارنة: قلل DORA من الندم التراكمي بشكل كبير مقارنة بالاستراتيجيات الجشعة واستراتيجيات درجة الحرارة الثابتة.

مجموعة بيئات تعلم المغامرات النصية (TALES)

نجاح المهمة: حسن DORA معدلات النجاح باستمرار عبر جميع البيئات.
- مثال: في TextWorld باستخدام Qwen2.5-7B، قفز الأداء من 29.2% (Zero-shot) إلى 45.5% (DORA).
- في Mistral Small 22B، حقق DORA نسبة 74.28% في TextWorld، متفوقاً بشكل كبير على أفضل نموذج أساسي تالٍ (57.78%).
عمق الاستكشاف: زار وكلاء DORA ضعف عدد الحالات الفريدة (الملاحظات) التي زارها الوكلاء في الطرق الأساسية، مما يشير إلى اكتشاف متفوق للأشياء المخفية والإشارات ذات الصلة بالمهمة.
التعافي من الحلقات: قلل DORA بشكل كبير من عدد الحلقات التي تمت مواجهتها وحسن معدلات التعافي من الحلقات بمقدار 5 إلى 20 ضعفاً مقارنة بالنماذج الأساسية (مثلاً: 19.5% تعافي في TextWorld مقابل أقل من 4% للآخرين).
الكفاءة: رغم توليد عدة مرشحين، تحمل DORA تكلفة إضافية منخفضة في الرموز (حوالي ضعفي الرموز مقارنة بالتلقين البسيط، ولكن مع مكاسب هائلة في الأداء).

دراسات الاستئصال (Ablation Studies)

المنظم مقابل العشوائي: أدى استبدال DORA بأخذ عينات الحرارة البسيطة ( $\tau$ ) إلى تدهور الأداء، مما يثبت أن نجاح DORA يأتي من الاستكشاف المنظم، وليس مجرد العشوائية.
التسجيل (Scoring): كان الجمع بين متوسط الـ log-prob والتباين أمراً حاسماً؛ حيث أدى حذف عقوبة التباين إلى اختيار أفعال غير متماسكة.

5. الأهمية

سد الفجوة: يعالج DORA الانفصال الجوهري بين أخذ عينات مستوى الرمز واتخاذ القرار على مستوى الفعل في الوكلاء اللغويين.
القدرة على التعميم: كونه طريقة خالية من التدريب، فهو قابل للتطبيق فوراً على أي نموذج لغوي كبير مسبق التدريب وأي بيئة نصية دون تكلفة الضبط الدقيق.
الأثر العملي: يُمكّن الوكلاء اللغيين من العمل بفعالية في البيئات "المظلمة" حيث تكون المعلومات شحيحة وتكون التجربة والخطأ ضرورية، مما يجعلهم أكثر قوة للتطبيقات الواقعية مثل الروبوتات، الاكتشاف العلمي، والألعاب المعقدة.
تحول في النموذج: تشير الورقة إلى أن التنوع المتحكم به (عبر توليد المرشحين والترتيب) يتفوق على التنوع العشوائي (عبر تدرج الحرارة) لحل مشكلات اتخاذ القرار المتسلسل للوكلاء اللغويين.