🤖 machine learning

Same Signal, Opposite Meaning: Direction-Informed Adaptive Learning for LLM Agents

تقدم هذه الورقة DIAL، وهو إطار تعلم تكيفي مستند إلى الاتجاه يتغلب على عدم استقرار إشارات البوابة ذات الاتجاه الثابت في وكلاء النماذج اللغوية الكبيرة (LLM agents) من خلال تعلم اتجاهات المنفعة الخاصة بالبيئة عبر الاستكشاف المضاد للواقع، محققاً بذلك توازناً متفوقاً بين النجاح والتكلفة عبر إعدادات متنوعة.

المؤلفون الأصليون: Ziming Li, Jiatan Huang, Xiaoguang Guo, Guilin Wang, Chuxu Zhang

نُشر 2026-05-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ziming Li, Jiatan Huang, Xiaoguang Guo, Guilin Wang, Chuxu Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك طاهٍ يدير مطبخاً مزدحماً (وكيل ذكاء اصطناعي). لديك وصفة أساسية لكل طبق (السياسة الأساسية - Base Policy)، ولكن أحياناً يكون الطبق صعباً، وقد ترغب في استدعاء مساعد طاهٍ لتذوق الطعام، أو تجربة توابل مختلفة، أو التحقق من المكونات قبل التقديم (المُحسِّن أو عملية المحاكاة - Optimizer/Rollout).

المشكلة هي أن استدعاء مساعد الطاهي يكلف وقتاً ومالاً. لا تريد استدعاءه لكل طبق؛ بل تريد استدعاءه فقط عندما يجعل ذلك الطبق أفضل حقاً.

الطريقة القديمة: "إرباك الإشارة"

لفترة طويلة، اعتقد الطهاة (الباحثون) أن لديهم قاعدة بسيطة: "إذا شعر المطبخ بالفوضى أو كان الطاهي غير متأكد (ارتفاع مستوى عدم اليقين)، فاستدعِ مساعد الطاهي."

لقد افترضوا أن عدم اليقين يعني دائماً "نحن بحاجة للمساعدة". كان الأمر أشبه بجهاز إنذار بالدخان يعني دائماً "وجود حريق".

لكن هذه الورقة البحثية، التي تحمل عنوان "نفس الإشارة، معنى مختلف" (Same Signal, Opposite Meaning)، اكتشفت حقيقة صادمة: جهاز إنذار الدخان معطل.

في بعض المطابخ، تعني الإشارة الفوضوية (عدم اليقين العالي) بالفعل أنك بحاجة للمساعدة. لكن في مطابخ أخرى، تعني نفس الإشارة الفوضوية: "توقف! لا تستدعِ مساعد الطاهي! إذا فعلت، فستجعل الفوضى أسوأ!"

السيناريو (أ) (المطبخ "صعب القرار"): أنت تختار بين خمس صلصات جيدة بالتساوي. أنت غير متأكد أي واحدة تختار. استدعاء مساعد الطاهي لتذوقها جميعاً يساعدك في اختيار الفائز. هنا، عدم اليقين = من الجيد الاستدعاء.
السيناريو (ب) (المطبخ "غير المناسب للتدخل"): ينقصك مكون رئيسي (مثل الملح) والوصفة غير مكتملة. أنت غير متأكد لأن البيانات مفقودة. إذا استدعيت مساعد الطاهي الآن، فسوف يتذوق طبقاً باهتاً ومعيباً، وقد يقترح أفكاراً أسوأ. هنا، عدم اليقين = من السيئ الاستدعاء.

وجدت الورقة أن نفس نموذج الذكاء الاصطناعي يمكن أن يكون في السيناريو (أ) في دقيقة، وفي السيناريو (ب) في الدقيقة التالية، اعتماداً على المهمة وعلى "دماغ" النموذج المستخدم. إذا اتبعت القاعدة القديمة بـعمى ("استدعِ عندما تكون غير متأكد")، فستنتهي باستدعاء مساعد الطاهي في اللحظات التي سيفسد فيها الطبق تماماً، مما يجعل أداءك أسوأ مما لو كنت تطبخ بمفردك.

الحل الجديد: DIAL (التعلم التكيفي الموجه بالاتجاه)

يقترح المؤلفون نظاماً جديداً يسمى DIAL. بدلاً من افتراض أن جهاز إنذار الدخان يعني دائماً "حريق"، يعمل DIAL كمدير مطبخ ذكي يتعلم القواعد الخاصة لهذا المطبخ تحديداً.

إليك كيف يعمل DIAL، خطوة بخطوة:

مرحلة "اختبار التذوق" (الاستكشاف):
قبل افتتاح المطبخ لليوم، يقوم المدير بإجراء جولات تدريبية. أحياناً يستدعي مساعد الطاهي، وأحياناً لا يفعل، بشكل عشوائي تماماً. ثم يسجل النتائج: "عندما استدعينا مساعد الطاهي هنا، أصبح الطبق أفضل. وعندما لم نستدعِه هناك، أصبح الطبق أسوأ."
الأهم من ذلك، هم لا يفترضون "لماذا" حدث ذلك؛ هم فقط ينظرون إلى البيانات.
مرحلة "رصد الأنماط" (الاستنتاج):
ينظر المدير إلى بيانات التدريب ويتساءل: "ما الذي كان مختلفاً في المرات التي حصلنا فيها على نتيجة سيئة؟"
قد يكتشف قائلاً: "آه، كلما كنا في الخطوة العاشرة من الوصفة وما زلنا نفتقر للمكونات، كان استدعاء مساعد الطاهي كارثة. لكن في الخطوة الثانية، عندما كنا نختار بين الصلصات، كان المساعد مساعدة كبيرة."
يتعلم النظام البحث عن هذه القرائن المحددة (مثل "كم خطوة اتخذنا؟" أو "كم خياراً متبقياً؟") بدلاً من مجرد النظر إلى "مدى عدم تأكدنا".
"البوابة الذكية" (التعلم):
يبني المدير قاعدة بسيطة وسريعة (بوابة) تقول: "إذا كنا في الخطوة 10 ونفتقر للمكونات، لا تستدعِ مساعد الطاهي. إذا كنا في الخطوة 2 ونختار الصلصات، استدعِ المساعد."
هذه القاعدة خاصة بهذا المطبخ وهذا الطاهي تحديداً.

لماذا هذا مهم؟

اختبرت الورقة هذا النظام على ستة أنواع مختلفة من "المطابخ" (مهام مثل كتابة الكود، التسوق عبر الإنترنت، أو التحقق من الحقائق) وثلاثة "طهاة" مختلفين (نماذج ذكاء اصطناعي).

الطريقة القديمة: كانت توفر المال أحياناً، لكنها في كثير من الأحيان أهدرت المال أو جعلت النتائج أسوأ فعلياً لأنها استدعت مساعد الطاهي في الأوقات الخاطئة.
طريقة DIAL: وجدت دائماً "النقطة المثالية". لقد استدعت مساعد الطاهي بالضبط عندما كان سيقدم المساعدة، وظلت صامتة عندما كان سيسبب الضرر.

الخلاصة الكبرى

تجادل الورقة بأن عدم اليقين ليس إشارة عالمية. مجرد شعور الذكاء الاصطناعي بـ "الحيرة" لا يعني أنه بحاجة لمزيد من القدرة الحوسبية. أحياناً، كونك حائراً يعني أن المشكلة غير قابلة للحل بالمعلومات الحالية، وأن المحاولة بجهد أكبر هي مجرد هدر للموارد.

DIAL هو أسلوب يتوقف عن التخمين ويبدأ في تعلم "اتجاه" الإشارة الخاص بكل مهمة. إنه يتعلم أنه بالنسبة لهذه المهمة، الحيرة تعني "حاول بجهد أكبر"، وبالنسبة لتلك المهمة، الحيرة تعني "توقف وأعد التفكير".

باخت-الاختصار: لا تفترض أن الإنذار يعني الشيء نفسه في كل مكان. تعلم القواعد الخاصة بالغرفة التي تتواجد فيها.

ملخص تقني: التعلم التكيفي الموجه بالاتجاه (DIAL) لوكلاء النماذج اللغوية الكبيرة (LLM)

1. بيان المشكلة

غالبًا ما تتطلب وكلاء النماذج اللغوية الكبيرة (LLM agents) حوسبة وقت الاختبار (مثل عمليات الـ rollouts، أو أخذ عينات المرشحين، أو التأمل الذاتي) لحل المهام المعقدة التي لا يمكن معالجتها عبر تمريرة أمامية واحدة. ومع ذلك، فإن تطبيق الحوسبة الإضافية بشكل موحد يعد أمرًا غير فعال ومكلفًا. يهدف التوسيم التكيفي (Adaptive gating) إلى استدعاء هذه الحوسبة الإضافية فقط عندما تؤدي إلى تحسين الأداء.

تعتمد طرق التوسيم التكيفي الحالية على افتراض اتجاه ثابت: فهي تفترض أن إشارة التوسيم (مثل اعتلاج التوكن/entropy، أو الثقة، أو عدم الاتفاق) لها علاقة ثابتة ورتيبة مع قيمة الحوسبة الإضافية. على سبيل المثال، تفترض أن الاعتلاج العالي يشير دائمًا إلى حالة يكون فيها الحوسبة الإضافية مفيدة.

توضح الورقة البحثية أن هذا الافتراض معيب جوهريًا في بيئات الوكلاء غير المتجانسة. حيث يظهر المؤلفون أن العلاقة بين إشارة التوسيم وفائدة الحوسبة تنعكس اعتمادًا على البيئة والنموذج الأساسي (backbone) المحدد. ففي بعض الإعدادات، يتنبأ الاعتلاج العالي بأن عمليات الـ rollouts ستساعد (فائدة إيجابية)؛ وفي إعدادات أخرى، يتنبأ بأن الـ rollouts ستضر بالأداء (فائدة سلبية). وبناءً على ذلك، يمكن للبوابات ذات الاتجاه الثابت أن تختار بشكل منهجي حالات ضارة، مما يؤدي إلى تدهور الأداء بدلاً من مجرد هدر الموارد.

2. التحليل النظري: نموذج المصدر المزدوج (Two-Source Model)

تقترح الورقة نموذج المصدر المزدوج لتفسير سبب انعكاس اتجاه (الإشارة-الفائدة). ويفترض النموذج أن الحالات تنقسم إلى فئتين كامنتين بـعلاقات متضادة بين الإشارة والفائدة:

النوع الأول (غير مناسب للتدخل - Intervention-Unsuitable): يفتقر السياق الحالي إلى المعلومات الضرورية (مثل نقص الأدلة، أو ضعف الاستناد) لدعم عمليات الـ rollouts المفيدة. هنا، يعكس الاعتلاج العالي نقصًا لا تستطيع عمليات الـ rollouts حله؛ بل إنها تزيد من الغموض أو تراكم الأخطاء. في هذه الحالات، ترتبط الفائدة سلبًا مع الاعتلاج.
النوع الثاني (صعب القرار - Decision-Difficult): السياق كافٍ، ولكن هناك بدائل متعددة قابلة للتطبيق (مثل وجود عدة تنفيذات برمجية). هنا، يعكس الاعتلاج العالي وجود خيارات حقيقية، وتساعد عمليات الـ rollouts في أخذ عينات ومقارنة الخيارات. في هذه الحالات، ترتبط الفائدة إيجابًا مع الاعتلاج.

إن الارتباط الهامشي الملحوظ بين الإشارة والفائدة هو مزيج مرجح من هاتين المجموعتين الفرعيتين. ولأن نسبة المزيج بين النوع الأول والنوع الثاني تعتمد على التفاعل بين البيئة والمعرفة المسبقة للنموذج (backbone)، فإن نفس الإشارة يمكن أن تظهر ارتباطات متضادة عبر الإعدادات المختلفة. تم تحديد هذه الظاهرة كشكل من أشكال مفارقة سيمبسون (Simpson's Paradox).

وقد أثبت المؤلفون نظريًا أنه لا يمكن لأي سياسة تكيفية تعتمد فقط على إشارة عدم يقين واحدة $\sigma(s)$ أن تضمن قيمة غير سالبة للحوسبة عبر الإعدادات غير المتجانسة، لأن $\sigma$ غير كافية للتمييز بين النوع الأول والنوع الثاني.

3. المنهجية: DIAL (التعلم التكيفي الموجه بالاتجاه)

لمعالجة عدم استقرار البوابات ذات الاتجاه الثابت، يقترح المؤلفون DIAL، وهو نهج قائم على البيانات يتعلم اتجاه (الإشارة-الفائدة) لكل زوج من (البيئة، النموذج الأساسي). يعمل DIAL عبر ثلاث مراحل:

أ. الاستكشاف: جمع البيانات غير المشروط بالإشارة

يتجنب DIAL انحياز الاختيار من خلال جمع بيانات التدريب دون التقييد بإشارة التوسيم نفسها.

الآلية: خلال مرحلة الاستكشاف، يقوم الوكيل بتفعيل المحسن (مثل عمليات الـ rollouts) باحتمالية عشوائية موحدة $\epsilon_{explore}$ في كل خطوة، بشكل مستقل عن عدم يقين الحالة.
الفائدة المقابلة للواقع (Counterfactual Utility): لكل خطوة يتم تفعيلها، يقوم النظام بتفرع البيئة لتنفيذ إجراء المحسن وإجراء السياسة الأساسية. علامة الفائدة $U$ هي ثنائية: 1 إذا حقق المحسن عائدًا أعلى، و0 خلاف ذلك. ينشئ هذا مجموعة بيانات $D = \{(\phi(s), U)\}$ حيث يكون اتجاه العلاقة مجهولًا مسبقًا.

ب. الاستنتاج: بناء الميزات

للتمييز بين حالات النوع الأول والنوع الثاني، يقوم DIAL ببناء مجموعة ميزات مرشحة $\phi_{cand}(s)$ تعزز الإشارة الأساسية (مثل الاعتلاج) بميزات مساعدة.

الميزات العالمية (Universal Features): مجموعة صغيرة من الميزات المستقلة عن البيئة (مثل عدد الخطوات، عدد الأدلة، عدد الإجراءات المتاحة) المستخرجة من نص الحالة.
الميزات المقترحة من LLM: يقوم نموذج لغوي كبير بتحليل بيانات الاستكشاف واقتراح فرضيات لميزات خاصة بالمهمة (مثل "ذكر السعر" لبيئة WebShop).
الاختيار: يقوم نموذج انحدار لوجستي مع تنظيم $\ell_1$ باختيار الميزات الأكثر إخبارًا تلقائيًا، واستبعاد الميزات غير المفيدة.

ج. التعلم: بوابة خطية متفرقة

يقوم DIAL بملاءمة بوابة لوجستية متفرقة $g(s)$ للتنبؤ بما إذا كان $U=1$ .

اكتشاف الاتجاه: يكشف إشارة الأوزان المتعلمة عن اتجاه الفائدة لكل ميزة في ذلك الإعداد المحدد. يشير الوزن الإيجابي إلى أن الميزة تمثل النوع الثاني (الـ rollouts مفيدة)؛ بينما يشير الوزن السلبي إلى النوع الأول (الـ rollouts ضارة).
النشر: تقوم البوابة بتفعيل المحسن فقط عندما يتجاوز الاحتمال المتوقع حدًا معينًا. وهذا لا يتطلب أي عبء إضافي من الـ LLM لكل خطوة (لا توالٍ أو تصويت إضافي) بعد مرحلة الاستكشاف الأولية.

4. النتائج الرئيسية

قيم المؤلفون DIAL عبر ست بيئات (HotpotQA, WebShop, FEVER, TWExpress, Plancraft, APPS) وثلاثة نماذج أساسية (Qwen3-4B, Phi-3.5, Llama-3.1).

تفوق مقايضة النجاح-التكلفة: يحقق DIAL باستمرار حدود باريتو أفضل (معدل نجاح أعلى مقابل تكلفة أقل) من ستة نماذج أساسية ذات اتجاه ثابت (بما في ذلك CaTS, SEAG, CATTS, AUQ). يحقق DIAL أعلى معدل نجاح في 16 من أصل 18 خلية (بيئة، نموذج أساسي).
الفشل الكارثي للبوابات ذات الاتجاه الثابت: عندما يكون الاتجاه المفترض خاطئًا، تؤدي البوابات ذات الاتجاه الثابت إلى أداء أسوأ بكثير من نموذج "عدم التفعيل" (no-trigger) الأساسي. على سبيل المثال، في بيئة FEVER مع نموذج Qwen3-4B، حققت بوابة ثابتة الاتجاه (CATTS) معدل نجاح 32.2% فقط مقارلة بـ 37.0% لنموذج "عدم التفعيل"، رغم تحملها تكاليف حوسبة هائلة.
الانعكاس بنيوي وليس ناتجًا عن عيوب: استبعدت الورقة التفسيرات البديلة مثل اختلافات مقياس الـ tokenizer أو معلمات المكافأة. يظل انعكاس الاتجاه قائمًا حتى بعد إجراء التنميط الربيعي (quantile normalization) والتحويلات الرتيبة.
دراسات الاستئصال (Ablation Studies):
- الاتجاه مقابل السعة: يؤدي عكس الاتجاه المتعلم لبوابة DIAL إلى انخفاض هائل في معدل النجاح (23–37% في البيئات ذات الإشارة القوية)، مما يثبت أن تعلم الاتجاه الصحيح هو المحرك الرئيسي للأداء، وليس تعقيد البوابة.
- كفاية الميزات: تعمل البوابات ذات الإشارة الواحدة (باستخدام الاعتلاج فقط) بالقرب من مستوى الصدفة (AUC $\approx$ 0.5)، بينما تستعيد البوابات متعددة الإشارات القدرة التنبؤية بشكل كبير، مما يؤكد الحاجة إلى ميزات مساعدة.
الديناميكيات الزمنية: يتغير الارتباط بين الاعتلاج والفائدة من موجب إلى سالب مع تقدم الحلقات في بيئات معينة، وهو ما يتوافق مع تنبؤات نموذج المصدر المزدوج بأن عدم اليقين في الخطوات المتأخرة يعكس بشكل متزايد فقر المعلومات (النوع الأول).

5. الأهمية والادعاءات

تدعي الورقة أن التوسيم التكيفي لوكلاء LLM ليس مجرد مشكلة تقدير صعوبة، بل هو مشكلة معايرة فائدة. المساهمة الجوريّة هي إثبات أن:

افتراضات الاتجاه الثابت هشة: يمكن لنفس الإشارة أن تتنبأ بالفائدة أو الضرر اعتمادًا على زوج (البيئة، النموذج الأساسي).
التوسيم ذو الاتجاه الخاطئ ضار: فهو لا يهدر الحوسبة فحسب، بل يختار بنشاط الحالات التي تدهور فيها الحوسبة الأداء.
تعلم الاتجاه القائم على البيانات ضروري: من خلال استخدام استكشاف غير مشروط بالإشارة لتعلم إشارة العلاقة بين الإشارة والفائدة، يتكيف DIAL مع المزيج المحدد لأنواع الحالات في إعداد معين.

خلص المؤلفون إلى أن DIAL يوفر إطارًا مبدئيًا للحوسبة التكيفية التي تعمم عبر الإعدادات غير المتجانسة، محققًا مقايضة نجاح-تكلفة إجمالية أقوى من الطرق السابقة التي تضع الاتجاه المفترض لعدم اليقين بشكل جامد. كما أقروا بالقيود، مشيرين إلى أن DIAL يتطلب تكلفة استكشاف لمرة واحدة لكل إعداد، وأن FEFEV تظل حالة صعبة حيث تتركز عمليات الـ rollouts المفيدة في الخطوات المبكرة التي قد تفوتها عملية الاستكشاف العشوائي.