ملخص تقني: LILO: التحسين البايزي باستخدام التغذية الراجعة باللغة الطبيعية

1. تعريف المشكلة

تتناول الورقة البحثية تحدي تحسين الدوال "الصندوق الأسود" (black-box) التي يصعب تقييمها، حيث لا يكون الهدف الحقيقي عبارة عن قيمة عددية (scalar) يمكن قياسها مباشرة، بل هو تفضيل معقد وذاتي لصانع القرار (DM). في العديد من السيناريوهات الواقعية، تكون دالة المنفعة $g(y)$ التي تربط النتائج $y$ بدرجة الرضا غير معروفة ويصعب التعبير عنها في صيغة مغلقة.

تعتمد طرق "التحسين البايزي القائم على التفضيلات" (PBO) التقليدية على تغذية راجعة مهيكلة، مثل المقارنات الزوجية أو التقييمات العددية. ومع ذلك، فإن هذه التنسيقات غالبًا ما تكون مقيدة، حيث تفشل في استيعاب الأهداف عالية المستوى، والمفاضلات، والقيود النوعية التي يعبر عنها صانعو القرار بشكل طبيعي عبر اللغة. ومن ناحية أخرى، فإن استخدام النماذج اللغوية الكبيرة (LLMs) كمحسنات نهائية (end-to-end optimizers) يفتقر غالبًا إلى اليقين المعاير (calibrated uncertainty) والموازنة المنهجية بين الاستكشاف والاستغلال، مما يؤدي إلى كفاءة منخفضة في استخدام العينات.

الهدف هو حل مشكلة التحسين المركبة:
$$x^* := \arg \max_{x \in X} g(f(x))$$
حيث $f: X \to Y$ هي دالة الصندوق الأسود، و $g: Y \to \mathbb{R}$ هي دالة المنفعة الكامنة، وذلك باستخدام التغذية الراجعة باللغة الطبيعية الحرة من صانع القرار لتوجيه عملية البحث.

2. المنهجية: إطار عمل LILO

يقترح المؤلفون التحسين في حلقة اللغة (LILO)، وهو إطار عمل هجين يدمج القدرة التعبيرية للنماذج اللغوية الكبيرة مع موثوقية التحسين البايزي القائم على العمليات الغاوسية (GP). يضع LILO النموذج اللغوي الكبير كوكيل داعم لتفسير التغذية الراجعة بدلاً من كونه المحسن نفسه.

سير العمل الأساسي

تتم عملية التحسين عبر $T$ من التجارب المتتالية، تتكون كل منها من ثلاث مراحل:

1. توليد المرشحين والتجريب:

   • يتم اختيار مجموعة من المدخلات المرشحة $\{x_i\}$.
   • في التجربة الأولى ($n=1$)، يتم اختيار المرشحين إما عن طريق أخذ عينات عشوائية منتظمة أو توليدهم عبر توجيهات (prompting) للنموذج اللغوي إذا توفرت معرفة مسبقة.
   • في التجارب اللاحقة، تختار دالة استحواذ الدفعة (مثل Log Noisy Expected Improvement) المرشحين بناءً على نموذج الوكيل (proxy model) الحالي $M_{n-1}$ المستند إلى العملية الغاوسية.
   • يتم تقييم دالة الصندوق الأسود $f$ لإنتاج النتائج الملحوظة $y_i = f(x_i)$.

2. الحصول على التغذية الراجعة:

   • يقوم وكيل LILO بتوليد دفعة من الأسئلة ($B_{pf}$) لصانع القرار بناءً على البيانات التجريبية المتراكمة والتغذية الراجعة السابقة.
   • يقدم صانع القرار إجابات باللغة الطبيعية الحرة ($a_j$).
   • يتم تخزين هذه التغذية الراجعة في مجموعة بيانات التفضيلات $D_{pf}$.

3. تقدير المنفعة عبر التصنيف بالنموذج اللغوي + النمذجة بالعملية الغاوسية:

   • التصنيف (Labeling): يعمل النموذج اللغوي الكبير كمفسر، حيث يحول التغذية الراجعة المتراكمة باللغة الطبيعية إلى تسميات تفضيل زوجية مهيكلة بين النتائج الملحوظة. وبالنظر إلى زوج من النتائج $(y, y')$، يحدد النموذج اللغوي أيهما مفضل بناءً على التغذية الراجعة النصية لصانع القرار.
   • إدارة الميزانية (Budgeting): لإدارة تكاليف النماذج اللغوية الكبيرة، يتم إجراء التصنيف تحت ميزانية $K$. تقترح الورقة استراتيجية متسلسلة باستخدام دالة الاستحواذ qEUBO (المنفعة المتوقعة لأفضل خيار) لاختيار الأزواج الأكثر إفادة للتصنيف، بدلاً من أخذ العينات العشوائية.
   • النمذجة (Modeling): تُستخدم التفضيلات الزوجية المصنفة لضبط نموذج بديل من العملية الغاوسية الزوجية (Pairwise GP) $M_n$ فوق فضاء المدخلات $X$. يقرب هذا النموذج توزيع المنفعة المركبة $u(x) = g(f(x))$.
   • يوفر نموذج العملية الغاوسية توزيعًا لاحقًا (posterior distribution) على المنفعة مع يقين معاير، والذي يقود عملية اختيار المرشحين في الجولة التالية.

دمج المعرفة المسبقة

يدعم LILO "البدء الدافئ" (warm-starting) من خلال دمج المعرفة المسبقة النصية ($P_{prior}$). فبدلاً من التهيئة العشوائية، يتم توجيه النموذج اللغوي لتوليد نقاط مرشحة أولية بناءً على خبرة صانع القرار في المجال (على سبيل المثال: "المدخلات ضمن هذه النطاقات يجب أن تحقق نتائج جيدة")، مستفيدًا من المعرفة المسبقة للنموذج اللغوي في هذا المجال.

3. المساهمات الرئيسية

تحدد الورقة خمس مساهمات رئيسية:

1. إطار عمل LILO: إطار عمل جديد للتحسين البايزي يستخلص معلومات المنفعة عبر اللغة الطبيعية الحرة، مما يوفر واجهة أكثر تعبيرية من التغذية الراجعة الزوجية أو العددية القياسية.
2. آلية تقدير المنفعة: نهج قابل للتوسع يجمع بين التصنيف القائم على النماذج اللغوية الكبيرة ونمذجة العمليات الغاوسية، مما يسمح باليقين المعاير والاستكشاف المنهجي في ظل وجود تغذية راجعة غير مباشرة وضوضائية.
3. تفوق الأداء: أدلة تجريبية تظهر تفوق LILO على كل من نماذج PBO التقليدية (التي تعتمد على التغذية الراجعة الكمية) والمحسنات القائمة على النماذج اللغوية الكبيرة وحدها عبر اختبارات اصطناعية وواقعية.
4. دمج المعرفة المسبقة: طريقة لدمج المعارف المسبقة النصية للبدء الدافئ للتحسين، مما يحسن الأداء في المراحل المبكرة بشكل كبير.
5. التوافق مع النتائج غير المهيكلة: إثبات قدرة LILO على تحسين النتائج عالية الأبعاد وغير المهيكلة (مثل ملخصات النصوص) دون الحاجة إلى نموذج بديل صريح فوق فضاء النتوات $Y$، بالاعتماد بدلاً من ذلك على قدرة النموذج اللغوي على التفسير.

4. النتائج التجريبية

قيم المؤلفون LILO في 10 بيئات، بما في ذلك دوال متعددة الأهداف اصطناعية (DTLZ2)، ومحاكيات سلامة المركبات، وتصميم مقصات السيارات، ونماذج الراحة الحرارية، والبحث في بنية الشبكات العصبية (NAS-Bench-201). كما اختبروا مهمة تلخيص النصوص ذات النتائج النصية غير المهيكلة.

النتائج الرئيسية

• كفاءة العينات: يتفوق LILO باستمرار على النماذج المرجعية، خاصة في المراحل المبكرة من التحسين. وفي الأنظمة المحدودة بالتغذية الراجعة، وُجد أن رسالة واحدة باللغة الطبيعية من صانع القرار تعادل تقريبًا 8-16 مقارنة زوجية أو تقييمًا عدديًا من حيث التقدم في التحسين.
• المقارنة مع النماذج المرجعية:
  • مقابل النماذج المعتمدة على LLM فقط: غالبًا ما تصل الطرق المعتمدة على النماذج اللغوية الكبيرة (المباشرة أو ذات الخطوتين) إلى مرحلة الثبات أو تفشل في التحسن بشكل ملموس مع زيادة التكرارات، حيث تفتقر إلى ضمانات التقارب التي يوفرها التحسين البايزي.
  • مقابل التحسين البايزي الكمي: يتفوق LILO على "التحسين البايزي للمنفعة الحقيقية" و"التحسين البايزي للتفضيلات" (التي تستخدم تسميات عددية أو زوجية صحيحة) في التجارب الأولى. ويتضاءل هذا التفوق مع زيادة عدد التجارب، لكن كثافة المعلومات في اللغة الطبيعية توفر انطلاقة قوية.
• التسمية الزوجية مقابل التسمية العددية: وجدت الدراسة أن توجيه النموذج اللغوي لإجراء مقارنات زوجية يعطي تقديرات منفعة أكثر موثوقية وتقدمًا أفضل في التحسين مقار بتوجيهه لتقديم قيم منفعة عددية مباشرة.
• المعرفة المسبقة: أدى دمج المعارف المسبقة للمجال عبر تهيئة النموذج اللغوي إلى تحسين نقطة البداية والأداء العام بشكل كبير.
• النتائج غير المهيكلة: في اختبار تلخيص النصوص، نجح LILO في تحسين معاملات فك التشفير (decoding parameters) باستخدام التغذية الراجعة باللغة الطبيعية، محققًا أداءً يضاهي النماذج المرجعية ذات التغذية الراجعة القصوى من "الأوراكل" (oracle).

5. الأهمية والادعاءات

تدعي الورقة أن LILO يمثل خطوة مهمة للأمام في جعل التحسين البايزي متاحًا للمشكلات ذات الأهداف المعقدة والذاتية. ومن خلال وضع النموذج اللغوي الكبير في دور داعم لترجمة اللغة الغنية وغير المهيكلة إلى إشارات تفضيل مهيكلة، يحافظ إطار العمل على كفاءة العينات، والاستقرار، واليقين المعاير للتحسين البايزي التقليدي، مع تقديم قناة تغذية راجعة مرنة وعالية الكثافة المعلوماتية.

يؤكد المؤلفون أن LILO مناسب بشكل خاص للإعدادات الواقعية ذات المقايضات المعقدة متعددة المعايير (مثل التجارب عبر الإنترنت، وتحسين التصميم) حيث لا تتوفر أهداف صريحة أو يصعب صياغتها. ويقرون بأنه بينما يتفوق LILO في الأنظمة المحدودة بالتغذية الراجعة، فإن أداءه بالنسبة للنماذج الكمية قد يتقارب عبر الآفاق الطويلة جدًا، وأن العمل المستقبلي قد يستكشف مناهج هجينة تجمع بين اللغة غير المهيكلة والتغذية الراجعة الكمية المهيكلة.

يتوفر الكود الخاص بإعادة إنتاج النتائج على: https://github.com/facebookresearch/lilo.