Generating Robust Portfolios of Optimization Models using Large Language Models

ملخص تقني: توليد محافظ من نماذج الأمثلة باستخدام النماذج اللغوية الكبيرة

بيان المشكلة

تعد الأمثلة الرياضية حجر الزاوية في اتخاذ القرارات المنظمة في مجالات مثل تخصيص الموارد والتخطيط. ومع ذلك، فإن صياغة نماذج الأمثلة التي تعكس المتطلبات الواقعية بدقة تظل عقبة كبيرة، حيث تتطلب مزيجاً نادراً من الخبرة في المجال والمعرفة العميقة بالتحسين. ورغم أن النماذج اللغوية الكبيرة (LLMs) أظهرت قدرات واعدة في أتمتة توليد النماذج من الأوصاف الطبيعية، إلا أن النهج الحالية عادة ما تنتج نموذجاً مرشحاً واحداً فقط. وهذا يفرض مخاطر تتعلق بالموثوقية، إذ لا يوجد ضمان بأن أي نموذج واحد مولد بواسطة النموذج اللغوي الكبير سيكون دقيقاً أو عالي الجودة. وغالباً ما تعتمد الطرق الحالية على عمليات ضبط دقيق (fine-tuning) مكلفة حاسوبياً لتوليد نموذج واحد دون ضمانات للجودة.

المنهجية

يقترح المؤلفون خوارزمية مبتكرة خفيفة الوزن ولا تتطلب تدريباً، مصممة لتوليد محفظة (portfolio) من نماذج الأمثلة بدلاً من نموذج واحد. يعتمد هذا النهج على منظور مزدوج لقدرات النماذج اللغبية الكبيرة، ودمجهما في إطار عمل واحد:

1. المولد العشوائي (Stochastic Generator): يعمل النموذج اللغوي كـ "مولد" ($g$)، حيث ينتج توزيعاً من نماذج الأمثلة المرشحة من خلال أخذ عينات عشوائية متكررة. وهذا يلتقط المقايضات المتنوعة المتأصلة في مهمة الأمثلة.
2. المقيم الاستدلالي (Reasoning Evaluator): يعمل النموذج اللغوي كـ "حكم" أو "مقيم" ($e$)، حيث يقوم بترتيب المرشحين المولدين بناءً على مدى توافقهم مع وصف المشكلة باللغة الطبيعية، مستفيداً من المعرفة العالمية والقدرات الاستدلالية للنموذج.

بناء المحفظة:
تبني الطريقة محفظة $P(d; \alpha)$ لوصف مشكلة $d$ وعتبة محددة من قبل المستخدم $\alpha \in (0, 1)$. تتضمن المحفظة أفضل المرشحين ذوي الترتيب الأعلى $o^{(i)}_e$ بحيث يستوفي مجموع احتمالية التوليد للنماذج المدرجة شرطاً معيناً:
$$k^*(\alpha) = \inf \left\{ k \in \mathbb{N} : \sum_{i=1}^{k} p(o^{(i)}_e) \geq 1 - \alpha \right\}$$
بمعنى آخر، تتكون المحفظة من أعلى النماذج ترتيباً والتي يتجاوز مجموع احتمالية توليدها القيمة $1-\alpha$. وهذا يضمن أن المحفظة تضم نماذج إما عالية الاحتمالية (من منظور المولد) أو عالية الترتيب (من منظور المقيم).

المساهمات النظرية والضمانات

تقدم الورقة ضمانات نظرية فيما يتعلق بـ "التغطية" (coverage) للمحفظة — والمعرفة بأنها نسبة المرشحين عالي الجودة (وفقاً لتفضيل بشري $\pi^*$) المدرجين في المجموعة. يحدد المؤلفون شرطي توافق:

• توافق المقيم (Evaluator Alignment): يتوافق ترتيب المقيم مع الترتيب البشري.
• توافق المولد (Generator Alignment): يخصص المولد احتمالات أعلى للنماذج التي يتم ترتيبها بشكل أعلى من قبل البشر.

النتيجة النظرية الأساسية هي أن المحفظة مضمونة لاحتواء مرشحين عالي الجودة إذا كان أحد المكونين (المولد أو المقيم) متوافقاً مع التفضيلات البشرية:

• متانة المقيم (Evaluator Robustness): إذا كان المقيم متوافقاً، فإن المحفظة تحقق تغطية كاملة ($c(P) = 1$) بغض النظر عن جودة المولد.
• متانة المولد (Generator Robustness): إذا كان المولد متوافقاً، فإن المحفظة تحقق تغطية إيجابية ($c(P) > 1 - 2\alpha/k^*(\alpha)$) لأي مقيم، بشرط أن تكون $\alpha < 0.5$.

هذا يؤسس لعملية "الإنسان في الحلقة" (human-in-the-loop)، حيث يمكن لصانع القرار مراجعة عدة مرشحين عالي الجودة قبل الالتزام بأحدهم، مما يقلل من خطر الاعتماد على مخرج واحد قد يكون معيباً من النموذج اللغوي الكبير.

النتائج التجريبية

تحقق المؤلفون من نهجهم من خلال مجموعتين من التجارب:

1. محاكاة البيانات الاصطناعية:

   • قام المؤلفون بمحاكاة أنواع مختلفة من المولدات والمقيمين مع مستويات مختلفة من التوافق البشري (متوافق، متوافق ضعيفاً، موحد، غير متوافق) ومعدلات خطأ في المقيم.
   • النتائج: أكدت النتائج الحدود النظرية. حتى مع وجود مولد "متوافق ضعيفاً" وأخطاء متفاوتة في المقيم، حققت المحفظة تغطية إيجابية عندما كانت $\alpha < 0.5$. كما أوضحت التجارب المقايضة بين حجم المحفظة والتغطية: حيث سمح التوافق العالي في أي من المكونين بالحصول على محافظ أصغر مع الحفاظ على تغطية عالية.

2. نمذجة الأمثلة في العالم الحقيقي (مجموعة بيانات NL4LP):

   • تم تطبيق الطريقة على 25 مسألة أمثلة من مجموعة بيانات NL4LP.
   • الإعداد: أنتج مولد (gpt-5.4-nano) 50 نموذجاً مرشحاً لكل مسألة. تم اختبار نوعين من المقيمين: "النموذج اللغوي كحكم" (الذي يقيم بناءً على وصف المشكلة والحقيقة الأرضية) ومرتب يعتمد على احتمالية المولد.
   • النتائج: تفوقت المحافظ المقترحة باستمرار على المحافظ التي تم إنشاؤها عبر أخذ العينات العشوائية. وتحديداً، حققت المحافظ التي تم تقييمها باستخدام قدرات الاستدلال للنموذج اللغوي درجات أعلى من تلك التي اعتمدت فقط على احتمالات المولد. أظهرت النتائج أن النهج يستفيد بفعالية من نقاط القوة المتكاملة للقدرات التوليدية والاستدلالية لإنتاج مجموعات قوية من نماذج الأمثلة.

الأهمية والادعاءات

تدعي الورقة أنها تقدم حلاً مبدئياً لعدم موثوقية توليد النماذج الفردية عبر النماذج اللغوية الكبيرة. ومن خلال الانتقال من نموذج "التوليد بضربة واحدة" إلى نهج "المحفظة"، توفر الطريقة ضمانات للموثوقية: حيث يُضمن وجود مرشحين عالي الجودة في المحفظة طالما أن أحد المكونين (المولد أو المقيم) متوافق جيداً مع التفضيلات البشرية.

يؤكد المؤلفون أن نهجهم لا يتطلب تدريباً وهو خفيف الوزن، مقارنة بالأعمال السابقة التي تتطلب ضبطاً دقيقاً. تكمن الأهمية في تمكين عملية صنع القرار حيث يمكن للبشر مراجعة مجموعة مختارة من المرشحين، مما يضمن أن الاختيار النهائي مستمد من مجموعة تحتوي نظرياً على الحل الأمثل، حتى في ظل قيود النماذج اللغوية الكبيرة. لا يدعي العمل استبدال الخبراء البشريين، بل تعزيزهم من خلال تقليص مساحة البحث إلى مجموعة عالية الاحتمالية من النماذج الصالحة.