Optimization and Constraint Modeling using LLMs with a Retrieval Augmented Generation Process

تخيل أنك تحاول إعطاء روبوت ذكي ومبدع للغاية مجموعة من التعليمات لحل لغز معقد، مثل التخطيط لأكثر مسار كفء لأسطول من شاحنات التوصيل أو جدولة نوبات العمل في المستشفيات. يسمى هذا المجال "التحسين" (Optimization)، وهو الرياضيات الكامنة وراء اتخاذ أفضل القرارات الممكنة عندما تكون الموارد محدودة. للقيام بذلك، يتعين على البشر عادةً ترجمة مشاكل عالمهم الواقعي الفوضوية إلى لغات رياضية صارمة ومنضبطة (مثل البرمجة الخطية أو البرمجة بالقيود). الأمر يشبه محاولة شرح قصة لروبوت لا يتحدث سوى لغة مكونة بالكامل من القواعد والمعادلات الصارمة.

مؤخراً، حققنا طفرة مع "نماذج اللغات الكبيرة" (LLMs). فكر في هذه النماذج كأنها روبوتات متطورة للغاية قرأت كل شيء تقريباً على الإنترنت. إنها بارعة في فهم القصص وكتابة الأكواد البرمجية، لكنها قد تواجه صعوبة أحياناً عندما يُطلب منها اتباع قواعد رياضية صارمة. قد تخترع أرقاماً وهمية، أو تنسى قاعدة حاسمة، أو تخطئ قليلاً في المنطق، مما يحول خطة مثالية إلى خطة معطلة. ولإصلاح ذلك، يستخدم الباحثون تقنية تسمى "التوليد المعزز بالاسترجاع" (RAG). إذا كان نموذج اللغة الكبيرة بمثابة طالب يؤدي اختباراً، فإن تقنية (RAG) هي بمثابة إعطاء هذا الطالب "ورقة مرجعية" لمسائل مشابهة قام بحلها بالفعل، مباشرة قبل أن يبدأ في كتابة إجابته. تسأل هذه الورقة البحثية سؤالاً بسيطاً ولكنه قوي: إذا أعطينا ذكاءً اصطناعياً مكتبة من الألغاز الرياضية المحلولة مسبقاً وبشكل مثالي، فهل سيصبح أفضل بكثير في حل ألغاز جديدة؟

قرر مؤلفو هذه الورقة بناء مكتبة ضخمة ومخصصة من هذه الألغاز لاختبار فكرتهم. بدأوا بإنشاء 500 مسألة تحسين جديدة تماماً. وبدلاً من مجرد كتابة أسئلة رياضية جافة، استخدموا ذكاءً اصطناعياً لابتكار "شخصيات" — مثل مدير لوجستي مشغول أو مدير مستشفى — ثم طلبوا من ذكاء اصطناعي آخر تحويل معاناتهم الواقعية إلى مسائل رياضية رسمية وصارمة. حتى أنهم كتبوا الكود البرمحي الصحيح لحل كل واحدة منها، مما خلق "معياراً ذهبياً" للإجابات. ثم قاموا بتخزين جميع هذه الأزواج (المسألة وحلها) المكونة من 500 زوج في خزانة ملفات رقمية خاصة تسمى "قاعدة بيانات متجهية" (Vector Database)، وهي مصمم للبحث عن العناصر التي تتشابه "دلالياً" (بمعنى أنها تبدو متشابهة، حتى لو اختلفت الكلمات).

بعد ذلك، نظموا سباقاً. أخذوا نموذج ذكاء اصطناعي قوياً (Qwen 3 30B Instruct) وأعطوه سلسلة من المسائل الرياضية الجديدة التي لم يسبق له رؤيتها. في الجولة الأولى، كان على الذكاء الاصطناعي حلها بمفرده، معتمداً فقط على ما يعرفه من تدريبه. وفي الجولة الثانية، استخدموا نظام (RAG) الجديد الخاص بهم: قبل أن يجيب الذكاء الاصطناعي، بحث النظام في مكتبتهم المكونة من 500 مسألة، ووجد أكثر ثلاثة مسائل تشابهاً مع المسألة المطروحة، وعرضها على الذكاء الاصطناعي كأمثلة. وللتأكد من أن الذكاء الاصطناعي لن يرتبك بسبب الأمثلة السيئة، أضافوا "بوابة دلالية" (Semantic Gateway) — وهي مرشح ذكي يسمح فقط بدخول الأمثلة التي تمثل تطابقاً تاماً، ويرفض أي شيء مختلف جداً.

كانت النتائج انتصاراً واضحاً للفريق الذي يمتلك المكتبة. عندما حاول الذكاء الاصطناعي حل المسائل بمفرده، أصاب الإجابة الصحيحة بنسبة تتراوح بين 32% إلى 40%، اعتماداً على مدى صعوبة اللغز. ولكن عندما سُمح للذكاء الاصطناعي بالاطلاع على الأمثلة المحلولة المشابهة من مكتبتهم، قفزت دقة إجابته بشكل كبير. في أحد مجموعات الاختبارات (NL4OPT)، ارتفعت نسبة إصابته من 40% إلى 72%. وفي مجموعة أخرى (MAMO Complex)، تحسنت من 32% إلى 56%.

تشير الورقة إلى أن هذا النهج يعد بديلاً قوياً للطريقة المعتادة المتمثلة في "الضبط الدقيق" (Fine-tuning)، والتي تتضمن إعادة تدريب نموذج الذكاء الاصطناعي بالكامل على بيانات جديدة — وهي عملية مكلفة وتستغرق وقتاً طويلاً. بدلاً من ذلك، تظهر هذه الدراسة أن مجرد إعطاء الذكاء الاصطناعي مكتبة اصطناعية منظمة جيداً من الأمثلة للرجوع إليها يمكن أن يحسن بشكل كبير قدرته على ترجمة الأفكار البشرية إلى نماذج رياضية صحيحة وعاملة. ويشير المؤلفون إلى أنه بينما تعد النت Results واعدة، إلا أنها تعتمد على مجموعة محددة من 500 مسألة اصطناعية و25 استعلاماً اختبارياً، لذا لا تزال الطريقة قيد الاستكشاف. ومع ذلك، تشير النتائج نحو مستقبل يمكن فيه لغير الخبراء استخدام الذكاء الاصطناعي كمساعد طيار موثوق لبناء أدوات معقدة لاتخاذ القرار دون الحاجة لأن يكونوا عباقرة في الرياضيات.