Learning to Coordinate Symbolic Tools: LLM Agents for Verified Sum-of-Squares Certificates

تخيل عالماً تكون فيه الحواسيب بارعة في اتباع التعليمات، لكنها سيئة جداً في معرفة أي التعليمات يجب أن تتبع. هذا هو الجبهة الحالية للذكاء الاصطناوي، وتحديداً لنماذج اللغات الكبيرة (LLMs)—تلك الروبوتات الذكية للغاية التي يمكنها كتابة القصص، والبرمجة، وحل الألغاز. وبينما تبرع هذه النماذج في تخمين الكلمة التالية في الجملة، إلا أنها غالباً ما تتعثر عندما تتطلب المشكلة سلسلة طويلة من الخطوات المنطقية، مثل برهان رياضي معقد. ولإصلاح ذلك، يعلم العلماء وكلاء الذكاء الاصطناعي هذه كيفية استخدام "الأدوات"، تماماً كما يختار عالم الرياضيات البشر عصا حاسبة، أو مسطرة، أو برنامجاً متخصصاً. والسؤال الكبير ليس ما إذا كان بإمكان الذكاء الاصطناعي استخدام الأداة، بل ما إذا كان بإمكانه تعلم كيفية تنسيق مجموعة كاملة من الأدوات لحل لغز لا يمكن لأداة واحدة بمفردها فكه. إنه الفرق بين امتلاك مطرقة ومعرفة متى تطرق، ومتى تربط مسماراً، ومتى تتوقف قبل أن تكسر الجدار.

يغوص هذا البحث في هذا التحدي تحديداً باستخدام نوع معين من الألغاز الرياضية يسمى "مجموع المربعات" (SOS) decomposition. فكر في هذا الأمر كمحاولة لإثبات أن معادلة كثير حدود معقدة وفوضوية هي دائماً موجبة (ليست سالبة أبداً)، بغض النظر عن الأرقام التي تعوض بها. "الحيلة" لإثبات ذلك هي إعادة ترتيب المعادلة بحيث تبدو كمجموع مربعات كاملة (مثل $x^2 + y^2$)، لأن المربعات تكون دائماً موجبة. ومع ذلك، فإن العثج لإعادة ترتيب المعادلة يشبه محاولة حل مكعب روبيك وأنت معصوب العينين: هناك الملايين من الطرق لتدوير القطع، لكن القليل منها فقط يؤدي إلى حل. لقد بنى المؤلفون وكيلاً خاصاً للذكاء الاصطناعي يتعلم استخدام أداة رياضية رمزية (SymPy) للتحقق من عمله فوراً. لم يدربوا هذا الوكيل على اللغز النهائي فحسب، بل دربوه أولاً على مكتبة ضخمة تضم 1.35 مليون مسألة جبرية أصغر وأبسط.

تظهر النتائج أن مجرد إعطاء الذكاء الاصطناعي أداة ليس كافياً؛ بل يجب أن يكون الذكاء الاصطناعي "متجذراً جبرياً"، مما يعني أنه يجب أن يفهم بعمق الرياضيات الكامنة وراء الأداة قبل أن يتمكن من استخدامها بفعالية. وعندما اختبر الباحثون وكيل الذكاء الاصطناعي المدرب بالكامل (الذي تعلم الرياضيات وكيفية استخدام الأداة)، نجح في حل 78.96% من الألغاز المعقدة. وفي المقابل، فإن نسخة الذكاء الاصطناعي التي امتلكت نفس الأداة ولكن لم تتدرب على الرياضيات الأساسية حلت 44.73% منها فقط. والأكثر إثارة للإعجاب هو أن الوكيل المدرب بالكامل حقق دقة بنسبة 91.75% عبر تسعة أنواع مختلفة من المهام الجبرية. تشير الدراسة إلى أنه لكي يصبح الذكاء الاصطناعي حلالاً حقيقياً للمشكلات، فإنه يحتاج إلى تعلم "حرفة" المهنة، وليس فقط "الأزرار" التي يجب الضغط عليها.

قصة المحقق الرياضي

تخيل أنك محقق تحاول حل قضية يكون فيها المشتبه به عبارة عن معادلة جبرية ضخمة وفوضوية. مهمتك هي إثبات أن هذه المعادلة دائماً "جيدة" (موجبة) وليست "سيئة" (سالبة). الطريقة الوحيدة لإثبات ذلك هي تفكيك المعادلة إلى كومة من المربعات الكاملة، مثل تكويم طوب كلها موجبة. إذا استطعت إظهار أن المعادلة ليست سوى كومة من هذه الطوب، فقد حللت القضية.

ولكن إليك العقبة: المعادلة مكتوبة بطريقة مشوشة ومربكة. ولإلغاء هذا التشويش، تحتاج إلى "عصا سحرية رياضية" خاصة (برنامج كمبيوتر يسمى SymPy) يمكنه توسيع أو تقليص أو إعادة ترتيب أجزاء المعادلة فوراً. المشكلة هي أن العصا لا تخبرك بماذا تفعل؛ هي فقط تفعل ما تطلبه منها. إذا طلبت منها توسيع الجزء الخطأ، فقد تجعل الفوضى أسوأ. عليك أن تقرر أي جزء ستدور، ومتى تتوقف، وكيف تجمع القطع معاً مرة أخرى.

أراد الباحثون في كالتيك (Caltech) وOpenAI معرفة ما إذا كان بإمكانهم تعليم الذكاء الاصطناعي أن يكون هذا المحقق. لم يكتفوا بإعطاء الذكاء الاصطناعي العصا فحسب؛ بل أنشأوا معسكراً تدريبياً. لقد صنعوا 1.35 مليون مسألة تدريبية. أولاً، تدرب الذكاء الاصطناعي على مهام بسيطة مثل فرز الحروف، وتجميع العناصر المتشابهة، وتحليل الأرقام. بعد ذلك، علموه كيفية استخدام العصا في بيئة محاكاة، حيث يرى ماذا يحدث عندما تطلب من العصا القيام بشيء ما. أخيراً، تركوا الذكاء الاصطناعي يحاول حل ألغاز "مجموع المربعات" الكبيرة باستخدام العصا الحقيقية.

النتائج الكبرى: التدريب يتفوق على الأدوات

قارنت التجربة أربع نسخ مختلفة من المحقق الذكي:

1. المبتدئ (الأساسي): ذكاء اصطناعي لم يرَ المعسكر التدريبي أبداً ولم يمتلك العصا.
2. الطالب (SFT): ذكاء اصطناعي درس في المعسكر التدريبي ولكنه لم يمتلك العصا أثناء الاختبار.
3. مستخدم الأدوات (Base+Tools): المبتدئ الذي أُعطيت له العصا فجأة ولكنه لم يدرس من قبل.
4. الماستر/الأستاذ (Full): الطالب الذي درس في المعسكر وأُعطيت له العصا أيضاً.

كانت النتائج انتصاراً واضحاً لـ "الماستر". فعند مواجهة الألغاز المعقدة:

• المبتدئ بالعصا حل حوالي 44.73% منها فقط.
• الماستر (الذي عرف الرياضيات وملك العصا) حل 78.96% منها.

يثبت هذا نقطة جوهرية: مجرد تسليم أداة قوية لذكاء اصطناعي ذكي ليس كافياً. يجب أن يفهم الذكاء الاصطناعي المنطق وراء الأداة. الأمر يشبه إعطاء طباخ ماهر فرناً عالي التقنية؛ إذا لم يكن يعرف كيف يطبخ، فلن تساعده الفرن. ولكن إذا كان يعرف الوصفات، فإن الفرن سيجعله لا يُقهر.

كما تحققت الدراسة مما إذا كان هذا التدريب الرياضي المكثف قد جعل الذكاء الاصطناعي أسوأ في أشياء أخرى، مثل المسائل الرياضية العامة. لم يحدث ذلك. بل إن "الماستر" أصبح أفضل قليلاً في المسائل الرياضية العامة أيضاً، حيث سجل 96.29% في اختبار قياسي، مما يظهر أن تعلم تنسيق الأدوات لم يفسد مهاراته الأخرى.

ما تعلمه الذكاء الاصطناعي (وما لم يتعلمه)

الورقة البحثية حذرة جداً بشأن ما تدعيه. هي لا تقول إن الذكاء الاصطناعي أصبح الآن عبقرياً يمكنه حل أي مسألة رياضية في العالم. الألغاز المستخدمة كانت اصطناعية (صنعها الكمبيوتر) وصغيرة نسبياً، تتضمن متغيراً واحداً إلى ثلاثة متغيرات فقط. لم "يكتشف" الذكاء الاصطناعي رياضيات جديدة؛ بل تعلم تنسيق أدوات موجودة لإيجاد نوع معين من البراهن.

ومع ذلك، فإن الدراسة تنفي افتراضاً شائعاً: وهو أنه يمكنك فقط وضع واجهة أداة على نموذج وتوقع أن يعمل. نسخة "مستخدم الأدوات" (Base+Tools) كان أداؤها أسوأ من نسخة "الطالب" (SFT) التي لم تملك أداة على الإطلاق ولكنها درست الرياضيات. هذا يشير إلى أنه بدون الفهم العميق للجبر، فإن الأداة في الواقع تشتت الذكاء الاصطناعي، مما يؤدي به إلى اتخاذ خيارات سيئة.

لاحظ الباحثون أيضاً أن الذكاء الاصطناعي قد يفشل أحياناً بثلاث طرق محددة: إما أنه يستسلم مبكراً جداً، أو يبني حلاً يبدو صحيحاً ولكنه خاطئ من الناحية الهيكلية، أو يبني حلاً صحيحاً هيكلياً ولكنه لا يتطابق فعلياً مع المعادلة الأصلية. وقد نجح "المتحقق الدقيق" (exact verifier) في نظامهم في رصد جميع هذه الأخطاء، مما ضمن احتساب الحلول المثالية فقط.

الخلاصة

تقدم هذه الورقة مخططاً لبناء وكلاء ذكاء اصطناعي أكثر ذكاءً. وهي تشير إلى أن مستقبل الذكاء الاصطناعي في مجالات مثل الرياضيات والعلوم لا يتعلق فقط بنماذج أكبر أو أدوات أكثر تطوراً، بل يتعلق بـ التنسيق. من خلال تدريب الذكاء الاصطناعي على المهارات الأساسية لمجال ما (مثل الجبر) ثم تعليمه كيفية استخدام الأدوات للتحقق من عمله، يمكننا إنشاء وكلاء أكثر موثوقية. لم يقم "الماستر" بمجرد التخمين؛ بل خطط، ونفذ، وتحقق، وصحح، تماماً مثل الخبير البشري. ورغم أن هذه الدراسة المحددة كانت محدودة ببيئة رياضية محكومة، إلا أنها تضيء الطريق لكيفية تعليم الذكاء الاصطناعي مواجهة المشكلات الأكثر صعوبة في العالم الحقيقي في المستقبل.