FormalTCS: Benchmarking End-to-End Frontier Formal Theoretical Computer Science Research of Large Language Models
تقدم الورقة البحثية FormalTCS، وهو معيار مرجعي تم التحقق منه من قبل خبراء باستخدام أبحاث رائدة في نظرية الحوسبة المعرفية (TCS) للفترة 2025-2026، لتكشف أن النماذج اللغوية الكبيرة الحالية تعاني بشكل كبير في البحث المؤتمت الشامل، ويرجع ذلك أساساً إلى القيود الشديدة في الصياغة الرسمية الآلية والقدرة على توليد ادعاءات رياضية جديدة وعالية الجودة.
البحث الأصلي مُهدى إلى الملك العام بموجب CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تعد علوم الحاسوب النظرية دراسة لكيفية معالجة المعلومات والحدود الأساسية لما يمكن حسابه. وهي تمثل حجر الزاوية للتكنولوجيا الحديثة، حيث توفر القواعد الرياضية التي تحدد أي المشكلات يمكن حلها بواسطة الآلات وكيف يمكن حلها بكفاءة. ولعقود من الزمن، اعتمد هذا المجال على علماء الرياضيات البشر لصياغة تعريفات دقيقة، وبناء حجج منطقية، وإثبات أن استنتاجاتهم لا تتزعزع. ومؤخراً، ظهر نوع جديد من الأدوات: النماذج اللغوية الكبيرة. وهذه هي أنظمة ذكاء اصطناعي مدربة على كميات هائلة من النصوص التي يمكنها القراءة والكتابة والتفكير في مواضيع معقدة. ومع ازدياد قوة هذه الأنظمة، بدأ الباحثون يتساءلون عما إذا كان بإمكانها القيام بما هو أكثر من مجرد الإجابة على الأسئلة أو تلخيص النصوص. هل يمكنها حقاً إجراء أبحاث علمية بمفردها، واكتشاف حقائق جديدة حول الحوسبة وإثباتها بنفس الدقة التي يتمتع بها الخبير البشري؟
لقكّم فريق من الباحثين من معهد هاربين للتكنولوجيا للإجابة على هذا السؤال عبر بناء ميدان اختبار جديد يسمى FORMALT-TCS. أرادوا تجاوز الاختبارات البسيطة أو التمارين المأخوذة من الكتب المدرسية، ومعرفة ما إذا كان بإمكان هذه الذكاءات الاصطناعية التعامل مع الواقع الصعب والمعقد للبحوث المتطورة. ولتحقيق ذلك، جمعوا 175 مشكلة بحثية حقيقية من أكثر المؤتمرات المرموقة في هذا المجال، تغطي موضوعات مثل الخوارزميات، والتعقيد، ونظرية تعلم الآلة. لم تكن هذه المشكلات مختلقة؛ بل كانت الاكتشافات الجوهرية الفعلية من الأوراق البحثية المقبولة في عامي 2025 و2026. ثم عمل الباحثون مع خبراء بشريين لترجمة هذه الاكتشافات إلى تنسيق يمكن للحاسوب التحقق منه، مما خلق معياراً صارماً يمكن من خلاله قياس الذكاء الاصطناعي.
كشفت نتائج هذه التجربة عن انقسام صارخ بين ما يمكن لهذه النماذج فهمه وما يمكنها فعله حقاً. فعندما طلب الباحثون من النماذج قراءة ملخص رفيع المستوى لنتيجة بحثية وشرح المنطق الكامن وراءها بلغة بسيطة، أدت النماذج أداءً جيداً للغاية. لقد استطاعت استيعاب الصورة الكبيرة ووصف استراتيجية البرهان بدقة معقولة. ومع ذلك، في اللحظة التي تحولت فيها المهمة إلى ترجمة تلك الأفكار إلى لغة رياضية رسمية يمكن للحاسوب فحصها، اصطدمت النماذج بحائط مسدود. هذه العملية، المعروفة باسم "الصياغة الآلية" (autoformalization)، هي الخطوة التي يحول فيها الباحث البشري فكرة غامضة إلى مجموعة دقيقة من القواعد والتعريفات. وفي هذه المرحلة الحرجة، نجحت أفضل نماذج الذكاء الاصطناعي بنسبة 11.5 بالمائة فقط تقريباً. وفي المقابل، عندما أعطى الباحثون النماذج التعريفات الرياضية الدقيقة للعمل بها، تمكنت النماذج من بناء البرهان النهائي بنسبة 28.6 بالمائة تقريباً.
يشير هذا الفارق إلى أن العقبة الرئيسية أمام الذكاء الاصطناعي في هذا المجال ليست القدرة على اتباع مسار منطقي بمجرد وضعه، بل القدرة على بناء المسار نفسه. تعاني النماص من صعوبة في أخذ وصف باللغة الطبيعية لمشكلة ما وتحويله إلى تعريفات محددة وغير غامضة مطلوبة للتحقق من الحل بواسطة الحاسوب. الأمر يشبه أن النماذج يمكنها قراءة خريطة وفهم الوجهة، لكنها لا تستطيع رسم الخريطة نفسها. علاوة على على ذلك، عندما بنى الباحثون نظاماً سمح للنماذج بمحاولة توليد أفكار بحثية جديدة خاصة بها من الصفر، كانت النتائج أكثر دلالة. فمن بين 64 ادعاءً جديداً ولدها النظام، اعتبر الخبراء البشريون ستة فقط منها جديدة وذات قيمة كافية لتستحق المتابعة. أما البقية فكانت إما مشابهة جداً للأعمال الموجودة، أو تفتقر إلى الأهمية الحقيقية، أو ببساطة لا يمكن إثباتها.
تخلص الدراسة إلى أنه بينما أصبحت أنظمة الذكاء الاصطناعي هذه أفضل في فهم ومناقشة علوم الحاسوب النظرية، إلا أنها لا تزال بعيدة عن القدرة على إجراء بحوث مستقلة. فهي تفتقر إلى "الذوق" أو الحدس المطلوب لتحديد أي الأفكار الجديدة تستحق الاستكشاف حقاً، وتواجه صعوبة في الترجمة الدقيقة للأفكار إلى قواعد رياضية صارمة. إن الطريق نحو الاكتشاف العلمي المستقل تماماً في هذا المجال يتطلب حل مشكلتين متمايزتين: تحسين القدرة على ترجمة الأفكار إلى لغة رياضية دقيقة، وتطوير حس أعمق لما يجعل الفكرة البحثية ذات قيمة. وإلى أن يتم تجاوز هذه العقبات، سيظل دور الذكاء الاصطناعي في هذا المجال هو دور المساعد القوي وليس الباحث المستقل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.