💻 computer science

Distilling Answer Set Programming Theories from Large Language Models

تبحث هذه الورقة في قدرة النماذج اللغوية الكبيرة على استخلاص نظريات برمجة مجموعات الإجابات (Answer Set Programming) كاملة وصحيحة بشكل مستقل لمهام الإجابة على الأسئلة البصرية ضمن حد زمني قدره ساعة واحدة، حيث أظهرت النماذج الرائدة مثل Claude Sonnet 4.6 وClaude Opus 4.7 وDeepSeek V4 Pro دقة تقارب المثالية في عدة معايير مرجعية، بينما أظهر GPT-5 تباينًا كبيرًا في الأداء وحساسية تجاه البيانات المرجعية.

المؤلفون الأصليون: Nelson Higuera Ruiz, Markus Hofmarcher, Claudiu Leoveanu-Condrei

نُشر 2026-07-31

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Nelson Higuera Ruiz, Markus Hofmarcher, Claudiu Leoveanu-Condrei

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل عالماً تكون فيه الحواسيب بارعة للغاية في شيئين مختلفين تماماً. فمن ناحية، هي بمثابة حاسبات فائقة السرعة يمكنها اتباع قواعد صارمة لحل الألغاز المنطقية، لكنها سيئة جداً في فهم العالم الفوضوي والغامض من حولها. ومن ناحية أخرى، هي بمثابة رواة قصص مبدعين وعباقرة يمكنهم قراءة أي شيء تقريباً وكتابة الشعر، لكنهم غالباً ما يختلقون الحقائق أو يتوهون عندما يُطلب منهم اتباع مجموعة صارمة من التعليمات. يطلق العلماء على زواج هاتين المهارتين اسم الحوسبة "العصبية الرمزية" (neurosymbolic). الأمر يشبه محاولة بناء روبوت يمتلك خيال الشاعر ودقة عالم الرياضيات معاً. السؤال الكبير الذي يطرحه الباحثون هو: هل يمكننا تعليم حاسوب فائق الذكاء (نموذج لغوي كبير) أن يكتب كتاب قواعده الصارم الخاص من الصفر، بحيث يمكنه حل الألغاز المعقدة دون أن يضطر إنسان لكتابة كل قاعدة يدوياً؟ هذا أمر مهم لأن كتابة كتب القواعد هذه عملية بطيئة ومملة وصعبة الإتقان، ولكن إذا استطاع الحاسوب القيام بذلك، فقد نفتح طرقاً جديدة لتمكين الآلات من التفكير والاستنتاج حول العالم.

في هذه الورقة البحثية، حاول فريق من الباحثين معرفة ما إذا كان بإمكان نموذج لغوي كبير أن يعمل كمتدرب دؤوب، يتعلم كتابة "كتاب قواعد" كامل للعبة تشبه الألغاز تسمى "الإجابة عن الأسئلة البصرية" (VQA). تخيل أنك تعرض على الحاسوب صورة لمشهد وتطرح عليه سؤالاً: "هل القرص الأصفر على يسار الشخص؟". للإجابة على هذا، يحتاج الحاسوب إلى فهم الصورة، وتفكيك السؤال، ثم إجراء فحص منطقي. أعطى الباحثون الحاسوب ملفاً فارغاً ومجموعة من الأدوات، بما في ذلك "المحلل" (solver) - وهو بمثابة حكم صارم يتحقق مما إذا كانت القواعد منطقية أم لا. كانت مهمة الحاسوب هي قراءة بضع أمثلة تدريبية، ثم كتابة بعض القواعد، ثم طلب من الحكم التحقق منها، ورؤية أين أخفق، ثم إعادة كتابة القواعد. كان لديه ساعة واحدة للاستمرار في فعل ذلك حتى يصل إلى أفضل مستوى ممكن.

اختبر الباحثون ذلك على ثلاثة "مستويات للألغاز": CLEVR (أشكال بسيطة مولدة حاسوبياً)، وGQA (صور من العالم الحقيقي تحتوي على أجسام أكثر تعقيداً)، وCLEVRER (مقاطع فيديو قصيرة تتضمن علاقة السبب والنتيجة). جربوا ذلك باستخدام تسعة نماذج حاسوبية مختلفة، تراوحت من أحدث النماذج "الرائدة" وأكثرها قوة إلى نماذج أصغر وأقدم. جاءت النتائج مزيجاً من النجاح المذهل والفشل المفاجئ. فقد أصبح ثلاثة من أربعة نماذج من الفئة العليا أساتذة في اللعبة؛ ففي ألغاز CLEVR البسيطة، حققوا درجة مثالية بلغت 100%. وفي ألغاز GQA الأكثر صعوبة، سجلوا درجات تتراوح بين 92.8% و98.8%، وهو أداء يتفوق حتى على أفضل كتب القواعد التي كتبها البشر لهذا النوع من البيانات. أما في ألغاز الفيديو (CLEVRER)، فقد سجلوا ما بين 92.7% و95.3%.

ومع ذلك، لم ينجح كل نموذج. أحد أشهر النماذج، GPT-5، أدى بشكل رائع في الألغاز البسيطة (98.7%)، لكنه انهار في ألغاز الصور الواقعية، حيث انخفضت درجته إلى 41.8% فقط. وجد الباحثون أن هذا لم يكن بسبب عدم قدرة النموذج على التفكير المنطقي، بل لأن النموذج ببساطة لم يكتب عدداً كافياً من القواعد لتغطية جميع أنواع الأسئلة المختلفة. وعندما أعطى الباحثون النماذج "ورقة غش" (كتاب قواعد مرجعي من نوع لغز آخر) لمساعدتها، ظلت النماذج المتفوقة عند نفس المستوى تقريباً، لكن GPT-5 ساء أداؤه في الواقع، مما يشير إلى أن النظر في ورقة الغش ربما أدى لتشتيته أو استهلك ذاكرته. أما النماذج الأصغر والأقل قوة، فقد فشلت في الغالب في كتابة أي قواعد صالحة للعمل، وغالباً ما كانت تتعثر أو تكتب قواعد لا يستطيع الحكم فهمها.

تظهر الدراسة أنه مع الإعداد الصحيح، يمكن للحاسوب بالفعل أن يعلم نفسه كتابة كتاب قواعد منطقي كامل وعالي الجودة من الصفر، ليصل إلى أداء البشر أو حتى يتفوق عليهم في عدة اختبارات معيارية. لكن هذا أيضاً يشير إلى أن هذه القدرة ليست مضمونة؛ فهي تعتمد بشدة على النموذج المحدد المستخدم، وأحياناً، قد يؤدي إعطاء النموذج مزيداً من المعلومات (مثل كتاب مرجعي) إلى إرباكه. لقد نشر الباحثون جميع أكوادهم وكتب القواعد التي كتبتها الحواسيب، داعين الآخرين لمحاولة التحسن على هذا "التدريب العصبي الرمزي".

أبحاث مشابهة