Automatic Hint Generation and Evaluation for Reasoning Questions

في عالم الذكاء الاصطناعي، أصبحت النماذج اللغوية الكبيرة ماهرة بشكل ملحوظ في حل الألغاز المعقدة والإجابة على الأسئلة الصعبة. يمكن لهذه الأنظمة الرقمية أن تستنتج الحلول للمشكلات المنطقية، وتجري الحسابات، وتشرح المفاهيم العلمية بطلاقة تضاهي في كثير من الأحيان الخبراء البشريين. ومع ذلك، في البيئات التعليمية أو عندما يحاول شخص ما تعلم مهارة جديدة، فإن مجرد تقديم الإجابة النهائية نادراً ما يكون مفيداً. فالتعلم الحقيقي يحدث في خلال المعاناة للوصول إلى الحل، وهي عملية تتطلب التوجيه بدلاً من الكشف المباشر. وهنا يصبح مفهوم "التلميح" أمراً جوهرياً. فالتلميح الجيد يعمل كدفعة لطيفة، يقدم قدرًا كافيًا من المعلومات لتوجيه المتعلم نحو المسار الصحيح دون إعطائه الوجهة النهائية. ويتمثل التحدي الذي يواجه الباحثين في تعليم الآلات كيفية إنشاء هذه التلميحات تلقائياً. يجب على الآلة أن تسير على حبل مشدود: إذ يتعين عليها أن تكون غنية بالمعلومات لتكون مفيدة، وذات صلة لتبقى في صلب الموضوع، وآمنة بما يكفي لضمان عدم تسريب الإجابة عن طريق الخطأ. فإذا كان التلميح غامضاً للغاية، فإنه يصبح عديم الفائدة؛ وإذا كان محدداً للغاية، فإنه يبطل الغرض من التمرين.

لقد شرع باحث في جامعة إنسبروك في حل هذه المشكلة من خلال تعليم نماذج الذكاء الاصطناعي كيفية صياغة تلميحات أفضل لأسئلة الاستنتاج. بدأ بجمع مجموعة متنوعة واسعة من الأسئلة الصعبة من خمسة مصادر مختلفة، تغطي كل شيء من ألغاز المنطق متعددة الخطوات والمنطق العام اليومي إلى مسائل امتحانات العلوم والمسائل الرياضية اللفظية. ولضمان أن تكون دراسته قابلة للإدارة وفي الوقت نفسه ممثلة للواقع، اختار مجموعة متنوعة مكونة من 1500 سؤال جسدت النطاق الكامل لأنماط التفكير الموجودة في هذه المجالات. ثم طلب من ثلاثة نماذج لغوية كبيرة مختلفة توليد تلميحات لكل سؤال باستخدام أربعة أساليب متميزة. سمحت بعض الأساليب للنماذج برؤية الإجابة الصحيحة أثناء كتابة التلميح، بينما أجبرت أساليب أخرى النماذج على العمل "معصوبة العينين"، معتمدة فقط على السؤال نفسه. كما اختبروا طرقاً تعمل على تفكيك الأسئلة المعقدة إلى خطوات أصغر وأبسط قبل توليد التلميح.

وللحكم على جودة هذه التلميحات المولدة، طور الباحث نظام اختبار صارم يقيس أربعة خصائص رئيسية. فقد تحقق من "التقارب"، الذي يحدد مدى قدرة التلميح على تضييق نطاق الإجابات المحتملة لتوجيه المستخدم نحو الحقيقة. وقاس "تسرب الإجابة" لضمان عدم كشف التلميح للحل حتى بطريقة ضمنية. كما قيم "الألفة" لمعرفة ما إذا كان التلميح يستخدم مفاهيم يمكن للشخص العادي فهمها، بدلاً من المصطلحات التقنية الغامضة. وأخيراً، تحقق من "الصلة" للتأكد من بقاء التلميح مركزاً على السؤال المطروح تحديداً. وباستخدام هذه القياسات، أنشأ الباحث نظام تسجيل يعطي الأولوية للتلميحات المفيدة والآمنة، بينما يعاقب تلك التي تعطي الإجابة. ثم استخدم هذه التلميحات عالية الجودة لضبط النماذج بدقة (fine-tuning)، وهي عملية يتعلم فيها الذكاء الاصطناعي من أمثلة محددة لتحسين سلوكه، تماماً مثل طالب يدرس مجموعة من مسائل التدريب لإتقان موضوع ما.

أظهرت النتائج أن هذه الطريقة في تعليم النماذج قد نجحت. فعندما قارن الباحث بين النماذج الأصلية وتلك التي تم ضبطها بدقة باستخدام التلميحات المختارة بعناية، وجد تحسينات مستمرة. أصبحت النماذج التي تم ضبطها بدقة أفضل بكثير في تجنب تسرب الإجابة، مما يعني أنها كانت أقل عرضة لإفشاء الحل عن طريق الخطأ. وفي الوقت نفسه، أصبحت التلميحات التي تنتجها أكثر ألفة وسهولة للمستخدمين، حيث استخدمت مفاهيم تبدو أكثر حدسية. والأهم من ذلك، لم تفقد النماذج قدرتها على البقاء ذات صلة بالسؤال أو توجيه المستخدم نحو الإجابة الصحيحة. تشير الدراسة إلى أنه من خلال الاختيار الدقيق وتحديد أوزان البيانات المستخدمة في التدريب، من الممكن تشكيل الذكاء الاصطناعي ليكون مساعداً تعليمياً أكثر فعالية وأماناً. وأشار الباحث إلى أنه على الرغم من أن التحسينات كانت متواضعة، إلا أنها كانت موثوقة عبر أنواع مختلفة من النماذج وأنماط الأسئلة، مما يوفر مساراً عملياً لإنشاء أدوات ذكاء اصطناعي تدعم التعلم دون تقويض الجهد المطلوب للتعلم.