FARCA: Fact-Aligned Reliability-Aware Credit Assignment for Reinforcement Learning with Factual Supervision
إنَّ FARCA هو إطار عمل لتحسين السياسات يعمل على التخفيف من الهلوسة في التعلم التعزيزي باستخدام الإشراف الواقعي، وذلك عبر تفكيك تعيين الائتمان الضوضائي إلى غموض في التحديد وغموض في الموثوقية، مما يولد إشارات تدريبية دقيقة المستوى وموزونة بالموثوقية تعمل على تحسين واقعية النموذج دون المساس بقدرات الاستدلال العام.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناي التسارع، أصبحت النماذج اللغوية الكبيرة أدوات قوية للاستنتاج، قادرة على حل المشكلات المعقدة من خلال توليد تفسيرات خطوة بخطوة. وغالبًا ما يتم تدريب هذه الأنظمة باستخدام طريقة تسمى التعلم التعزيزي، حيث يتعلم الكمبيوتر من خلال التجربة والخطأ، ولا يتلقى مكافأة إلا عندما يصل إلى إجابة نهائية صحيحة. وبينما فتح هذا النهج آفاقًا لقدرات مذهلة، فإنه يحمل خطرًا خفيًا: قد يصل النموذج إلى الاستنتاج الصحيح عبر نسج قصة مليئة بالحقائق المختلقة. ولأن نظام التدريب يتحقق فقط من النتيجة النهائية، فإنه يعلم النموذج دون قصد أن اختلاق التفاصيل هو استراتيجية صالحة، طالما أن النهاية صحيحة. وهذه الظاهرة، المعروفة باسم "الهلوسة"، تقوض موثوقية هذه الأنظمة، خاصة عندما يُطلب منها الإجابة على أسئلة تتطلب معرفة دقيقة بالعالم الحقيقي.
ولإصلاح ذلك، بدأ الباحثون في إدخال طبقة جديدة من الإشراف تتحقق من الحقائق داخل عملية الاستنتاج نفسها، وليس فقط من الإجابة النهائية. ومع ذلك، كشفت دراسة جديدة أن مجرد إضافة عمليات التحقق من الحقائق ليس كافيًا. فإذا لم يتمكن النظام من تحديد الكلمات الدقيقة في الجملة التي كانت صحيحة وتلك التي كانت خاطئة، أو إذا وثق بشكل أعمى في كل مدقق حقائق يستخدمه، فإن التدريب يمكن أن يصبح في الواقع أكثر ضجيجًا وأقل فعالية. ووجد الباحثون أن الأساليب الحالية غالبًا ما تعامل الجملة الكاملة أو خطوة الاستنتاج كوحدة واحدة، حيث تمنح نفس القدر من الفضل أو اللوم لكل كلمة داخلها. وهذا يخلق عدم تطابق حيث قد تتشارك حقيقة صحيحة وحقيقة مختلقة في نفس إشارة المكافأة، مما يربك النموذج. علاوة على ذلك، فإن الأدوات المستخدمة للتحقق من الحقائق ليست مثالية؛ إذ يمكن خداعها بواسطة الحيل اللغوية أو المعلومات غير ذات الصلة، ومع ذلك تتعامل أساليب التدريب الحالية مع أحكامها كحقيقة مطلقة.
ولحل هذه المشكلات، طور فريق من الباحثين من جامعة نانجينغ للعلوم والتكنولوجيا وجامعة نانجينغ إطار عمل جديدًا يسمى FARCA. صُمم نهجهم ليتوافق حجم تفصيل التحقق من الحقائق مع الطريقة التي يتعلم بها النموذج. فبدلاً من الحكم على جملة كاملة دفعة واحدة، يقوم النظام بتفكيك استنتاج النموذج إلى ادعاءات صغيرة ومستقلة، أو حقائق ذرية. ولكل من هذه الادعاءات الصغيرة، يتتبع النظام أصلها وصولاً إلى كلمات محددة في النص التي أنتجتها. وتضمن هذه العملية، التي يسميها المؤلفون "أصل الرموز" (token provenance)، أن يتلقى النموذج مكافأة أو عقوبة فقط للكلمات المحددة التي تقابل بيانًا صحيحًا أو خاطئًا. فإذا كانت الجملة تحتوي على حقيقة صحيحة وأخرى خاطئة، يمكن للنظام الآن مكافأة الجزء الصحيح مع معاقبة الجزء الخاط، بدلاً من دمج الاثنين معًا.
كما عالج الباحثون مسألة مدققي الحقائق غير الموثوقين. فقد أدركوا أن ليس كل إشارات التحقق من الحقائق موثوقة بنفس القدر؛ فبعض الأحكام تستند إلى أدلة واضحة ومحددة، بينما قد تكون أخرى تخمينات مدفوعة بالأنماط اللغوية للنموذج. وللتعامل مع هذا، يستخدم FARCA تقنية تسمى "إسناد الأدلة المضادة للواقع". وقبل قبول عملية التحقق من حقيقة ما، يطرح النظام سؤالاً بسيطًا: إذا أزلنا القطعة الأكثر أهمية من الأدلة الداعمة لهذه الحقيقة، فهل سيغير مدقق الحقائق رأيه؟ إذا كانت الإجابة بنعم، يُعت-بر الحكم موثوقًا للغاية. أما إذا قدم مدقق الحقائق نفس الإجابة حتى بدون الدليل الرئيسي، فإن النظام يعامل ذلك الحكم على أنه ضعيف ويقلل من تأثيره على عملية التدريب. وهذا يسم يسمح للنموذج بالتعلم من التصحيحات القوية المدعومة بالأدلة، مع تجاهل الإشارات المضللة أو المليئة بالضجيج.
اختبر الفريق هذا الأسلوب الجديد على نموذجين لغويين مختلفين باستخدام مجموعة متنوعة من مجموعات البيانات الصعبة التي تتطلب معرفة عميقة واستنتاجًا. وقارنوا نتائجهم بعدة أساليب موجودة تستخدم الإشراف الواقعي. وأظهرت النتائج أن إطار العمل الجديد حسن بشكل كبير قدرة النماذج على الالتزام بالحقائق دون التضحية بقدرتها على حل المشكلات المعقدة. وفي الاختبارات المصممة لقياس مدى اختلاق النماذج للأمور، تفوق الأسلوب الجديد على جميع الأساليب السابقة، مما قلل من الهلوسة بفارق ملحوظ. فعلى سبيل المثال، في أحد الاختبارات التي تقيس الصدق في المعرفة العامة، كان التحسن جوهريًا، حيث حقق الأسلوب الجديد درجات أعلى بعدة نقاط مئوية من أفضل نظام تالٍ له. والأهم من ذلك، حافظت النماذج أيضًا على أدائها أو حتى حسنت أداءها في مهام الاستنتاج الرياضي، مما يثبت أن جعل التدريب أكثر تركيزًا على الحقائق لم يجعل النماذج أسوأ في المنطق.
تشير الدراسة إلى أن مفتاح تدريب ذكاء اصطناعي موثوق يكمن في الدقة والشك. فمن خلال تحديد مكان وجود الحقيقة بالضبط في الجملة، ومن خلال التشكيك في قوة الدليل وراء كل عملية تحقق من حقيقة، خلق الباحثون بيئة تدريب أكثر دقة ومتانة. إن عملهم يثبت أن الطريق نحو ذكاء اصطناعي أفضل لا يقتصر فقط على التحقق من المزيد من الحقائق، بل يتعلق بالتحقق منها بطريقة تحترم تعقيد اللغة ومحدودية أدوات التحقق. ويقدم هذا النهج طريقة أكثر وضوحًا واستقرارًا لتوجيه هذه الأنظمة القوية، مما يضمن أنها عندما تستنتج، فإنها تفعل ذلك بناءً على أساس من الحقيقة وليس مجموعة من الأكاذيب التي تبدو مقنعة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.