Wnuan: Staged Post-Training for Question Answering over Proprietary Enterprise Knowledge

تخيل أنك تحاول تعليم مراهق عبقري ومثقف كيفية إدارة عمل تجاري محدد ومعقد للغاية. هذا المراهق قرأ بالفعل كل كتاب في المكتبة العامة ويمكنه التحدث عن أي شيء، من التاريخ إلى البرمجة. لكنه لم يرَ قط كتيبات القواعد الداخلية للشركة، أو أدلة السلامة، أو ملفات المشاريع السرية. إذا طلبت منهم فقط تخمين الإجابات بناءً على ما يعرفونه من العالم الخارجي، فقد يبدون واثقين ولكنهم سيخطئون في التفاصيل، أو الأسوأ من ذلك، قد يختلقون حقائق تبدو حقيقية ولكنها ليست كذلك (وهي مشكلة يطلق عليها الخبراء اسم "الهلوسة").

هذا هو تحدي الإجابة على الأسئلة في المؤسسات (Enterprise Question Answering). تمتلك الشركات جبالاً من الوثائق الخاصة التي تحمل الإجابات "الحقيقية"، لكن نماذج الذكاء الاصطناعي الخاصة بها لا تعرفها. الهدف هو تعليم الذكاء الاصطناعي هذه الأسرار الخاصة دون جعله ينسى كيف يكون مساعداً مفيداً، مهذباً، ومنطقياً. إنه توازن دقيق: إذا علمته الكثير عن الشركة، فقد يتوقف عن كونه مساعداً عاماً جيداً؛ وإذا لم تعلمه بما يكفي، فلن يتمكن من أداء مهمته. يستكشف البحث الذي ستطالعه الآن وصفة من ثلاث خطوات ذكية لحل هذا اللغز، وتحويل ذكاء اصطناعي عام القدرات إلى خبير في الشركة دون أن يفقد عقله.

---

وصفة Wnuan: تعليم الذكاء الاصطناعي ليكون خبيراً في الشركة

تعرف على Wnuan، وهو مسار تدريب جديد مصمم لتحويل ذكاء اصطناعي عام إلى متخصص يعرف وثائق الشركة الخاصة من الداخل والخارج. فكر في الذكاء الاصطناعي ليس كطالب يحفظ للاختبار، بل كموظف جديد يحتاج إلى تعلم دليل الشركة، وبروتوكولات السلامة، وتاريخ المشاريع، مع تذكر كيفية البقاء إنساناً مهذباً.

بنى مؤلفو هذا البحث معسكراً تدريبياً من ثلاث مراحل لذكائهم الاصطناعي، والذي يسمونه Wnuan. إليك كيف تسير الرحلة، خطوة بخطوة.

الخطوة 1: تحويل الدليل إلى برنامج مسابقات

أولاً، كان على الفريق تحويل آلاف الوثائق المملة والجافة للشركة (مثل ملفات PDF لقواعد السلامة أو المواصفات الفنية) إلى شيء يمكن للذكاء الاصطناعي التعلم منه فعلياً. لا يمكنك مجرد تغذية الذكاء الاصطناعي بدليل مكون من 500 صفحة وتأمل أن يحفظه. بدلاً من ذلك، استخدموا عملية تسمى تحويل الوثيقة إلى سؤال وجواب (Document-to-QA).

تخيل أخذ كتاب قواعد كثيف وجعل محرر ذكي يحول كل قاعدة إلى بطاقة استذكار "سؤال وجواب". إذا كانت القاعدة تقول: "يجب على جميع الموظفين ارتداء خوذات صلبة في المنطقة ب"، فإن النظام ينشئ بطاقة تسأل: "ماذا يجب أن ترتدي في المنطقة ب؟" وتقدم الإجابة. لقد فعلوا ذلك لأكثر من 220,000 مثال! حتى أنهم جعلوا الذكاء الاصطناعي يعيد كتابة بعض الإجابات للتأكد من أنها تبدو تماماً مثل الذكاء الاصطناعي المحدد الذي يدربون عليه. لقد أنشأ هذا مجموعة ضخمة ومخصصة من بطاقات الاختبار المصممة خصيصاً لأسرار الشركة.

الخطوة 2: استراحة "إعادة العرض"

الآن يأتي الجزء الصعب. إذا درست دليل الشركة فقط، فقد تنسى كيفية التحدث إلى الناس أو حل المشكلات العامة. يُعرف هذا باسم "النسيان الكارثي". لمنع حدوث ذلك، استخدم الفريق تقنية تسمى إعادة عرض البيانات العامة (General-Data Replay).

فكر في هذا الأمر كجلسة دراسية حيث يدرس الطالب دليل الشركة لفترة من الوقت، ولكنه يأخذ استراحة للدردشة حول مواضيع عامة مثل الرياضة، العلوم، أو الألغاز المنطقية. وجد البحث أن خلط حوالي 48% من بيانات المحادثة العامة مع بيانات الشركة كان هو "النقطة المثالية". فقد حافظ ذلك على ذكاء وتهذيب الذكاء الاصطناعي بينما يتعلم قواعد الشركة. لولا هذه الاستراحة، لكان الذكاء الاصطناعي قد أصبح خبيراً رائعاً في الشركة ولكنه أصبح محاوراً سيئاً.

الخطوة 3: تمرين "الخطأ المتبقي"

بعد الخطوتين الأولى والثانية، كان الذكاء الاصطناٍ أصبح جيداً، لكنه كان لا يزال يرتكب الأخطاء. كان يجيب على الأسئلة السهلة بشكل صحيح ولكنه يتعثر في الأسئلة الصعبة. هنا يأتي دور المرحلة الثالثة، التعلم المعزز للخطأ المتبقي (Residual-Error Reinforcement Learning - RL).

بدلاً من إعادة دراسة مجموعة الأسئلة بأكملها، نظر الفريق تحديداً إلى الأسئلة التي أخطأ فيها الذكاء الاصطناعي (الأخطاء المتبقية). لقد تعاملوا مع هذه الأخطاء كمدرب يركز على نقاط ضعف الرياضي. استخدموا نظام مكافأة خاص لتعليم الذكاء الاصطناعي كيفية إصلاح تلك الأخطاء المحددة. الأمر يشبه قول: "لقد أجبت على مسائل الرياضيات السهلة بشكل صحيح، ولكن دعنا نتدرب على مسائل الجبر الثلاث الصعبة هذه حتى تتقنها".

النتائج: فوز كبير بتكلفة صغيرة

كانت نتائج مراحل التدريب الثلاث هذه مثيرة للإعجاب. قبل أي تدريب، كان بإمكان الذكاء الاصطناعي (المسمى Wnuan-Base) تقديم إجابات مقبولة لحوالي 52.76% فقط من الأسئلة في مجموعة الاختبار الخاصة بهم، والتي تسمى Wnuan-Bench.

• بعد الخطوة 2 (التدريب تحت الإشراف مع إعادة العرض): قفزت النتيجة إلى 80.06%. أصبح الذكاء الاصطناعي الآن موظفاً جيداً.
• بعد الخطوة 3 (التعلم المعزز للخطأ المتبقي): ارتفعت النتيجة بشكل أكبر لتصل إلى 91.51%. لقد أتقن الذكاء الاصطناعي أسرار الشركة.

تحقق الفريق أيضاً مما إذا كان الذكاء الاصطناعي قد نسي كيف يكون مساعداً عاماً. ووجدوا أنه رغم تراجع قدرته قليلاً على اتباع التعليمات المحددة والمعقدة جداً (انخفاض بنحو 5 نقاط في معيار عام)، إلا أنه لم يفقد ذكاءه العام. كانت المقايضة تستحق العناء: أصبح الذكاء الاصطناعي خبيراً أفضل بكثير في الشركة.

ما ينفيه البحث (وما لا ينفيه)

كان المؤلفون حذرين جداً في اختبار أفكارهم. لم يكتفوا بالتخمين بأن التركيز على الأخطاء أفضل، بل أثبتوا ذلك.

• التركيز على الأخطاء ينجح: قارنوا طريقة "الخطأ المتبقي" الخاصة بهم (التركيز فقط على الإجابات الخاطئة) مقابل طريقتين أخريين: دراسة كل شيء (المجموعة الكاملة) ودراسة مزيج عشوائي من الأسئلة. فازت طريقة "الخطأ المتبقي"، متفوقة على الطريقة العشوائية بمقدار 2.97 نقطة وعلى المجموعة الكاملة بمقدار 3.11 نقطة. وهذا يشير إلى أنه بمجرد أن يعرف الذكاء الاصطناتي الأساسيات، فإن التدريب على نقاط ضعفه المحددة هو الطريقة الأكثر كفاءة للتعلم.
• الاسترجاع ليس حلاً سحرياً: اختبر الفريق أيضاً خدعة شائعة تسمى RAG (التوليد المعزز بالاسترجاع)، حيث يُسمح للذكاء الاصطناعي بالبحث عن الإجابات في قاعدة بيانات أثناء الاختبار. ومن المثير للدهشة، بالنسبة للذكاء الاصطناعي المدرب بالكامل، جعل البحث عن الإجابات أداءه أسوأ في بعض الحالات. لقد تعلم الذكاء الاصطناعي المادة جيداً لدرجة أن محاولة البحث عنها تسببت في إرباكه. يشير هذا إلى أنه بالنسبة لهذا النوع من التدريب، من الأفضل أن تكون المعرفة "مدمجة" بدلاً من البحث عنها عند الطلب.
• ليس علاجاً عالمياً لكل شيء: يعترف البحث بأن هذه الطريقة تعمل بشكل رائع لوثائق هذه الشركة المحددة. ولا يدعي أنها تحل كل مشاكل الذكاء الاصطناعي في العالم. أيضاً، لا يزال الذكاء الاصطناعي مصمماً ليكون مساعداً يراجعه البشر، وليس روبوتاً يتخذ قرارات نهائية تتعلق بالسلامة أو التوظيف بمفرده.

الخلاصة

يظهر بحث Wnuan لنا مساراً واضحاً لصنع خبراء في الذكاء الاصطناعي. من خلال تحويل الوثائق إلى اختبارات، وخلط المحادثة العامة للحفاظ على توازن الذكاء الاصطناعي، ثم التدريب تحديداً على الأخطاء التي يرتكبها، يمكنك تحويل روبوت عام القدرات إلى شخص مطلع للغاية داخل الشركة.

يشير المؤلفون إلى أن هذا النهج "المرحلي" هو المفتاح: أولاً علّم الأساسيات، ثم صقل نقاط الضعف. وبينما يفقد الذكاء الاصطناعي قليلاً من قدرته على اتباع التعليمات المعقدة، فإن المكاسب الهائلة في الدقة (من 52.76% إلى 91.51%) تجعلها استراتيجية رابحة للشركات التي تحتاج إلى أن يعرف ذكاؤها الاصطناعي القواعد، والإجراءات، وأسرار العمل. إنه تذكير بأنه في بعض الأحيان، أفضل طريقة للتعلم ليست دراسة كل شيء مرة أخرى، بل التركيز بشدة على ما أخطأت فيه.