Constructing Synthetic Instruction Datasets for Improving Reasoning in Domain-Specific LLMs: A Case Study in the Japanese Financial Domain
تقدم هذه الدراسة منهجية عامة لبناء مجموعات بيانات تعليمات اصطناعية عالية الجودة مع آثار استدلال تسلسل الأفكب (Chain-of-Thought) بدءاً من مفردات متخصصة في مجال معين، مما يثبت فعاليتها في تعزيز قدرات الاستدلال لنماذج اللغات الكبيرة (LLMs) في المجال المالي الياباني من خلال مجموعة بيانات تبلغ 9.5 مليار توكن.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تريد تعليم طالب عبقري لكنه عام المعرفة (ذكاء اصطناعي) كيف يصبح مستشاراً مالياً رفيع المستوى في اليابان. لا يمكنك مجرد إعطائه قاموساً للمصطلحات المالية؛ بل يحتاج إلى تعلم كيف يفكر كخبير، وليس فقط ماذا يقول.
تصف هذه الورقة وصفة ذكية لإنشاء "دليل تدريبي" ضخم ومخصص للذكاء الاصطناعي، مصمم خصيصاً لتعليمه كيفية التفكير من خلال المشكلات المالية اليابانية المعقدة.
إليك تفاصيل منهجيتهم، باستخدام بعض التشبيهات من الحياة اليومية:
1. المشكلة: الطالب "الذكي ولكن الجاهل"
نماذج الذكاء الاصطناعي الحالية تشبه الطلاب الذين قرأوا كل الكتب في المكتبة لكنهم لم يخوضوا أبداً اختباراً في الرياضيات أو يحلوا حالة واقعية. هم يعرفون الحقائق، ولكن عندما تسألهم: "كيف أتنبأ بما إذا كانت هذه الشركة ستفلس؟"، غالباً ما يخمنون أو يقدمون إجابة سطحية. إنهم يفتقرون إلى "سلسلة الأفكار" (Chain of Thought - CoT) — وهي المونولوج الداخلي حيث يقوم الخبير بتفكيك المشكلة خطوة بخطوة قبل الإجابة.
2. الحل: بناء "صالة ألعاب رياضية للتفكير"
لم يكتفِ المؤلفون بتغذية الذكاء الاصطناعي بمزيد من الكتب. بل بنوا صالة ألعاب رياضية للتدريب الاصطناعي (مجموعة بيانات) حيث يتدرب الذكاء الاصطناعي على التفكير قبل التحدث.
الخطوة (أ): اختيار البذور (اختيار المواضيع)
بدلاً من التخمين فيما يجب تعليمه، بدأوا بقائمة من "الكلمات البذرية" مثل التأمين، والأوراق المالية، والتخطيط المالي.
- تشبيه: تخيل أنك تزرع حديقة. أنت لا تنثر البذور في التراب فحسب؛ بل تختار بعناية بذوراً محددة (مواضيع) تمثل الحديقة بأكملها. كما خلطوا بعض "الأزهار البرية" (مواضيع عامة) حتى لا ينسى الذكاء الاصطناعي كيفية التحدث عن الأشياء العادية أثناء تعلم التمويل.
الخطوة (ب): نمو الأسئلة (توليد التعليمات)
استخدموا ذكاءً اصطناعياً فائق الذكاء لتوليد آلاف الأسئلة بناءً على تلك البذور.
- تشبيه: الأمر يشبه طباخاً ماهراً يطلب من مساعده ابتكار 10,000 وصفة جديدة بناءً على "الطماطم". بعض الوصفات بسيطة (أسئلة مفتوحة)، وبعضها يعتمد على الرياضيات (حسابات)، وبعضها إبداعي (كتابة تقارير).
الخطوة (ج): محطة "إعادة المزج" (التوسيع والتعديل)
أخذوا تلك الأسئلة وقاموا بتعديلها. غيروا التنسيق، أو أضافوا سياقاً، أو حولوا سؤالاً بسيطاً إلى سيناريو معقد.
- تشبيه: إذا كان السؤال الأصلي هو "ما هو سعر الفائدة؟"، فإن محطة إعادة المزج تحوله إلى: "إذا كان لدي 10,000 دولار وتغير سعر الفائدة بسبب قانون جديد، كيف ستنمو مدخراتي؟" هذا يجبر الذكاء الاصطناعي على التعامل مع زوايا مختلفة لنفس الموضوع.
الخطوة (د): مراقبة الجودة (الـ "قاضي")
ليست كل الأسئلة المولدة جيدة. فبعضها قد يكون بلا معنى أو سهلاً للغاية. استخدموا "قاضياً" من الذكاء الاصطناعي لتقييم البيانات.
- تشبيه: تخيل محرراً صارماً يراجع كومة من مقالات الطلاب. إذا لم يظهر المقال خطوات العمل (عملية التفكير) أو كان يحتوي على إجابة خاطئة، فإن المحرر يرميه في القمامة. فقط المقالات التي تظهر تفكيراً منطقياً واضحاً هي التي تجتاز الاختبار.
3. النتيجة: مكتبة ضخمة من الأفكار
انتهى بهم المطاف بمجموعة بيانات تحتوي على 9.5 مليار توكن (كمية هائلة من النصوص) حيث يتضمن كل مثال "عملية التفكير" (أثر التفكير) قبل الإجابة النهائية.
قاموا بتدريب نماذج الذكاء الاصطناعي الخاصة بهم على هذه البيانات ووجدوا أن:
- النتائج أفضل: أصبح الذكاء الاصطناعي أفضل بكثير في الاختبارات والمهام المالية مقارنة بالنماذج التي حفظت الحقائق فقط.
- "التفكير" هو المهم: عندما أُجبر الذكاء الاصطناعي على "التفكير بصوت عالٍ" (توليد آثار التفكير) قبل الإجابة، حصل على الإجابات الصحيحة بشكل متكرر أكثر.
4. المفاجأة: "منطقة غولديلوكس" لطول التفكير
كانت واحدة من أكثر النتائج إثارة للاهتمام هي مسألة مدى طول فترة تفكير الذكاء الاصطناعي.
- قصير جداً: يندفع الذكاء الاصطناعي نحو الإجابة ويرتكب أخطاء.
- مثالي (1,024 توكن): يمتلك الذكاء الاصطناعي الوقت الكافي لتفكيك المشكلة، ومراجعة عمله، وإيجاد الإجابة الصحيحة. هنا يصل الأداء إلى ذروته.
- طويل جداً (4,096+ توكن): يبدأ الذكاء الاصطناعي بالشعور بالملل أو الارتباك. يبدأ في تكرار نفسه أو الدوران في حلقات مفرغة، قائلاً "انتظر، دعني أفكر..." مراراً وتكراراً دون حل المشكلة فعلياً.
- تشبيه: الأمر يشبه طالباً يؤدي اختباراً. إذا كان لديه 5 دقائق، فإنه يصاب بالذعر. إذا كان لديه 30 دقيقة، فإنه يبلي بلاءً حسناً. أما إذا أعطيته 5 ساعات، فقد يبدأ في التحديق في السقف، أو الرسم، أو إعادة كتابة نفس الجملة 50 مرة، مما يؤدي في النهاية إلى انخفاض درجاته.
5. لماذا هذا مهم؟
تثبت هذه الورقة أنك لست بحاجة إلى بشر لكتابة ملايين الأمثلة لتدريب ذكاء اصطناعي متخصص. يمكنك استخدام الذكاء الاصطناعي لتوليد بيانات "ممارسة التفكير" عالية الجودة بنفسه.
- الخلاصة: لجعل الذكاء الاصطناعي ذكياً في مجال محدد (مثل التمويل أو القانون أو الطب)، لا تحتاج فقط إلى المزيد من البيانات؛ بل تحتاج إلى أنماط تفكير أفضل. من خلال تعليم الذكاء الاصطناعي كيفية التفكير خطوة بخطوة، فإنك تحوله من مجرد مساعد ذكي عام إلى خبير متخصص حقيقي.
لقد شارك المؤلفون "صالة الألعاب الرياضية" الخاصة بهم (مجموعة البيانات والنماذج) ليستفيد منها الآخرون، آملين في المساعدة في بناء ذكاء اصطناعي أكثر ذكاءً لجميع أنواع الوظائف المتخصصة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.