💬 NLP

FinRAG-12B: A Production-Validated Recipe for Grounded Question Answering in Banking

يُعد FinRAG-12B إطار عمل بـ 12 مليار معلمة، تم التحقق من كفاءته في بيئة الإنتاج وهو فعال من حيث البيانات، حيث يجمع بين مسار تدريب متخصص وآليات رفض مُعايرة لتقديم إجابات على الأسئلة عالية الدقة والموثوقية ومنخفضة التكلفة لأكثر من 40 مؤسسة مالية، متفوقاً بذلك على GPT-4.1 في جودة الاستشهاد وحل الاستعلامات مع تقليل زمن الاستجابة والتكاليف التشغيلية بشكل كبير.

المؤلفون الأصليون: Denys Katerenchuk, Pablo Duboue, Keelan Evanini, David Gondek, Nithin Govindugari, Olivier Allauzen, Joshua Baptiste, David J More, Joshua Schechter

نُشر 2026-05-08

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Denys Katerenchuk, Pablo Duboue, Keelan Evanini, David Gondek, Nithin Govindugari, Olivier Allauzen, Joshua Baptiste, David J More, Joshua Schechter

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك توظف مساعداً جديداً في بنك. أنت بحاجة إلى شخص ذكي للغاية، ويعرف قواعد البنك تمام المعرفة، والأهم من ذلك، لا يختلق الأمور أبداً. إذا لم يعرف الإجابة، يجب عليه أن يقول: "لا أعرف"، بدلاً من التخمين وتقديم نصيحة مالية سيئة قد تضع البنك في ورطة.

تقدم هذه الورقة البحثية FinRAG-12B، وهو مساعد ذكاء اصطناعي متخصص مصمم لهذا الدور تحديداً. إليك كيف بناه المؤلفون ولماذا يعمل، مشروحاً ببساطة.

المشكلة: المساعد "الموافق بشدة"

نماذج الذكاء الاصطناعي القياسية (مثل تلك التي قد تدردش معها عبر الإنترنت) بارعة في كتابة القصص أو البرمجة، لكن لديها عادة سيئة في العمل المصرفي: فهي حريصة جداً على إرضاء المستخدم. إذا سألتها سؤالاً لا تستطيع الإجابة عليه من ذاكرتها، فإنها غالباً ما تخترع إجابة تبدو منطقية. في البنك، هذا أمر خطير. فإذا سأل عميل عن غرامات الرهن العقاري وأخطأت هي في التخمين، فقد يؤدي ذلك إلى دعاوى قضائية أو خسارة أموال.

الحل: "وصفة" لمساعد ذكي وصادق

أنشأ الفريق نموذج ذكاء اصطناعي بـ 12 مليار معلمة (فكر في هذا كدماغ كبير جداً، ولكنه ليس ضخماً) وقاموا بتدريبه باستخدام "وصفة" محددة لإصلاح هذه المشكلات. لم يقوموا فقط بتغذيته بكمية هائلة من البيانات؛ بل قاموا باختيار مجموعة بيانات عالية الجودة وأصغر حجماً (143 مليون "توكن" أو كلمة فقط) لتعليمه ثلاث مهارات محددة:

1. مهارة "الاستشهاد" (إظهار خطوات العمل)

تخيل طالباً يؤدي اختباراً. الذكاء الاصطناعي العادي قد يكتب الإجابة فحسب. أما FinRAG-12B فقد تم تدريبه ليعمل كطالب يجب عليه إظهار خطوات عمله.

كيف فعلوا ذلك: أنشأوا مسار تدريب حيث يتعين على الذكاء الاصطناعي الإجابة على الأسئلة باستخدام الوثائق المقدمة إليه فقط (مثل دليل سياسات البنك).
النتيجة: عندما يجيب الذكاء الاصطناعي، فإنه يشير إلى الجملة المحددة في الوثيقة التي تدعم إجابته. لقد تعلم أن يقول: "وفقاً للصفحة 4 من السياسة، فإن الرسوم هي 50 دولاراً"، بدلاً من مجرد التخمين. وفي الاختبارات، كان أفضل من حتى أكثر نماذج الذكاء الاصطناعي التجارية تقدماً في هذا المجال.

2. مهارة "الأمانة" (معرفة متى يتوقف)

هذا هو الجزء الأكثر أهمية. أدرك الفريق أنه إذا تم تدريب الذكاء الاصطناعي فقط على الأسئلة التي يمكنه الإجابة عليها، فإنه لن يتعلم أبداً قول "لا أعرف".

التشبيه: تخيل معلماً يسأل فقط الأسئلة التي يعرف الطالب إجابتها. لن يتعلم الطالب أبداً الاعتراف بالجهل.
الحل: تعمد الفريق تغذية الذكاء الاصطناعي بـ 22% من الأسئلة التي لم تكن إجاباتها موجودة في الوثائق المقدمة. لقد علموه أنه في هذه الحالات، تكون الإجابة الصحيحة هي "لا أعرف".
النتيجة: تعلم الذكاء الاصطناعي أن يكون "معايراً" (calibrated). فهو يرفض الإجابة عندما لا يكون متأكداً (بنسبة 12% من الوقت)، وهو أمر أكثر أماناً من النموذج الأساسي (الذي كان يخمن بنسبة 95% من الوقت) وأقل إزعاجاً من النماذج الأخرى التي ترفض الإجابة كثيراً (بنسبة 20% من الوقت).

3. "التعلم المنهجي" (تلقين الذكاء الاصطناعي)

لم يقوموا بصب كل البيانات على الذكاء الاصطناعي دفعة واحدة. بل استخدموا نهج "المنهج الدراسي"، مثل النظام المدرسي:

المرحلة 1 (المدرسة العامة): علموا الذكاء الاصطناعي اللغة المالية العامة باستخدام بيانات مفتوحة المصدر. منحهم هذا أساساً متيناً.
المرحلة 2 (التدريب المتخصص): بعد ذلك، قدموا له محادثات مصرفية حقيقية وخاصة وقواعد محددة.
لماذا يهم ذلك: لو قاموا بخلط هذين النوعين من البيانات بشكل عشوائي، لتعرض الذكاء الاصطناعي للارتباك وأدى أداءً ضعيفاً. ومن خلال تعليمه على مراحل، تعلم القواعد أولاً، ثم كيفية تطبيقها على الحياة الواقعية.

نتائج العالم الحقيقي: "الاختبار المباشر"

لم يكتفِ المؤلفون باختبار هذا في المختبر؛ بل قاموا بنشره في أكثر من 40 مؤسسة مالية. إليكم ما حدث:

حل المزيد من الأسئلة: نجح الذكاء الاصطناعي الجديد في الإجابة على 7.1% أكثر من أسئلة العملاء مقارنة بالنظام القديم دون الحاجة لتدخل بشري.
السرعة والتكلفة: إنه أسرع بـ 3 إلى 5 مرات من استخدام واجهة برمجة تطبيقات (API) لأحد أشهر نماذج الذكاء الاصططل التجاري. والأهم من ذلك، أنه يكلف أقل بـ 20 إلى 50 مرة لتشغيله.
- التشبيه: استخدام الذكاء الاصطناعي التجاري القديم يشبه ركوب طائرة خاصة لرحلة قصيرة إلى المتجر. أما FinRAG-12B فهو يشبه قيادة سيارة كهربائية موثوقة وفعالة؛ فهي توصلك إلى وجهتك بسرعة أكبر وبجزء بسيط من التكلفة.
سعادة العملاء: بينما لم تتغير جودة الإجابات الفردية بشكل جذري، إلا أن العملاء كانوا أكثر سعادة بشكل عام لأن المزيد من أسئلتهم تمت الإجابة عليها بنجاح.

الملخص

إن FinRAG-12B هو ذكاء اصطناعي مصرفي متخصص تم تدريبه ليكون صادقاً، ومستنداً إلى الحقائق، وفعالاً. من خلال تعليمه كيفية الاستشهاد بمصادره والاعتراف عندما لا يعرف الإجابة، أنشأ المؤلفون نظاماً أكثر أماناً للبنوك، وأرخص في التشغيل، ويحل بالفعل المزيد من مشاكل العملاء مقارنة بالبدائل "الجاهزة".

ملاحظة حول القيود: يشير المؤلفون بحذر إلى أن هذا تم اختباره خصيصاً على الأسئلة المصرفية (مثل القروض والحسابات). هم لا يدعون أنه يعمل في تداول الأسهم أو التأمين بعد، ولم يتمكنوا من مشاركة بيانات التدريب الخاصة بهم بسبب قوانين الخصوصية، رغم أنهم شاركوا طرق التدريب العامة الخاصة بهم.

ملخص تقني: FinRAG-12B

بيان المشكلة

يعوق تبني النماذج اللغوية الكبيرة (LLMs) في القطاع المصرفي بسبب المتطلبات الصارمة للدقة الواقعية، والامتثال التنظيمي، والتوثيق القابل للتحقق. غالبًا ما تعاني النماذج الجاهزة من الهلوسة، والسلوك المفرط في الموافقة (التبعية/Sycophancy)، وعدم التوافق مع البيانات الديناميكية الخاصة بالمجال مثل أسعار الفائدة والسياسات المؤسسية. وفي أنظمة التوليد المعزز بالاسترجاع (RAG)، قد تتجاهل النماذج السياق المسترجع، أو تعتمد على فقرات غير ذات صلة، أو تفبرك إجابات عندما تكون المعلومات غير متوفرة. وهذا يشكل مخاطر تنظيمية ومالية كبيرة. علاوة على ذلك، تفشل الحلول الحالية غالبًا في موازنة المقايضة بين الإجابة على الاستفسارات والامتناع عن الإجابة عند عدم كفاية الأدلة، مما يؤدي إما إلى هلوسة غير آمنة أو امتناع مفرط (الحذر الزائد).

المنهجية

يقترح المؤلفون FinRAG-12B، وهو نموذج لغوي كبير بـ 12 مليار معلمة (12B-parameter) تم تحسينه لعمليات الـ RAG المصرفية، مبني على النموذج الأساسي Gemma 3 12B-IT. يعتمد النهج على إطار عمل موحد وفعال من حيث البيانات يعمل على التحسين المشترك لجودة الإجابة، وتوثيق الاستشهاد، والامتناع المعاير.

1. خط معالجة تنقية البيانات (Data Curation Pipeline)

تتكون مجموعة بيانات التدريب من 98,648 عينة (143 مليون توكن)، مع إعطاء الأولوية للجودة على الحجم. يتضمن الخط المعالجة ما يلي:

RAG-v1 (مفتوح المصدر): 43,581 عينة تم تصفيتها عبر JudgeLM لضمان إشراف عالي الجودة.
الأسئلة والأجوبة الاصطناعية لتقارير SEC: 17,773 عينة تم توليدها من ملفات هيئة الأوراق المالية والبورصات الأمريكية (10-K، 10-Q) باستخدام خط معالجة مكون من خمس مراحل. يتضمن ذلك تقسيم المستندات، وتوليد أسئلة بأربعة مستويات من الصعوبة، وإعادة الصياغة لتناسب توزيع استعلامات المستخدم الحقيقية (الأسلوب، الطول، الرسمية)، وفرض مخرجات بنمط الاستشهاد، وحقن فقرات مشتتة لمحاكاة ضجيج الاسترجاع.
مجموعة فرعية مالية من CommonCrawl: 29,499 عينة مستمدة من استعلامات المستخدمين الحقيقية (بدون معلومات تحديد الهوية الشخصية PII) والفقرات ذات الصلة، تم تصفيتها عبر مصنف "الغابة العشوائية" (Random Forest) لضمان الامتثال للخصوصية.
بيانات معايرة الامتناع (Refusal Calibration Data): 17,795 مثالاً مملوكاً (تمثل 22% من الخليط) حيث يكون السياق المسترجع ذا صلة موضوعية ولكن غير كافٍ. المخرج المستهدف هو عبارة صريحة مثل "لا أعرف"، لتدريب النموذج على الامتناع بدلاً من الهلوسة.

2. استراتيجية التدريب

يستخدم النموذج نهج التعلم المنهجي ذو المرحلتين (Two-stage curriculum learning):

المرحلة 1 (التكيف مع المجال): تدريب على 60,354 عينة (RAG-v1 + Synthetic SEC) بمعدل تعلم متحفظ ( $1 \times 10^{-6}$ ). هذا يؤسس القدرات الأساسية للتوليد الموثق ومحاذاة الاستشهاد باستخدام بيانات قابلة لإعادة الإنتاج.
المرحلة 2 (تخصص المهام): تدريب مستمر على 38,294 عينة (CommonCrawl + Proprietary Banking) بمعدل تعلم أعلى ( $5 \times 10^{-6}$ ). تقدم هذه المرحلة توزيعات استعلامات العالم الحقيقي وتعاير سلوك الامتناع.
تخفيف الانحياز الموضعي (Positional Bias Mitigation): لمواجهة ميل النماذج للانتباه بشكل غير متناسب لبداية أو نهاية السياق، قام المؤلفون بتوزيع أماكن الفقرات ذات الصلة عشوائياً بين المشتتات باستخدام خليط من توزيعات التضاؤل التوافقي شبه المنحرفي المتقطع (discrete right trapezoidal harmonic decay distributions).
معايرة الامتناع: حددت عملية مسح منهجي أن نسبة 22% من الأمثلة غير القابلة للإجابة تحقق المقايضة المثلى، مما يقلل الإجابات غير المدعومة مع تجنب الامتناع المفرط عن الاستعلامات القابلة للإجابة.

3. تكوين النموذج والتشغيل

الضبط الدقيق (Fine-tuning): يستخدم تقنية LoRA (التكيف منخفض الرتبة) على جميع طبقات الانتباه وMLP بمعاملات ( $r=64, \alpha=256$ ).
الكمنتة (Quantization): تم تكمنتة النموذج إلى W4A16 (أوزان 4-بت، تنشيطات 16-بت) باستخدام SmoothQuant، مما قلل البصمة من 24 جيجابايت إلى 8.4 جيجابايت للتشغيل الفعال على وحدة معالجة رسومات واحدة (Single-GPU) مع حد أدنى من التدهور في الأداء.

المساهمات الرئيسية

خط معالجة فعال للبيانات: خط معالجة متعدد المراحل يجمع بين تصفية "النموذج كحكم" (LLM-as-a-Judge)، والتوليد الاصطناعي المشروط بالأسلوب، واستخراج البيانات الحقيقية المتوافق مع الخصوصية لإنشاء مجموعة بيانات عالية الجودة وموثقة باستخدام 143 مليون توكن فقط.
آلية امتناع معايرة: استراتيجية قائمة على أخذ عينات سلبية محكومة (22% أمثلة غير قابلة للإجابة) تقلل بشكل كبير من الهلوسة مع منع الامتناع المفرط الشائع في النماذج العامة.
إطار عمل إنتاجي متكامل: منهجية تم التحقق منها تشمل معالجة البيانات، والتعلم المنهجي، والتشغيل المكمنت، والتي تم نشرها في أكثر من 40 مؤسسة مالية.

النتائج

أُجري التقييم على مجموعة اختبار مصرفية خاصة (258 مثالاً) وعلى معيار FinanceBench العام.

جودة الإجابة والتوثيق: حقق FinRAG-12B درجة 6.21 في مقياس JudgeLM، متفوقاً على GPT-4.1 (5.72) ونموذج Gemma 3 الأساسي (5.70). كما حسن جودة الاستشهاد إلى 73.1 (مقابل 70.8 لـ GPT-4.1)، مما يظهر توثيقاً أكثر انتقائية وصلة.
معايرة الامتناع: حقق النموذج معدل امتناع بنسبة 12.0% في الاستعلامات غير القابلة للإجابة. يعد هذا تحسناً جوهرياً مقارنة بمعدل النموذج الأساسي غير الآمن البالغ 4.3% (نقص الامتناع) ومعدل GPT-4.1 البالغ 20.2% (الإفراط في الامتناع).
التعميم: في FinanceBench، حقق FinRAG-12B أعلى درجة F1 (0.284) مع معدل استشهاد بنسبة 97.3%، متفوقاً على كل من النموذج الأساسي وGPT-4.1.
دراسات الاستبعاد (Ablation Studies): أدى التدريب المشترك على جميع مصادر البيانات في وقت واحد إلى انهيار الأداء (JudgeLM 3.28، و46.5% إفراط في الامتناع). كان التعلم المنهجي المكون من مرحلتين حاسماً لحل الصراع بين تعلم اصطلاحات الاستشهاد ومعايرة الامتناع.
زمن الاستجابة والتكلفة: يعمل FinRAG-12B بسرعة أسرع بـ 3 إلى 5 مرات من GPT-4.1 (0.57 ثانية إجمالي وقت الإكمال مقابل 1.83 ثانية) ويكلف أقل بنسبة 20-50 ضعفاً لكل استعلام عند نشره على وحدة معالجة رسومات واحدة من نوع RTX 6000 Ada.
الأثر الإنتاجي: في عملية نشر حية عبر اتحاد ائتماني أمريكي كبير، حسن FinRAG-12B معدل حل الاستعلامات بنسبة 7.1 نقطة مئوية (من 77.4% إلى 84.5%، $p < 0.001$ ). ارتفع رضا المستخدمين من 59.5% إلى 62.9%، مدفوعاً بشكل أساسي بارتفاع معدل الحل أكثر من التحسينات الهامشية في جودة الاستجابة الواحدة.

الأهمية

يزعم البحث أن FinRAG-12B يثبت أن جودة البيانات، والتوثيق، ومنهجية التدريب هي أكثر أهمية من حجم النموذج لبناء نماذج لغوية كبيرة موثوقة في المجالات المنظمة. من خلال دمج خط معالجة فعال للبيانات مع امتناع معاير، يحقق النظام دقة وسلامة عالية دون أعباء زمن الاستجابة والتكلفة المرتبطة بالواجهات البرمجية التجارية الكبيرة. يسلط هذا العمل الضوء على أنه في أنظمة RAG الإنتاجية، فإن زيادة معدل الحل هي المحرك الرئيسي لرضا المستخدم، وأن إطار عمل موحد يمكنه بنجاح التنقل بين الإجابة، والاستشهاد، والامتناع في البيئات المالية عالية المخاطر.