Retrieval-Augmented Reasoning for Chartered Accountancy

إليك ملخص تقني مفصل لورقة البحث بعنوان "الاسترجاع المعزز للاستنتاج في مجال المحاسبة القانونية" (Retrieval-Augmented Reasoning for Chartered Accountancy) من إعداد غوبتا وآخرون.

1. بيان المشكلة

تتناول الورقة القيود التي تواجه النماذج اللغوية الكبيرة (LLMs) في المجال المتخصص للمحاسبة القانونية الهندية (CA). وبينما يتم اعتماد النماذج اللغوية الكبيرة بشكل متزايد في التمويل، إلا أنها تواجه تحديات حرجة في القطاعات المنظمة:

• الهلوسة والدقة: تعاني النماذج العامة (مثل GPT-4o) من صعوبة في الاستنتاج المعقد متعدد الخطوات المطلوب للوائح القانونية (قانون ضريبة الدخل، معايير المعهد الهندي للمحاسبين القانونيين - ICAI) وحسابات ضريبة السلع والخدمات (GST)، حيث تحقق غالباً دقة منخفضة (13-20%) في الاختبارات المرجعية الخاصة بالمجال.
• قيود الموارد: تتطلب النماذج المتطورة موارد حوسبة هائلة، وتكاليف استدلال عالية، واعتماداً على السحابة، مما يثير مخاوف تتعلق بالخصوصية ويجعلها غير مناسبة للبيئات محدودة الموارد.
• مشكلات تحليل المستندات: تفشل تقنيات التعرف الضوئي على الحروف (OCR) القياسية في التعامل مع التنسيقات المعقدة لوثائق الضرائب (الجداول متعددة الأعمدة، الرموز الرياضية)، مما يؤدي إلى فقدان البيانات أثناء عملية الاسترجاع.
• الافتقار إلى التأسيس (Grounding): غالباً ما تفشل النماذج في بناء إجاباتها على مستندات المصدر الأصلية، وهو مطلب صارم للامتثال المالي والقانوني.

2. المنهجية: CA-ThinkFlow

يقترح المؤلفون CA-ThinkFlow، وهو إطار عمل للجيل المعزز بالاسترجاع (RAG) يتسم بكفاءة المعلمات، مصمم للعمل على نموذج بـ 14 مليار معلمة مع مضاهاة أداء النماذج المملوكة الأكبر حجماً.

أ. البنية الأساسية

• النموذج الأساسي: يستخدم نموذج 14B-DeepSeek-R1 (تحديداً DeepSeek-R1-Distill-Qwen-14B) بتنسيق كمي (Quantized) بمقدار 4 بت (Q4_K_M). تم اختيار هذا النموذج لقدراته المدمجة في "سلسلة الأفك‏ر" (Chain-of-Thought - CoT)، مما يسمح له بمحاكاة التفكير الإدراكي الطبيعي والتعامل مع المشكلات متعددة الخطوات.
• نظام الاسترجاع:
  • استخراج المستندات: يستخدم Docling، وهو مستخرج مدرك للتخطيط (يعتمد على TableFormer و DocLayNet) للحفاظ على هيكل المستند، والجداول، والرموز الرياضية من النصوص المالية، متجاوزاً قيود الـ OCR القياسية.
  • مصدر البيانات: قاعدة بيانات منسقة من المعرفة المالية الهندية، تشمل المواد مفتوحة المصدر للمعهد الهندي للمحاسبين القانونيين (ICAI)، ولوائح الضرائب، والكتب الدراسية.
  • التقطيع (Chunking): يتم تقسيم النص إلى قطع بحجم 1000 حرف مع تداخل قدره 200 حرف، وهو مُحسّن لاستمرارية التضمين ودقة الاسترجاع.
  • التضمين (Embedding): يتم ترميز قطع النص باستخدام نموذج Qwen-Embedding-0.6B لدعم اللغات المتعددة والكفاءة.
  • الفهرسة: تُخزن التضمينات في فهرس FAISS للبحث عن التشابه القائم على مسافة L2.
• سير عمل الاستدلال:
  1. يستقبل النظام استعلام المستخدم.
  2. يقوم باسترجاع أفضل (k) من السياقات ذات الصلة من مخزن المتجهات.
  3. يتم حقن السياق المسترجع مباشرة في قالب مطالبة (Prompt Template) معياري (بناءً على معيار CA-Ben).
  4. يعالج نموذج 14B-DeepSeek-R1 الاستعلام والسياق، مستخدماً قدرات "سلسلة الأفكار" (CoT) الداخلية لديه لتوليد الإجابة النهائية.

ب. إعداد التقييم

• المعيار المرجعي: تم التقييم باستخدام معيار CA-Ben 2 في وضع Zero-shot (بدون ضبط دقيق على بيانات الاختبار)، لمحاكاة سيناريو البداية الباردة.
• المقاييس: تم قياس الأداء عبر درجات F1 عبر 14 موضوعاً (مستويات التأسيس، المتوسط، والنهائي) ومعامل الموثوقية المدرسية (SRC).
• الأجهزة: تم الاختبار على محطة عمل تحتوي على 2x Intel Xeon CPUs، و65GB RAM، و2x NVIDIA GTX 1080 Ti GPUs.

3. المساهمات الرئيسية

1. أداء عالٍ بكفاءة المعلمات: أثبت أن نموذجاً كمياً بـ 14 مليار معلمة، عند دمجه مع خط أنابيب RAG قوي، يمكنه تحقيق مستويات أداء تضاهي النماذج المملوكة الضخمة (مثل GPT-4o، Claude 3.5 Sonnet، LLaMA-3.1-405B) في مجال متخصص.
2. معالجة مستندات مدركة للتخطيط: دمج Docling لحل التحدي المحدد المتمثل في تحليل المستندات المالية المعقدة، مما يضمن الاحتفاظ بالبيانات الجدولية والرموز الرياضية أثناء عملية الاسترجاع.
3. التآزر بين RAG و CoT: أظهر أن نهج RAG "الأساسي" (استرجاع السياق وحقنه في المطالبة) كافٍ عندما يقترن بنموذج يمتلك قدرات "سلسلة أفكار" داخلية قوية، مما يلغي الحاجة إلى الضبط الدقيق المعقد أو محركات استنتاج خارجية.
4. التقييم المرجعي الخاص بالمجال: قدم تحليلاً دقيقاً لأداء النموذج عبر 14 موضوعاً مختلفاً للمحاسبة القانونية، مما يسلط الضوء على نقاط القوة والضعف المحددة في مجالات مثل الضرائب مقابل رياضيات الأعمال.

4. النتائج

• الدقة الإجمالية: حقق CA-ThinkFlow معامل موثوقية مدرسية (SRC) بنسبة 68.75%، وهو ما يضاهي أداء GPT-4o و Claude 3.5 Sonnet، ويتفوق بشكل كبير على نموذج 14B-DeepSeek-R1 الأساسي (46.87%) والنماذج مفتوحة المصدر الأخرى مثل LLaMA-3.3-70B (59.38%).
• الأداء حسب المستوى:
  • مستوى التأسيس: حقق دقة بنسبة 80.39%، متفوقاً على جميع النماذج الأخرى.
  • المستوى النهائي: حقق دقة بنسبة 48.63%، متجاوزاً معظم النماذج باستثناء GPT-4o و Claude 3.5 Sonnet.
• رؤى خاصة بالمواضيع:
  • نقاط القوة: برع النموذج في رياضيات الأعمال، واقتصاديات الأعمال، والإدارة المالية المتقدمة.
  • نقاط الضعف (الاختناقات النظامية): عانى النظام مع الضرائب (I3) وقوانين الضرائب غير المباشرة (FN5)، وفشل في تجاوز "الاختناق النظامي" (المُعرف بأنه الموضوع الذي لا يتجاوز فيه أي نموذج دقة 40%). يشير هذا إلى أنه حتى مع RAG، فإن النموذج الأساسي يفتقر إلى المعرفة التنظيمية العميقة المطلوبة للمنطق الضريبي المعقد دون مزيد من الضبط الدقيق.
• الكفاءة: يعمل إطار العمل بفعالية على أجهزة استهلاكية (GTX 1080 Ti)، مما يثبت أن الذكاء الاصطناعي المالي عالي الدقة لا يتطلب بالضرورة مجموعات ضخمة من وحدات معالجة الرسومات (GPUs).

5. الأهمية والعمل المستقبلي

• الأهمية: تؤكد الورقة أن كفاءة المعلمات والاسترجاع المعزز يمكنهما سد الفجوة بين النماذج الصغيرة والخاصة ومنخفضة التكلفة وبين النماذج اللغوية الضخمة المملوكة في المجالات المالية عالية المخاطر. كما توفر مساراً قابلاً للتطبيق لنشر ذكاء اصطناعي متوافق وخاص في قطاع المحاسبة القانونية الهندي دون الاعتماد على واجهات برمجة التطبيقات (APIs) السحابية المكلفة.
• القيود: يفشل النظام حالياً في حل الاستنتاج التنظيمي المعقد في الضرائب بشكل كامل، مما يشير إلى أن الاسترجاع وحده غير كافٍ للمنطق القانوني شديد الدقة.
• الاتجاهات المستقبلية:
  • تطوير خطوط أنابيب استرجاع متقدمة لتوليف متعدد القطع وتوسيع السياق الديناميكي.
  • تنفيذ ضبط دقيق تحت إشراف (SFT) خاص بالمجال على القوانين المالية الهندية لتعميق المعرفة التنظيمية للنموذج قبل عملية الاسترجاع.
  • دمج تحديثات لوائح الضرائب في الوقت الفعلي ودعم اللغات المتعددة لإنشاء نظام ذكاء اصطناዊ مالي خبير وقابل للنشر.