FIND: Toward Multimodal Financial Reasoning and Question Answering for Indic Languages

ملخص تقني: FIND، نحو استدلال مالي متعدد الوسائط والإجابة على الأسئلة للغات الهندية

بيان المشكلة
يتطلب اتخاذ القرار المالي في السياقات متعددة اللغات، لا سيًا داخل الهند، استدلالًا عدديًا دقيقًا يستند إلى وسائط متنوعة (النصوص، الجداول، الرسوم البيانية). ومع ذلك، فإن المعايير المرجعية الحالية تتجاهل إلى حد كبير هذا التحدي عالي المخاطر، حيث تركز أساسًا على اللغة الإنجليزية وتفتقر إلى التغطية للغات الهندية، والبيانات المالية متعددة الوسائط، والتعقيد الاستدلالي المنضبط. غالبًا ما تعاني نماذج الرؤية واللغة (VLMs) الحالية من الاستدلال الهجين، حيث تظهر أخطاء في الدقة العددية، وعدم اتساق في الربط متعدد الوسائط، واعتمادًا مفرطًا على الإشارات النصية مع عدم الاستفادة الكافية من الإشارات المالية المرئية. علاوة على ذلك، فإن مجموعات البيانات الحالية مثل FinQA وTAT-QA تهيمن عليها اللغة الإنجليزية وغالبًا ما تكون محدودة في الحساب السطحي أو الاستخراج الجدولي، مما يفشل في تقييم الاستدلال المعقد المطلوب للسيناريوهات المالية الواقعية في اللغات الإقليمية.

المنهجية
لمعالجة هذه الفجوات، قدم المؤلفون FinVQA، وهو معيار مرجعي واسع النطاق متعدد اللغات، وإطار عمل FIND المصمم للاستدلال المالي الموثوق متعدد الوسائط.

• تنسيق مجموعة بيانات FinVQA:

  • المصدر: تم تنسيق البيانات من مصادر تعليمية هندية موثوقة، بما في ذلك كتب المجلس الوطني للبحوث التربوية والنشر (NCERT) (الصفوف 9-12) والمواد المهنية لـ ICMAI–CMA.
  • الحجم والنطاق: تضم مجموعة البيانات 18,900 عينة عبر 14 مجالًا ماليًا (مثل المحاسبة المتقدمة، الرياضيات المالية، الضرائب). وهي تغطي ست لغات: الإنجليزية، الهندية، البنغالية، الماراثية، الغوجاراتية، والتاميلية.
  • الهيكل: تم تنظيم العينات في ثلاثة مستويات صعوبة (سهل، متوسط، صعب) وأربعة تنسيقات للأسئلة: الاختيار من متعدد، ملء الفراغات، مطابقة الجداول، والصواب والخطأ.
  • التكيف متعدد اللغات: تمت ترجمة النماذج الإنجليزية إلى خمس لغات هندية باستخدام GPT-4O، وتم التحقق منها عبر تشابه جيب التمام لتضمين الجمل (sentence embedding cosine similarity)، وتم تنقيحها بواسطة متحدثين أصليين. بالنسبة للعينات متعددة الوسائط، استُخدمت تقنية التعرف الضوئي على الحروف (PaddleOCR) لاستخراج النصوص من الصور، والتي تم ترجمتها بعد ذلك وإعادة عرضها في صناديق الإحاطة (bounding boxes) الأصلية باستخدام خطوط هندية محددة للحفاظ على التنسيق.
  • التعليق التوضيحي: ضمنت عملية تتضمن ستة معلقين (أربعة من صغار الخبراء واثنان من كبار الخبراء) الجودة. قام الخبراء الكبار بتعليق العينات الأولية، ووصل اتفاق المعلقين (Fleiss' Kappa) إلى 0.78.

• إطار عمل FIND:
  يقترح المؤلفون خط سير تجريبي ثلاثي المراحل لتقييم وتحسين الاستدلال:

  1. الاستدلال صفري المعرفة (Zero-Shot Inference): تقييم نماذج الرؤية واللغة المدربة مسبقًا دون تكيف خاص بالمهمة لتحديد الخطوط المرجعية.
  2. فك التشفير المقيد (Constrained Decoding): تنفيذ قيود أثناء الاستدلال (باستخدام VLLM) لتقييد المخرجات بترميزات خيارات الإجابة الصالحة (مثل A/B/C/D). هذا يقلل من عدم استقرار التنسيق والإطناب مع الحفاظ على الاستدلال الداخلي. يتم تطبيق قيود الرموز الخاصة باللغة (على سبيل المثال، رمز واحد للإنجليزية والهندية، وما يصل إلى ثلاثة رموز للبنغالية والتاميلية).
  3. الضبط الدقيق الخاضع للإشراف (SFT): ضبط نماذج الرؤية واللغة بدقة على مجموعة البيانات باستخدام إشراف يعتمد على الإجابة فقط. لضمان كفاءة المعلمات، استخدم المؤلفون التكيف منخفض الرتبة (LoRA) برتبة $r=8$، حيث يتم تحديث إسقاطات الاستعلام (query)، والمفتاح (key)، والقيمة (value) فقط في طبقات الانتباه الذاتي والمتقاطع. يتم تدريب النموذج على توليد تسلسل الإجابة الصحيح مشروطًا بالمدخلات.

المساهمات الرئيسية

1. معيار FinVQA المرجعي: تقديم أول معيار مرجعي واسع النطاق ومتعدد اللغات للإجابة على الأسئلة المرئية المالية في السياقات الهندية، والذي يتميز بـ 18,900 عينة عبر 14 مجالًا وست لغات.
2. إطار عمل FIND: إطار عمل مدرك للقيود يدمج الضبط الدقيق الخاضع للإشراف مع فك التشفير المهيكل لتعزيز الأمانة العددية، والربط متعدد الوسائط، واتخاذ القرار المهيكل.
3. تقييم شامل: تقييم صارم لنماذج الرؤية واللغة الحديثة (Qwen2.5-VL، Qwen3-VL، Gemma-3) عبر أحجام بارامترات متفاوتة (من 3B إلى 32B) وأنظمة تدريب مختلفة (صفر معرفة، فك التشفير المقيد، SFT).

النتائج التجريبية

• التسلسل الهرمي للأداء: يخضع أداء النموذج بقوة للحجم ونظام التدريب. تتفوق النماذج واسعة النطاق (مثل Qwen3-VL-32B، Gemma-3-27B) بشكل كبير على نظيراتها الأصغر.
• تأثير SFT: يمارس الضبط الدقيق الخاضع للإشراف (SFT) التأثير الأقوى على الأداء، محققًا مكاسب كبيرة مقارنة بالخطوط المرجعية صفرية المعرفة، لا سيًا للغات الهندية. على سبيل المثال، حسن SFT دقة اللغة الماراثية لنموذج Qwen3-VL-4B من 26.2% (صفر معرفة) إلى 47.8%.
• دور فك التشفير المقيد: بينما يساعد فك التشفير المقيد في صحة الهيكل، فإنه يقدم مكاسب متواضعة مقارنة بـ SFT. ومع ذلك، فإن الجمع بين SFT وفك التشفير المقيد يحقق النتائج الأكثر قوة.
• اتجاهات اللغة: تحقق اللغتان الهندية والبنغالية عمومًا أعلى مستويات الدقة، مما يعكس توافر الموارد بشكل أفضل. تظل التاميلية الأكثر تحديًا بسبب المسافة النوعية وتعقيد الخط، رغم أن SFT لا يزال يوفر تحسينات ثابتة.
• التقييم البشري: تكشف التقييمات البشرية أنه بينما يمكن تحقيق الامتثال للتنسيق في مقاييس الحوسبة المنخفضة، فإن الاستدلال المالي عالي الدقة (فهم المجال، تفسير المشكلة، الصحة الرياضية) يعتمد بشكل صارم على السعة. تقترب النماذج الكبيرة (27B–32B) من أداء يقترب من السقف (0.9–1.0)، بينما تعاني النماذج الأصغر (3B–4B) من ضعف الاتساق المنطقي والربط المرئي.
• تحليل الخطأ: تفشل النماذج الأصغر كثيرًا في الربط المرئي والاتساق المنطقي. تظهر النماذج المتوسطة (7B–12B) تحسنًا في التحليل ولكنها تعاني من تنفيذ رياضي هش. فقط النماذج واسعة النطاق (27B–32B) تظهر تنفيذًا قويًا وشاملًا للمهام الرياضية المرئية.

الأهمية والادعاءات
يفترض البحث أن الاستدلال المالي الموثوق في الإعدادات عالية المخاطر يتطلب مزيجًا من سعة النماذج واسعة النطاق، والضبط الخاضع للإشراف مع البيانات المتخصصة في المجال، وقيود المخرجات الصارمة. يدعي المؤلفون أن FIND وFinVQA يضعان نموذج تقييم صارم للاستدلال المالي متعدد الوسائط، مما يسلط الضوء على أن النماذج الحالية غالبًا ما تظهر "طلاقة بدون صحة". ويؤكدون أنه بينما يحسن فك التشفير المدرك للقيود الامتثال للتنسيق، فإنه لا يضمن دقة الاستدلال، مما يؤكد ضرورة الإشراف البشري وحدود النماذج الحالية في اتخاذ القرارات المالية التوجيهية. يعد هذا العمل خطوة تأسيسية نحو سد الفجوة في أدوات الثقافة المالية لمتحدثي اللغات الهندية، رغم اعتراف المؤلفين بالقيود المتعلقة بتنوع العينات (المستمدة من المصادر المترجمة) واستبعاد النماذج مغلقة المصدر بسبب قيود الموارد.