FIND: Toward Multimodal Financial Reasoning and Question Answering for Indic Languages

Technische Samenvatting: FIND: Richting Multimodaal Financieel Redeneren en Vraagbeantwoording voor Indic-talen

Probleemstelling
Financiële besluitvorming in meertalige contexten, met name binnen India, vereist nauwkeurige numerieke redenering die is gebaseerd op diverse modaliteiten (tekst, tabellen, grafieken). Bestaande benchmarks negeren deze hoog-risico uitdaging echter grotendeels, richten zich voornamelijk op het Engels en missen dekking voor Indic-talen, multimodale financiële data en gecontroleerde redeneercomplexiteit. Huidige Vision-Language Models (VLM's) hebben vaak moeite met hybride redenering, vertonen fouten in numerieke nauwkeurigheid, inconsistenties in multimodale grounding en een overmatige afhankelijkheid van tekstuele aanwijzingen, terwijl ze visuele financiële signalen onvoldoende benutten. Bovendien zijn bestaande datasets zoals FinQA en TAT-QA overwegend Engels-gecentreerd en vaak beperkt tot oppervlakkige rekenkunde of tabellare extractie, waardoor ze het complexe, domeinbewuste redeneren dat nodig is voor realistische financiële scenario's in regionale talen niet kunnen evalueren.

Methodologie
Om deze gaten op te vullen, introduceren de auteurs FinVQA, een grote meertalige benchmark, en FIND, een raamwerk ontworpen voor betrouwbaar multimodaal financieel redeneren.

• FinVQA Dataset Cureren:

  • Bron: Data is gecureerd uit gezaghebbende Indiase educatieve bronnen, waaronder NCERT-leerboeken (klassen 9–12) en ICMAI–CMA professioneel materiaal.
  • Schaal en Omvang: De dataset omvat 18.900 samples verdeeld over 14 financiële domeinen (bijv. Voortgezet Boekhouden, Financiële Wiskunde, Belastingheffing). Het bestrijkt zes talen: Engels, Hindi, Bengaals, Marathi, Gujarati en Tamil.
  • Structuur: Samples zijn georganiseerd in drie moeilijkheidsgraden (gemakkelijk, gemiddeld, moeilijk) en vier vraagformaten: meerkeuze, invulvragen, tabelmatching en waar/onwaar.
  • Meertalige Adaptatie: Engelse instanties zijn vertaald naar vijf Indic-talen met GPT-4O, gevalideerd via cosinesimilariteit van zinsembeddings en verfijnd door moedertaalsprekers. Voor multimodale samples is OCR (PaddleOCR) gebruikt om tekst uit afbeeldingen te extraheren, waarna deze is vertaald en opnieuw is gerenderd in de originele bounding boxes met specifieke Indic-lettertypes om de lay-out te behouden.
  • Annotatie: Een pijplijn met zes annotatoren (vier junior, twee senior domeinexperts) zorgde voor kwaliteit. Senior experts annoceerden seed-samples en de onderlinge overeenstemming tussen annotatoren (Fleiss' Kappa) bereikte 0,78.

• Het FIND-raamwerk:
  De auteurs stellen een experimentele pijplijn in drie fasen voor om redeneren te evalueren en te verbeteren:

  1. Zero-Shot Inferentie: Het evalueren van voorgeöefende VLM's zonder taakspecifieke adaptatie om baselines vast te stellen.
  2. Beperkte Decoding: Het implementeren van inferentie-tijd beperkingen (met VLLM) om de output te beperken tot geldige antwoordoptie-tokens (bijv. A/B/C/D). Dit vermindert formatinstabiliteit en woordigheid, terwijl het interne redeneren behouden blijft. Taalspecifieke tokenbeperkingen worden toegepast (bijv. één token voor Engels/Hindi, tot drie voor Bengaals/Tamil).
  3. Supervised Fine-Tuning (SFT): Het finetunen van VLM's op de dataset met alleen supervisie op het antwoord. Om parameter-efficiëntie te waarborgen, hanteren de auteurs Low-Rank Adaptation (LoRA) met rang $r=8$, waarbij alleen de query-, key- en value-projecties in self- en cross-attention-lagen worden bijgewerkt. Het model wordt getraind om het juiste antwoordsequentie te genereren, geconditioneerd op de input.

Belangrijkste Bijdragen

1. FinVQA Benchmark: De introductie van de eerste grote, meertalige benchmark voor financieel visueel vraagbeantwoording in Indic-contexten, met 18.900 samples over 14 domeinen en zes talen.
2. FIND-raamwerk: Een bewust-beperkend raamwerk dat supervised fine-tuning integreert met gestructureerde decoding om numerieke trouw, multimodale uitlijning en gestructureerde besluitvorming te verbeteren.
3. Uitgebreide Evaluatie: Een rigoureuze evaluatie van state-of-the-art VLM's (Qwen2.5-VL, Qwen3-VL, Gemma-3) over variërende parameterschalen (3B tot 32B) en trainingsregimes (zero-shot, beperkte decoding, SFT).

Experimentele Resultaten

• Prestatiehiërarchie: Modelprestaties worden sterk bepaald door schaal en trainingsregime. Grootschalige modellen (bijv. Qwen3-VL-32B, Gemma-3-27B) presteren aanzienlijk beter dan kleinere tegenhangers.
• Invloed van SFT: Supervised Fine-Tuning heeft de sterkste invloed op prestaties en levert aanzienlijke winsten op ten opzichte van zero-shot baselines, met name voor Indic-talen. Zo verbeterde SFT de Marathi-nauwkeurigheid voor Qwen3-VL-4B van 26,2% (zero-shot) naar 47,8%.
• Rol van Beperkte Decoding: Hoewel beperkte decoding helpt bij structurele validiteit, levert het bescheiden winst op vergeleken met SFT. Het combineren van SFT met beperkte decoding levert echter de meest robuuste resultaten op.
• TaalTrends: Hindi en Bengaals bereiken over het algemeen de hoogste nauwkeurigheden, wat een betere beschikbaarheid van middelen weerspiegelt. Tamil blijft het meest uitdagend vanwege typologische afstand en scriptcomplexiteit, hoewel SFT toch consistente verbeteringen biedt.
• Menselijke Evaluatie: Menselijke beoordelingen tonen aan dat hoewel formatconformiteit haalbaar is op lagere rekenschalen, hoogwaardig financieel redeneren (domeinbegrip, probleeminterpretatie, wiskundige correctheid) strikt afhankelijk is van capaciteit. Grote modellen (27B–32B) benaderen near-ceiling prestaties (scores van 0,9–1,0), terwijl kleinere modellen (3B–4B) worstelen met logische coherentie en visuele grounding.
• Foutanalyse: Kleinere modellen falen vaak in visuele grounding en logische consistentie. Intermediere modellen (7B–12B) tonen verbeterde parsing maar lijden onder breekbare wiskundige uitvoering. Alleen grootschalige modellen (27B–32B) tonen robuuste, end-to-end uitvoering van visueel-wiskundige taken.

Betekenis en Claims
Het artikel stelt dat betrouwbaar, hoog-risico financieel redeneren in meertalige settings een combinatie vereist van grootschalige modelcapaciteit, supervised uitlijning met domeinspecifieke data en strikte outputbeperkingen. De auteurs claimen dat FIND en FinVQA een rigoureus evaluatieparadigma voor multimodaal financieel redeneren vestigen, waarbij wordt benadrukt dat huidige modellen vaak "vlotheid zonder correctheid" vertonen. Ze onderstrepen dat hoewel bewust-beperkende decoding de formatconformiteit verbetert, dit geen garantie biedt voor redeneernauwkeurigheid, wat de noodzaak van menselijk toezicht en de beperkingen van huidige modellen in voorschrijvend financieel besluitvorming benadrukt. Het werk dient als een fundamentele stap om de kloof in financiële geletterdheidstools voor sprekers van Indic-talen te dichten, hoewel de auteurs beperkingen erkennen met betrekking tot sample-diversiteit (afgeleid van vertaalde bronnen) en de uitsluiting van gesloten-bron baselines vanwege resourcebeperkingen.