FIND: Toward Multimodal Financial Reasoning and Question Answering for Indic Languages

Resumo Técnico: FIND: Rumo ao Raciocínio e Resposta a Perguntas Financeiros Multimodais para Línguas Indic

Declaração do Problema
A tomada de decisões financeiras em contextos multilíngues, particularmente na Índia, exige raciocínio numérico preciso fundamentado em diversas modalidades (texto, tabelas, gráficos). No entanto, os benchmarks existentes ignoram amplamente esse desafio de alto risco, focando principalmente no inglês e carecendo de cobertura de línguas indic, dados financeiros multimodais e complexidade de raciocínio controlada. Os Modelos Visão-Linguagem (VLMs) atuais frequentemente lutam com raciocínio híbrido, exibindo erros na precisão numérica, inconsistências na fundamentação multimodal e uma dependência excessiva de pistas textuais, enquanto subutilizam sinais financeiros visuais. Além disso, conjuntos de dados existentes como FinQA e TAT-QA são predominantemente centrados no inglês e frequentemente limitados a aritmética superficial ou extração tabular, falhando em avaliar o raciocínio complexo e consciente do domínio necessário para cenários financeiros realistas em línguas regionais.

Metodologia
Para abordar essas lacunas, os autores introduzem o FinVQA, um benchmark multilíngue de grande escala, e o FIND, um framework projetado para raciocínio financeiro multimodal confiável.

• Curadoria do Conjunto de Dados FinVQA:

  • Fonte: Os dados são curados a partir de fontes educacionais indianas autoritativas, incluindo livros didáticos do Conselho Nacional de Pesquisa e Treinamento Educacional (NCERT) (Classes 9–12) e materiais profissionais do ICMAI–CMA.
  • Escala e Abrangência: O conjunto de dados compreende 18.900 amostras em 14 domínios financeiros (por exemplo, Contabilidade Avançada, Matemática Financeira, Tributação). Abrange seis idiomas: inglês, hindi, bengali, marata, gujarati e tâmil.
  • Estrutura: As amostras são organizadas em três níveis de dificuldade (fácil, moderado, difícil) e quatro formatos de pergunta: múltipla escolha, completar lacunas, correspondência de tabelas e verdadeiro/falso.
  • Adaptação Multilíngue: Instâncias em inglês foram traduzidas para cinco línguas indic usando GPT-4O, validadas via similaridade de cosseno de incorporação de sentenças e refinadas por falantes nativos. Para amostras multimodais, OCR (PaddleOCR) foi usado para extrair texto de imagens, que foi então traduzido e re-renderizado nas caixas delimitadoras originais usando fontes indic específicas para preservar o layout.
  • Anotação: Um pipeline envolvendo seis anotadores (quatro júnior, dois especialistas seniores de domínio) garantiu a qualidade. Especialistas seniores anotaram amostras semente, e o acordo interanotador (Kappa de Fleiss) atingiu 0,78.

• O Framework FIND:
  Os autores propõem um pipeline experimental de três estágios para avaliar e melhorar o raciocínio:

  1. Inferência Zero-Shot: Avaliar VLMs pré-treinados sem adaptação específica à tarefa para estabelecer baselines.
  2. Decodificação Constrained: Implementar restrições no momento da inferência (usando VLLM) para restringir a saída a tokens de opção de resposta válidos (por exemplo, A/B/C/D). Isso mitiga instabilidade de formatação e verbosidade, preservando o raciocínio interno. Restrições de token específicas de idioma são aplicadas (por exemplo, token único para inglês/hindi, até três para bengali/tâmil).
  3. Ajuste Fino Supervisionado (SFT): Ajustar finamente VLMs no conjunto de dados usando supervisão apenas com a resposta. Para garantir eficiência de parâmetros, os autores empregam Adaptação de Baixo Rank (LoRA) com rank $r=8$, atualizando apenas as projeções de consulta, chave e valor nas camadas de atenção auto e cruzada. O modelo é treinado para gerar a sequência de resposta correta condicionada à entrada.

Principais Contribuições

1. Benchmark FinVQA: A introdução do primeiro benchmark multilíngue de grande escala para resposta a perguntas visuais financeiras em contextos indic, apresentando 18.900 amostras em 14 domínios e seis idiomas.
2. Framework FIND: Um framework consciente de restrições que integra ajuste fino supervisionado com decodificação estruturada para aprimorar a fidelidade numérica, o alinhamento multimodal e a tomada de decisão estruturada.
3. Avaliação Abrangente: Uma avaliação rigorosa de VLMs de última geração (Qwen2.5-VL, Qwen3-VL, Gemma-3) em escalas de parâmetros variadas (3B a 32B) e regimes de treinamento (zero-shot, decodificação constrita, SFT).

Resultados Experimentais

• Hierarquia de Desempenho: O desempenho do modelo é fortemente governado pela escala e pelo regime de treinamento. Modelos de grande escala (por exemplo, Qwen3-VL-32B, Gemma-3-27B) superam significativamente contrapartes menores.
• Impacto do SFT: O Ajuste Fino Supervisionado exerce a maior influência no desempenho, gerando ganhos substanciais sobre baselines zero-shot, particularmente para línguas indic. Por exemplo, o SFT melhorou a precisão em marata para o Qwen3-VL-4B de 26,2% (zero-shot) para 47,8%.
• Papel da Decodificação Constrained: Embora a decodificação constrita ajude na validade estrutural, ela fornece ganhos modestos em comparação com o SFT. No entanto, combinar SFT com decodificação constrita produz os resultados mais robustos.
• Tendências de Idioma: Hindi e bengali geralmente alcançam as maiores precisões, refletindo melhor disponibilidade de recursos. O tâmil permanece o mais desafiador devido à distância tipológica e complexidade do script, embora o SFT ainda proporcione melhorias consistentes.
• Avaliação Humana: Avaliações humanas revelam que, embora a conformidade de formatação seja alcançável em escalas de computação mais baixas, o raciocínio financeiro de alta fidelidade (compreensão de domínio, interpretação de problemas, correção matemática) é estritamente dependente de capacidade. Modelos grandes (27B–32B) aproximam-se de desempenho próximo ao teto (pontuações de 0,9–1,0), enquanto modelos menores (3B–4B) lutam com coerência lógica e fundamentação visual.
• Análise de Erros: Modelos menores frequentemente falham na fundamentação visual e consistência lógica. Modelos intermediários (7B–12B) mostram análise sintática aprimorada, mas sofrem com execução matemática frágil. Apenas modelos de grande escala (27B–32B) demonstram execução robusta, ponta a ponta, de tarefas visuais-matemáticas.

Significado e Alegações
O artigo postula que o raciocínio financeiro confiável e de alto risco em configurações multilíngues requer uma combinação de capacidade de modelo de grande escala, alinhamento supervisionado com dados específicos de domínio e restrições de saída estritas. Os autores alegam que FIND e FinVQA estabelecem um paradigma de avaliação rigoroso para raciocínio financeiro multimodal, destacando que os modelos atuais frequentemente exibem "fluência sem correção". Eles enfatizam que, embora a decodificação consciente de restrições melhore a conformidade de formatação, ela não garante precisão de raciocínio, sublinhando a necessidade de supervisão humana e as limitações dos modelos atuais na tomada de decisão financeira prescritiva. O trabalho serve como um passo fundamental para fechar a lacuna nas ferramentas de alfabetização financeira para falantes de línguas indic, embora os autores reconheçam limitações quanto à diversidade de amostras (derivadas de fontes traduzidas) e a exclusão de baselines de código fechado devido a restrições de recursos.