IndiaFinBench: An Evaluation Benchmark for Large Language Model Performance on Indian Financial Regulatory Text

1. O Problema

O campo de Processamento de Linguagem Natural (NLP) financeiro tem sido dominado por benchmarks (pontos de referência) baseados exclusivamente em corpora ocidentais, como documentos da SEC (EUA) e relatórios de lucros em inglês. Existe uma lacuna significativa na avaliação de Grandes Modelos de Linguagem (LLMs) em relação a estruturas regulatórias não ocidentais, especificamente no contexto financeiro da Índia.

Os documentos regulatórios indianos (emitidos pelo SEBI - Securities and Exchange Board of India, e pelo RBI - Reserve Bank of India) apresentam desafios qualitativamente distintos:

• Terminologia Jurisdicional Específica: Uso de siglas e conceitos locais (LODR, PMLA, SFB, AIF, FEMA) que modelos treinados em dados ocidentais não interpretam bem.
• Cadeias de Emendas Temporais: Documentos frequentemente referenciam circulars anteriores que foram modificados ou substituídos, exigindo raciocínio temporal complexo para determinar qual regra está em vigor em uma data específica.
• Integração de Números e Texto: Limites numéricos (ex: adequação de capital, margens) estão embutidos em prosa densa, exigindo extração precisa e cálculo.

2. Metodologia e Construção do Dataset

O IndiaFinBench foi desenvolvido para preencher essa lacuna, sendo o primeiro benchmark público para avaliação de LLMs em texto regulatório financeiro indiano.

• Fonte de Dados: Coleta de 192 documentos públicos oficiais (SEBI e RBI) abrangendo o período de 1992 a 2026.
• Tamanho do Dataset: 406 pares de pergunta-resposta anotados por especialistas.
• Tipos de Tarefas: O benchmark avalia quatro capacidades de raciocínio distintas:
  1. Interpretação Regulatória (REG): Identificação de regras e limites de conformidade (174 itens).
  2. Raciocínio Numérico (NUM): Cálculos aritméticos baseados em dados extraídos do texto (92 itens).
  3. Detecção de Contradição (CON): Determinar se dois textos regulatórios contradizem-se (62 itens).
  4. Raciocínio Temporal (TMP): Ordenação cronológica de eventos e identificação de versões de regras vigentes (78 itens).
• Validação de Qualidade:
  • Validação Secundária por Modelo: Uso de um LLM (LLaMA-3.3-70B) para verificar a ambiguidade das perguntas (acordo de 90,7%).
  • Acordo Inter-Anotador Humano: Avaliação de 60 itens por um segundo anotador humano, resultando em um coeficiente Kappa de 0,611 para detecção de contradição e 76,7% de acordo geral.
• Configuração Experimental: Avaliação de 12 modelos de LLM (incluindo Gemini, LLaMA, Qwen, Mistral, DeepSeek, etc.) em condições zero-shot (sem fine-tuning ou few-shot), utilizando apenas o contexto fornecido.

3. Contribuições Principais

1. Novo Dataset: Um conjunto de dados de 406 itens anotados por especialistas, cobrindo quatro tipos de tarefas complexas em regulamentos indianos.
2. Avaliação Abrangente: Análise zero-shot de 12 modelos contemporâneos, revelando três níveis distintos de desempenho.
3. Análise de Significância Estatística: Uso de testes de bootstrap pareados (10.000 reamostragens) para determinar quais diferenças de desempenho são estatisticamente robustas.
4. Validação Dupla: Combinação de validação por modelo e avaliação humana para garantir a qualidade e a interpretabilidade das respostas.
5. Taxonomia de Erros: Classificação de falhas em quatro categorias (Falha de Conhecimento de Domínio, Falha de Raciocínio Numérico, Falha de Raciocínio Temporal e Falha de Ancoragem no Contexto).
6. Reprodutibilidade: Disponibilização pública do dataset, código de avaliação e previsões de todos os modelos.

4. Resultados Chave

• Desempenho Geral: O modelo Gemini 2.5 Flash alcançou a maior precisão geral (89,7%), seguido pelo Qwen3-32B (85,5%). Todos os modelos superaram significativamente a linha de base humana (não especialista), que foi de 60,0%.
• Hierarquia de Desempenho:
  • Tier 1 (83-90%): Gemini 2.5 Flash, Qwen3-32B, LLaMA-3.3-70B, Llama 4 Scout 17B, Kimi K2.
  • Tier 2 (75-79%): LLaMA-3-8B, GPT-OSS 120B/20B, Gemini 2.5 Pro, Mistral-7B, DeepSeek R1 70B.
  • Tier 3 (70%): Gemma 4 E4B.
• Descobertas Surpreendentes:
  • Eficiência vs. Escala: O Llama 4 Scout 17B teve desempenho estatisticamente indistinguível do LLaMA-3.3-70B (com 4x mais parâmetros), sugerindo que a qualidade do treinamento e a arquitetura importam mais que a escala bruta para esta tarefa.
  • Falha de Escala em GPT-OSS: Aumento de 20B para 120B parâmetros no modelo GPT-OSS não trouxe melhoria significativa (76,8% vs 77,1%).
  • Paradoxo do DeepSeek R1: Apesar de ser um modelo especializado em raciocínio (Chain-of-Thought), o DeepSeek R1 70B teve desempenho abaixo da média, especialmente em raciocínio temporal (70,5%), indicando que cadeias de raciocínio explícitas não garantem sucesso em rastreamento de emendas regulatórias.
• Tarefas Mais Difíceis:
  • Raciocínio Numérico (NUM): Foi a tarefa mais discriminativa, com uma variação de 35,9 pontos percentuais entre os modelos (de 48,9% a 84,8%).
  • Raciocínio Temporal (TMP): Foi a principal causa de falha para os modelos de ponta, especialmente em manter linhas do tempo consistentes entre múltiplos documentos.

5. Significado e Conclusão

O IndiaFinBench demonstra que os benchmarks financeiros atuais não capturam os desafios únicos de jurisdições não ocidentais. Os resultados indicam que:

• A capacidade de raciocínio sobre regulamentos indianos não é linearmente correlacionada com o tamanho do modelo ou com a classificação geral de capacidade do LLM.
• Modelos menores e bem treinados podem superar modelos maiores em tarefas específicas de domínio.
• O raciocínio temporal e a interpretação de emendas regulatórias representam fronteiras atuais para os LLMs, onde mesmo os modelos mais avançados falham frequentemente.

O trabalho destaca a necessidade urgente de benchmarks geograficamente e juridicamente diversos para avaliar verdadeiramente a utilidade dos LLMs em aplicações regulatórias e de conformidade global. O dataset e as ferramentas estão disponíveis publicamente para fomentar pesquisas futuras em NLP financeiro multilíngue e específico de domínio.