Retrieval-Augmented Reasoning for Chartered Accountancy

1. Declaração do Problema

O artigo aborda as limitações dos Modelos de Linguagem de Grande Escala (LLMs) no campo especializado da Contabilidade Pública (CA) da Índia. Embora os LLMs estejam sendo cada vez mais adotados nas finanças, eles enfrentam desafios críticos em setores regulamentados:

• Alucinações e Precisão: Modelos generalistas (por exemplo, GPT-4o) lutam com o raciocínio complexo e multi-etapa exigido por regulamentações legais (Lei do Imposto de Renda, padrões ICAI) e cálculos de GST, frequentemente alcançando baixa precisão (13–20%) em benchmarks específicos do domínio.
• Restrições de Recursos: Modelos de última geração exigem recursos computacionais massivos, altos custos de inferência e dependência de nuvem, levantando preocupações de privacidade e tornando-os inadequados para ambientes com recursos limitados.
• Problemas de Análise de Documentos: A OCR padrão falha ao lidar com os layouts intrincados de documentos fiscais (tabelas de múltiplas colunas, símbolos matemáticos), levando à perda de dados durante a recuperação.
• Falta de Fundamentação: Os modelos frequentemente falham em basear suas respostas em documentos fonte originais, o que é um requisito estrito para conformidade financeira e legal.

2. Metodologia: CA-ThinkFlow

Os autores propõem o CA-ThinkFlow, um framework de Geração Aumentada por Recuperação (RAG) eficiente em parâmetros, projetado para operar em um modelo de 14B de parâmetros, enquanto iguala o desempenho de modelos proprietários muito maiores.

A. Arquitetura Central

• Modelo Base: Utiliza o 14B-DeepSeek-R1 (especificamente DeepSeek-R1-Distill-Qwen-14B) no formato quantizado em 4 bits (Q4_K_M). Este modelo é selecionado por suas capacidades integradas de raciocínio em Cadeia de Pensamento (CoT), permitindo que ele imite o pensamento cognitivo natural e lide com problemas multi-etapa.
• Sistema de Recuperação:
  • Extração de Documentos: Utiliza o Docling, um extrator consciente do layout (aproveitando TableFormer e DocLayNet) para preservar a estrutura do documento, tabelas e símbolos matemáticos de textos financeiros, superando as limitações da OCR padrão.
  • Fonte de Dados: Um banco de dados curado de conhecimento financeiro indiano, incluindo materiais de código aberto do ICAI, regulamentações fiscais e livros didáticos.
  • Fragmentação (Chunking): O texto é segmentado em fragmentos de 1000 caracteres com uma sobreposição de 200 caracteres, otimizado para continuidade de incorporação e precisão de recuperação.
  • Incorporação (Embedding): Os fragmentos de texto são codificados usando o modelo Qwen-Embedding-0.6B para suporte multilíngue e eficiência.
  • Indexação: As incorporações são armazenadas em um índice FAISS para busca de similaridade baseada em L2.
• Fluxo de Trabalho de Inferência:
  1. O sistema recebe uma consulta do usuário.
  2. Recupera os top-k contextos relevantes do armazenamento vetorial.
  3. O contexto recuperado é injetado diretamente em um modelo de prompt padronizado (baseado no benchmark CA-Ben).
  4. O modelo 14B-DeepSeek-R1 processa a consulta e o contexto, utilizando seu raciocínio interno CoT para sintetizar a resposta final.

B. Configuração de Avaliação

• Benchmark: Avaliado no benchmark CA-Ben 2 usando uma configuração zero-shot (sem ajuste fino nos dados de teste), simulando um cenário de início frio.
• Métricas: Desempenho medido por meio de pontuações F1 em 14 disciplinas (níveis Foundation, Intermediate e Final) e o Coeficiente de Confiabilidade Escolar (SRC).
• Hardware: Testado em uma estação de trabalho com 2x CPUs Intel Xeon, 65GB de RAM e 2x GPUs NVIDIA GTX 1080 Ti.

3. Principais Contribuições

1. Alto Desempenho Eficiente em Parâmetros: Demonstrou que um modelo quantizado de 14B, quando combinado com um pipeline RAG robusto, pode alcançar níveis de desempenho comparáveis a modelos proprietários massivos (por exemplo, GPT-4o, Claude 3.5 Sonnet, LLaMA-3.1-405B) em um domínio especializado.
2. Processamento de Documentos Consciente do Layout: Integrou o Docling para resolver o desafio específico de analisar documentos financeiros complexos, garantindo que dados tabulares e símbolos matemáticos sejam retidos durante o processo de recuperação.
3. Sinergia entre RAG e CoT: Mostrou que uma abordagem RAG "básica" (recuperar contexto e injetá-lo no prompt) é suficiente quando emparelhada com um modelo que possui forte raciocínio interno em Cadeia de Pensamento, eliminando a necessidade de ajuste fino complexo ou motores de raciocínio externos.
4. Avaliação Específica do Domínio: Fornecida uma análise granular do desempenho do modelo em 14 disciplinas distintas de CA, destacando pontos fortes e fracos específicos em áreas como Tributação vs. Matemática Empresarial.

4. Resultados

• Precisão Geral: O CA-ThinkFlow alcançou um Coeficiente de Confiabilidade Escolar (SRC) de 68,75%, igualando o desempenho do GPT-4o e do Claude 3.5 Sonnet, e superando significativamente o modelo base 14B-DeepSeek-R1 (46,87%) e outros modelos de código aberto como o LLaMA-3.3-70B (59,38%).
• Desempenho por Nível:
  • Nível Foundation: Alcançou 80,39% de precisão, superando todos os outros modelos.
  • Nível Final: Alcançou 48,63% de precisão, superando a maioria dos modelos, exceto GPT-4o e Claude 3.5 Sonnet.
• Insights Específicos por Disciplina:
  • Pontos Fortes: O modelo se destacou em Matemática Empresarial, Economia Empresarial e Gestão Financeira Avançada.
  • Pontos Fracos (Gargalos Sistêmicos): O sistema lutou com Tributação (I3) e Leis de Impostos Indiretos (FN5), falhando em superar o "Gargalo Sistêmico" (definido como uma disciplina onde nenhum modelo excede 40% de precisão). Isso indica que, mesmo com RAG, o modelo base carece do conhecimento regulatório profundo necessário para lógica fiscal complexa sem ajuste fino adicional.
• Eficiência: O framework opera efetivamente em hardware de nível consumidor (GTX 1080 Ti), provando que IA financeira de alta precisão não requer necessariamente clusters massivos de GPU.

5. Significado e Trabalho Futuro

• Significado: O artigo valida que a eficiência de parâmetros e a aumentação por recuperação podem preencher a lacuna entre modelos pequenos, privados e custo-efetivos e LLMs proprietários massivos em domínios financeiros de alto risco. Oferece um caminho viável para implantar IA privada e conformada no setor de CA indiano sem dependência de APIs caras baseadas em nuvem.
• Limitações: O sistema atualmente falha em resolver completamente o raciocínio regulatório complexo em Tributação, sugerindo que a recuperação sozinha é insuficiente para lógica legal altamente matizada.
• Direções Futuras:
  • Desenvolvimento de pipelines de recuperação avançados para síntese de múltiplos fragmentos e escalabilidade dinâmica de contexto.
  • Implementação de Ajuste Fino Supervisionado Específico do Domínio (SFT) em estatutos financeiros indianos para aprofundar o conhecimento regulatório do modelo antes da recuperação.
  • Integração de atualizações em tempo real de regulamentações fiscais e suporte multilíngue para criar um sistema de IA financeira de nível especialista implantável.