Accounting Reasoning in Large Language Models: Concepts, Evaluation, and Empirical Analysis

Resumo Técnico: Raciocínio Contábil em Grandes Modelos de Linguagem (LLMs)

1. O Problema

Embora os Grandes Modelos de Linguagem (LLMs) estejam transformando diversos domínios profissionais, a sua integração eficaz na área contábil enfrenta desafios significativos. A contabilidade não exige apenas compreensão de linguagem natural, mas demanda um nível rigoroso de raciocínio matemático, inferência lógica e conformidade com regras estruturadas (normas contábeis e fiscais).

O problema central identificado pelos autores é que as aplicações atuais de LLMs na contabilidade baseiam-se predominantemente em prompt engineering genérico, carecendo de uma análise profunda dos mecanismos de raciocínio interno e de uma avaliação sistemática que conecte a capacidade de computação com o conhecimento especializado do domínio. Além disso, os modelos atuais frequentemente falham em manter a consistência em processos de múltiplos passos, onde erros de cálculo ou de interpretação de princípios se propagam e invalidam o resultado final.

2. Metodologia

Os autores propõem uma abordagem sistemática para definir, medir e avaliar o "raciocínio contábil", conceituando-o como a integração de raciocínio lógico e matemático sob restrições de domínio específicas. A metodologia divide-se em três pilares:

• Construção de Benchmarks:
  • Multi-Calculation Benchmark: Um subconjunto filtrado do dataset MR-GSM8K, contendo 586 problemas que exigem pelo menos três etapas de computação, visando testar a estabilidade numérica e a propagação de erros.
  • Accounting-Reasoning-Benchmark: Um conjunto de dados especializado que integra princípios contábeis, demonstrações financeiras, contabilidade de custos e auditoria, utilizando questões de exames profissionais (como o CPA chinês) para testar o conhecimento de domínio.
• Estratégias de Prompting: Para garantir uma avaliação justa e maximizar o potencial dos modelos, os autores utilizam o paradigma Few-shot Chain-of-Thought (CoT). Esta técnica fornece exemplos de raciocínio passo a passo, separando explicitamente o processo de pensamento do resultado numérico final.
• Modelos Avaliados: O estudo compara modelos de diferentes escalas e origens: GPT-4 (OpenAI), GLM-4, GLM-130B e GLM-6B (série GLM).

3. Principais Contribuições

1. Extensão Teórica: Ampliação da pesquisa de LLMs para o domínio contábil, estabelecendo a relação entre raciocínio matemático, inferência lógica e expertise contábil.
2. Novo Framework de Avaliação: Criação de um benchmark abrangente e diversificado que vai além da simples recuperação de informações, focando na capacidade de raciocínio estruturado.
3. Análise de Erros Taxonômica: Uma categorização detalhada das falhas dos modelos, permitindo identificar se o erro é de cálculo, de lógica, de conhecimento de princípio ou de ambiguidade conceitual.

4. Resultados

• Desempenho Geral: O GPT-4 demonstrou a capacidade de raciocínio contábil mais forte no geral, mas ainda assim falhou em problemas complexos. Curiosamente, o GLM-4 superou ligeiramente o GPT-4 em tarefas específicas de raciocínio de conhecimento contábil.
• Degradação por Complexidade: Observou-se que a precisão de todos os modelos diminui drasticamente à medida que o número de etapas de cálculo aumenta. Em questões de alta complexidade, a precisão caiu para cerca de 40%.
• Lacuna Profissional: Nenhum dos modelos atingiu o nível de desempenho humano exigido para aplicações profissionais (que requerem precisão superior a 90%). Modelos menores, como o GLM-6B, mostraram-se insuficientes, com precisão em torno de 20% em tarefas de múltiplos passos.
• Análise de Erros: Os erros mais frequentes (mais de 50%) estão relacionados ao uso incorreto de princípios contábeis e à cobertura insuficiente de conhecimento. Erros de nível de princípio são mais graves, pois causam falhas em cascata em todo o processo de raciocínio.

5. Significância

O estudo é fundamental para o desenvolvimento de sistemas de contabilidade inteligente, pois demonstra que aumentar a escala do modelo ou usar prompts genéricos não é suficiente. Para que os LLMs sejam implantados em cenários empresariais reais, é necessário:

• Otimizar a integração de conhecimento de domínio profundo.
• Melhorar a estabilidade do raciocínio em cadeias longas de computação.
• Desenvolver designs de modelos que sejam "conscientes do raciocínio" (reasoning-aware), focando menos em padrões de linguagem e mais na precisão lógica e normativa.

Em suma, o trabalho serve como um alerta e um guia para pesquisadores: os LLMs atuais são assistentes promissores, mas ainda não são substitutos confiáveis para especialistas humanos na contabilidade devido às suas limitações em raciocínio de princípios e precisão numérica multi-etapa.