Machine Learning versus Deep Learning for Public Financial Report Classification and Popularity Prediction: A Feasibility Study on Ghana's Controller and Accountant-General's Department
Este estudo de viabilidade avalia o desempenho de modelos clássicos de aprendizado de máquina e aprendizado profundo nos relatórios financeiros do Departamento do Controlador e do Contador-Geral de Gana, revelando que, embora o XGBoost ajustado tenha alcançado uma classificação de categoria perfeita, o estudo de ablação subsequente demonstrou que as características de palavras-chave inflacionaram significativamente esses resultados, ressaltando a necessidade crítica de uma validação rigorosa de características antes de implementar tais ferramentas em contextos do setor público.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Governos ao redor do mundo estão colocando cada vez mais seus registros financeiros online. Essa mudança visa trazer transparência, permitindo que cidadãos e auditores vejam como o dinheiro público é gasto sem a necessidade de visitar um escritório físico. No entanto, à medida que esses arquivos digitais crescem, eles se tornam difíceis de gerenciar. Um único departamento governamental pode publicar centenas de documentos ao longo de alguns anos, variando de declarações anuais de orçamento a circulares de folha de pagamento. Classificar esses arquivos manualmente é lento e propenso a erros, enquanto descobrir quais relatórios as pessoas realmente querem ler é ainda mais difícil. Para resolver isso, as agências estão recorrendo aos computadores para fazer a classificação e a previsão por elas. É aqui que entra o aprendizado de máquina (machine learning). Estes são programas de computador que aprendem a reconhecer padrões em dados, como as palavras em um título de documento, para tomar decisões como "este é um relatório de folha de pagamento" ou "este relatório será baixado com frequência". Mas há um problema: esses programas geralmente precisam de milhares de exemplos para aprender bem. Quando um departamento governamental possui apenas algumas centenas de documentos, não está claro se essas ferramentas inteligentes podem realmente funcionar ou se estão apenas adivinhando baseadas em atalhos de sorte.
Em Gana, o Departamento de Controlador e Contador-Geral detém uma vasta coleção de relatórios financeiros públicos. Dois pesquisadores, Emmanuel Osei-Dwomoh e Gabriel Osei Forkuo, decidiram testar se ferramentas automatizadas poderiam organizar essa coleção específica e prever sua popularidade. Eles reuniram 131 relatórios oficiais publicados entre 2019 e 2024. Esses documentos incluíam tudo, desde edições de plano de contas até materiais de padrões contábeis internacionais. Os pesquisadores propuseram-se a construir dois tipos diferentes de modelos de computador para realizar o trabalho. O primeiro tipo baseava-se no aprendizado de máquina "clássico", onde um analista humano cria cuidadosamente uma lista de pistas específicas, como contar quantas vezes a palavra "orçamento" aparece ou notar a extensão do arquivo. O segundo tipo utilizou o "aprendimento profundo" (deep learning), uma abordagem mais complexa onde o computador lê o texto bruto dos títulos e descrições caractere por caractere, tentando encontrar padrões por conta própria, sem ajuda humana. Eles testaram esses modelos em três tarefas específicas: classificar os relatórios na categoria correta, adivinhar se um relatório seria baixado mais do que a média e prever o número exato de downloads.
Os resultados foram surpreendentes e revelaram uma armadilha oculta na forma como esses sistemas aprendem. Quando os pesquisadores executaram os testes pela primeira vez, o modelo de aprendizado de máquina clássico pareceu perfeito. Ele classificou corretamente cada um dos relatórios do grupo de teste em sua categoria certa, alcançando uma pontuação impecável. O modelo de aprendizado profundo também teve um desempenho muito bom nessa tarefa. No entanto, os pesquisadores suspeitaram que essa pontuação perfeita não era porque os computadores realmente entendiam o conteúdo dos relatórios. Eles notaram que as pistas que deram ao modelo clássico incluíam palavras-chave específicas que eram quase idênticas aos nomes das categorias. Por exemplo, se um relatório fosse intitulado "Circular de Folha de Pagamento 2024", o modelo recebia uma sinalização dizendo "a palavra folha de pagamento está presente". Como a categoria era "Folha de Pagamento", o modelo estava essencialmente recebendo a resposta antes mesmo de começar.
Para provar isso, os pesquisadores removeram essas pistas de palavras-chave específicas e executaram o teste novamente. A pontuação perfeita desapareceu. A precisão do modelo caiu significamente, estabelecendo-se em um nível que ainda era muito bom, mas longe de ser perfeito. Isso confirmou que o sucesso inicial devia-se em grande parte a um atalho: os relatórios frequentemente continham seus próprios nomes de categoria em seus títulos. Os modelos de aprendizado profundo, que leem o texto diretamente, também encontraram esse atalho e alcançaram pontuações altas semelhantes, provando que o próprio texto bruto continha a resposta, e não necessariamente uma compreensão profunda da estrutura do documento. Quando os pesquisadores observaram as outras tarefas, o cenário mudou. Prever quais relatórios seriam populares era muito mais difícil. Os modelos clássicos tiveram um desempenho razoável, identificando corretamente relatórios populares cerca de três quartos das vezes, enquanto os modelos de aprendizado profundo tiveram mais dificuldade. Os modelos de aprendizado profundo também mostraram um comportamento estranho: quando os pesquisadores tentaram "ajustar" (fine-tuning) esses modelos, dando-lhes mais tempo de treinamento, seu desempenho na verdade piorou. Isso sugere que, com uma coleção tão pequena de documentos, os complexos modelos de aprendizado profundo eram sensíveis demais e começaram a memorizar os dados de treinamento em vez de aprender regras gerais.
O estudo conclui que, para arquivos governamentais pequenos como este, ferramentas de aprendizado de máquina clássicas e simples são um ponto de partida melhor do que os sistemas de aprendizado profundo mais complexos. Essas ferramentas mais simples são mais fáceis de entender e menos propensas a falhar quando os dados são limitados. No entanto, os pesquisadores alertam que qualquer pessoa que utilize essas ferramentas deve ter cuidado para não confiar em atalhos. Se um modelo é treinado para reconhecer uma categoria porque a palavra "Folha de Pagamento" aparece no título, ele pode falhar completamente quando um novo relatório utilizar uma redação diferente. A lição mais honesta do trabalho é que, embora os computadores possam ajudar a organizar esses registros financeiros, eles ainda não são mágicos. Eles funcionam melhor quando os dados são claros e as pistas são genuínas, mas em conjuntos de dados pequenos e imperfeitos, suas pontuações impressionantes podem às vezes esconder uma falta de compreensão real. Os pesquisadores sugerem que, antes de qualquer portal governamental implementar tal sistema, ele deve ser testado rigorosamente para garantir que está aprendendo as coisas certas, e não apenas copiando os rótulos.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.