Machine Learning versus Deep Learning for Public Financial Report Classification and Popularity Prediction: A Feasibility Study on Ghana's Controller and Accountant-General's Department
Este estudio de viabilidad evalúa el desempeño de modelos de aprendizaje automático clásico y de aprendizaje profundo en los informes financieros del Departamento del Contralor y Contador General de Ghana, revelando que si bien el modelo XGBoost ajustado finamente logró una clasificación de categorías perfecta, el estudio de ablación posterior demostró que las características de palabras clave inflaron significativamente estos resultados, subrayando la necesidad crítica de una validación rigurosa de las características antes de desplegar tales herramientas en contextos del sector público.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Los gobiernos de todo el mundo están poniendo cada vez más sus registros financieros en línea. Este cambio tiene como objetivo aportar transparencia, permitiendo que los ciudadanos y los auditores vean cómo se gasta el dinero público sin necesidad de visitar una oficina física. Sin embargo, a medida que estos archivos digitales crecen, se vuelven difíciles de gestionar. Un solo departamento gubernamental puede publicar cientos de documentos en unos pocos años, que van desde estados presupuestarios anuales hasta circulares de nómina. Clasificar estos archivos a mano es lento y propenso a errores, mientras que determinar qué informes quiere leer la gente es aún más difícil. Para resolver esto, las agencias buscan que las computadoras hagan la clasificación y la predicción por ellas. Aquí es donde entra el aprendizaje automático (machine learning). Estos son programas informáticos que aprenden a reconocer patrones en los datos, como las palabras en el título de un documento, para tomar decisiones como "este es un informe de nómina" o "este informe será descargado con frecuencia". Pero hay un inconveniente: estos programas suelen necesitar miles de ejemplos para aprender bien. Cuando un departamento gubernamental solo tiene unos pocos cientos de documentos, no está claro si estas herramientas inteligentes pueden realmente funcionar, o si solo están adivinando basándose en atajos de suerte.
En Ghana, el Departamento del Controlador y Contador General posee una vasta colección de informes financieros públicos. Dos investigadores, Emmanuel Osei-Dwomoh y Gabriel Osei Forkuo, decidieron probar si las herramientas automatizadas podrían organizar esta colección específica y predecir su popularidad. Reunieron 131 informes oficiales publicados entre 2019 y 2024. Estos documentos incluían de todo, desde ediciones de planes de cuentas hasta materiales de estándares de contabilidad internacional. Los investigadores se propusieron construir dos tipos diferentes de modelos informáticos para realizar el trabajo. El primer tipo dependía del aprendizaje automático "clásico", donde un analista humano crea cuidadosamente una lista de pistas específicas, como contar cuántas veces aparece la palabra "presupuesto" o notar la longitud del archivo. El segundo tipo utilizó el "aprendizaje profundo" (deep learning), un enfoque más complejo donde la computadora lee el texto bruto de los títulos y descripciones carácter por carácter, intentando encontrar patrones por sí misma sin ayuda humana. Probaron estos modelos en tres tareas específicas: clasificar los informes en la categoría correcta, adivinar si un informe sería descargado más que el promedio y predecir el número exacto de descargas.
Los resultados fueron sorprendentes y revelaron una trampa oculta en la forma en que estos sistemas aprenden. Cuando los investigadores ejecutaron las pruebas por primera vez, el modelo de aprendizaje automático clásico parecía perfecto. Clasificó correctamente cada uno de los informes del grupo de prueba en su categoría correspondiente, logrando una puntuación impecable. El modelo de aprendizaje profundo también funcionó muy bien en esta tarea. Sin embargo, los investigadores sospechaban que esta puntuación perfecta no se debía a que las computadoras comprendieran realmente el contenido de los informes. Notaron que las pistas que habían dado al modelo clásico incluían palabras clave específicas que eran casi idénticas a los nombres de las categorías. Por ejemplo, si un informe tenía el título "Circular de Nómina 2024", el modelo recibió una señal que decía "la palabra nómina está presente". Dado que la categoría era "Nómina", el modelo básicamente estaba recibiendo la respuesta antes de siquiera empezar.
Para demostrar esto, los investigadores eliminaron esas pistas de palabras clave específicas y ejecutaron la prueba nuevamente. La puntuación perfecta desapareció. La precisión del modelo disminuyó significamente, estableciéndose en un nivel que seguía siendo bastante bueno pero lejos de ser perfecto. Esto confirmó que el éxito inicial se debió en gran medida a un atajo: los informes a menudo contenían sus propios nombres de categoría en sus títulos. Los modelos de aprendizaje profundo, que leían el texto directamente, también encontraron este atajo y lograron puntuaciones altas similares, demostrando que el texto bruto en sí mismo contenía la respuesta, no necesariamente una comprensión profunda de la estructura del documento. Cuando los investigadores observaron las otras tareas, el panorama cambió. Predecir qué informes serían populares era mucho más difícil. Los modelos clásicos funcionaron razonablemente bien, identificando correctamente los informes populares aproximadamente tres cuartas partes de las veces, mientras que los modelos de aprendizaje profundo tuvieron más dificultades. Los modelos de aprendizaje profundo también mostraron un comportamiento extraño: cuando los investigadores intentaron "ajustarlos" (fine-tune) dándoles más tiempo de entrenamiento, su rendimiento en realidad empeoró. Esto sugiere que, con una colección tan pequeña de documentos, los complejos modelos de aprendizaje profundo eran demasiado sensibles y comenzaron a memorizar los datos de entrenamiento en lugar de aprender reglas generales.
El estudio concluye que, para archivos gubernamentales pequeños como este, las herramientas de aprendizaje automático clásicas y sencillas son un mejor punto de partida que los sistemas de aprendizaje profundo más complejos. Estas herramientas más simples son más fáciles de entender y menos propensas a romperse cuando los datos son limitados. Sin embargo, los investigadores advierten que cualquier persona que utilice estas herramientas debe tener cuidado de no confiar en atajos. Si un modelo es entrenado para reconocer una categoría porque la palabra "Nómina" aparece en el título, podría fallar completamente cuando un nuevo informe utilice una redacción diferente. La conclusión más honesta del trabajo es que, si bien las computadoras pueden ayudar a organizar estos registros financieros, aún no son mágicas. Funcionan mejor cuando los datos son claros y las pistas son genuinas, pero en conjuntos de datos pequeños e imperfectos, sus impresionantes puntuaciones a veces pueden ocultar una falta de comprensión real. Los investigadores sugieren que, antes de que cualquier portal gubernamental implemente tal sistema, este debe ser probado rigurosamente para asegurar que está aprendiendo las cosas correctas, y no simplemente copiando las etiquetas.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.