Where A Small Language Model Helps in Invoice Categorisation, Understood Through Embedding Geometry

Todo negocio que compra o vende bienes debe llevar un registro preciso de cada transacción. Cuando una empresa recibe una factura, un contador humano debe decidir a qué categoría específica pertenece ese gasto, una tarea conocida como la asignación de un código de Libro Mayor. Este no es un simple trabajo de clasificación; requiere un juicio profesional para comprender si una compra es para las operaciones diarias, una inversión de capital o un gasto personal de un propietario de negocio. Hacer esto correctamente es la base de la exactitud en los informes financieros y el cumplimiento fiscal. Si estos códigos son erróneos, las pequeñas empresas enfrentan multas innecesarias y los gobiernos pierden miles de millones en ingresos fiscales. Durante años, la esperanza ha sido que la inteligencia artificial pudiera automatizar este difícil trabajo, pero la tecnología a menudo ha tenido dificultades para igualar el matiz de un contador capacitado.

Investigadores de la Universidad de Bristol y System Holdings Limited exploraron recientemente un camino diferente. En lugar de utilizar sistemas de IA masivos y complejos que requieren enormes cantidades de potencia de cálculo y plantean preocupaciones sobre la privacidad de los datos, probaron si modelos de lenguaje más pequeños y especializados podrían aprender a realizar este trabajo de manera efectiva. Estos modelos más pequeños pueden ejecutarse en una sola computadora, manteniendo los datos financieros sensibles seguros dentro de los propios muros de la empresa. El equipo quería entender no solo si estos modelos funcionaban, sino cómo pensaban. Examinaron la "forma" matemática de la información dentro de la computadora, observando cómo el modelo agrupaba facturas similares en su memoria interna. Descubrieron que la forma en que estos modelos más pequeños organizan la información es sorprendentemente eficiente y que esta organización es la clave de su éxito.

Los investigadores trabajaron con un conjunto de datos del mundo real de más de dos mil facturas de siete clientes diferentes de una firma de contabilidad del Reino Unido. Cada factura ya había sido categorizada correctamente por contadores profesionales. El equipo introdujo estos datos en dos tipos diferentes de modelos de IA: un modelo más pequeño y eficiente llamado SBERT, y uno más grande y complejo llamado DeBERTa. Probaron los modelos con diferentes versiones del texto de la factura. Una versión incluía solo el nombre del proveedor, la fecha y el precio. Otra incluía la lista completa de los artículos comprados. Una tercera versión añadió etiquetas explícitas, como "Nombre del Proveedor:" o "Precio:", para que el texto pareciera más estructurado para un lector humano.

Los resultados revelaron una verdad contraintuitiva sobre cómo leen las máquinas. La versión del texto que era más fácil de leer para un humano, con sus etiquetas claras y formato estructurado, en realidad dificultó que la IA distinguiera entre diferentes tipos de facturas. Cuando la computadora veía las palabras "Nombre del Proveedor" y "Precio" repetidas en cada uno de los documentos, la representación matemática interna de esos documentos se volvía demasiado similar, desdibujando las líneas entre ellos. El modelo funcionó mejor cuando se le entregó el texto bruto y no estructurado de la factura, tal como un contador humano podría echar un vistazo a un recibo desordenado. El modelo más pequeño, SBERT, demostró ser la opción superior. Al ser entrenado con solo unos pocos cientos de ejemplos, alcanzó un alto nivel de precisión, categorizando las facturas correctamente mucho mejor que un modelo mucho más grande o una IA estándar de "zero-shot" que no había sido entrenada para esta tarea específica.

Un análisis más profundo de la memoria interna de la computadora explicó por qué el modelo más pequeño tuvo éxito donde el más grande falló. Los investigadores encontraron que la representación interna de los datos del modelo más grande estaba "colapsada". A medida que el texto se hacía más largo y detallado, la capacidad del modelo para distinguir entre diferentes significados se desvanecía, y comenzaba a depender principalmente de la longitud del texto en lugar de su contenido. En contraste, el modelo más pequeño mantenía un espacio rico y multidimensional donde diferentes tipos de facturas ocupaban regiones distintas. Incluso antes de ser entrenado para la tarea específica, el modelo agrupaba naturalmente las facturas por la empresa que las emitía, mostrando que comprendía la fuente del documento. Más importante aún, podía separar diferentes categorías financieras incluso cuando el texto era similar, siempre que hubiera visto suficientes ejemplos.

Esta capacidad de generalización fue crítica cuando el equipo probó los modelos con un cliente completamente nuevo cuyos datos nunca habían sido vistos antes. El modelo más grande tuvo dificultades significativas, requiriendo cientos de nuevos ejemplos para comenzar a trabajar correctamente. El modelo más pequeño, sin embargo, se adaptó mucho más rápido, alcanzando un alto nivel de precisión con solo alrededor de cien facturas nuevas. Esto sugiere que el modelo más pequeño había aprendido una forma más robusta de entender el significado del texto, en lugar de solo memorizar patrones. Podía transferir lo aprendido de un negocio a otro, reconociendo que una "reparación de motor" para un cliente era la misma categoría que una "reparación de motor" para un nuevo cliente, independientemente del proveedor específico.

El estudio concluye que para tareas como la categorización de facturas, un modelo más pequeño y propio suele ser una mejor herramienta que uno masivo y genérico. Ofrece un equilibrio práctico de costo, seguridad y rendimiento. Al ejecutarse en una sola computadora, mantiene la privacidad de los datos financieros sensibles y, al ser más pequeño, es más económico de operar. La investigación también mostró que añadir estructura adicional al texto no ayuda a la IA; de hecho, el texto bruto suele ser más efectivo. Este hallazgo simplifica el proceso para las empresas, ya que no necesitan gastar tiempo y dinero reformateando sus facturas antes de alimentarlas al sistema. El trabajo demuestra que, con el enfoque adecuado, la inteligencia artificial puede manejar el juicio matizado y experto requerido en la contabilidad, siempre que el sistema esté diseñado para entender la geometría de los datos en lugar de solo el volumen del texto.