Multimodal Structural Anomaly Detection in Invoices Using Text–Logic Fusion

Resumen Técnico: Detección de Anomalías Estructurales Multimodales en Facturas mediante la Fusión de Texto y Lógica

Planteamiento del Problema
Los documentos financieros, particularmente las facturas, son críticos para los sistemas de auditoría y contabilidad automatizados. Sin embargo, estos registros semiestructurados son propensos a irregularidades como campos faltantes, formatos inusuales y desviaciones de la plantilla. Los métodos de validación tradicionales dependen fuertemente de comprobaciones aritméticas basadas en reglas, las cuales fallan al detectar anomalías estructurales como la ausencia de campos o inconsistencias en el diseño. Por el contrario, los modelos de aprendizaje automático basados en texto suelen pasar por alto las relaciones numéricas cruciales inherentes a los documentos financieros. El desafío central abordado por este estudio es la detección de anomalías estructurales en facturas sin datos de anomalías etiquetados, lo que requiere un sistema que pueda comprender simultáneamente los patrones semánticos del texto y la consistencia lógica financiera.

Metodología
Los autores proponen un marco multimodal no supervisado que fusiona la semántica textual y la lógica financiera para detectar anomalías estructurales. La metodología se desarrolla a través de las siguientes etapas:

1. Preprocesamiento de Datos y Extracción de Características:

   • Reconocimiento Óptico de Caracteres (OCR): El texto se extrae de las imágenes de las facturas mediante OCR. El texto bruto se limpia (conversión a minúsculas, eliminación de espacios en blanco y símbolos no informativos) para prepararlo para el análisis semántico.
   • Codificador Semántico Textual: El texto limpio se convierte en incrustaciones (embeddings) densas a nivel de oración utilizando Sentence-BERT. Estas incrustaciones capturan las relaciones contextuales y la información del diseño. Se utiliza una arquitectura de autoencoder (codificador-decodificador con activación ReLU y normalización por lotes) para aprender una representación latente ($z_t$) de estos patrones semánticos, minimizando la pérdida de reconstrucción ($L_{text}$).
   • Codificador de Lógica Financiera: Los valores numéricos (subtotales, impuestos, totales) se extraen de la salida del OCR. Se construyen vectores de características basados en la lógica para representar la desviación entre los valores financieros esperados y los observados (por ejemplo, $\Delta_{line}, \Delta_{subtotal}, \Delta_{tax}, \Delta_{total}$). Un codificador separado mapea estas características lógicas en un espacio latente ($z_l$), aprendiendo patrones de consistencia financiera.

2. Arquitectura de Fusión Multimodal:

   • Las representaciones latentes del codificador textual ($z_t$) y del codificador de lógica ($z_l$) se concatenan para formar un vector de características multimodales unificado ($z_f$).
   • Un Autoencoder de Fusión procesa este vector combinado. La red es entrenada para reconstruir las características fusionadas de entrada, aprendiendo la distribución de las facturas estructuralmente normales.
   • Puntuación de Anomalía: Durante la inferencia, la puntuación de anomalía ($S$) se calcula como el Error Cuadrático Medio (MSE) entre el vector de características fusionadas original y su versión reconstruida. Errores de reconstrucción más altos indican desviaciones estructurales de los patrones normales aprendidos.

Contribuciones Clave

• Enfoque de Fusión Multimodal: El estudio introduce un novedoso marco no supervisado que modela conjuntamente las características semánticas textuales y las características de la lógica financiera, abordando la limitación de los métodos existentes que tratan las facturas como puramente textuales o puramente numéricas.
• Aprendizaje No Supervisado: El sistema opera sin datos de anomalías etiquetados, utilizando el error de reconstrucción para identificar irregularidades como facturas incompletas, páginas de plantillas y documentos estructuralmente inconsistentes.
• Arquitectura Híbrida: La integración de un Bloque Semántico Textual y un Bloque de Lógica Financiera dentro de un único autoencoder de fusión permite al modelo detectar tanto errores de diseño semántico como inconsistencias aritméticas de forma simultánea.

Resultados Experimentales
El modelo propuesto fue evaluado con el conjunto de datos "High Quality Invoice Images for OCR", que comprende 8,181 imágenes de facturas con estructuras variadas. El conjunto de datos se dividió para el entrenamiento (con muestras normales) y la prueba.

• Comparación de Rendimiento: El modelo de fusión propuesto se comparó con líneas base de una sola modalidad (Autoencoder de Solo Texto, Autoencoder de Solo Lógica) y algoritmos clásicos de detección de anomalías (Isolation Forest, One-Class SVM, Local Outlier Factor).
• Hallazgos Cuantitativos: El modelo de fusión logró una puntuación media de anomalía de 0.3750 con una desviación estándar de 0.2962. Mientras que el modelo de Solo Lógica mostró una puntuación media más alta (0.5107), el modelo de fusión demostró capacidades de separación superiores. Las líneas base de solo texto y solo lógica fueron efectivas en sus respectivos dominios, pero carecían de la visión holística proporcionada por el modelo de fusión.
• Análisis Cualitativo: La distribución de las puntuaciones de anomalía indicó una clara separación entre las muestras normales y las anómalas. El modelo de fusión exhibió una mayor dispersión de las puntuaciones, lo que sugiere una mejor capacidad para distinguir inconsistencias sutiles que los modelos de una sola modalidad podrían pasar por alto. La matriz de confusión (basada en pseudo-etiquetas) mostró un límite estable entre muestras de alto y bajo riesgo.

Significancia y Reivindicaciones
El artículo sostiene que el enfoque de fusión multimodal propuesto ofrece una solución más robusta y discriminativa para la detección de anomalías en facturas en comparación con los métodos unimodales. Al aprender las correlaciones entre la información semántica y la estructura financiera, el sistema identifica eficazmente las imprecisiones estructurales, la información faltante y las discrepancias financieras. Los autores afirman que este enfoque es adecuado para auditorías financieras automatizadas a gran escala y sistemas de inteligencia de documentos. El estudio concluye que, si bien los resultados actuales son prometedores, trabajos futuros podrían explorar incrustaciones conscientes del diseño (layout-aware) y codificadores basados en transformadores para mejorar aún más la comprensión de las estructuras complejas de las facturas. La investigación se presenta como un paso factible hacia la reducción de falsos positivos y la mejora de la fiabilidad del procesamiento financiero automatizado.