DocSplit: A Comprehensive Benchmark Dataset and Evaluation Approach for Document Packet Recognition and Splitting

Este trabajo presenta DocSplit, el primer conjunto de datos de referencia integral y un enfoque de evaluación novedoso para el reconocimiento y división de paquetes de documentos, abordando desafíos del mundo real mediante la formalización de la tarea y la demostración de las limitaciones actuales de los modelos de lenguaje multimodales en este dominio.

Lo esencial

¡Hola! Imagina que acabas de recibir una caja gigante llena de papeles. Dentro hay facturas, cartas, recibos médicos y contratos, pero el problema es que todo está mezclado. Las páginas de una factura están en la página 1, luego la página 5, luego la página 2 de otra carta, y así sucesivamente. Además, algunas páginas están desordenadas, otras están repetidas y algunas ni siquiera tienen un título claro.

Tu trabajo es tomar ese desorden total y organizarlo en pilas perfectas: "Aquí está toda la factura", "Aquí está toda la carta", y "Aquí está el contrato", en el orden correcto.

Hacer esto manualmente es una pesadilla. Hacerlo con una computadora es aún más difícil porque las computadoras suelen ver cada página como un objeto aislado, no como parte de una historia más grande.

Aquí es donde entra el paper que nos ocupa, llamado DocSplit. Vamos a desglosarlo con analogías sencillas:

1. ¿Qué es DocSplit? (El "Detective de Papeles")

Los autores (de Amazon Web Services) se dieron cuenta de que, aunque las inteligencias artificiales (IA) son muy buenas leyendo una sola página, son muy malas cuando tienen que ordenar y separar un montón de documentos mezclados.

Para arreglar esto, crearon DocSplit, que es como un examen de conducir o un gimnasio para las IAs. No es solo un conjunto de datos; es un campo de entrenamiento diseñado específicamente para enseñar a las máquinas a ser "detectives de documentos".

2. El Problema: El "Sándwich de Documentos"

Imagina que alguien hace un sándwich, pero en lugar de pan, queso y jamón, mete:

• Una rebanada de pan (una factura).
• Una rebanada de queso (una página de un contrato).
• Otra rebanada de pan (otra factura).
• Una rodaja de tomate (una página del contrato).

Y luego te dice: "Por favor, separa el pan del queso y del tomate, y ponlos en sus propios platos".

En el mundo real, esto sucede todo el tiempo:

• En un hospital: Un paciente tiene un historial con recetas, análisis de sangre y notas del médico, todo escaneado en un solo archivo desordenado.
• En un banco: Una solicitud de hipoteca tiene documentos de la propiedad, impuestos y contratos, todos mezclados.

Las IAs actuales a menudo fallan aquí. Confunden una página con otra o no saben dónde termina un documento y empieza otro.

3. Los 5 Niveles del Gimnasio (Los Conjuntos de Datos)

Para entrenar a las IAs, DocSplit creó 5 niveles de dificultad, como los niveles de un videojuego:

1. Nivel Fácil (Mono-Seq): Todos los documentos son del mismo tipo (ej. solo facturas) y están en orden. Es como ordenar una pila de monedas del mismo valor.
2. Nivel Medio (Mono-Rand): Son todos facturas, pero las páginas están revueltas. Tienes que encontrar qué página va después de cuál. Es como armar un rompecabezas donde todas las piezas son azules.
3. Nivel Difícil (Poly-Seq): Hay diferentes tipos de documentos (facturas, cartas, contratos) pegados uno tras otro, pero en orden. Tienes que saber cuándo cambia la "historia".
4. Nivel Experto (Poly-Int): ¡Aquí se pone interesante! Los documentos están entrelazados. Una página de factura, luego una de contrato, luego otra de factura. Es como si dos personas estuvieran hablando al mismo tiempo y tú tuvieras que separar sus voces.
5. Nivel Caos Total (Poly-Rand): Todos los documentos de todos los tipos están mezclados al azar. Es el escenario más difícil, como encontrar una aguja en un pajar donde la aguja también está rota y mezclada con paja.

4. La Nueva Regla del Juego (Las Métricas)

Antes, para evaluar si una IA lo hacía bien, usaban una regla estricta: "¿Acertaste todo o fallaste todo?". Si la IA separaba 9 de 10 documentos bien, pero fallaba en uno, la nota era un cero. Eso no es justo.

DocSplit inventó un sistema de puntuación más inteligente:

• Clustering (Agrupación): ¿Pudiste poner las páginas de la factura en un grupo y las de la carta en otro? (Aunque las hayas puesto en el orden equivocado, ya ganaste puntos por agruparlas bien).
• Ordenamiento: ¿Pudiste poner las páginas de la factura en el orden 1, 2, 3?
• Puntuación Combinada: Suman ambos logros. Así, si la IA hace un buen trabajo pero no es perfecta, recibe una nota intermedia en lugar de un fracaso total. Esto ayuda a los investigadores a ver dónde fallan exactamente.

5. ¿Qué aprendimos? (Los Resultados)

Probaron a las IAs más famosas (como Claude, Qwen, DeepSeek) en este gimnasio.

• El resultado: ¡La mayoría se quedó atascada! Aunque son muy inteligentes, les cuesta mucho entender el "contexto global". Pueden leer una página perfectamente, pero si las páginas están mezcladas, se pierden.
• El hallazgo: El mayor problema no es leer el texto, sino saber dónde termina un documento y empieza otro cuando no hay una línea clara que los separe.

En Resumen

DocSplit es como un entrenador personal para las inteligencias artificiales. Les dice: "Oye, en el mundo real, los papeles no vienen ordenados. Tienes que aprender a separar el caos, agrupar lo que pertenece y ponerlo en orden".

Hacen esto público para que todos los científicos e ingenieros puedan usar estos datos para crear sistemas que ayuden a abogados, médicos y banqueros a ahorrar horas de trabajo manual, evitando que los documentos importantes se pierdan en el desorden.

Es un paso gigante para que las computadoras dejen de ser solo "lectores" y se conviertan en verdaderos "organizadores" de nuestra vida digital.

Resumen técnico

Resumen Técnico: DocSplit

1. El Problema: Reconocimiento y División de Paquetes de Documentos

En aplicaciones del mundo real (finanzas, salud, legal), el procesamiento de documentos a menudo enfrenta el desafío de manejar paquetes de documentos heterogéneos y de múltiples páginas. Estos paquetes consisten en secuencias de páginas desordenadas que contienen múltiples documentos "cosidos" o mezclados, a veces sin separadores claros.

A pesar de los avances en la comprensión de documentos visuales y la clasificación de páginas individuales, la tarea fundamental de dividir un paquete de documentos en sus unidades lógicas constituyentes (documentación individual) sigue siendo un problema subexplorado. Los desafíos específicos incluyen:

• Páginas desordenadas: Las páginas de un mismo documento pueden estar dispersas aleatoriamente.
• Documentos entrelazados: Páginas de diferentes documentos pueden alternarse (interleaved).
• Falta de delimitación: Documentos consecutivos del mismo tipo sin separadores visuales claros.
• Errores de ensamblaje: Duplicados, omisiones o secuencias incorrectas en paquetes manuales.

Las métricas y conjuntos de datos existentes (como RVL-CDIP) se centran en la clasificación de una sola página, lo que es insuficiente para evaluar la capacidad de los modelos para detectar límites entre documentos y reconstruir el orden secuencial correcto dentro de un paquete.

2. Metodología y Definición de la Tarea

Formalización de la Tarea DocSplit

Los autores formalizan la tarea de DocSplit como la transformación de una secuencia de entrada de $N$ páginas (un paquete) en una representación estructurada que capture:

1. Límites de documentos: Identificar dónde comienza y termina cada documento lógico.
2. Clasificación: Determinar el tipo de documento (ej. factura, contrato, informe médico).
3. Ordenamiento: Reconstruir el orden secuencial correcto de las páginas dentro de cada documento identificado.

Matemáticamente, esto se aborda como un problema de partición (agrupar páginas en documentos disjuntos) y un problema de ordenamiento (determinar la permutación correcta de páginas dentro de cada grupo).

Nuevo Marco de Evaluación

Se propone un marco de evaluación novedoso que va más allá de la precisión binaria (correcto/incorrecto) tradicional:

• Métricas de Agrupamiento (Clustering):
  • Índice de Rand (RI): Mide la similitud entre la partición predicha y la real basándose en pares de elementos.
  • V-medida: La media armónica de homogeneidad (cada grupo predicho contiene solo una clase real) y completitud (todos los miembros de una clase real están en el mismo grupo).
  • Se combina en una puntuación de agrupamiento ponderada ($S_{clustering}$).
• Métricas de Ordenamiento:
  • Tau de Kendall ($\tau$): Mide la correlación ordinal entre el orden predicho y el real. Permite penalizar errores de ordenamiento de forma continua (ej. un orden inverso total es peor que un intercambio parcial).
• Puntuación Combinada (Packet Score): Una métrica unificada ($S_{packet}$) que pondera el agrupamiento y el ordenamiento, permitiendo una evaluación granular y continua en lugar de un fallo total por un error menor.

Conjuntos de Datos (DocSplit Benchmark)

Se crearon cinco conjuntos de datos derivados de una extensión multi-página de RVL-CDIP, diseñados para aumentar progresivamente la complejidad:

1. DocSplit-Mono-Seq: Concatenación secuencial de documentos de una sola categoría (desafío de límites sin cambios de tipo).
2. DocSplit-Mono-Rand: Páginas de documentos de una sola categoría desordenadas aleatoriamente.
3. DocSplit-Poly-Seq: Concatenación secuencial de documentos de múltiples categorías (desafío de límites entre tipos).
4. DocSplit-Poly-Int: Páginas de múltiples categorías entrelazadas (round-robin), simulando procesamiento por lotes.
5. DocSplit-Poly-Rand: Desorden completo de todas las páginas de múltiples categorías (máxima entropía, peor caso).

El conjunto total abarca 52.6K documentos y 1.55 millones de páginas, cubriendo 13 categorías de documentos y escenarios multimodales.

3. Resultados Experimentales

Los autores evaluaron cinco modelos de lenguaje multimodal (LLM) de vanguardia (Claude Sonnet 4.5, Claude Haiku 4.5, DeepSeek, Gemma 3, Qwen 3) en los cinco benchmarks.

• Rendimiento General: Los modelos mostraron una brecha significativa de rendimiento. Qwen 3 VL obtuvo las puntuaciones más altas (Packet Score > 0.92), seguido por las variantes de Claude y DeepSeek. Gemma 3 mostró el rendimiento más débil, especialmente en agrupamiento.
• Desacoplamiento de Tareas:
  • El ordenamiento de páginas fue alto en la mayoría de los modelos (>0.97) una vez que el agrupamiento fue exitoso, sugiriendo que los modelos pueden recuperar la secuencia si entienden la coherencia del documento.
  • El agrupamiento (detección de límites) fue el cuello de botella principal, con puntuaciones que variaron drásticamente (0.56 a 0.90).
• Impacto de la Complejidad:
  • Los escenarios de una sola categoría (Mono) fueron más fáciles.
  • Los escenarios entrelazados (Poly-Int) y desordenados (Poly-Rand) causaron una degradación significativa (20-30%) en las métricas clásicas para modelos más débiles, mientras que los modelos más fuertes mantuvieron una mayor robustez.
• Comparación de Métricas: Las métricas clásicas (precisión exacta) penalizaron excesivamente a los modelos por errores parciales (ej. un error de límite arruina todo el documento). Las métricas propuestas de DocSplit ofrecieron una evaluación más justa y matizada, reconociendo el progreso parcial.

4. Contribuciones Clave

1. Primer Benchmark Integral: Introducción de DocSplit, el primer conjunto de datos y marco de evaluación exhaustivo específico para la división de paquetes de documentos.
2. Formalización de la Tarea: Definición formal que integra la detección de límites, clasificación y reordenamiento de páginas en un solo marco unificado.
3. Datos Diversos: Liberación de cinco benchmarks con variaciones de complejidad (desorden, entrelazado, múltiples tipos) que reflejan escenarios reales de alta complejidad.
4. Nuevas Métricas: Desarrollo de un sistema de evaluación que combina métricas de agrupamiento (V-measure, Rand Index) y ordenamiento (Kendall's Tau) para proporcionar una puntuación continua y diagnóstica.
5. Línea Base y Herramientas: Evaluación de LLMs de vanguardia y lanzamiento de un "Test Studio" basado en web para facilitar la experimentación y comparación futura.

5. Significado e Impacto

El trabajo de DocSplit es fundamental para avanzar en el procesamiento inteligente de documentos (IDP) en industrias críticas:

• Aplicaciones del Mundo Real: Resuelve problemas prácticos en reclamaciones de seguros médicas, procesamiento de hipotecas, descubrimiento legal y gestión de registros financieros, donde la organización manual de paquetes de documentos es costosa y propensa a errores.
• Avance en Investigación: Identifica que la detección de límites de documentos es el desafío principal, dirigiendo la investigación futura hacia el modelado de consistencia entre páginas y representaciones documentales jerárquicas.
• Evaluación Rigurosa: Proporciona un estándar de oro para evaluar la capacidad de los modelos de IA para manejar documentos largos, desordenados y heterogéneos, superando las limitaciones de los benchmarks actuales centrados en páginas individuales.

En resumen, DocSplit establece una nueva base para el desarrollo de sistemas de IA capaces de entender, separar y organizar documentos complejos en entornos empresariales reales, liberando datos y herramientas para la comunidad de investigación.