Resumen Técnico: Khondo – Un Benchmark Multimodal para la División de Paquetes de Documentos de Formularios en Bengalí

1. Definición del Problema

En los flujos de trabajo gubernamentales y administrativos, los documentos se procesan frecuentemente como "paquetes": archivos únicos que contienen múltiples documentos concatenados (formularios y materiales de apoyo) que pueden aparecer fuera de su orden original. La recuperación de los documentos constituyentes implica tres tareas: agrupación (agrupar páginas por documento fuente), tipificación (clasificar dominios de documentos) y ordenación (reconstruir la secuencia original de páginas).

Si bien trabajos previos han abordado la división de documentos, los benchmarks existentes se centran principalmente en documentos comerciales en inglés y dependen de texto extraído mediante OCR. Esto deja una brecha crítica para lenguas de bajos recursos como el bengalí, donde el Reconocimiento Óptico de Caracteres (OCR) suele ser poco fiable debido a la complejidad del script y las fuentes heredadas. Además, la investigación actual trata predominantemente la segmentación de flujos de páginas como un problema de detección de límites que asume una llegada secuencial, en lugar de un problema de reconstrucción donde las páginas están desordenadas o entrelazadas.

2. Metodología

2.1 El Conjunto de Datos Khondo

Los autores presentan Khondo (Bengalí para "dividir"), el primer benchmark multimodal para la división de paquetes de documentos en formularios gubernamentales de Bangladesh.

• Fuente de Datos: 423 formularios auténticos recolectados del portal nacional de formularios electrónicos en 14 dominios administrativos (p. ej., agricultura, finanzas, legal, registro).
• Naturaleza Bilingüe: El conjunto de datos es inherentemente bilingüe (Bengalí–Inglés), reflejando flujos de trabajo administrativos reales. A nivel de página, consta de un 67% de páginas en bengalí, 26% en inglés y un 5% de páginas mixtas.
• Pipeline de Construcción:
  1. Recolección y Filtrado: Revisión manual para descartar documentos que no sean formularios y escaneos de baja calidad.
  2. Partición: Los formularios se dividen en conjuntos disjuntos de entrenamiento/validación/prueba (55:20:25) estratificados por dominio para evitar la fuga de contenido.
  3. Ensamblaje de Paquetes: Se generan paquetes muestreando formularios para alcanzar una longitud objetivo de 5 a 20 páginas.
  4. Esquemas de Concatenación: Se crean cinco variantes para aislar diferentes dificultades:
     • MonoSeq/PolySeq: Concatenación secuencial (ordenada).
     • MonoRand: Páginas desordenadas dentro de cada bloque de documento.
     • PolyInt: Entrelazado tipo round-robin de páginas de diferentes documentos.
     • PolyRand: Desorden global de todas las páginas en todo el paquete.
• Escala: 1,950 paquetes que totalizan 28,513 páginas.

2.2 Formalización de la Tarea

La tarea se define como la recuperación de una partición $\mathcal{D}$, un mapa de dominio $t$ y permutaciones de páginas $\sigma_i$ para cada documento $i$ a partir de un paquete de imágenes de páginas $P = \langle p_1, \dots, p_n \rangle$. A diferencia de trabajos anteriores, Khondo opera de forma nativa de visión, procesando imágenes de páginas puras sin depender de texto OCR.

2.3 Protocolo de Evaluación

• Modelos Evaluados:
  • Zero-Shot: Cinco modelos de lenguaje de gran tamaño multimodales (MLLM) destacados: Gemini-3.5-Flash, GPT-5.4, Qwen 3.6 Plus, GLM-4.6V y Kimi K2.5.
  • Fine-Tuned (Ajuste Fino): Tres modelos pequeños de pesos abiertos (Qwen3-VL-4B, InternVL3.5-4B, Gemma 4 E2B) adaptados mediante QLoRA.
• Métricas:
  • Agrupación ($S_{clu}$): Media de la medida V y el Índice de Rand.
  • Ordenación ($S_{ord}$): Media de Kendall's $\tau_a$ sobre los subdocumentos predichos.
  • Tipificación ($PgAcc$): Precisión de clasificación de dominio a nivel de página.
  • Puntuación General ($S_{pkt}$): Promedio ponderado de forma igualitaria de agrupación y ordenación.
• Prompting: Los experimentos comparan un prompt Consciente del Orden (OAw) (que instruye explícitamente la resecuenciación) frente a un prompt Agnóstico al Orden (OAg) (que no lo hace).

3. Resultados Clave

3.1 Rendimiento Zero-Shot

• Agrupación vs. Ordenación: Los MLLM demuestran capacidades de agrupación robustas pero tienen dificultades significativas con la ordenación de páginas cuando estas están desordenadas.
  • En las variantes secuenciales, las puntuaciones de ordenación son altas ($S_{ord} \approx 0.95$), pero esto es trivial ya que las páginas ya están ordenadas.
  • En las variantes desordenadas (MonoRand, PolyRand), las puntuaciones de ordenación caen drásticamente (p. ej., Gemini-3.5-Flash cae de 0.95 a 0.68; los modelos más débiles caen a ~0.05).
  • La agrupación permanece relativamente estable ($S_{clu} \approx 0.55–0.85$) incluso bajo desorden.
• Comparación de Modelos: Gemini-3.5-Flash y Qwen 3.6 Plus superan a otros modelos, particularmente en la restauración del orden de las páginas en paquetes desordenados.

3.2 Resultados de Fine-Tuning

• El ajuste fino de modelos pequeños de código abierto mejora el rendimiento respecto a sus bases, pero no elimina el cuello de botella.
• Si bien la agrupación mejora significativamente (alcanzando $S_{clu} \approx 0.95$ en PolySeq), la ordenación en las variantes desordenadas sigue siendo deficiente ($S_{ord} \approx 0.32$ para el mejor modelo, Qwen3-VL-4B).
• Escalar el tamaño del modelo (de 4B a 32B) produce mejoras monotónicas en las variantes desordenadas, pero no cierra la brecha con los modelos insignia zero-shot.

3.3 Análisis Controlados

• Sensibilidad al Prompt: Las instrucciones explícitas para reordenar páginas (OAw) mejoran significativamente las puntuaciones de ordenación en las variantes desordenadas (ganancias de 0.43–0.67) en comparación con los prompts OAg, que a menudo simplemente preservan el orden de entrada. Sin embargo, persiste un déficit sustancial incluso con instrucciones explícitas, lo que sugiere que la dificultad es intrínseca a la tarea y no solo un artefacto del prompting.
• Efectos Lingüísticos: Cuando se prueban en paquetes monolingües, los modelos ordenan las páginas en inglés significativamente mejor que las páginas en bengalí ($\Delta S_{ord} = 0.13–0.36$ en variantes desordenadas). La agrupación se ve menos afectada por el idioma. Esto indica que el cuello de botella de la ordenación es parcialmente lingüístico, exacerbado por la naturaleza de bajos recursos del entendimiento de documentos en bengalí.

4. Contribuciones

1. Benchmark Khondo: El primer benchmark multimodal para la división de paquetes de documentos en formularios gubernamentales dominantes en bengalí y de bajos recursos, que presenta 1,950 paquetes a través de 5 esquemas de concatenación y 14 dominios.
2. Hallazgos Empíricos: Demostración de que, si bien los MLLM pueden agrupar páginas de manera efectiva, la reconstrucción del orden de las páginas es el principal cuello de botella, especialmente bajo desorden y para lenguas de bajos recursos.
3. Perspectivas de Fine-Tuning: Evidencia de que, aunque los MLLM pequeños pueden aprender la tarea, persiste una brecha de rendimiento significativa en las variantes desordenadas en comparación con los modelos insignia.
4. Aislamiento de Factores: Estudios controlados que revelan que el prompting explícito ayuda a la ordenación pero es insuficiente, y que el idioma (bengalí vs. inglés) es un factor secundario pero constante que degrada el rendimiento de la ordenación.

5. Significado y Reivindicaciones

El artículo posiciona a Khondo como el establecimiento de la reconstrucción del orden de las páginas como un problema abierto clave en la comprensión de documentos basada en visión y de bajos recursos. Los autores afirman que:

• Los MLLM actuales tratan la división de paquetes como un problema "resuelto" para texto secuencial, pero fallan cuando se aplican a documentos de bajos recursos, desordenados y nativos de visión.
• La dificultad en la ordenación es intrínseca a la tarea (requiere razonar sobre la continuidad visual y el flujo lógico) y no es meramente un fallo de la ingeniería de prompts.
• La brecha de rendimiento entre el inglés y el bengalí resalta un desafío específico para las lenguas de bajos recursos en el procesamiento de documentos multimodales, donde la falta de un OCR fiable y de recursos lingüísticos complica la inferencia de la estructura del documento.

El trabajo concluye que, si bien el ajuste fino y los modelos más grandes ofrecen mejoras incrementales, resolver el cuello de botella de la ordenación para paquetes de documentos desordenados y de bajos recursos sigue siendo un desafío significativo para el campo.