INDOTABVQA: A Benchmark for Cross-Lingual Table Understanding in Bahasa Indonesia Documents

Resumen Técnico: INDOTABVQA

1. El Problema

Los Modelos de Visión y Lenguaje (VLMs) han demostrado un rendimiento sólido en tareas de comprensión visual centradas en el texto, pero los benchmarks existentes presentan limitaciones críticas:

• Dominio Anglocéntrico: La mayoría de los conjuntos de datos se centran en el inglés, dejando a lenguas de recursos bajos (como el indonesio, hindi y árabe) subrepresentadas.
• Falta de Evaluación Multilingüe Cruzada: No se evalúa adecuadamente la capacidad de los modelos para entender tablas en un idioma (ej. documentos en indonesio) y responder preguntas formuladas en otro idioma diferente.
• Complejidad Estructural: Los modelos existentes luchan para razonar sobre tablas con estructuras complejas (sin bordes, con colores) y en entornos de documentos reales, no solo en datos sintéticos.

Este vacío limita el desarrollo de sistemas de IA documental verdaderamente globales e inclusivos.

2. Metodología y Dataset (INDOTABVQA)

El artículo introduce INDOTABVQA, un nuevo benchmark diseñado para evaluar la comprensión de tablas en documentos del mundo real en Bahasa Indonesia, con capacidades de evaluación cruzada de idiomas.

• Composición del Dataset:

  • Imágenes: 1,593 imágenes de documentos reales (informes gubernamentales, registros educativos, facturas, datos de salud).
  • Estilos Visuales: Las tablas se categorizan en tres tipos para probar la robustez visual: con bordes (500), sin bordes (602) y coloridas (491).
  • Pares Pregunta-Respuesta (QA): 1,593 conjuntos de QA traducidos y validados en cuatro idiomas: Bahasa Indonesia, Inglés, Hindi y Árabe. Esto totaliza 6,372 pares de QA.
  • Configuración de Evaluación: Permite probar escenarios monolingües (doc en ID, pregunta en ID) y cruzados (doc en ID, preguntas en EN, HI o AR).

• Enfoque de Evaluación (3 Configuraciones):

  1. Zero-Shot: Evaluación directa de modelos VLM preentrenados sin entrenamiento específico.
  2. Fine-Tuning (Ajuste Fino): Entrenamiento de modelos en el conjunto de datos de entrenamiento (500 imágenes) para adaptarlos a la tarea.
  3. Fine-Tuning + Priors Espaciales: Se añade un paso de preprocesamiento donde un detector de objetos (YOLOv9) identifica las coordenadas de las tablas. Estas coordenadas (bounding boxes) se inyectan explícitamente en el prompt del modelo para guiar su atención.

• Métricas: Se utilizan dos métricas principales:

  • Exact Match Relajado (In-Match): Verifica si la respuesta correcta aparece como subcadena normalizada en la predicción.
  • Similitud Semántica (STS): Utiliza embeddings de oraciones (Sentence Transformers) para medir la alineación semántica entre la respuesta predicha y la real, más allá de la coincidencia literal.

3. Contribuciones Clave

1. Nuevo Benchmark Cruzado: Primer conjunto de datos a gran escala para VQA de tablas en Bahasa Indonesia con anotaciones paralelas en cuatro idiomas, permitiendo una evaluación sistemática del razonamiento visual cruzado.
2. Evaluación Exhaustiva de Línea Base: Análisis de modelos de código abierto (Qwen2.5-VL, Gemma-3, LLaMA-3.2) y cerrado (GPT-4o), revelando modos de fallo específicos en el razonamiento estructural y la transferencia de idiomas.
3. Análisis de Priors Espaciales: Demostración de que proporcionar coordenadas explícitas de las tablas mejora significativamente el rendimiento, validando la importancia de la localización espacial en la comprensión de documentos.

4. Resultados Principales

• Brecha de Rendimiento Cruzado: Existe una caída drástica (30-50 puntos porcentuales) en la precisión cuando los modelos pasan de responder en el mismo idioma que el documento (Indonesio) a idiomas cruzados (especialmente Hindi y Árabe).
  • Ejemplo: GPT-4o alcanza un 72.2% en indonesio, pero cae al 26.0% en hindi y 21.4% en árabe en configuración zero-shot.
• Impacto del Ajuste Fino: El fine-tuning en un conjunto de datos pequeño (500 imágenes) mejora sustancialmente el rendimiento.
  • Un modelo Qwen2.5-VL de 7B ajustado logra un 71.9% de precisión en indonesio (vs 54.8% zero-shot).
  • Las mejoras son menores en idiomas cruzados, pero significativas.
• Efecto de los Priors Espaciales: Inyectar las coordenadas de las tablas mejora el rendimiento en todos los modelos.
  • El modelo INDOTABVQA [7B] + Priors Espaciales alcanza el mejor rendimiento global (78.3% In-Match y 58.3% STS), superando incluso a GPT-4o ajustado.
  • Esto confirma que la ambigüedad estructural (especialmente en tablas sin bordes) es un cuello de botella que la localización explícita ayuda a resolver.
• Dificultad por Tipo de Pregunta:
  • Las preguntas de agregación y comparación son las más fáciles de resolver.
  • Las preguntas de búsqueda (lookup) y razonamiento estructural son las más difíciles, especialmente en configuraciones cruzadas de idiomas.
• Desafío de Idiomas Específicos: El hindi muestra el rendimiento más bajo, atribuido a la segmentación subóptima de tokens en el alfabeto devanagari por parte de los tokenizadores estándar y la falta de datos de preentrenamiento.

5. Significado e Impacto

• Avance en IA Inclusiva: INDOTABVQA llena un vacío crítico al proporcionar recursos para evaluar y mejorar sistemas de IA en regiones subrepresentadas (Sudeste Asiático, Medio Oriente, Sur de Asia).
• Validación de Estrategias de Mejora: Demuestra que la combinación de adaptación de dominio (fine-tuning) y guía espacial (priors) es una estrategia superior para tareas de comprensión de documentos especializados, superando a los modelos genéricos masivos.
• Dirección Futura: El trabajo sugiere que el futuro de la comprensión de documentos no solo requiere modelos más grandes, sino también arquitecturas que integren mejor la percepción visual estructural y la alineación multilingüe profunda.

El dataset y el código están disponibles públicamente en Hugging Face bajo el nombre NusaBharat/INDOTABVQA.