INDOTABVQA: A Benchmark for Cross-Lingual Table Understanding in Bahasa Indonesia Documents

1. Problema e Motivação

Os Modelos de Visão e Linguagem (VLMs) atuais demonstram forte desempenho em tarefas de compreensão visual centrada em texto, mas enfrentam limitações críticas em cenários do mundo real, especialmente em:

• Línguas de Baixos Recursos: A maioria dos benchmarks e modelos é centrada no inglês, falhando ao processar documentos em idiomas como o Bahasa Indonesia, que possui mais de 200 milhões de falantes, mas é sub-representada na pesquisa de visão computacional.
• Generalização Cross-Lingual: Existe uma lacuna na capacidade dos modelos de entender tabelas visuais em um idioma (ex: Bahasa Indonesia) e responder a perguntas formuladas em outro idioma (ex: Inglês, Hindi ou Árabe).
• Complexidade Estrutural: Tabelas em documentos reais variam em estilo visual (com bordas, sem bordas, coloridas), exigindo que o modelo infira a estrutura (linhas e colunas) além de apenas ler o texto.

O artigo identifica que os benchmarks existentes não testam adequadamente se os VLMs podem alinhar conteúdo visual em um idioma com consultas em outro, nem avaliam o desempenho em documentos com baixa qualidade de layout ou em línguas não latinas.

2. Metodologia e o Dataset INDOTABVQA

O trabalho apresenta o INDOTABVQA, um novo benchmark projetado para avaliar a compreensão de tabelas em documentos reais.

• Composição do Dataset:

  • Imagens: 1.593 imagens de documentos reais contendo 1.910 tabelas.
  • Origem: Documentos governamentais, educacionais, financeiros e de saúde da Indonésia.
  • Diversidade Visual: As tabelas são categorizadas em três tipos visuais: com bordas (bordered), sem bordas (borderless) e coloridas (colorful).
  • Anotações Multilíngues: Cada imagem de tabela possui pares de Pergunta-Resposta (QA) em quatro idiomas: Bahasa Indonesia (idioma do documento), Inglês, Hindi e Árabe. Isso totaliza 6.372 pares de QA.
  • Metadados: Inclui caixas delimitadoras (bounding boxes) no nível da tabela para localização espacial.

• Configuração de Avaliação:
  Os modelos foram testados em três configurações distintas (ilustradas na Figura 2 do artigo):

  1. Zero-Shot: Avaliação direta sem treinamento específico no dataset.
  2. Fine-Tuned (Ajuste Fino): Treinamento no conjunto de treino do INDOTABVQA (500 imagens) para adaptação de domínio.
  3. Fine-Tuned + Priors Espaciais: Adição de coordenadas de detecção de tabelas (obtidas via YOLOv9) como entrada explícita no prompt do modelo, simulando um pipeline de processamento de documentos em duas etapas (detecção -> compreensão).

• Métricas:

  • In-Match Accuracy: Correspondência relaxada (verifica se a resposta correta está contida na resposta gerada, normalizando pontuação e maiúsculas/minúsculas).
  • Semantic Textual Similarity (STS): Medida de similaridade semântica usando embeddings de sentenças (modelo paraphrase-multilingual-MiniLM-L12-v2) para capturar equivalência de significado além da correspondência exata de palavras.

3. Contribuições Principais

1. Novo Benchmark Cross-Lingual: O primeiro dataset focado em tabelas de documentos reais em Bahasa Indonesia com anotações paralelas em quatro idiomas, permitindo a avaliação sistemática do raciocínio visual cross-lingual.
2. Avaliação Abrangente de Baselines: Teste de modelos de código aberto (Qwen2.5-VL, Gemma-3, LLaMA-3.2) e fechados (GPT-4o), revelando modos de falha específicos em raciocínio estrutural e transferência de linguagem.
3. Análise de Priors Espaciais e Ajuste Fino: Demonstração de que a localização explícita de tabelas e o ajuste fino em dados específicos de domínio melhoram significativamente o desempenho, especialmente em tabelas complexas e línguas de baixos recursos.

4. Resultados Chave

• Desempenho Geral: Mesmo o modelo proprietário mais avançado, o GPT-4o, apresentou desempenho modesto em cenários cross-lingual (queda de ~72% para ~44% ao sair do Bahasa para o Inglês, e ainda mais para Hindi/Árabe).
• Impacto do Ajuste Fino: O ajuste fino de modelos compactos (3B e 7B) no dataset INDOTABVQA resultou em melhorias substanciais:
  • Modelo 3B: +11,6% de melhoria na acurácia.
  • Modelo 7B (LoRA): +17,8% de melhoria na acurácia.
• Efeito dos Priors Espaciais: A adição de coordenadas de tabelas (bounding boxes) melhorou o desempenho em 4-7% adicionais. O modelo INDOTABVQA [7B] + Priors Espaciais alcançou o melhor desempenho geral (48,5% em In-Match e 58,3% em STS), superando o GPT-4o ajustado.
• Desafios por Idioma e Tipo de Tabela:
  • Hindi e Árabe: Apresentaram as maiores quedas de desempenho devido a desafios de tokenização (script Devanagari e direção RTL) e falta de dados de pré-treinamento.
  • Tabelas sem Bordas: Foram as mais difíceis de processar, pois exigem inferência de estrutura baseada em espaços em branco.
  • Tipos de Perguntas: Perguntas de "Lookup" (busca de célula específica) e "Estrutura" foram as mais desafiadoras, enquanto "Agregação" e "Comparação" tiveram melhor desempenho.

5. Significado e Conclusão

O artigo conclui que a compreensão de documentos estruturados em línguas não dominantes e em cenários cross-lingual é um desafio significativo para os VLMs atuais.

• Importância de Dados Específicos: A pesquisa demonstra que o ajuste fino direcionado em conjuntos de dados específicos de domínio (mesmo com poucos dados, como 500 imagens) é crucial para superar a lacuna de desempenho.
• Necessidade de Priors Espaciais: A integração de informações de localização espacial (onde a tabela está no documento) é essencial para reduzir a ambiguidade estrutural, especialmente em tabelas sem bordas.
• Impacto Global: O INDOTABVQA fornece um recurso vital para avançar a pesquisa em IA de documentos inclusiva e robusta, focando em regiões sub-representadas e promovendo sistemas que podem operar eficazmente em contextos multilíngues e multiescrita.

O dataset e o código de avaliação estão disponíveis publicamente no Hugging Face para fomentar pesquisas futuras.