JaWildText: A Benchmark for Vision-Language Models on Japanese Scene Text Understanding

1. O Problema

A compreensão de texto em cenas (scene text) em japonês apresenta desafios únicos que os benchmarks multilíngues existentes frequentemente falham em capturar adequadamente. Esses desafios incluem:

• Mistura de Scripts: O uso simultâneo de kanji, hiragana, katakana e alfanuméricos latinos.
• Escrita Vertical: A frequência de textos escritos verticalmente.
• Vocabulário Extenso: Um inventário de caracteres muito maior do que o do alfabeto latino.
• Foco em Documentos Escaneados: Os conjuntos de dados japoneses existentes concentram-se principalmente em documentos digitalizados, negligenciando o texto em cenas "selvagens" (in-the-wild), como placas de rua, recibos e notas manuscritas.
• Dificuldade de Diagnóstico: Com a ascensão dos Modelos de Linguagem Visuais (VLMs) que operam de ponta a ponta, torna-se difícil distinguir se um erro de desempenho decorre de falha no reconhecimento de caracteres ou no raciocínio sobre o texto reconhecido. Não há benchmarks que separem essas duas modalidades de falha para o japonês.

2. Metodologia

Os autores introduzem o JaWildText, um benchmark de diagnóstico projetado para avaliar VLMs na compreensão de texto japonês em cenas, dissecando as capacidades de leitura e raciocínio.

Estrutura do Dataset

O JaWildText contém 3.241 instâncias extraídas de 2.961 imagens recém-coletadas no Japão, com 1,12 milhão de caracteres anotados abrangendo 3.643 tipos únicos de caracteres. O dataset é composto por três tarefas complementares que variam em organização visual, formato de saída e estilo de escrita:

1. Dense STVQA (Visual Question Answering de Texto Densa):
   • Objetivo: Avaliar a capacidade de ler e raciocinar sobre texto denso em placas, pôsteres e embalagens.
   • Método: Inclui pares de perguntas e respostas abertas que exigem raciocínio cruzado entre múltiplas regiões de texto. As regiões de evidência são anotadas para permitir a distinção entre erro de reconhecimento (não ler a região correta) e erro de raciocínio (ler corretamente, mas responder errado).
2. Receipt KIE (Extração de Informações Chave de Receitas):
   • Objetivo: Testar a extração estruturada de campos específicos (nome da loja, data, total, itens) de fotos de recibos tiradas com celulares.
   • Desafio: Lida com layouts colunares rígidos, mistura de caracteres de largura total e meia-largura, e abreviações de impressoras térmicas.
3. Handwriting OCR (Reconhecimento Óptico de Caracteres Manuscritos):
   • Objetivo: Avaliar a transcrição de nível de página de texto manuscrito japonês.
   • Variedade: Inclui diferentes mídias (papel pautado, branco, tablets) e direções de escrita (horizontal e vertical), focando puramente na capacidade de reconhecimento.

Configuração Experimental

• Modelos Avaliados: 14 VLMs de peso aberto (open-weight) de cinco famílias diferentes (Qwen3-VL, InternVL3.5, Gemma3, Phi-4-Multimodal e Sarashina2.2-Vision).
• Métricas:
  • STVQA: Precisão baseada em um "juiz" (LLM) que compara a resposta com a referência, considerando a precisão de reconhecimento das regiões de evidência.
  • Receipt KIE: F1-score global e precisão por campo.
  • Handwriting OCR: Similaridade de nível de caractere (1 - CER, onde CER é a distância de Levenshtein).

3. Principais Contribuições

1. Primeiro Benchmark Dedicado: O JaWildText é, segundo os autores, o primeiro benchmark focado exclusivamente na avaliação de VLMs em texto de cena japonês através de três tarefas complementares baseadas em imagens do mundo real.
2. Diagnóstico Granular: A capacidade de separar erros de reconhecimento de erros de raciocínio, algo que benchmarks agregados não permitem.
3. Linha de Base Reprodutível: Estabelecimento de benchmarks para 14 modelos, quantificando lacunas de desempenho significativas entre arquiteturas.
4. Análise de Erros por Script: Uma análise detalhada que mostra como a dificuldade de reconhecimento varia drasticamente dependendo do tipo de script (ex: kanji vs. dígitos).

4. Resultados Chave

• Desempenho Geral: O melhor modelo, Qwen3-VL-8B, alcançou uma pontuação média global de apenas 0,64, indicando que a compreensão robusta de texto japonês em cenários reais ainda está longe de ser resolvida.
• Gargalo de Reconhecimento: A análise de erros revelou que o reconhecimento continua sendo o gargalo dominante, especialmente para caracteres Kanji. Mesmo o melhor modelo cometeu erros de reconhecimento em 14,2% das instâncias de STVQA.
• Disparidade por Tarefa:
  • Handwriting OCR: A maioria dos modelos (10 de 14) atingiu pontuações acima de 0,60, sugerindo uma capacidade básica de reconhecimento, mas com um teto de desempenho em torno de 0,80.
  • Dense STVQA: Apresentou a maior variação de desempenho (0,008 a 0,62), diferenciando eficazmente as capacidades dos modelos.
• Impacto do Treinamento Específico: O modelo Sarashina2.2-Vision-3B (treinado com dados centrados no Japão) superou modelos maiores em tarefas de reconhecimento (STVQA), mas não generalizou bem para outras tarefas, sugerindo que o benefício do treinamento específico é dependente da tarefa.
• VLMs vs. OCR Especializado: Nos testes de OCR manuscrito, os VLMs de propósito geral (como Qwen3-VL-8B com 0,79) superaram modelos especializados em OCR (como olmOCR-2-7B com 0,74), indicando que o treinamento geral com dados visuais diversificados pode ser mais eficaz para texto em cenas do que modelos puramente focados em OCR.

5. Significado e Conclusão

O JaWildText preenche uma lacuna crítica na avaliação de IA multimodal para idiomas não latinos e tipologicamente complexos. O estudo demonstra que:

• A precisão agregada esconde falhas específicas; a separação entre reconhecimento e raciocínio é vital para o progresso.
• O Kanji representa um desafio significativo devido ao seu vasto inventário de caracteres, exigindo que os modelos generalizem além dos inventários de literacia padrão.
• O benchmark fornece evidências diagnósticas finas que podem guiar intervenções direcionadas (ex: melhorar a capacidade de reconhecimento de scripts específicos ou a lógica de raciocínio espacial).

Os autores esperam que o JaWildText incentive avaliações diagnósticas semelhantes em outros idiomas tipologicamente diversos, promovendo o desenvolvimento de modelos mais robustos para a compreensão de texto no mundo real. O dataset e o código de avaliação serão disponibilizados publicamente.