💬 NLP

MUDIDI: A Two-Stage Framework for Multilingual Dictionary Digitization with Language Models

Este artigo apresenta o MUDIDI, um framework de dois estágios que utiliza Modelos de Linguagem de Visão e Linguagem (Vision Language Models) e Modelos de Linguagem de Grande Escala (Large Language Models) para digitalizar eficazmente dicionários multilíngues em formatos legíveis por máquina, apoiado por um novo conjunto de dados anotados e benchmarks que demonstram o desempenho superior dos LLMs ao lidar com scripts e layouts complexos.

Autores originais: David Setiawan, Temuulen Khishigsuren, Milind Agarwal, Pagnarith Pit, Aso Mahmudi, Ekaterina Vylomova

Publicado 2026-06-09

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: David Setiawan, Temuulen Khishigsuren, Milind Agarwal, Pagnarith Pit, Aso Mahmudi, Ekaterina Vylomova

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tenha uma biblioteca enorme de dicionários antigos e empoeirados escritos em centenas de línguas diferentes. Alguns estão escritos em inglês, mas muitos estão em línguas raras e ameaçadas, com escritas únicas que parecem runas antigas ou caligrafias intrincadas. Esses livros são tesouros para linguistas e para as comunidades que falam essas línguas, mas agora eles estão presos no "modo de escaneamento". São apenas imagens de páginas. Você não consegue pesquisar neles, não consegue contar as palavras e não consegue usá-los facilmente para ensinar uma língua ou construir um aplicativo de tradução.

O problema é que esses dicionários são bagunçados. Eles têm layouts estranhos, abreviações minúsculas e símbolos que os scanners de computador padrão (como os que você usa para escanear um recibo) ficam completamente confusos.

Os autores deste artigo, MUDIDI, construíram um novo "tradutor digital" para resolver isso. Pense nisso como uma linha de montagem de duas etapas que transforma a foto de uma página de dicionário em um banco de dados digital limpo e organizado.

A Linha de Montagem de Duas Etapas

Estágio 1: O "Super-Scanner" (Lendo a Página)
Imagine um bibliotecário muito cuidadoso que olha para uma página de texto caótica e tenta digitá-la exatamente como ela aparece, preservando as palavras em negrito, o itálico e a ordem das colunas.

O Desafio: Scanners padrão costumam perder letras ou misturar a ordem das colunas.
A Solução: Os autores testaram vários "bibliotecários de IA" (especificamente Modelos de Linguagem de Grande Escala e Modelos de Linguagem de Visão) e descobriram que os modelos de IA mais inteligentes (como o Gemini) são como bibliotecários sobre-humanos. Eles conseguem ler scripts complexos (como cuneiforme antigo ou escritas baseadas no árabe) e manter a formatação perfeita, muito melhor do que softwares de escaneamento tradicionais.
O Truque: Às vezes, dar à IA uma "folha de cola" (uma lista de letras válidas para aquela língua específica) ajuda a IA a ler melhor, mas nem sempre. Às vezes, basta deixar a IA olhar para a imagem.

Estágio 2: O "Organizador" (Classificando as Entradas)
Uma vez que o texto foi digitado, ele ainda é apenas uma parede de palavras. É preciso organizá-lo em caixinhas arrumadas. Uma entrada de dicionário não é apenas uma palavra; ela tem uma definição, uma classe gramatical (substantivo/verbo), exemplos e referências cruzadas.

O Desafio: A IA precisa olhar para a parede de texto e dizer: "Ok, esta palavra em negrito é a Palavra-Cabeçalho, este trecho em itálico é um Exemplo e este símbolo significa Referência Cruzada".
A Solução: A IA recebe um livro de regras específico (chamado esquema MDF, que é como um sistema de arquivamento padrão para dicionários). A IA aprende a cortar o texto em entradas individuais e a etiquetar cada parte da informação corretamente.
O Impulso: Os autores descobriram que, se dessem à IA a página de introdução do dicionário (que explica como o livro é organizado) junto com o livro de regras, a IA se tornava muito melhor em organizar os dados. É como dar a um novo funcionário o manual do funcionário antes de pedir para ele organizar o arquivo.

O Que Eles Descobriram

IA inteligente vence scanners antigos: Os novos modelos de IA "de uso geral" são muito melhores em ler esses dicionários complicados e antigos do que os softwares de escaneamento especializados que usamos há décadas. Eles lidam com fontes e layouts estranhos com facilidade.
Contexto é Rei: Se você quer que a IA classifique as entradas do dicionário corretamente, você tem que dar o "contexto" a ela. Mostrar à IA a página de introdução do dicionário ajuda a IA a entender as regras daquele livro específico, levando a muito menos erros.
Funciona para o que é difícil: Este sistema funciona em uma enorme variedade de línguas, desde as comuns como grego e japonês até as ameaçadas como o chucti e o siríaco.

O Resultado: Um Baú de Tesouros Digital

Os autores não apenas construíram a ferramenta; eles também construíram um kit de teste. Eles reuniram 30 dicionários diferentes, fizeram especialistas humanos verificarem o trabalho e criaram um conjunto de dados para provar que seu sistema funciona.

Em resumo: Eles criaram uma maneira de pegar a foto de uma página de dicionário empoeirada e complexa e transformá-la em um arquivo digital limpo e legível por máquina. Isso permite que comunidades e pesquisadores finalmente desbloqueiem o conhecimento preso nesses livros antigos, ajudando a preservar línguas que poderiam, de outra forma, desaparecer.

A Ressalva: Embora a IA seja incrível, ela não é perfeita. Para scripts muito raros ou layouts extremamente bagunçados, especialistas humanos ainda precisam conferir o trabalho. Mas este novo método torna esse trabalho humano muito mais rápido e fácil do que antes.

Resumo Técnico: MUDIDI – Um Framework de Dois Estágios para a Digitalização de Dicionários Multilíngues

Definição do Problema
Dicionários multilíngues são recursos críticos para a documentação linguística, educação e revitalização, particularmente para línguas de baixos recursos e línguas em perigo. No entanto, a vasta maioria dos dicionários publicados nos séculos XIX e XX permanece inacessível em formatos legíveis por máquina, existindo apenas como imagens digitalizadas. A digitalização desses recursos apresenta desafios únicos: eles frequentemente apresentam sistemas de escrita diversos e complexos (incluindo escritas históricas e diacríticos), layouts densos de múltiplas colunas, abreviações extensas, referências cruzadas e convenções lexicográficas específicas. Embora modelos de Visão-Linguagem (VLMs) e Modelos de Linguagem de Grande Escala (LLMs) recentes tenham mostrado promessa no entendimento de documentos, sua capacidade de transcrever fielmente diversas escritas e interpretar corretamente estruturas complexas de dicionários não foi sistematicamente avaliada.

Metodologia: O Framework MUDIDI
Os autores introduzem o MUDIDI, um framework de dois estágios projetado para desacoplar a transcrição fiel da página da análise lexicográfica. Essa decomposição permite a avaliação e melhoria independente da recuperação de caracteres versus a interpretação estrutural.

Estágio 1: Transcrição Fiel da Página (OCR Vanilla)
O objetivo é produzir uma transcrição de texto Unicode da página do dicionário que preserve a marcação tipográfica (tags de negrito <b> e itálico <i>) e adira a uma ordem de leitura específica (ordem de coluna para layouts padrão, ordem de linha para entradas que abrangem colunas).
- Dados: O framework utiliza um conjunto de dados de 30 dicionários de domínio público cobrindo diversas famílias linguísticas, sistemas de escrita (ex: Cuneiforme, Siríaco, Devanagari, Cirílico, baseado no Latim) e formatos.
- Avaliação: Os modelos são testados com base na Taxa de Erro de Caractere de Grafema (GCER), Taxa de Erro de Palavra (WER), TextEdit (distância de edição normalizada), Markup F1 (preservação de negrito/itálico) e ReadOrderEdit.
- Estudos de Ablação: Os autores testam o impacto do fornecimento de uma lista de alfabetos de origem e de uma dica assistida por OCR (saída bruta do Mathpix) para os modelos.
Estágio 2: Análise Lexicográfica (Parsing)
O objetivo é segmentar o texto transcrito em entradas de dicionário ordenadas e mapeá-las para o esquema Multi-Dictionary Formatter (MDF) do SIL. Isso envolve identificar palavras-guia (headwords), classes gramaticais, definições, exemplos e referências cruzadas.
- Pipeline: O processo utiliza uma abordagem de duas passagens. A Passagem 1 infere regras de análise específicas do dicionário (marcadores MDF, abreviações, estrutura) a partir das páginas de introdução e de uma entrada de amostra. A Passagem 2 aplica essas regras para gerar a saída final formatada em MDF.
- Entradas: Os modelos recebem a transcrição padrão-ouro do Estágio 1, a imagem da página e, opcionalmente, as páginas de introdução do dicionário e as diretrizes oficiais do MDF do SIL.
- Avaliação: As métricas incluem Precisão de Entrada (correspondência de blocos de dicionário), F1 de Campo MDF (atribuição correta de campos) e ReadOrderEdit para sequências de entradas.

Principais Contribuições

Framework de Avaliação de Dois Estágios: O artigo propõe uma nova decomposição da digitalização de dicionários em transcrição e análise, permitindo um diagnóstico granular de falhas do modelo (ex: distinguindo entre erros de reconhecimento de caracteres e erros de interpretação estrutural).
Dataset de Benchmark Multilíngue: Os autores lançam o primeiro dataset para digitalização de dicionários, consistindo em padrões-ouro anotados por humanos para três páginas de cada um de aproximadamente 30 dicionários. Este dataset cobre uma ampla gama de escritas, famílias linguísticas e convenções tipográficas.
Avaliação Sistemática de LLMs e VLMs: Este é o primeiro estudo que avalia o desempenho de LLMs de propósito geral e VLMs especializados tanto no reconhecimento de escritas diversas quanto na segmentação complexa de entradas de dicionário.

Resultos

Estágio 1 (Transcrição): LLMs de propósito geral, particularmente o Gemini 1.5 Pro e o Gemini 1.5 Flash, superam substancialmente os VLMs de documentos especializados (ex: MinerU, PaddleOCR-VL) e sistemas de OCR convencionais (ex: Mathpix) na maioria dos sistemas de escrita. Os LLMs demonstraram capacidade superior em preservar a marcação e a ordem de leitura.
- Listas de Alfabeto: Fornecer uma lista de alfabetos resultou em melhorias modestas para alguns modelos (ex: Gemini), mas degradou o desempenho para outros (ex: GLM-OCR).
- Dicas de OCR: Fornecer o texto preliminar do OCR como uma dica geralmente teve um efeito levemente negativo ou impacto negligenciável nos LLMs de propósito geral, às vezes ancorando-os a erros sistemáticos do OCR.
- Desafios: Escritas com presença digital limitada, como o Cuneiforme (Assírio) e certas ortografias baseadas no Árabe (Siríaco, Circassiano), permaneceram as mais desafiadoras, exibindo taxas de erro mais altas.
Estágio 2 (Análise/Parsing): LLMs de propósito geral alcançaram alta precisão de detecção de entrada (frequentemente $\ge$ 0,99). O desempenho na atribuição de campos MDF variou conforme o modelo e a configuração de entrada.
- Informação Auxiliar: Incluir as páginas de introdução do dicionário melhorou as pontuações de atribuição de campo MDF em 3–4 pontos de F1 para os modelos Gemini e GPT.
- Diretrizes: Fornecer as diretrizes oficiais do MDF do SIL melhorou ainda mais o desempenho, particularmente quando as introduções do dicionário estavam ausentes.
- Regras de Análise: Substituir as regras de análise inferidas por regras padrão-ouro validadas por humanos melhorou significativamente as pontuações F1 de atribuição de campo MDF (em cerca de 6 pontos em média), indicando que erros na inferência de regras da Passagem 1 se propagam para a Passagem 2.

Significância e Alegações
O artigo afirma que o MUDIDI fornece um caminho prático para converter recursos lexicográficos legados em dados estruturados e legíveis por máquina. Os autores demonstram que LLMs de propósito geral, quando guiados pelo contexto apropriado (introduções e diretrizes), podem superar motores de OCR especializados na tarefa complexa de digitalização de dicionários.

O trabalho enfatiza que, embora os modelos atuais mostrem desempenho superior, eles permanecem sensíveis a escritas sub-digitalizadas. Os autores defendem um fluxo de trabalho que aproveite a flexibilidade dos LLMs para incorporar regras de pós-processamento personalizadas e específicas do dicionário para abordar erros sistemáticos, em vez de depender apenas da re-transcrição. Em última análise, o framework visa apoiar linguistas, arquivistas e comunidades de falantes para desbloquear décadas de conhecimento linguístico para a pesquisa e revitalização linguística. O artigo conclui com recomendações práticas para profissionais, incluindo a seleção de modelos (favorecendo o Gemini 1.5 Flash para transcrição de custo-benefício) e o uso estratégico de informação auxiliar para maximizar a qualidade da análise.

A Linha de Montagem de Duas Etapas

O Que Eles Descobriram

O Resultado: Um Baú de Tesouros Digital

Mais como este