Resumo Técnico: Avaliação Comparativa de Sistemas de Tradução Automática em Imagens com Texto

Declaração do Problema

O artigo aborda a Tradução Automática de Texto em Imagens (TIMT), uma tarefa situada na interseção entre Visão Computacional (CV) e Processamento de Linguagem Natural (NLP). O desafio central é traduzir o conteúdo textual embutido em imagens para um idioma de destino. Enquanto a Tradução Automática (MT) tradicional lida com texto puro, a TIMT deve primeiro localizar e extrair o texto de dados visuais (frequentemente em cenas naturais com fundos complexos, distorções e iluminação variada) antes de traduzi-lo. Os autores visam avaliar e comparar diferentes paradigmas arquitetônicos para resolver este problema: pipelines modulares, Modelos de Linguagem Grandes Multimodais (MLLMs) e modelos de imagem para imagem de ponta a ponta.

Metodologia

Conjunto de Dados

Os experimentos utilizam um conjunto de dados sintético multilíngue introduzido por Lan et al. (2024), especificamente projetado para Tradução Automática em Imagem (IIMT). O conjunto de dados consiste em imagens de 512×512 geradas pela renderização de texto paralelo do IWSLT14 (Alemão–Inglês) e IWSLT17 (Francês–Inglês, Romeno–Inglês). O texto é renderizado usando a fonte Arial com variações aleatórias em posição, rotação e cor de fundo para introduzir ruído visual moderado, mantendo a legibilidade. O conjunto de dados é dividido em conjuntos de treinamento, validação e teste em quatro pares de idiomas: De–En, Fr–En, Ro–En e seus reversos.

Paradigmas Arquitetônicos Avaliados

O estudo compara três abordagens distintas:

1. Pipelines Modulares:

   • Etapa de OCR: O texto é extraído usando docTR (selecionado em vez do EasyOCR com base em testes preliminares). O pipeline utiliza o Detector de Texto Arbitrariamente Moldado Mais Rápido (FAST) para detecção e uma espinha dorsal VGG16-BN com uma RNN para reconhecimento.
   • Etapa de Tradução: O texto extraído é alimentado em vários modelos de tradução:
     • NMT Tradicional: M2M100-1.2B.
     • LLMs: Modelos ajustados por instrução da família Llama (3.2-1B, 3.2-3B, 3.1-8B) e EuroLLM (1.7B, 9B). Esses modelos exigem estratégias específicas de prompt (por exemplo, formatação JSON ou comandos diretos) para garantir saídas limpas, contendo apenas a tradução.

2. Modelos de Linguagem Grandes Multimodais (MLLMs):

   • Três configurações do Gemini-2.5 (flash-lite, flash e pro) foram avaliadas. Esses modelos processam a imagem bruta e um prompt de texto conjuntamente em uma única etapa, realizando OCR e tradução simultaneamente, sem uma etapa separada de OCR.

3. Modelo de Ponta a Ponta:

   • Translatotron-V: Um modelo de imagem para imagem que gera diretamente imagens traduzidas. Os resultados para este modelo foram obtidos por meio de comunicação privada com os autores e foram limitados a pares de idiomas específicos devido à falta de checkpoints públicos.

Framework de Avaliação

O desempenho foi medido usando métricas padrão:

• Qualidade de OCR: Taxa de Erro de Caractere (CER) e Taxa de Erro de Palavra (WER).
• Qualidade de Tradução: BLEU, chrF e TER (Taxa de Erro de Tradução).
• Significância Estatística: O teste de randomização aproximada (ART) com 10.000 repetições foi utilizado para determinar diferenças significativas entre os sistemas.

Principais Resultados

Desempenho de OCR

Em avaliações preliminares, o docTR superou significativamente o EasyOCR em todos os pares de idiomas, reduzindo as Taxas de Erro de Palavra em até 13,9 pontos percentuais e as Taxas de Erro de Caractere em até 12,5 pontos. Consequentemente, o docTR foi utilizado em todos os experimentos subsequentes de pipeline modular.

Desempenho de Tradução

Os resultados revelam uma hierarquia de desempenho consistente em todos os pares de idiomas (De–En, En–De, Fr–En, En–Fr):

1. MLLMs (Gemini-2.5): Os modelos multimodais alcançaram o melhor desempenho geral. Especificamente, o Gemini-2.5-pro garantiu consistentemente as pontuações BLEU e chrF mais altas e as pontuações TER mais baixas em todas as direções. Isso demonstra a superioridade do processamento visual e linguístico conjunto.
2. Pipelines Modulares (LLMs): LLMs em grande escala, particularmente EuroLLM-9B e Llama-3.1-8B, superaram significativamente as bases de NMT tradicionais (M2M100) e LLMs menores. O pipeline modular usando EuroLLM-9B frequentemente aproximou-se ou superou o desempenho dos MLLMs em métricas específicas, embora geralmente ficasse atrás das configurações principais do Gemini.
3. NMT Tradicional: O M2M100-1.2B serviu como uma base confiável, mas foi geralmente superado por LLMs maiores e MLLMs.
4. Ponta a Ponta (Translatotron-V): Esta abordagem performou significativamente pior do que as abordagens modulares e multimodais. Na direção Inglês–Alemão, alcançou uma pontuação BLEU de ~17,9, comparada a ~35,6 para o Gemini-2.5-pro. Em Francês–Inglês, performou melhor do que a base de NMT (BLEU ~34,2), mas ainda ficou atrás de LLMs e MLLMs.

Significado e Alegações

O artigo afirma que o raciocínio multimodal é altamente eficaz para traduzir texto dentro de imagens. As principais descobertas são:

• Superioridade dos MLLMs: Modelos multimodais como o Gemini-2.5 demonstram flexibilidade superior e compreensão contextual, alcançando a melhor qualidade de tradução ao processar informações visuais e textuais conjuntamente.
• Competitividade dos Pipelines Modulares: Embora os MLLMs liderem, pipelines modulares que combinam OCR de última geração (docTR) com LLMs grandes e especializados (como o EuroLLM) oferecem uma alternativa altamente competitiva que supera os modelos de imagem para imagem de ponta a ponta.
• Limitações das Abordagens de Ponta a Ponta: O estudo sugere que a tradução direta de imagem para imagem (como tentado pelo Translatotron-V) permanece uma tarefa desafiadora com a tecnologia atual, produzindo qualidade significativamente inferior à de abordagens que separam a extração de texto e a tradução ou utilizam raciocínio multimodal.

Os autores concluem que, embora os pipelines modulares sejam robustos, a integração da compreensão visual e da geração de linguagem dentro dos MLLMs fornece uma base sólida para pesquisas futuras em tradução de imagens multilíngue. O estudo é limitado pela sua dependência de dados sintéticos e um conjunto restrito de pares de idiomas europeus, sugerindo que a robustez no mundo real e o desempenho em idiomas de recursos limitados requerem investigação adicional.