📄 other

MRT: A Mamba-based Framework with Reusable Transformer for Scene Text Recognition

O artigo propõe o MRT, um framework de reconhecimento de texto em cenas que combina o Mamba com Atenção de Vizinhança para uma agregação espacial local eficiente com um Transformer Reutilizável de pesos compartilhados para contexto global bidirecional, alcançando compensações de precisão-eficiência superiores em múltiplos benchmarks.

Autores originais: Yingnan Zhao, Dewen Zhang, Zuguo Yang, Jielin Jang

Publicado 2026-07-24

📖 3 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Yingnan Zhao, Dewen Zhang, Zuguo Yang, Jielin Jang

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a ler uma nota manuscrita e bagunçada encontrada em uma rua chuvosa. A nota pode estar amassada, as letras podem estar esticadas ou o fundo pode ser um borrão caótico de letreiros de neon. Este é o mundo do Reconhecimento de Texto em Cena (STR). É um ramo específico da ciência da computação onde as máquinas aprendem a transformar imagens de texto em palavras digitais. Para fazer isso, o robô precisa de dois superpoderes: ele deve dar zoom para ver os detalhes minúsculos e finos de cada letra (como a curva de um 'S' ou o ponto de um 'i') e deve dar zoom out para entender a frase inteira, usando o contexto para adivinhar uma palavra borrada.

Por muito tempo, os robôs usaram duas ferramentas principais para este trabalho. A primeira era como um par de lupas (chamadas Redes Neurais Convolucionais ou CNNs). Elas eram ótimas em ver detalhes locais, mas tinham dificuldade em conectar os pontos ao longo de uma frase longa. A segunda ferramenta era como um bibliotecário superorganizado (chamado Transformer). Este bibliotecário conseguia ler o livro inteiro de uma vez para entender o contexto, mas era tão lento e faminto por memória que frequentemente travava quando o "livro" (a imagem) ficava muito longo. Recentemente, uma nova ferramenta chamada Mamba chegou. É como um leitor super-rápido e eficiente que consegue escanear um livro longo em tempo linear, mas tem uma peculiaridade: ele lê estritamente da esquerda para a direita, uma palavra por vez, e não é muito bom em ver a forma 2D das letras em uma página.

Este artigo apresenta um novo framework chamado MRT (framework baseado em Mamba com Transformer Reutilizável) para corrigir as peculiaridades do Mamba. Os autores, da Universidade de Informação e Ciência e Tecnologia de Nanjing, perceberam que, embora o Mamba seja rápido, seu estilo de leitura "apenas da esquerda para a direita" e sua falta de consciência espacial 2D o tornam desajeitado ao reconhecer textos distorcidos ou irregulares. Eles não apenas fizeram ajustes no Mamba; eles deram a ele um "makeover". Primeiro, adicionaram um sistema de "vigilância de vizinhança" (Atenção de Vizinhança) que permite ao modelo olhar para os arredores imediatos de uma letra em todas as direções, não apenas para o passado. Segundo, introduziram um "Transformer Reutilizável", um módulo inteligente que atua como uma segunda opinião, checando o trabalho do modelo em diferentes estágios. A parte inteligente? Eles usam o exato mesmo módulo Transformer duas vezes, compartilhando sua capacidade cerebral para economizar espaço.

Os resultados são impressionantes. A equipe testou seus novos modelos MRT em seis conjuntos de dados padrão de reconhecimento de texto e em um benchmark massivo e desafiador chamado Union-14M. Eles descobriram que seu modelo "Base" (MRT-B) alcançou uma precisão média de 96,96%, superando ou igualando modelos muito maiores e mais antigos. Ainda mais surpreendente é o seu modelo "Tiny" (MRT-T). Com apenas 4,72 milhões de parâmetros (um tamanho muito pequeno para uma IA), ele ainda atingiu 95,06% de precisão média. O artigo sugere que, ao combinar a velocidade do Mamba com esses upgrades espaciais e reutilizáveis específicos, podemos construir sistemas de reconhecimento de texto que sejam simultaneamente altamente precisos e incrivelmente eficientes, evitando a necessidade de computadores massivos e consumidores de energia. Os autores sugerem que esta abordagem oferece um forte equilíbrio entre velocidade e inteligência, provando que você não precisa de um cére-gigante para ler uma placa de rua bagunçada se tiver as ferramentas certas.

Resumo Técnico: MRT – Um Framework Baseado em Mamba com Transformer Reutilizável para Reconhecimento de Texto em Cenas

1. Definição do Problema

O Reconhecimento de Texto em Cenas (STR - Scene Text Recognition) exige que os modelos resolvam simultaneamente dois desafios conflitantes: preservar detalhes locais finos (estruturas de traços e limites de caracteres) e capturar dependências semânticas globais de longo alcance para desambiguar textos distorcidos ou ocluídos.

Embora as Redes Neurais Convolucionais (CNNs) se destaquem na extração de características locais, seus campos receptivos limitados têm dificuldade com dependências de longo alcance. Por outro lado, os Vision Transformers (ViTs) capturam o contexto global via atenção de auto-atenção (self-attention), mas sofrem com a complexidade computacional quadrática, levando ao alto consumo de memória e latência de inferência. Recentemente, os Modelos de Espaço de Estado (SSMs - State Space Models), especificamente o Mamba, surgiram como alternativas eficientes com complexidade de tempo linear. No entanto, os autores identificam um descasamento estrutural crítico ao aplicar o Mamba vanilla ao STR:

Varredura Causal: A varredura sequencial e causal do Mamba é unidirecional, falhando em capturar a natureza bidirecional da linguagem e a localidade espacial 2D das características visuais de texto.
Falta de Localidade Espacial: A formulação original é centrada em sequências e não codifica explicitamente a localidade espacial 2D essencial para reconhecer glifos de caracteres detalhados.

Essas limitações resultam em uma extração ineficaz de características locais e uma modelagem de contexto global subótima, desacoplando os ganhos de eficiência da precisão de reconhecimento.

2. Metodologia

Os autores propõem o MRT (Mamba-based framework with Reusable Transformer), uma arquitetura hierárquica projetada para reconciliar a eficiência do Mamba com as demandas específicas do STR. O framework consiste em três componentes principais:

A. NA-Mamba (Neighborhood Attention Mamba)

Para abordar o descasamento estrutural do Mamba vanilla, os autores introduzem o NA-Mamba, que modifica o caminho do SSM de duas formas:

Remoção da Causalidade: A convolução 1D causal original é substituída por uma convolução 1D padrão (não causal). Isso permite que o token atual acesse contextos locais precedentes e subsequentes, possibilitando interações locais bidirecionais cruciais para resolver ambiguidades de caracteres.
Ramificação Paralela de Atenção de Vizinhança (NA - Neighborhood Attention): Uma ramificação paralela é adicionada ao lado do caminho SSM. Esta ramificação realiza uma agregação adaptativa ao conteúdo dentro de uma janela de vizinhança local ( $\Omega(i)$ ), em vez de realizar atenção global. Isso fortalece explicitamente a modelagem da estrutura de texto fina com um custo computacional menor do que a auto-atenção global, o que é particularmente benéfico para layouts irregulares e distorções de perspectiva.
Fusão: As saídas das ramificações SSM e NA são projetadas para igualar as dimensões, fundidas via adição elemento a elemento e passadas por uma conexão residual.

B. Transformer Reutilizável

Para compensar a falta de contexto global bidirecional no Mamba, os autores incorporam um módulo Transformer Reutilizável.

Posicionamento: Este módulo é aplicado após o segundo e o terceiro estágios da hierarquia de extração de características.
Compartilhamento de Parâmetros: Um único codificador Transformer (parametrizado por $\theta$ ) é reutilizado através desses estágios. Em vez de usar blocos Transformer independentes para cada estágio, os mesmos pesos são aplicados às características de diferentes estágios.
Arquitetura: O Transformer segue um paradigma de codificador padrão, mas substitui a conexão residual padrão após a auto-atenção por um bloco Squeeze-and-Excitation (SE) para recalibração de características por canal.
Benefícios: Este design reduz drasticamente a sobrecarga de parâmetros, enquanto impõe consistência nas interações de características globais e acelera a convergência do treinamento.

C. Arquitetura Geral

O MRT adota um design hierárquico de três estágios:

Patch Embedding: Converte imagens de entrada em tokens visuais espacialmente alinhados.
Extração de Características: Três estágios, cada um contendo um módulo de subamostragem (MBConv) e múltiplas camadas NA-Mamba.
Refinamento: Blocos de Transformer Reutilizável são inseridos após os estágios 2 e 3.
Decodificação: As características refinadas são comprimidas e enviadas para um decodificador Transformer pré-normalizado com atenção de fluxo duplo para gerar a sequência de predição.

3. Principais Contribuições

O artigo descreve três contribuições primárias:

Adaptação Sob Medida do Mamba para STR: A proposta do NA-Mamba, que integra convoluções padrão e uma ramificação de Atenção de Vizinhança paralela para abordar as deficiências do Mamba na extração de características locais e na varredura unidirecional.
Design do Transformer Reutilizável: A introdução de uma estratégia de compartilhamento de parâmetros onde um único codificador Transformer é reutilizado em múltiplos estágios. Isso fortalece a modelagem de dependência global enquanto reduz significativamente a contagem de parâmetros e acelera a convergência.
O Framework MRT: Um backbone completo que diverge dos paradigais de subamostragem progressiva para preservar as escalas de características alinhadas com o módulo reutilizável. Ele serve como uma alternativa viável aos ViTs e CNNs, alcançando desempenho competitivo com substancialmente menos parâmetros.

4. Resultados Experimentais

Os autores avaliaram o MRT em seis benchmarks padrão (IIIT5K, SVT, IC13, IC15, SVTP, CUTE80) e no benchmark de larga escala Union-14M.

Desempenho vs. Eficiência:
- MRT-B (Base): Alcança 96,96% de precisão média nos benchmarks padrão, superando modelos de tamanho comparável ou maior (ex: SVTRv2, SMRT) enquanto mantém uma pegada de parâmetros similar ou menor (23,48M).
- MRT-T (Tiny): Uma variante leve com apenas 4,72M de parâmetros alcança 95,06% de precisão média, superando ou igualando vários métodos recentes com capacidades significativamente maiores.
Benchmark Union-14M: O MRT-B alcança 84,76% de precisão média, superando ou igualando modelos maiores como ABINet e LISTER, particularmente em subconjuntos desafiadores como Artistic, Salient e Multi-Oriented.
Estudos de Ablação:
- NA-Mamba: Substituir as convoluções causais e adicionar a ramificação NA melhorou a precisão média em 0,5%, com ganhos significativos (até 1,7%) em datasets de texto irregular (ex: SVTP).
- Transformer Reutilizável: A introdução do Transformer melhorou a precisão em ~2% sobre o baseline. O compartilhamento de parâmetros (Reuse) alcançou quase a mesma precisão que os Transformers não compartilhados (diferença de 0,22%), mas com uma redução de 17,8% no tamanho do modelo.
- Convergência: A configuração de Reuso demonstrou uma redução de perda mais rápida e uma convergência mais ágil durante a fase inicial de treinamento em comparação com as configurações não compartilhadas.

5. Significância e Alegações

O artigo afirma que o MRT demonstra que arquiteturas baseadas em Mamba podem servir como backbones competitivos e eficientes para STR quando equipadas com modelagem espacial apropriada à tarefa e refinamento global leve.

Equilíbrio: O framework aborda com sucesso a tensão inerente entre a precisão localizada e o raciocínio contextual holístico, alcançando um forte equilíbrio entre precisão e eficiência.
Eficiência: Ao evitar a sobre-parametrização através do Transformer Reutilizável e otimizar a modelagem local via NA-Mamba, o MRT facilita uma otimização mais eficiente e é adequado para cenários de recursos restritos.
Direção Futura: Os autores observam que, embora o MRT melhore as limitações da varredura sequencial, trabalhos futuros visam explorar modelos de espaço de estado inerentemente espaciais para superar ainda mais as limitações do processamento de texto visual com modelos sequenciais.

O trabalho é posicionado não como um substituto para todos os métodos de STR existentes, mas como uma alternativa altamente eficiente que rivaliza com o desempenho de estado da arte com uma contagem de parâmetros significativamente reduzida.