N-gram Injection into Transformers for Dynamic Language Model Adaptation in Handwritten Text Recognition

Este artículo propone un método de inyección de n-gramas (NGI) en decodificadores Transformer que permite adaptar dinámicamente el modelo de lenguaje durante la inferencia para mitigar los sesgos causados por cambios en la distribución del lenguaje en el reconocimiento de texto manuscrito, sin necesidad de reentrenamiento con pares imagen-texto del dominio objetivo.

Lo esencial

¡Claro que sí! Imagina que tienes un traductor automático muy inteligente que ha pasado años leyendo millones de cartas, notas y documentos escritos a mano. Este traductor es tan bueno que puede leer casi cualquier letra, incluso si está un poco borrosa o torcida.

Sin embargo, hay un problema: este traductor ha aprendido a "pensar" como un escritor específico. Si le enseñas a leer recetas de cocina en inglés, se vuelve un experto en eso. Pero si de repente le pones una lista de nombres de personas en francés (o en un dialecto diferente), se confunde terriblemente. Aunque la letra se vea igual, las palabras que espera leer son otras, y empieza a cometer muchos errores.

El artículo que me has compartido propone una solución genial para este problema. Aquí te lo explico con analogías sencillas:

1. El Problema: El "Sesgo" del Traductor

Imagina que tu traductor es un chef que solo ha cocinado en una cocina italiana. Sabe hacer pasta perfecta. Pero un día, un cliente le pide que prepare un plato típico de México. El chef, por hábito, sigue poniendo ingredientes italianos (como mucho queso o albahaca) en el plato mexicano, y el resultado es un desastre.

En el mundo de la tecnología, esto se llama cambio de distribución del lenguaje. El modelo (el chef) está "sesgado" hacia lo que vio durante su entrenamiento y falla cuando el contexto cambia (el cliente mexicano).

2. La Solución: La "Guía de Viaje" Externa (Inyección de N-gramas)

Los autores proponen no volver a entrenar al chef (que sería muy caro y lento), sino darle una guía de viaje o un mapa justo en el momento de cocinar.

Esta "guía" es lo que llaman inyección de n-gramas (NGI).

• ¿Qué es un n-grama? Imagina que es una lista de probabilidades. Por ejemplo, si la guía dice: "Si la palabra anterior fue 'El', la siguiente probablemente sea 'gato' o 'sol', pero casi nunca 'pintura'".
• ¿Cómo funciona la inyección? En lugar de que el chef (la red neuronal) adivine qué va a seguir basándose solo en su memoria vieja, le inyectamos esta guía externa directamente en su cerebro mientras escribe.

3. La Magia: Cambiar el Mapa al Instante

Lo más brillante de este método es que es dinámico.

• Si el chef está cocinando un plato italiano, le das la guía de la cocina italiana.
• Si el cliente pide un plato mexicano, cambias la guía por la de la cocina mexicana al instante, sin tener que volver a entrenar al chef ni cambiar sus manos.

En términos técnicos, el modelo puede cambiar el "idioma" de la guía (el n-grama) en el momento de la prueba para adaptarse a lo que está leyendo, sin necesidad de ver nuevas imágenes de entrenamiento.

4. ¿Dónde se mete la guía? (Inyección Temprana)

Los autores decidieron poner esta guía al principio mismo del proceso de pensamiento del modelo (en la entrada del decodificador), no al final.

• Analogía: Es como si le dieras al chef los ingredientes y las instrucciones antes de que empiece a cortar la cebolla, en lugar de decirle al final: "Oye, esto sabe mal, corrígelo".
• Al hacerlo al principio, el modelo aprende a equilibrar lo que ve en la imagen (la letra borrosa) con lo que le dice la guía (la probabilidad de la palabra). Aprende a confiar más en la guía cuando la letra es muy difícil de leer.

5. Los Resultados: Un Chef Adaptable

Hicieron pruebas con documentos reales (como formularios antiguos o nombres y apellidos) donde el lenguaje cambiaba drásticamente entre el entrenamiento y la prueba.

• Sin la guía: El modelo fallaba estrepitosamente (como un chef italiano intentando hacer tacos sin saber la receta).
• Con la guía (NGI): El modelo mejoró enormemente su precisión, reduciendo los errores a la mitad o más, simplemente cambiando la guía de lenguaje.

En resumen

Este papel presenta una forma inteligente y barata de hacer que los sistemas de reconocimiento de escritura a mano sean flexibles. En lugar de entrenar un robot gigante para que sepa todo (lo cual es lento y costoso), le damos un "chuleta" o "guía de contexto" que podemos cambiar al vuelo. Así, el robot puede leer desde una nota de un médico hasta un formulario de queja de una empresa, adaptándose al lenguaje específico de cada tarea sin sudar la gota gorda.

Es como tener un traductor que, en lugar de memorizar todo el diccionario, tiene la capacidad de sacar un diccionario específico del bolsillo justo cuando lo necesita.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español:

Título: Inyección de n-gramas en transformadores para la adaptación dinámica de modelos de lenguaje en reconocimiento de texto manuscrito (HTR)

1. Problema Identificado

Los modelos de reconocimiento de texto manuscrito (HTR) basados en arquitecturas encoder-decoder con transformadores han logrado resultados excepcionales gracias a su decodificador auto-regresivo, que aprende implícitamente un modelo de lenguaje durante el entrenamiento. Sin embargo, estos sistemas sufren una caída drástica en el rendimiento cuando se evalúan en corpus objetivo cuya distribución lingüística difiere de la del corpus de entrenamiento (desplazamiento de dominio o language shift).

• Causa: El modelo se sesga hacia la distribución del lenguaje de entrenamiento (fuente). Si el texto de prueba (objetivo) tiene una estructura léxica o sintáctica diferente (ej. nombres propios vs. texto administrativo, o diferentes dialectos), la precisión cae significativamente.
• Limitación actual: Las soluciones existentes, como el re-entrenamiento, requieren pares imagen-texto en el dominio objetivo, lo cual es costoso o imposible de obtener. Las técnicas de post-procesamiento (como la re-puntuación con Viterbi) añaden complejidad computacional y no permiten que la red neuronal aprenda a integrar el modelo de lenguaje dinámicamente.

2. Metodología Propuesta: Inyección de n-gramas (NGI)

Los autores proponen un método ligero llamado Inyección de n-gramas (NGI) para la adaptación dinámica del modelo de lenguaje en tiempo de inferencia, sin necesidad de re-entrenar el modelo con datos de imagen del dominio objetivo.

• Mecanismo de Inyección Temprana:

  • En lugar de usar el modelo de lenguaje solo en post-procesamiento, NGI inyecta la distribución de probabilidad de un n-grama externo directamente en la entrada del decodificador del transformador.
  • En cada paso de decodificación $t$, se calcula un vector de distribución $s^{NGI}_t$ basado en los caracteres previos y un modelo de n-grama externo (estimado sobre un corpus de texto no emparejado con imágenes).
  • Este vector se suma a las incrustaciones (embeddings) de los caracteres anteriores y a la codificación posicional antes de entrar en las capas del transformador.
  • Ruido y Normalización: Para evitar el sobreajuste a los n-gramas de la fuente, se añade ruido aleatorio a los vectores de distribución durante el entrenamiento, lo que ayuda a la red a generalizar y adaptarse a nuevos n-gramas en la inferencia.

• Adaptación Dinámica:

  • La gran ventaja es que el modelo puede cambiar el modelo de n-grama externo en tiempo de ejecución. Si el corpus objetivo cambia, solo se necesita cargar un nuevo archivo de n-gramas estimado sobre ese nuevo corpus de texto, sin tocar los pesos de la red neuronal.

• Arquitectura Base (WAN):

  • Los autores introducen WAN (Word Attention Network), un modelo ligero (2.1M parámetros) compuesto por un codificador FCN (Red Neuronal Convolucional Total) y un decodificador transformador pequeño.
  • Se eligió una arquitectura ligera porque los corpus de entrenamiento disponibles no son lo suficientemente grandes para modelos masivos y porque la tarea es reconocimiento de palabras (más simple que páginas completas).

3. Contribuciones Clave

1. Método NGI: La primera estrategia de adaptación de lenguaje para HTR que inyecta n-gramas externos directamente en el decodificador del transformador, permitiendo el cambio dinámico de dominio sin re-entrenamiento.
2. Eficiencia y Flexibilidad: El método es computacionalmente barato (los n-gramas son ligeros) y permite aprovechar datos de texto no emparejados (solo texto) para adaptar el modelo a nuevos dominios.
3. WAN: Presentación de una arquitectura encoder-decoder optimizada y ligera para reconocimiento de palabras manuscritas, que sirve como base para probar la inyección.
4. Evaluación Rigurosa: Creación de divisiones personalizadas de conjuntos de datos públicos (IAM y RIMES) y un conjunto de datos industrial privado (N2S) diseñados específicamente para exacerbar el desplazamiento lingüístico y medir el sesgo.

4. Resultados Experimentales

Los experimentos se realizaron en tres conjuntos de datos: IAM (inglés), RIMES (francés) y N2S (nombres y apellidos en formularios industriales).

• Degradación sin NGI: Los modelos de última generación (TrOCR, DAN, SaLT) y WAN sufrieron caídas severas en el Error de Caracteres (CER) al pasar de la fuente al objetivo. En las divisiones más difíciles (k-means), el CER se duplicó o triplicó (ej. en RIMES, de 4.3% a 29.9%).
• Impacto de NGI:
  • La inyección de NGI redujo significativamente la brecha de rendimiento. En el conjunto RIMES (división k-means), el CER objetivo bajó de 29.9% (sin NGI) a 19.2%.
  • En IAM, el CER objetivo mejoró de 23.4% a 10.1%.
  • El método preservó el rendimiento en el conjunto de datos de origen, demostrando que no degrada la capacidad del modelo en su dominio original.
• Comparación con Post-procesamiento:
  • Aunque el post-procesamiento con LM (+LM) ofreció resultados ligeramente mejores en algunos casos, NGI es superior en eficiencia computacional y permite una adaptación más profunda dentro de la red.
  • La combinación WAN + NGI + LM (inyección + post-procesamiento) obtuvo los mejores resultados absolutos.
• Estudios de Ablación: Se demostró que el ruido añadido durante el entrenamiento y el uso de Teacher Forcing Error (simular errores previos) son componentes críticos para la generalización. Los n-gramas de orden 5 funcionaron mejor que los de orden 3 o 2.

5. Significado e Impacto

Este trabajo es fundamental para la aplicación práctica de HTR en escenarios del mundo real donde los datos de entrenamiento y prueba nunca son idénticos (ej. formularios administrativos de diferentes regiones, cambios históricos en el lenguaje, o reconocimiento de nombres propios).

• Viabilidad Industrial: Permite adaptar un sistema de reconocimiento a un nuevo dominio (ej. un nuevo tipo de formulario) utilizando únicamente un corpus de texto de referencia, sin necesidad de recolectar y anotar miles de imágenes manuscritas nuevas.
• Cambio de Paradigma: Propone moverse de la dependencia de modelos de lenguaje estáticos o costosos de post-procesamiento hacia una integración dinámica y aprendida dentro de la arquitectura del transformador.
• Escalabilidad: Al ser un método ligero, es ideal para despliegues en entornos con recursos limitados o donde la latencia es crítica.

En resumen, la inyección de n-gramas (NGI) ofrece una solución elegante y eficiente al problema del sesgo lingüístico en HTR, permitiendo que los modelos de transformadores mantengan su precisión incluso cuando el lenguaje del texto manuscrito cambia drásticamente respecto a lo que vieron durante el entrenamiento.