Resumen Técnico: Preentrenamiento de Caracteres Logográficos mediante Aprendizaje Contrastivo Basado en Semántica

Planteamiento del Problema

Las tareas de visión de caracteres basadas en aprendizaje profundo, como el reconocimiento de texto y la eliminación de ruido de imágenes, suelen alcanzar un rendimiento óptimo solo cuando se entrenan con conjuntos de datos grandes y equilibrados. Sin embargo, los conjuntos de datos del mundo real para lenguajes logográficos (por ejemplo, el Hanzi chino, el Kanji japonés, los jeroglíficos egipcios antiguos) sufren de un grave desequilibrio de datos. Este desequilibrio surge de las diferencias significativas en la frecuencia de uso de los caracteres y de la aparición continua de nuevos o raros caracteres a través de descubrimientos arqueológicos.

Los métodos de reconocimiento existentes, a menudo basados en la clasificación de imágenes, tienen dificultades con estas distribuciones de cola larga (long-tailed distributions). Aunque el aprendizaje contrastivo (por ejemplo, SimCLR) se ha aplicado para mitigar el desequilibrio de categorías, los enfoques actuales dependen de formulaciones de pares positivos/negativos binarios. Estos métodos tratan todos los ejemplos negativos como igualmente disímiles (distancia fija), fallando al no distinguir entre negativos "difíciles" (caracteres visual o semánticamente similares pero distintos) y negativos "triviales". En consecuencia, la eficiencia del aprendizaje se reduce y las representaciones para los caracteres de baja frecuencia permanecen suboptimizadas. Además, los métodos existentes se centran principalmente en características a nivel de píxel, descuidando la rica semántica contextual inherente a los sistemas logográficos.

Metodología

Los autores proponen una novedosa estrategia de preentrenamiento que integra la semántica visual y la semántica contextual para mejorar las representaciones visuales profundas, específicamente para conjuntos de datos de caracteres logográficos desequilibrados. La innovación central es un marco de aprendizaje contrastivo basado en la semántica que reemplaza las etiquetas binarias con una supervisión semántica suave derivada de modelos de lenguaje.

1. Representación de Semántica Dual

El marco modela dos espacios semánticos distintos:

• Semántica Visual ($V_s$): Extraída de las imágenes de los caracteres mediante un codificador visual (por ejemplo, ResNet). El codificador procesa imágenes de caracteres aumentadas para producir vectores de incrustación (embeddings) que representan las características visuales.
• Semántica Contextual ($C_s$): Extraída de las etiquetas de los caracteres utilizando un modelo de lenguaje preentrenado (por ejemplo, BERT). En lugar de tratar las incrustaciones de texto como objetivos absolutos, el modelo aprovecha la capacidad del modelo de lenguaje para capturar relaciones semánticas relativas entre caracteres.

2. Objetivo Contrastivo a Nivel de Distribución

En lugar de la regresión directa de puntuaciones de similitud por pares (que puede ser sensible a la escala y a las distribuciones no isométricas), el método alinea las distribuciones de vecindad semántica de las dos modalidades.

• Generación de Etiquetas Suaves (Soft Labels): Para cada carácter ancla, las similitudes semánticas contextuales con otros caracteres en un mini-lote se convierten en una distribución de probabilidad condicional ($P_C$) utilizando una función softmax escalada por temperatura. Esta distribución representa la relevancia semántica relativa de los vecinos.
• Alineación de la Distribución Visual: Del mismo modo, se calcula una distribución semántica visual ($P_V$) a partir de las incrustaciones visuales.
• Función de Pérdida: El objetivo principal es minimizar la entropía cruzada (equivalente a la divergencia de Kullback–Leibler) entre la distribución contextual ($P_C$) y la distribución visual ($P_V$). Esto obliga al espacio de incrustación visual a preservar el ordenamiento semántico relativo definido por el modelo de lenguaje, utilizando efectivamente la semántica contextual como etiquetas suaves.

3. Reponderación Focal Sensible a la Dificultad

Para abordar el problema donde los pares fáciles y triviales dominan la pérdida en conjuntos de datos de cola larga, los autores introducen una estrategia de reponderación focal inspirada en la pérdida focal (focal loss).

• La pérdida se repondera en función de la confianza de predicción actual del modelo visual.
• Los pares que ya están bien alineados (fáciles) se penalizan menos, mientras que los pares "difíciles" e informativos, que están mal alineados, se enfatizan.
• Este mecanismo adaptativo asegura que el modelo concentre su capacidad de aprendizaje en las relaciones semánticas difíciles, las cuales son cruciales para distinguir caracteres similares o raros.

4. Optimización Conjunta

La fase de preentrenamiento optimiza conjuntamente la pérdida de semántica contextual (alineación de distribución) y una pérdida de clasificación estándar (entropía cruzada) para anclar las representaciones aprendidas a la tarea de reconocimiento específica.

Contribuciones Clave

1. Novedosa Estrategia de Preentrenamiento: El artículo introduce un método para mejorar las representaciones profundas para categorías de caracteres desequilibradas mediante la integración del aprendizaje contrastivo basado en la semántica. Va más allá del aprendizaje contrastivo binario para utilizar la relevancia semántica continua.
2. Marco de Alineación a Nivel de Distribución: Se propone un marco que alinea la semántica visual y la contextual a nivel de distribución. Al modelar las relaciones semánticas relativas en lugar de las distancias absolutas, permite un aprendizaje de representación más efectivo para caracteres logográficos.
3. Validación Empírica: Experimentos extensos en cuatro conjuntos de datos diversos (HWDB1.1, ICDAR2013, CTW y K-Kanji) con diversos grados de desequilibrio demuestran la superioridad del método sobre las técnicas de preentrenamiento y clasificación de cola larga de vanguardia.

Resultados Experimentales

El método propuesto fue evaluado en cuatro conjuntos de datos que cubren escritura a mano china, texto en escena e histórico de Kanji japonés, bajo varios factores de desequilibrio (IF = 10, 50, 100).

• Comparación con Métodos de Preentrenamiento: El método propuesto (Ours$_{FR}$) superó consistentemente a los baselines de aprendizaje contrastivo establecidos (SimCLR, MoCo, BYOL, SwAV, SimSiam) y a los modelos multimodales (VL-BERT, CLIP). Por ejemplo, en el conjunto de datos altamente desequilibrado HWDB-LT100 con un backbone ResNet18, el método propuesto alcanzó un 83.46% de precisión, superando significativamente a SimCLR (56.68%) y MoCo (58.96%).
• Comparación con Métodos de Cola Larga: El enfoque también superó a los métodos especializados de clasificación de imágenes de cola larga (CMO, OTmix, NCL++, ProCo), lo que indica que la integración de la semántica contextual proporciona una robustez superior en comparación con los métodos que dependen únicamente de las distribuciones de muestras visuales.
• Mejora en Tareas de Descenso (Downstream Tasks): Al aplicarse como paso de preentrenamiento para varios modelos de OCR de vanguardia (incluyendo CNNs como VGG16 y Transformers como ViT), el método produjo mejoras consistentes en la precisión en todas las arquitecturas probadas. Por ejemplo, aplicar el preentrenamiento a DenseNet en el conjunto de datos CTW resultó en una ganancia de precisión del 2.07%.
• Estudios de Ablación:
  • Componentes de Pérdida: El uso exclusivo de la pérdida contextual superó significativamente al uso exclusivo de la pérdida de clasificación, y la combinación de ambas produjo los mejores resultados.
  • Estrategia de Alineación: El alineamiento propuesto a nivel de distribución (divergencia KL) superó significativamente un enfoque de regresión MSE punto a punto, confirmando que aprender estructuras relacionales es más efectivo que regredir valores de similitud absoluta en espacios de cola larga y no isométricos.

Significado

El artículo afirma que su principal significado radica en abordar el cuello de botella crítico del desequilibrio de datos en el reconocimiento de caracteres logográficos. Al aprovechar la consistencia entre las estructuras visuales y los significados contextuales, el método propuesto proporciona un mecanismo para aprender representaciones robustas incluso cuando las muestras de entrenamiento para caracteres específicos son escasas. Los autores sostienen que este enfoque ofrece una solución más escalable y robusta para aplicaciones del mundo real que involucran textos históricos, caracteres en escenas y lenguajes de bajos recursos, donde el entrenamiento equilibrado tradicional es inviable. El trabajo demuestra que la incorporación de conocimiento semántico externo (vía modelos de lenguaje) como supervisión suave puede guiar eficazmente el aprendizaje de la representación visual, reduciendo la dependencia de grandes conjuntos de datos visuales equilibrados.