Zero-Shot Chinese Character Recognition via Global-Local Dual-Branch Alignment and Hierarchical Inference

Resumen Técnico: Reconocimiento de Caracteres Chinos Zero-Shot mediante Alineación Dual de Ramas Global-Local e Inferencia Jerárquica

Enunciado del Problema
El reconocimiento de caracteres chinos zero-shot (ZS-CCR) aborda el desafío de identificar caracteres que no estuvieron presentes durante el entrenamiento, una ocurrencia frecuente en escenarios de mundo abierto como la digitalización de documentos antiguos y la normalización de caracteres variantes. Aunque los caracteres chinos se construyen a partir de un conjunto limitado de radicales y reglas de composición espacial, los métodos existentes basados en recuperación a menudo luchan con caracteres no vistos. Los enfoques actuales, inspirados en marcos al estilo de CLIP, típicamente codifican imágenes de caracteres y sus Secuencias de Descripción Ideográfica (IDS) en vectores globales únicos para una coincidencia holística. Este paradigma a menudo submodela las diferencias de componentes locales y las variaciones compositivas de granularidad fina, lo que lleva a una discriminación inestable en casos que involucran sustituciones locales o componentes visualmente similares. Además, aplicar directamente la interacción de granularidad fina a nivel de parche-token a través de todo el espacio de candidatos introduce dos problemas críticos: (1) los operadores estructurales en IDS (que describen relaciones espaciales) carecen de entidades visuales concretas, introduciendo ruido durante la alineación local; y (2) el costo computacional de la recuperación de granularidad fina de todos los candidatos es prohibitivamente alto para aplicaciones a gran escala.

Metodología: Red de Percepción Jerárquica Global-Local (GL-HPN)
Para abordar estas limitaciones, los autores proponen GL-HPN, un marco unificado de alineación multimodal que aprende conjuntamente representaciones globales y locales a través de una arquitectura de doble rama.

1. Representación de Doble Rama:

   • Rama Global: Codifica imágenes de caracteres y secuencias IDS en vectores holísticos. Para las imágenes, se aplica un agrupamiento promedio global al mapa de características; para IDS, se promedian las características de los tokens. Esta rama captura información estructural estable a nivel de secuencia para apoyar la recuperación eficiente de candidatos.
   • Rama Local: Modela la correspondencia de granularidad fina entre parches de imagen y tokens IDS. Las características de la imagen se proyectan en una secuencia de parches, y los tokens IDS se proyectan individualmente. Esta rama aprende explícitamente la alineación entre regiones visuales específicas y tokens de radicales.

2. Máscara de Filtrado Estructural (SFM):
   Reconociendo que IDS contiene tanto tokens de radicales (componentes visuales concretos) como operadores estructurales (relaciones espaciales abstractas), los autores introducen una Máscara de Filtrado Estructural. Esta máscara suprime explícitamente los operadores estructurales durante la agregación de similitud local. Al excluir tokens no entidades de la interacción parche-token, el modelo evita que respuestas dispersas e no informativas interfieran con la contribución discriminativa de los tokens de radicales.

3. Objetivo de Entrenamiento:
   El modelo se entrena utilizando un objetivo de pérdida múltiple que combina una Pérdida Global y una Pérdida Local.

   • La Pérdida Global utiliza un objetivo contrastivo estándar al estilo de CLIP para alinear representaciones de imagen y texto holísticas.
   • La Pérdida Local adopta una agregación de respuesta máxima al estilo de FILIP, calculando la similitud entre parches de imagen y tokens válidos (radicales) únicamente, guiada por la SFM.
   • Se emplea un programa de ponderación estilo currículum durante el entrenamiento: el modelo enfatiza inicialmente la alineación global estable (peso alto en la Pérdida Global) y fortalece progresivamente la discriminación local de granularidad fina (peso creciente en la Pérdida Local) a medida que avanzan las épocas de entrenamiento.

4. Inferencia Jerárquica de Grueso a Fino:
   Para equilibrar la precisión y la eficiencia, el proceso de inferencia sigue una estrategia de dos etapas:

   • Recuperación Gruesa: Se calculan puntuaciones de similitud global entre la imagen de entrada y las representaciones globales de todo el conjunto de candidatos. Se seleccionan los Top-K candidatos.
   • Reordenamiento Fino: La interacción local de granularidad fina se realiza solo en los Top-K candidatos para calcular puntuaciones de reordenamiento.
   • Fusión: Las puntuaciones posteriores globales y locales se normalizan y fusionan mediante una operación multiplicativa libre de parámetros para producir la decisión final.

Contribuciones Clave

• Marco de Doble Rama Global-Local: El artículo propone una arquitectura novedosa que equilibra el modelado estructural holístico con la discriminación a nivel de componentes locales, evitando las debilidades de los enfoques puramente globales o puramente locales.
• Máscara de Filtrado Estructural (SFM): Un mecanismo para suprimir explícitamente el ruido causado por los operadores estructurales de IDS en la coincidencia local de granularidad fina, estabilizando así la alineación local.
• Inferencia Jerárquica de Grueso a Fino: Una estrategia que restringe las interacciones locales computacionalmente costosas a un pequeño conjunto de candidatos de alta confianza, logrando un compromiso favorable entre la precisión de reconocimiento y la eficiencia de inferencia.

Resultados Experimentales
El método se evaluó en conjuntos de datos de caracteres chinos manuscritos (CASIA-HWDB1.0-1.1 e ICDAR2013) bajo diversas divisiones zero-shot (que van desde 500 hasta 2755 clases vistas).

• Rendimiento: GL-HPN logró una precisión Top-1 competitiva en todas las divisiones. Notablemente, demostró un rendimiento superior en configuraciones de bajos recursos (por ejemplo, 36.19% de precisión con solo 500 clases vistas), superando a bases fuertes como FT-CLIP, CCR-CLIP y GRSTR por márgenes significativos (por ejemplo, +10.02% sobre FT-CLIP en la configuración de 500 clases).
• Estudios de Ablación: Los experimentos confirmaron que el diseño de doble rama por sí solo es insuficiente sin la SFM (el rendimiento disminuyó sin la máscara). Se demostró que la SFM es crítica para estabilizar la alineación local y mejorar la precisión.
• Eficiencia: La estrategia de inferencia jerárquica permitió al modelo alcanzar una precisión estable con un conjunto pequeño de candidatos (K=30 o K=50), reduciendo significativamente la latencia de inferencia en comparación con la interacción local de todos los candidatos, mientras se mantenían altas tasas de recuperación.

Significado
El artículo afirma que GL-HPN aborda efectivamente los desafíos específicos del reconocimiento de caracteres chinos zero-shot, particularmente el ruido introducido por operadores estructurales abstractos en IDS y el alto costo de la recuperación de granularidad fina a gran escala. Al desacoplar el modelado global y local y emplear una estrategia de inferencia jerárquica, el método logra una generalización robusta a caracteres no vistos, especialmente en escenarios con datos de entrenamiento limitados, mientras reduce sustancialmente la sobrecarga computacional asociada con la recuperación de candidatos a gran escala.