Enhancing Oracle Bone Inscription Recognition via Multi-Scale Layer Attention

Resumen Técnico: Mejora del Reconocimiento de Inscripciones en Huesos Oraculares mediante la Atención de Capas Multiescala

Planteamiento del Problema
Las inscripciones en huesos oraculares (OBI, por sus siglas en inglés) representan la forma más temprana y sistematizada de la escritura china, poseyendo un profundo significado histórico. Sin embargo, su reconocimiento automático sigue siendo altamente desafiante debido a las estructuras de los caracteres, que son complejas, irregulares, fragmentadas y, a menudo, degradadas. Aunque el aprendizaje profundo ha avanzado en el reconocimiento de imágenes generales, los métodos existentes tienen dificultades para capturar los detalles finos y las sutiles variaciones inherentes a las OBI. Específicamente, el artículo identifica una limitación crítica en los mecanismos de "atención de capa" recientes: estos operan típicamente con un número muy limitado de tokens (a menudo menos de 5 en arquitecturas ResNet estándar) al modelar las interacciones entre capas. Esta escasez de tokens restringe la diversidad del intercambio de información, impidiendo que el modelo capture eficazmente las intrincadas dependencias estructurales requeridas para un reconocimiento preciso de las OBI.

Metodología: Atención de Capas Multiescala (MSLA)
Para abordar las limitaciones de la escasez de tokens en la atención de capa convencional, los autores proponen la Atención de Capas Multiescala (MSLA). Este nuevo paradigma modela explícitamente las interacciones de características tanto multiescala como entre capas. Los componentes principales de MSLA incluyen:

1. Extracción de Tokens Multiescala: A diferencia de la atención de capa estándar que trata cada capa como un único token, MSLA enriquece el conjunto de tokens extrayendo características a múltiples escalas espaciales del mapa de características de entrada.

   • Tokens Globales: Generados mediante el promedio global (global average pooling) para capturar información contextual holística.
   • Tokens Locales: Generados mediante la partición del mapa de características en una cuadrícula de parches no superpuestos ($P \times P$) y aplicando un promedio adaptativo. Esto captura estructuras espaciales de grano fino.
   • Estos se concatenan para formar un conjunto de tokens multiescala $X_{multi}$.

2. Acumulación Progresiva de Clave-Valor: El mecanismo emplea una estrategia de acumulación progresiva donde las representaciones de clave ($K$) y valor ($V$) de todas las capas precedentes se concatenan. Esto permite que la capa actual atienda a un repositorio creciente de tokens multiescala de toda la profundidad de la red, en lugar de limitarse solo a los predecesores inmediatos.

3. Atención de Múltiples Cabezales y Refinamiento de Características: La consulta ($Q$) de la capa actual se deriva de sus tokens multiescala, mientras que la $K$ y $V$ acumuladas de las capas anteriores se utilizan para calcular los pesos de atención. El resultado de la atención se agrega a lo largo de la dimensión del token para crear un descriptor por canal, el cual se utiliza para refinar el mapa de características original mediante multiplicación elemento a elemento.

Contribuciones Clave

1. Nuevo Paradigma de Atención: El artículo introduce MSLA, un mecanismo de atención de capa diseñado específicamente para superar la escasez inherente de tokens en la atención de capa convencional para el reconocimiento de OBI.
2. Estrategia de Enriquecimiento de Tokens: Al introducir una estrategia de enriquecimiento de tokens multiescala y de acumulación progresiva, el método permite que cada capa atienda a un conjunto de tokens en expansión progresiva derivados tanto de representaciones globales como locales. Esto mejora sustancialmente la capacidad del modelo para capturar detalles finos y dependencias estructurales complejas.
3. Validación Empírica: Los autores realizan experimentos extensos en cuatro conjuntos de datos de gran escala (Oracle-MNIST, OBC306, HUST-OBS y EVOBC), demostrando que MSLA supera consistentemente a los mecanismos de atención del estado del arte manteniendo una alta eficiencia computacional.

Resultos Experimentales
El método propuesto fue evaluado contra varios modelos de referencia (baselines), incluyendo modelos de aprendizaje automático tradicionales, CNN estándar y mecanismos de atención recientes (por ejemplo, SENet, CBAM, ECANet, MRLA, DLA).

• Oracle-MNIST: MSLA logró una precisión del 96.05% con ResNet-20 y del 96.30% con ResNet-56, superando a la ResNet vanilla y otras variantes de atención con un incremento mínimo de parámetros (por ejemplo, +0.02M de parámetros para ResNet-20).
• OBC306: MSLA alcanzó un 91.29% de precisión con ResNet-20, superando a la ResNet-20 vanilla por un 3.56% y superando a otros métodos de interacción de capas como MRLA-L y DLA-L. Notablemente, MSLA-20 superó a la ResNet-56 vanilla a pesar de tener significativamente menos parámetros.
• HUST-OBS: MSLA logró un 94.12% de precisión con ResNet-50, mejorando la línea base vanilla (93.74%) y superando significativamente a MRLA-B (92.94%).
• EVOBC: En este conjunto de datos altamente desafiante con 13,714 clases, MSLA logró un 49.45% de precisión con ResNet-50, superando a todos los demás métodos probados, incluyendo aquellos que tuvieron un rendimiento inferior a la línea base vanilla.

Los estudios de ablación confirmaron que un tamaño de parche ($P$) de 3 produce un rendimiento óptimo y que la inclusión de tokens globales es crucial para capturar el contexto holístico, ya que su eliminación provoca una degradación en el rendimiento.

Significancia y Reivindicaciones
El artículo sostiene que MSLA proporciona una solución más precisa y robusta para el reconocimiento de OBI al modelar explícitamente la interacción entre características multiescala y dependencias entre capas. Los autores afirman que su enfoque aborda eficazmente las limitaciones de los mecanismos de atención existentes para capturar detalles finos, lo cual es crítico para descifrar escrituras antiguas y degradadas. Los resultados demuestran que MSLA no solo es efectivo para las OBI, sino que también es escalable y generalmente aplicable a otras tareas de reconocimiento de grano fino desafiantes, ofreciendo un equilibrio entre alto rendimiento y eficiencia computacional. El trabajo tiene como objetivo avanzar en la comprensión automatizada de la antigua cultura china al proporcionar una herramienta fiable para reconocer estas inscripciones de gran importancia histórica.