Resumen Técnico: Spike-HTR: Transformador de Redes Neuronales de Picos para el Reconocimiento de Texto Manuscrito

1. Planteamiento del Problema

El Reconocimiento de Texto Manuscrito (HTR) enfrenta un desequilibrio computacional fundamental:

1. Redundancia Espacial: La mayoría de los píxeles en una imagen de escritura son fondo, sin embargo, los reconocedores estándar (CNN, Transformers) procesan el lienzo completo con operaciones densas.
2. Redundancia Secuencial: Cuando las características 2D se colapsan en una secuencia 1D a lo largo del eje de la anchura, muchas posiciones corresponden a espacios en blanco o márgenes. En los marcos de Trabajo de Clasificación de Conexión Temporal (CTC), estos suelen asignárseles etiquetas de "blanco", pero los mezcladores de secuencias profundos estándar siguen asignando un presupuesto computacional igual a estos tramos dominados por blancos.

Esto crea un desajuste específico para las Redes Neuronales de Picos (SNN). Las SNN dependen de la computación basada en eventos y dispersa que se desarrolla a lo largo del tiempo. Sin embargo, las entradas de HTR offline son imágenes estáticas. Los enfoques alternativos comunes (repetir la imagen o el muestreo de Poisson estocástico) son o bien redundantes en información o introducen ruido que perturba los trazos finos, haciendo que la inferencia de picos de corto horizonte sea ineficaz.

2. Metodología: Spike-HTR

Los autores proponen Spike-HTR, un reconocedor híbrido de picos que gestiona explícitamente dos presupuestos computacionales para alinearse con la naturaleza dispersa de la evidencia de la escritura:

• Presupuesto Temporal ($T$): El número de pasos de tiempo de picos (timesteps).
• Presupuesto de Secuencia ($\ell_b$): El número de posiciones en el eje de la anchura procesadas por el mezclador 1D profundo después de la reducción de longitud.

2.1. InkCoder: Entrada Temporal Determinista de Grueso a Fino

Para resolver el cuello de botella de estático-a-temporal, el artículo introduce InkCoder, un módulo de entrada determinista que convierte una única imagen estática en una secuencia corta de puertas espaciales $\{g_t\}_{t=1}^T$.

• Mecanismo: InkCoder construye dos corrientes de evidencia complementarias a partir de la imagen en escala de grises:
  1. Corriente de Intensidad: Estima la masa estable del trazo, robusta a las variaciones de iluminación y grosor.
  2. Corriente de Borde: Recupera trazos finos y la topología de las uniones, filtrada por consistencia cross-modal (confiando en los bordes solo donde la intensidad indica tinta) y coherencia espacial (suprimiendo el ruido de textura aislado).
• Fusión Temporal: Estas corrientes se fusionan mediante una combinación convexa dependiente del paso. Los pasos tempranos ($t=1$) enfatizan la corriente de intensidad estable para capturar regiones de trazo amplias. Los pasos posteriores aumentan progresivamente el peso de la corriente de borde para refinar los detalles de los límites.
• Puerta (Gating): La evidencia fusionada se estabiliza mediante supresión de motas basada en densidad y se convierte en puertas espaciales mediante un umbral suave programado. Estas puertas modulan la excitación inyectada en el codificador de picos, asegurando que los pasos de tiempo se utilen para el refinamiento estructurado en lugar de una repetición redundante.

2.2. Codificador de Picos (Spiking Encoder)

El núcleo utiliza un tallo ligero no pulsante para extraer un mapa de características espaciales compartido, que luego es procesado por un codificador 2D de picos de múltiples etapas.

• Arquitectura: Una jerarquía de tres etapas con transiciones de paso (stride) 2.
• Mecanismos de Preservación: Para contrarrestar la integración de paso bajo inherente a las neuronas de picos, el modelo emplea:
  • Atajos de Membrana: Las pre-activaciones analógicas se añaden a las salidas de picos para preservar la fina topología del trazo.
  • Fusión de Doble Resolución: Los detalles de alta resolución de la Etapa 2 se inyectan en la Etapa 3 mediante puertas condicionadas por el contenido.
• Pooling: El mapa 2D final se colapsa en una secuencia de tokens 1D mediante pooling de altura, resultando en una longitud nominal $L_0 \approx W/4$.

2.3. Reductor de Longitud Guiado por CTC

Antes del mezclador 1D profundo, un reductor de longitud guiado por CTC comprime la secuencia de $L_0$ a $\ell_b$.

• Mecanismo de Previsualización: Se computa una previsualización con gradiente detenido utilizando una cabeza CTC compartida sobre las características de picos fusionadas. Esto estima la probabilidad posterior de blanco ($p_{blank}$) y la incertidumbre ($u$) para cada posición.
• Estrategia de Mantener y Fusionar (Keep-and-Merge):
  • Mantener (Keep): Se retienen las posiciones con baja probabilidad de blanco (probablemente caracteres) o alta incertidumbre.
  • Fusionar (Merge): Los tramos largos de posiciones probables de blanco se comprimen en tramos cortos (hasta un tamaño $k$) mediante un pooling ponderado consciente de los blancos.
  • Restricción: Se impone una relación de mantenimiento mínima ($\gamma$) para asegurar la viabilidad de la separación de caracteres repetidos.
• Alcance: Este componente es agnóstico a las SNN y puede aplicarse también a los reconocedores ANN-CTC.

2.4. Mezclador de Secuencia 1D y Fusión Temporal

La secuencia acortada es procesada por una pila de bloques mezcladores 1D híbridos que contienen atención lineal, mezcla tipo QK y convoluciones de picos de gran kernel. Finalmente, los $T$ pasos de picos se fusionan mediante una combinación convexa aprendida para producir los logits de CTC finales.

3. Contribuciones Clave

1. Formulación de Dos Presupuestos: El artículo enmarca el HTR de imagen estática con SNN no solo como un desafío de diseño de arquitectura, sino como un problema de asignación de presupuesto.
2. InkCoder: Un novedoso módulo de entrada que transforma la escritura manual estática en un flujo temporal corto y de grano grueso a fino, permitiendo una inferencia de picos efectiva con pocos pasos de tiempo ($T=2$) sin ruido estocástico ni redundancia.
3. Reductor Guiado por CTC: Un mecanismo de reducción de longitud que preserva el orden, el cual comprime secuencias dominadas por blancos mientras retiene posiciones críticas e inciertas, reduciendo la carga computacional del mezclador profundo.
4. Modelo Spike-HTR: Un Transformer de picos entrenado desde cero (sin preentrenamiento externo o datos sintéticos) que logra una precisión competitiva con un número mínimo de pasos de tiempo.

4. Resultados Experimentales

El modelo fue evaluado en tres bancos de pruebas: IAM (Inglés), LAM (Italiano) y READ2016 (Alemán). Todos los modelos fueron entrenados desde cero sin modelos de lenguaje externos o léxicos, utilizando decodificación CTC voraz (greedy).

• Precisión: Con $T=2$, Spike-HTR logró Tasas de Error de Caracteres (CER) de:
  • IAM: 5.4% (Test)
  • LAM: 2.5% (Test)
  • READ2016: 3.9% (Test)
• Escalado Temporal: Aumentar $T$ más allá de 2 produjo rendimientos decrecientes. Aunque el CER se saturó en $T=2$, la Tasa de Error de Palabras (WER) mostró ligeras mejoras hasta $T=4$, sugiriendo que los pasos de tiempo adicionales refinan los límites de las palabras en lugar de las sustituciones de caracteres.
• Estudios de Ablación:
  • InkCoder: Reemplazar InkCoder con repetición, codificación de Poisson o TTFS resultó en caídas significativas de rendimiento (por ejemplo, el CER de IAM subió de 3.5% a 4.3% con la repetición).
  • Reductor: La estrategia de mantener y fusionar redujo la longitud de la secuencia de mezcla en aproximadamente un 32% con una pérdida de precisión insignificante en comparación con la ausencia de reducción.
  • Control ANN: Un ANN isomórfico (reemplazando las neuronas de picos con GELU) funcionó ligeramente peor (3.558% vs 3.489% CER en la validación de IAM), lo que sugiere un pequeño beneficio de la dinámica de picos bajo restricciones de presupuesto estrictas.
• Diagnósticos de Actividad: El modelo exhibió una actividad globalmente dispersa. Aunque el mezclador 1D tenía tasas de disparo más altas, el codificador 2D dominó el volumen total de picos debido a los mapas de activación más grandes.

5. Significado y Reivindicaciones

El artículo afirma que Spike-HTR demuestra que el HTR offline con SNN no es meramente un desafío de diseño de arquitectura, sino un problema de asignación de presupuesto.

• Eficiencia: Al controlar $T$ y $\ell_b$, el modelo alinea la computación con la densidad real de la evidencia de los trazos. El reductor de longitud ofrece un mecanismo general para reducir el cómputo en los reconocedores basados en CTC, mientras que InkCoder aborda específicamente el problema de la entrada de estático-a-temporal para las SNN.
• Relevancia de Hardware: Los autores señalan que en los aceleradores densos actuales, el beneficio inmediato principal es la reducción de la longitud de la secuencia para el mezclador profundo. Sin embargo, los perfiles de disparo dispersos (cuantificados mediante spike-share y tasas de disparo) indican que el modelo preserva la dispersión impulsada por eventos requerida para el despliegue neuromórfico futuro, donde el movimiento de datos y la actividad son las principales restricciones de energía.
• Modestia: Los autores reconocen limitaciones, incluyendo la naturaleza híbrida de la vía visual temprana (tallo denso + atajos analógicos) que limita la ejecución puramente "nativa de picos", y la dependencia de priors específicos (coherencia de intensidad/borde) que podrían tener dificultades con la degradación extrema o escrituras no latinas. Enfatizan que las ganancias de eficiencia reportadas deben verse actualmente como diagnósticos algorítmicos más que como aceleraciones inmediatas de tiempo de ejecución en GPUs estándar.