Resumen Técnico: FUTO Swipe – Decodificación de Gestos (Swipe) Neural Independiente del Diseño de Teclado

Declaración del Problema

Los decodificadores de gestos (swipes) neuronales han superado ampliamente en precisión a los algoritmos de coincidencia de plantillas (template-matching), pero sufren una limitación crítica: suelen estar ligados al diseño de teclado específico para el cual fueron entrenados. Los enfoques estándar tratan el diseño como una característica de entrada fija, una discretización espacial vinculada a posiciones específicas o un conjunto de parámetros propios del diseño. En consecuencia, desplegar un decodificador neural en un nuevo diseño (por ejemplo, cambiar de QWERTY a Dvorak o a un script no latino) requiere recolectar un nuevo corpus y reentrenar el modelo desde cero.

Esta dependencia crea un cuello de botella de datos. Los corpus públicos de gestos son escasos, particularmente para diseños no QWERTY, mientras que los despliegues de producción (por ejemplo, Gboard, SwiftKey) dependen de datos privados no redistribuibles. Además, las técnicas de aumento de datos existentes para trayectorias de gestos (transformaciones afines, escalado temporal) generalmente dejan el diseño de referencia del teclado sin cambios, fallando en abordar el problema fundamental de la flexibilidad del diseño. El campo enfrenta actualmente un compromiso: los decodificadores algorítmicos ofrecen flexibilidad de diseño pero menor precisión, mientras que los decodificadores neurales ofrecen alta precisión pero carecen de flexibilidad de diseño.

Metodología

El enfoque FUTO Swipe introduce un codificador independiente del diseño (layout-agnostic encoder) que desacopla el modelo neural del diseño físico del teclado durante el entrenamiento, permitiendo que un único conjunto de pesos funcione en cualquier diseño de teclado móvil contiguo.

1. Arquitectura del Codificador Independiente del Diseño

La innovación central es una cabeza espacial espectral que trata el diseño del teclado como una entrada en tiempo de ejecución en lugar de un parámetro aprendido.

• Backbone: Una Red Convolucional Temporal 1D (TCN) con convoluciones de profundidad dilatadas (dilated depthwise convolutions) procesa la trayectoria del gesto. Las características de entrada incluyen posición, velocidad, aceleración, rapidez y curvatura, remuestreadas a 64 pasos de tiempo.
• Salida Espectral: En lugar de predecir logits para teclas específicas, el codificador emite:
  1. Un escalar de intención $\lambda_t \in [0, 1]$ que indica la probabilidad de una selección de carácter en el paso de tiempo $t$.
  2. Un patrón espectral de 64 coeficientes $c_t \in \mathbb{R}^{64}$ que representa una distribución espacial 2D sobre el cuadrado unitario.
• Mapeo de Diseño en Tiempo de Ejecución: Durante la inferencia, el diseño del teclado se suministra como un tensor de coordenadas $(x, y)$ para cada tecla. Estas coordenadas se utilizan para muestrear una base de coseno 2D fija (Transformada de Coseno Discreta, DCT). Los logits para cada tecla se calculan como el producto interno entre los coeficientes espectrales emitidos y el vector de la base correspondiente a la posición de la tecla:
  $$z_{t,k} = c_t \cdot \Phi[k]$$
  donde $\Phi$ es la matriz de la base derivada de las coordenadas de las teclas. Esto permite que el modelo prediga la intención del carácter basándose en las características del gesto en lugar de en posiciones fijas de las teclas.

2. Aumento Coordinado

Para forzar al modelo a generalizar a través de distintos diseños, el pipeline de entrenamiento aplica un aumento geométrico coordinado tanto a la trayectoria del gesto como al tensor de diseño-tecla simultáneamente.

• Etapas: El pipeline aplica escala en $y$, escala en $x$, cizallamiento (shear), giros (flips), rotación, traslación y reversión temporal.
• Mecanismo: Cada transformación geométrica aplicada a la trayectoria del gesto se aplica de forma idéntica a las coordenadas del diseño del teclado. Esto asegura que el gesto aumentado sea geométricamente consistente con el teclado aumentado, enseñando al modelo a depender de la forma relativa del gesto en lugar de las coordenadas absolutas de la pantalla o configuraciones de diseño específicas.

3. Decodificador de Diseño Fijo Opcional

Para escenarios donde se dispone de datos de entrenamiento específicos de un diseño, los autores introducen un decodificador DFSMN (Deep Factorized Sequence Memory Network) opcional.

• Este decodificador toma las características del codificador congelado (emisiones de log, coeficientes DCT y el escalar de intención) como entrada.
• Está entrenado para predecir una corrección sobre la salida base del codificador mediante una conexión de salto residual (residual skip connection).
• Esto permite que el sistema mantenga la flexibilidad del codificador mientras obtiene los beneficios de precisión del ajuste fino (fine-tuning) específico de un diseño cuando los datos lo permiten.

4. Lanzamiento del Dataset

Para abordar la escasez de datos, los autores han lanzado swipe.futo.org, un corpus con licencia MIT que contiene más de 1 millón de gestos donados de más de 12,000 sesiones. El subconjunto principal (swipe-1) se centra en el inglés QWERTY, mientras que ejecuciones posteriores cubren diseños e idiomas adicionales.

Resultados Clave

Generalización entre Diseños

El modelo demuestra capacidades notables de transferencia zero-shot:

• Diseño ClearFlow: Entrenado exclusivamente con datos de inglés QWERTY, el codificador logra una precisión Top-1 del 96.84% en el diseño ClearFlow (un diseño nunca visto durante el entrenamiento). Esto supera el rendimiento del modelo en el diseño in-domain QWERTY (92.94%) y supera significativamente la línea base de coincidencia de plantillas SHARK2 (92.18%).
• Ruso JCUKEN: En datos rusos no incluidos en el entrenamiento (diseños RU-A y RU-B), el codificador logra una precisión Top-1 del 83.11% utilizando únicamente entrenamiento en inglés. Cuando los parámetros de puntuación se reajustan usando una pequeña cantidad de datos de validación en ruso, la precisión aumenta al 85.90%.
• Estudios de Ablación: Eliminar el aumento coordinado provoca el colapso del rendimiento en diseños no vistos (por ejemplo, la precisión de ClearFlow cae de 96.45% a 3.22% en la línea base), confirmando que el aumento conjunto es el principal motor de la flexibilidad del diseño.

Optimización de Diseño (KASROZ)

Los autores utilizaron el propio codificador como función de costo para diseñar un nuevo diseño de teclado, KASROZ, optimizado específicamente para la decodificación neural en lugar de la coincidencia de plantillas.

• Diseño: KASROZ rompe los trigramas colineales de letras (por ejemplo, $s-t-e$) que causan ambigüedad en los diseños estándar.
• Rendimiento: En gestos de usuarios reales, KASROZ logró una precisión Top-1 del 97.68% con el codificador FUTO, superando tanto a QWERTY como a ClearFlow. Esto sugiere que la capacidad del codificador para leer la geometría del diseño puede guiar la creación de diseños que maximicen la confianza en la detección neural.

Ganancias del Decodificador de Diseño Fijo

Añadir el decodificador opcional de diseño fijo a la configuración de inglés QWERTY proporcionó una mejora modesta pero consistente, elevando la precisión Top-1 de 92.94% a 93.49% en el conjunto de validación.

Significado y Reivindicaciones

El artículo afirma haber logrado cerrar con éxito la brecha entre la flexibilidad de los decodificadores algorítmicos y la precisión de los modelos neurales. Al tratar el diseño del teclado como un tensor en tiempo de ejecución y emplear un aumento coordinado, el modelo FUTO Swipe elimina la necesidad de reentrenamiento específico para cada diseño.

Las reivindicaciones clave incluyen:

1. Independencia del Diseño: Un único codificador puede decodificar cualquier diseño de teclado contiguo sin reentrenamiento, generalizando a diseños ausentes en los datos de entrenamiento.
2. Superioridad en Diseños Optimizados: El modelo funciona excepcionalmente bien en diseños diseñados para la distintividad de la forma (ClearFlow) y en diseños optimizados específicamente para la detección neural (KASROZ), superando a menudo su rendimiento en el diseño de entrenamiento (QWERTY).
3. Eficiencia de Datos: El enfoque reduce la dependencia de corpus masivos específicos de un diseño, permitiendo la decodificación de alta precisión para diseños nicho o nuevos utilizando datos de otros idiomas o diseños.
4. Ciencia Abierta: El lanzamiento del mayor corpus conocido con licencia MIT (swipe.futo.org) y de los modelos entrenados tiene como objetivo democratizar la investigación en la decodificación de gestos, abordando la falta histórica de datos públicos para diseños no QWERTY.

Los autores concluyen que este enfoque permite que la elección del diseño de teclado se convierta en una selección en el tiempo de inferencia en lugar de una restricción fija, combinando las mejores propiedades de los paradigmas de decodificación algorítmica y neural.