Resumo Técnico: FUTO Swipe – Decodificação de Gestos (Swipe) Neural Independente de Layout

Definição do Problema

Os decodificadores de gestos (swipe) neurais superaram amplamente os algoritmos de correspondência de modelos (template-matching) em precisão, mas sofrem de uma limitação crítica: são tipicamente vinculados ao layout de teclado específico para o qual foram treinados. As abordagens padrão tratam o layout como um recurso de entrada fixo, uma discretização espacial atrelada a posições específicas ou um conjunto de parâmetros específicos de layout. Consequentemente, implantar um decodificador neural em um novo layout (por exemplo, mudar de QWERTY para Dvorak ou para um script não latino) requer a coleta de um novo corpus e o retreinamento do modelo do zero.

Essa dependência cria um gargalo de dados. Corpora de gestos públicos são escassos, particularmente para layouts não-QWERTY, enquanto implantações de produção (ex: Gboard, SwiftKey) dependem de dados privados e não redistribuíveis. Além disso, as técnicas de aumento de dados existentes para trajetórias de gestos (transformações afins, escalonamento temporal) geralmente deixam o layout de referência do teclado inalterado, falhando em abordar o problema fundamental da flexibilidade de layout. O campo enfrenta atualmente um compromisso: decodificadores algorítmicos oferecem flexibilidade de layout, mas menor precisão, enquanto decodificadores neurais oferecem alta precisão, mas carecem de flexibilidade de layout.

Metodologia

A abordagem FUTO Swipe introduz um codificador independente de layout que desacopla o modelo neural do layout físico do teclado durante o treinamento, permitindo que um único conjunto de pesos funcione em qualquer layout de teclado móvel contíguo.

1. Arquitetura do Codificador Independente de Layout

A inovação central é um cabeçalho espacial espectral que trata o layout do teclado como uma entrada de tempo de execução, em vez de um parâmetro aprendido.

• Backbone: Uma Rede Convolucional Temporal (TCN) 1D com convoluções de profundidade dilatadas (dilated depthwise convolutions) processa a trajetória do gesto. Os recursos de entrada incluem posição, velocidade, aceleração, rapidez e curvatura, reamostrados para 64 passos de tempo.
• Saída Espectral: Em vez de prever logits para teclas específicas, o codificador produz:
  1. Um escalar de intenção $\lambda_t \in [0, 1]$ indicando a probabilidade de seleção de um caractere no passo de tempo $t$.
  2. Um padrão espectral de 64 coeficientes $c_t \in \mathbb{R}^{64}$ representando uma distribuição espacial 2D sobre o quadrado unitário.
• Mapeamento de Layout em Tempo de Execução: Na inferência, o layout do teclado é fornecido como um tensor de coordenadas $(x, y)$ para cada tecla. Essas coordenadas são usadas para amostrar uma base de cosseno 2D fixa (Transformada Discreta de Cosseno, DCT). Os logits para cada tecla são computados como o produto interno entre os coefs de espectrais emitidos e o vetor de base correspondente à posição daquela tecla:
  $$z_{t,k} = c_t \cdot \Phi[k]$$
  onde $\Phi$ é a matriz de base derivada das coordenadas das teclas. Isso permite que o modelo preveja a intenção do caractere com base nas características do gesto, em vez de posições fixas de teclas.

2. Aumento Coordenado

Para forçar o modelo a generalizar entre layouts, o pipeline de treinamento aplica aumento geométrico coordenado tanto à trajetória do gesto quanto ao tensor de layout-tecla simultaneamente.

• Estágios: O pipeline aplica escala em $y$, escala em $x$, cisalhamento (shear), inversões (flips), rotação, translação e reversão temporal.
• Mecanismo: Cada transformação geométrica aplicada à trajetória do gesto é aplicada identicamente às coordenadas do layout do teclado. Isso garante que o gesto aumentado permaneça geometricamente consistente com o teclado aumentado, ensinando o modelo a confiar na forma relativa do gesto, em vez de coordenadas absol Tampas de tela ou configurações de layout específicas.

3. Decodificador de Layout Fixo Opcional

Para cenários onde há dados de treinamento específicos de layout disponíveis, os autores introduzem um decodificador DFSMN (Deep Factorized Sequence Memory Network) opcional.

• Este decodificador recebe os recursos congelados do codificador (emissões de log, coeficientes de DCT e escalar de intenção) como entrada.
• Ele é treinado para prever uma correção sobre a saída base do codificador via uma conexão de salto residual (residual skip connection).
• Isso permite que o sistema retenha a flexibilidade do codificador, ganhando os benefícios de precisão do ajuste fino (fine-tuning) específico de layout quando os dados permitem.

4. Lançamento de Dataset

Para abordar a escassez de dados, os autores lançaram o swipe.futo.org, um corpus licenciado sob MIT contendo mais de 1 milhão de gestos doados de mais de 12.000 sessões. O subconjunto primário (swipe-1) foca no inglês QWERTY, enquanto execuções subsequentes cobrem layouts e idiomas adicionais.

Principais Resultados

Generalização entre Layouts

O modelo demonstra capacidades notáveis de transferência zero-shot:

• Layout ClearFlow: Treinado exclusivamente em dados de inglês QWERTY, o codificador alcança 96,84% de precisão Top-1 no layout ClearFlow (um layout nunca visto durante o treinamento). Isso excede o desempenho do modelo no layout in-domain QWERTY (92,94%) e supera significativamente a linha de base de correspondência de modelo SHARK2 (92,18%).
• Russo JCUKEN: No layout russo retido (layouts RU-A e RU-B), o codificador alcança 83,11% de precisão Top-1 usando apenas treinamento em inglês. Quando os parâmetros de pontuação são ajustados usando uma pequena quantidade de validação russa, a precisão sobe para 85,90%.
• Estudos de Ablação: Remover o aumento coordenado faz com que o desempenho em layouts não vistos colapse (ex: a precisão do ClearFlow cai de 96,45% para 3,22% no baseline), confirmando que o aumento conjunto é o principal motor da flexibilidade de layout.

Otimização de Layout (KASROZ)

Os autores utilizaram o próprio codificador como uma função de custo para projetar um novo layout de teclado, o KASROZ, otimizado especificamente para decodificação neural, em vez de correspondência de modelos.

• Design: O KASROZ quebra trigramas de letras colineares (ex: $s-t-e$) que causam ambiguidade em layouts padrão.
• Desempenho: Em gestos de usuários reais, o KASROZ alcançou 97,68% de precisão Top-1 com o codificador FUTO, superando tanto o QWERTY quanto o ClearFlow. Isso sugere que a capacidade do codificador de ler a geometria do layout pode guiar a criação de layouts que maximizam a confiança na detecção neural.

Ganhos do Decodificador de Layout Fixo

Adicionar o decodificador opcional de layout fixo ao setup de inglês QWERTY proporcionou uma melhoria modesta, mas consistente, elevando a precisão Top-1 de 92,94% para 93,49% no conjunto de validação.

Significância e Alegações

O artigo afirma ter sucesso em unir a flexibilidade dos decodificadores algorítmicos com a precisão dos modelos neurais. Ao tratar o layout do teclado como um tensor de tempo de execução e empregar aumento coordenado, o modelo FUTO Swipe elimina a necessidade de retreinamento específico de layout.

As principais alegações incluem:

1. Independência de Layout: Um único codificador pode decodificar qualquer layout de teclado contíguo sem retreinamento, generalizando para layouts ausentes nos dados de treinamento.
2. Superioridade em Layouts Otimizados: O modelo performa excepcionalmente bem em layouts projetados para distinção de forma (ClearFlow) e layouts otimizados especificamente para detecção neural (KASROZ), frequentemente superando seu desempenho no layout de treinamento (QWERTY).
3. Eficiência de Dados: A abordagem reduz a dependência de corpora massivos e específicos de layout, permitindo a decodificação de alta precisão para layouts de nicho ou novos usando dados de outros idiomas ou layouts.
4. Ciência Aberta: O lançamento do maior corpus de gestos conhecido licenciado sob MIT (swipe.futo.org) e dos modelos treinados visa democratizar a pesquisa em decodificação de gestos, abordando a histórica falta de dados públicos para layouts não-QWERTY.

Os autores concluem que esta abordagem permite que a escolha do layout de teclado se torne uma seleção em tempo de inferência em vez de uma restrição fixa, combinando as melhores propriedades dos paradigmas de decodificação algorítmica e neural.