🤖 machine learning

FUTO Swipe: Layout-Agnostic Neural Swipe Decoding

Cet article présente FUTO Swipe, un décodeur neuronal agnostique de la disposition qui prédit les caractères en se basant sur les caractéristiques des gestes de balayage plutôt que sur des dispositions de clavier fixes, permettant une performance de haute précision sur divers claviers mobiles grâce à l'exploitation d'augmentations géométriques et d'un corpus de balayage à grande échelle nouvellement publié.

Auteurs originaux : David Lee Miller, Aleksandras Kostarevas

Publié 2026-06-25

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : David Lee Miller, Aleksandras Kostarevas

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un traducteur très talentueux capable de lire une langue spécifique parfaitement, mais seulement s'il regarde une carte spécifique. Si vous lui donnez une carte différente (une disposition de clavier différente), il est complètement perdu. C'est le problème qui accompagne le « swipe typing » (la saisie par glissement) sur les téléphones depuis des années. Les modèles d'IA qui devinent le mot que vous vouliez dire ont été entraînés sur un clavier spécifique (généralement le QWERTY standard) et ne pouvaient pas s'adapter si vous changiez pour un autre clavier, comme une disposition russe ou un design personnalisé.

Les auteurs de ce document, David Lee Miller et Aleksandras Kostarevas de FUTO, ont construit un nouveau type de traducteur qui ne se soucie pas de la carte. Ils l'appellent FUTO Swipe.

Voici comment ils ont procédé, expliqué simplement :

1. Le professeur « métamorphe »

Habituellement, pour apprendre à une IA à lire un nouveau clavier, vous devez lui fournir des milliers d'exemples de personnes tapant sur ce clavier spécifique. Or, pour beaucoup de langues ou de dispositions personnalisées, ces exemples n'existent pas.

L'équipe de FUTO a résolu ce problème en apprenant à l'IA à regarder la forme du mouvement du doigt plutôt que les touches spécifiques.

L'analogie : Imaginez que vous enseignez à un enfant à reconnaître un « sourire ». Au lieu de lui montrer la photo d'un sourire dessinée sur une feuille de papier spécifique, vous lui montrez un sourire dessiné sur une feuille, puis vous étirez la feuille, vous la faites pivoter, vous l'écrasez et vous la retournez. Vous apprenez à l'enfant qu'un « sourire » est défini par la courbe, et non par le papier sur lequel il se trouve.
La technique : À chaque étape de l'entraînement, l'ordinateur prend le glissement du doigt et la disposition du clavier et applique aux deux le même « étirement et torsion » (augmentation géométrique). Cela force l'IA à apprendre le geste lui-même, et non l'emplacement spécifique des touches.

2. Le décodeur « télécommande universelle »

La plupart des décodeurs d'IA ont le clavier « ancré » dans leur cerveau pendant l'entraînement. Si vous changez de clavier, le cerveau se brise.

Le modèle FUTO est différent. Il possède une fonction de « télécommande universelle ».

L'analogie : Pensez à une télécommande de télévision standard qui ne fonctionne qu'avec une marque de TV spécifique. Si vous achetez une nouvelle TV, vous avez besoin d'une nouvelle télécommande. Le modèle FUTO est comme une « télécommande intelligente » qui demande à la TV : « Quelles sont les positions de vos boutons ? » juste avant de presser un bouton. Il ne mémorise pas les boutons ; il lit la carte que vous lui donnez à ce moment précis.
La technique : Lorsque vous utilisez l'application, la disposition du clavier est envoyée au modèle sous la forme d'une liste de coordonnées (où se trouvent les touches). Le modèle utilise cette liste pour déterminer quelle lettre vous vouliez probablement taper, sans même avoir vu cette disposition spécifique auparavant.

3. La bibliothèque massive de glissements

Pour entraîner ce modèle « universel », ils avaient besoin de beaucoup de données. Les données publiques étaient rares, surtout pour les dispositions non anglaises.

La solution : Ils ont construit swipe.futo.org, une immense bibliothèque où plus de 12 000 volontaires ont fait don de leurs glissements de frappe. Ils ont collecté plus d'un million de glissements. C'est la plus grande collection ouverte de données de glissement qu'ils connaissent, et ils l'ont rendue gratuite pour que quiconque puisse l'utiliser.

4. Les résultats : Meilleur que l'original

La partie la plus surprenante de leurs découvertes est que ce modèle « universel » est en fait meilleur pour lire certaines dispositions que pour lire celle sur laquelle il a été entraîné.

L'analogie : Imaginez un chef qui a appris à cuisiner sur une cuisinière standard. Vous lui donnez une cuisinière luxueuse, au design personnalisé, qu'il n'a jamais vue. Curieusement, il cuisine un meilleur repas sur la nouvelle cuisinière que sur l'ancienne.
La réalité : Le modèle a été entraîné uniquement sur des données anglaises (QWERTY). Pourtant, lorsqu'il a été testé sur une disposition appelée « ClearFlow » (qui a été conçue pour être plus facile à glisser), le modèle a obtenu une précision de 96,8 %. Sur le QWERTY anglais sur lequel il a été entraîné, il a obtenu 92,9 %. Il s'est si bien généralisé qu'il a surpassé son propre terrain d'entraînement.

5. Concevoir de meilleurs claviers

Parce que le modèle est si flexible, les auteurs l'ont utilisé pour concevoir une nouvelle disposition de clavier appelée KASROZ.

Le processus : Ils ont utilisé l'IA elle-même comme juge. Ils ont essayé des milliers de différentes dispositions de lettres sur le clavier. L'IA « simulait » la frappe de mots sur chaque disposition et évaluait la facilité de compréhension du geste.
Le résultat : Ils ont trouvé une disposition (KASROZ) qui est encore plus facile à lire pour l'IA que le QWERTY standard ou le populaire ClearFlow. Elle résout un problème spécifique où trois lettres à la suite (comme « s-t-r-e-a-m ») ressemblent à une ligne droite, ce qui rend difficile pour l'IA de savoir si vous vouliez dire « stream » ou « steam ». La nouvelle disposition brise cette ligne droite, rendant l'intention claire.

Résumé

Le document affirme qu'ils ont construit une IA de saisie par glissement qui :

N'a pas besoin de réentraînement pour de nouvelles dispositions de clavier.
Apprend à partir de la forme du glissement, et non des touches spécifiques.
Est plus précise sur de nouvelles dispositions que sur celle sur laquelle elle a été entraînée.
Est soutenue par un ensemble de données massif et gratuit de plus d'un million de glissements d'utilisateurs.

Ils ont rendu publics à la fois les modèles d'IA et le jeu de données, permettant à quiconque de créer une saisie par glissement pour n'importe quelle langue ou tout clavier personnalisé sans avoir besoin de collecter d'abord son propre ensemble massif de données.

Résumé Technique : FUTO Swipe – Décodage de Balayage Neuronal Indépendant de la Disposition

Énoncé du Problème

Les décodeurs de balayage (swipe) neuronaux ont largement supplanté les algorithmes de correspondance de modèles en termes de précision, mais souffrent d'une limitation critique : ils sont généralement liés à la disposition du clavier spécifique sur laquelle ils ont été entraînés. Les approches standards traitent la disposition comme une caractéristique d'entrée fixe, une discrétisation spatiale indexée sur des positions spécifiques, ou un ensemble de paramètres propres à la disposition. Par conséquent, le déploiement d'un décodeur neuronal sur une nouvelle disposition (par exemple, passer du QWERTY au Dvorak ou à un script non latin) nécessite la collecte d'un nouveau corpus et le réentraînement complet du modèle.

Cette dépendance crée un goulot d'étranglement de données. Les corpus de balayage publics sont rares, particulièrement pour les dispositions non-QWERTY, tandis que les déploiements en production (ex. Gboard, SwiftKey) reposent sur des données privées non redistribuables. De plus, les techniques d'augmentation de données existantes pour les trajectoires de balayage (transformations affines, mise à l'échelle temporelle) modifient généralement la trajectoire sans changer la disposition de référence du clavier, échouant ainsi à traiter le problème fondamental de la flexibilité de la disposition. Le domaine fait face à un arbitrage : les décodeurs algorithmiques offrent une flexibilité de disposition mais une précision moindre, tandis que les décodeurs neuronaux offrent une haute précision mais manquent de flexibilité de disposition.

Méthodologie

L'approche FUTO Swipe introduit un encodeur indépendant de la disposition qui découple le modèle neuronal de la disposition physique du clavier lors de l'entraînement, permettant à un ensemble unique de poids de fonctionner sur n'importe quelle disposition de clavier mobile contiguë.

1. Architecture de l'Encodeur Indépendant de la Disposition

L'innovation centrale est une tête spatiale spectrale qui traite la disposition du clavier comme une entrée au moment de l'exécution (runtime) plutôt que comme un paramètre appris.

Back Backbone : Un réseau de convolution temporelle 1D (TCN) avec des convolutions de profondeur dilatées (dilated depthwise convolutions) traite la trajectoire de balayage. Les caractéristiques d'entrée incluent la position, la vélocité, l'accélération, la vitesse et la courbure, rééchantillonnées à 64 pas de temps.
Sortie Spectrale : Au lieu de prédire des logits pour des touches spécifiques, l'encodeur produit :
1. Une intention scalaire $\lambda_t \in [0, 1]$ indiquant la probabilité d'une sélection de caractère à l'instant $t$ .
2. Un motif spectral à 64 coefficients $c_t \in \mathbb{R}^{64}$ représentant une distribution spatiale 2D sur le carré unité.
Cartographie de Disposition au Runtime : Lors de l'inférence, la disposition du clavier est fournie sous la forme d'un tenseur de coordonnées $(x, y)$ pour chaque touche. Ces coordonnées sont utilisées pour échantillonner une base de cosinus 2D fixe (Transformée en Cosinus Discrète, DCT). Les logits pour chaque touche sont calculés comme le produit scalaire entre les coefficients spectraux émis et le vecteur de base correspondant à la position de la touche :
$z_{t,k} = c_t \cdot \Phi[k]$
où $\Phi$ est la matrice de base dérivée des coordonnées des touches. Cela permet au modèle de prédire l'intention de caractère basée sur les caractéristiques du geste plutôt que sur des positions de touches fixes.

2. Augmentation Coordonnée

Pour forcer le modèle à généraliser à travers les dispositions, le pipeline d'entraînement applique une augmentation géométrique coordonnée simultanément à la trajectoire de balayage et au tenseur de disposition-touche.

Étapes : Le pipeline applique une mise à l'échelle en $y$ , une mise à l'échelle en $x$ , un cisaillement (shear), des retournements (flips), des rotations, des translations et une inversion temporelle.
Mécanisme : Chaque transformation géométrique appliquée à la trajectoire de balayage est appliquée de manière identique aux coordonnées de la disposition du clavier. Cela garantit que le balayage augmenté reste géométriquement cohérent avec le clavier augmenté, apprenant au modèle à se reposer sur la forme relative du geste plutôt que sur des coordonnées d'écran absolues ou des configurations de disposition spécifiques.

3. Décodeur de Disposition Fixe Optionnel

Pour les scénarios où des données d'entraînement spécifiques à une disposition sont disponibles, les auteurs introduisent un décodeur DFSMN (Deep Factorized Sequence Memory Network) optionnel.

Ce décodeur prend les caractéristiques de l'encodeur gelées (émissions de log, coefficients DCT et scalaire d'intention) comme entrée.
Il est entraîné pour prédire une correction sur la sortie de base de l'encodeur via une connexion de saut résiduelle (residual skip connection).
Cela permet au système de conserver la flexibilité de l'encodeur tout en bénéficiant des avantages de précision du peaufinage (fine-tuning) spécifique à la disposition lorsque les données le permettent.

4. Publication du Jeu de Données

Pour remédier à la rareté des données, les auteurs ont publié swipe.futo.org, un corpus sous licence MIT contenant plus d'un million de balayages donnés issus de plus de 12 000 sessions. Le sous-ensemble principal (swipe-1) se concentre sur l'anglais QWERTY, tandis que les exécutions suivantes couvrent des dispositions et des langues supplémentaires.

Résultats Clés

Généralisation Trans-Disposition

Le modèle démontre de remarquables capacités de transfert zero-shot :

Disposition ClearFlow : Entraîné exclusivement sur des données English QWERTY, l'encodeur atteint une précision Top-1 de 96,84 % sur la disposition ClearFlow (une disposition jamais vue durant l'entraînement). Cela dépasse la performance du modèle sur la disposition in-domain QWERTY (92,94 %) et surpasse significativement la ligne de base SHARK2 par correspondance de modèles (92,18 %).
Russe JCUKEN : Sur les données russes non vues (dispositions RU-A et RU-B), l'encodeur atteint une précision Top-1 de 83,11 % en utilisant uniquement l'entraînement anglais. Lorsque les paramètres de score sont réajustés à l'aide d'un petit échantillon de validation russe, la précision monte à 85,90 %.
Études d'Ablation : La suppression de l'augmentation coordonnée provoque l'effondrement des performances sur les dispositions inédites (ex. la précision sur ClearFlow chute de 96,45 % à 3,22 % dans le cas de base), confirmant que l'augmentation conjointe est le principal moteur de la flexibilité de la disposition.

Optimisation de Disposition (KASROZ)

Les auteurs ont utilisé l'encodeur lui-même comme fonction de coût pour concevoir une nouvelle disposition de clavier, KASROZ, optimisée spécifiquement pour le décodage neural plutôt que pour la correspondance de modèles.

Conception : KASROZ brise les trigrammes de lettres colinéaires (ex. $s-t-e$ ) qui causent de l'ambiguïté dans les dispositions standards.
Performance : Sur des balayages d'utilisateurs réels, KASROZ a atteint une précision Top-1 de 97,68 % avec l'encodeur FUTO, surpassant à la fois QWERTY et ClearFlow. Cela suggère que la capacité de l'encodeur à lire la géométrie de la disposition peut guider la création de claviers qui maximisent la confiance de détection neurale.

Gains du Décodeur de Disposition Fixe

L'ajout du décodeur de disposition fixe optionnel à la configuration English QWERTY a apporté une amélioration modeste mais constante, faisant passer la précision Top-1 de 92,94 % à 93,49 % sur l'ensemble de validation.

Signification et Revendications

L'article affirme avoir réussi à combler le fossé entre la flexibilité des décodeurs algorithmiques et la précision des modèles neuronaux. En traitant la disposition du clavier comme un tenseur au moment de l'exécution et en employant une augmentation coordonnée, le modèle FUTO Swipe élimine le besoin de réentraînement spécifique à la disposition.

Les revendications clés incluent :

Indépendance de la Disposition : Un encodeur unique peut décoder n'importe quelle disposition de clavier contiguë sans réentraînement, se généralisant à des dispositions absentes des données d'entraînement.
Supériorité sur les Dispositions Optimisées : Le modèle performe exceptionnellement bien sur des dispositions conçues pour la distinction de formes (ClearFlow) ou sur des dispositions optimisées spécifiquement pour la détection neurale (KASROZ), dépassant souvent sa performance sur la disposition d'entraînement (QWERTY).
Efficacité des Données : L'approche réduit la dépendance vis-à-vis de corpus massifs et spécifiques à une disposition, permettant un décodage de haute précision pour des dispositions de niche ou nouvelles en utilisant des données d'autres langues ou dispositions.
Science Ouverte : La publication du plus grand corpus de balayage connu sous licence MIT (swipe.futo.org) et des modèles entraînés vise à démocratiser la recherche en décodage de balayage, répondant à l'absence historique de données publiques pour les dispositions non-QWERTY.

Les auteurs concluent que cette approche permet de faire du choix de la disposition du clavier une sélection au moment de l'inférence plutôt qu'une contrainte fixe, combinant les meilleurs attributs des paradigmes de décodage algorithmique et neuronal.