🤖 machine learning

FUTO Swipe: Layout-Agnostic Neural Swipe Decoding

Dit artikel introduceert FUTO Swipe, een layout-agnostische neurale decoder die tekens voorspelt op basis van de kenmerken van veeggebaren in plaats van vaste toetsenbordlay-outs, waardoor een hoge nauwkeurigheid wordt bereikt over diverse mobiele toetsenborden door gebruik te maken van geometrische augmentaties en een nieuw uitgebrachte grootschalige veegcorpus.

Oorspronkelijke auteurs: David Lee Miller, Aleksandras Kostarevas

Gepubliceerd 2026-06-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: David Lee Miller, Aleksandras Kostarevas

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer getalenteerde vertaler hebt die een specifieke taal perfect kan lezen, maar alleen als ze naar een specifieke kaart kijken. Als je ze een andere kaart geeft (een ander toetsenbordindeling), raken ze de weg kwijt. Dit is al jarenlang het probleem met "swipe-typen" op telefoons. De AI-modellen die raden welk woord je bedoelde, werden getraind op één specifiek toetsenbord (meestal de standaard QWERTY) en konden niet aanpassen als je overschakelde naar een ander, zoals een Russische indeling of een aangepast ontwerp.

De auteurs van dit artikel, David Lee Miller en Aleksandras Kostarevas van FUTO, hebben een nieuw soort vertaler gebouwd die niet om de kaart geeft. Ze noemen het FUTO Swipe.

Hier is hoe ze het hebben gedaan, eenvoudig uitgelegd:

1. De "Vormveranderende" Leraar

Normaal gesproken moet je een AI leren een nieuw toetsenbord te lezen door het duizenden voorbeelden te voeren van mensen die op dat specifieke toetsenbord typen. Maar voor veel talen of aangepaste indelingen bestaan die voorbeelden niet.

Het FUTO-team heeft dit opgelost door de AI te leren kijken naar de vorm van de vingerbeweging in plaats van naar de specifiemu knoppen.

De Analogie: Stel je voor dat je een kind leert om een "glimlach" te herkennen. In plaats van het kind een foto van een glimlach te laten zien die op een specifiek stuk papier is getekend, laat je het kind een glimlach zien op een stuk papier, en dan rek je het papier uit, draai je het, vervorm je het en draai je het ondersteboven. Je leert het kind dat een "glimlach" wordt gedefinieerd door de curve, niet door het papier waarop het staat.
De Techniek: Bij elke stap van de training neemt de computer de vinger-swipe en de toetsenbordindeling en past op beide dezelfde "rekken en draaien" toe (geometrische augmentatie). Dit dwingt de AI om de gebaar zelf te leren, en niet de specifieke locatie van de toetsen.

2. De "Universele Afstandsbediening" Decoder

De meeste AI-decoders hebben het toetsenbord "ingebakken" in hun brein tijdens de training. Als je het toetsenbord verandert, breekt het brein.

Het FUTO-model is anders. Het heeft een "universele afstandsbediening"-functie.

De Analogie: Denk aan een standaard tv-afstandsbediening die alleen werkt met één specifiek merk tv. Als je een nieuwe tv koopt, heb je een nieuwe afstandsbediening nodig. Het FUTO-model is als een "Slimme Afstandsbediening" die de tv vraat: "Wat zijn de posities van je knoppen?" vlak voordat je een knop indrukt. Het onthoudt de knoppen niet; het leest de kaart die je op dat exacte moment aan het model overhandigt.
De Techniek: Wanneer je de app gebruikt, wordt de toetsenbordindeling naar het model gestuurd als een lijst met coördinaten (waar de toetsen zich bevinden). Het model gebruikt deze lijst om te achterhalen welke letter je waarschijnlijk bedoelde, zonder dat het die specifieke indeling ooit eerder heeft gezien.

3. De Enorme Bibliotheek van Swipes

Om dit "universele" model te trainen, hadden ze veel data nodig. Publieke data was schaars, vooral voor niet-Engelse indelingen.

De Oplossing: Ze hebben swipe.futo.org gebouwd, een enorme bibliotheek waar meer dan 12.000 vrijwilligers hun typemethoden (swipes) hebben gedoneerd. Ze hebben meer dan 1 miljoen swipes verzameld. Dit is de grootste openbare collectie swipe-data die zij kennen, en ze hebben het gratis beschikbaar gesteld voor iedereen om te gebruiken.

4. De Resultaten: Beter dan het Origineel

Het meest verrassende deel van hun bevindingen is dat dit "universele" model eigenlijk beter is in het lezen van sommige indelingen dan het model dat het heeft getraind.

De Analogie: Stel je een chef voor die heeft geleerd koken op een standaard fornuis. Je geeft hem een luxe, op maat gemaakt fornuis dat hij nog nooit heeft gezien. Verrassend genoeg kookt hij op het nieuwe fornuis zelfs een beter gerecht dan op het oude.
De Realiteit: Het model werd alleen getraind op Engelse (QWERTY) data. Toch, toen het werd getest op een indeling genaamd "ClearFlow" (die ontworpen is om gemakkelijker te swipen), behaalde het een nauwkeurigheid van 96,8%. Op de Engelse QWERTY waarop het getraind was, behaalde het 92,9%. Het generaliseerde zo goed dat het zijn eigen trainingsgrond overtrof.

5. Betere Toetsenborden Ontwerpen

Omdat het model zo flexibel is, hebben de auteurs het gebruikt om een nieuwe toetsenbordindeling genaamd KASROZ te ontwerpen.

Het Proces: Ze gebruikten de AI zelf als rechter. Ze probeerden duizenden verschillende letterarrangementen op het toetsenbord. De AI zou woorden op elk arrangement "simuleren" en scoren hoe gemakkelijk het gebaar te begrijpen was.
Het Resultaat: Ze ontdekten een indeling (KASROZ) die zelfs makkelijker door de AI te lezen is dan de standaard QWERTY of de populaire ClearFlow. Het loste een specifiek probleem op waarbij drie letters achter elkaar (zoals "s-t-r-e-a-m") een rechte lijn vormen, waardoor het voor de AI moeilijk is om te weten of je "stream" of "steam" bedoelde. De nieuwe indeling doorbreekt die rechte lijn, waardoor de intentie duidelijk wordt.

Samenvatting

Het artikel beweert dat ze een swipe-typende AI hebben gebouwd die:

Geen hertraining nodig heeft voor nieuwe toetsenbordindelingen.
Leert van de vorm van de swipe, niet van de specifieke toetsen.
Nauwkeuriger is op nieuwe indelingen dan op de indeling waarop het getraind is.
Wordt ondersteund door een enorme, gratis dataset van meer dan 1 miljoen gebruikersswipes.

Ze hebben zowel de AI-modellen als de dataset publiekelijk vrijgegeven, zodat iedereen swipe-typen voor elke taal of aangepaste toetsenbordindeling kan bouwen zonder eerst zelf een enorme dataset te hoeven verzamelen.

Technische Samenvatting: FUTO Swipe – Layout-Agnostische Neurale Swipe-Decoding

Probleemstelling

Neurale swipe-decoders hebben de nauwkeurigheid van template-matching algoritmen grotendeels overtroffen, maar lijden aan een kritieke beperking: ze zijn doorgaans gebonden aan de specifieke toetsenbordlay-out waarop ze zijn getraind. Standaardbenaderingen behandelen de lay-out als een vaste inputfeature, een ruimtelijke discretisatie gekoppeld aan specifieke posities, of een set lay-out-specifieke parameters. Gevolgelijk vereist het implementeren van een neurale decoder op een nieuwe lay-out (bijv. het overschakelen van QWERTY naar Dvorak of een niet-Latijns schrift) het verzamelen van een nieuw corpus en het opnieuw trainen van het model vanaf nul.

Deze afhankelijkheid creëert een databottleneck. Publieke swipe-corpora zijn schaars, met name voor niet-QWERTY lay-outs, terwijl productie-implementaties (bijv. Gboard, SwiftKey) vertrouwen op private, niet-redistribueerbare data. Bovendien laten bestaande technieken voor data-augmentatie van swipe-trajecten (affiene transformaties, tijdschaalverandering) de referentie-toetsenbordlay-out ongewijst, waardoor ze het fundamentele probleem van lay-outflexibiliteit niet aanpakken. Het vakgebied staat momenteel voor een trade-off: algoritmische decoders bieden lay-outflexibiliteit maar lagere nauwkeurigheid, terwijl neurale decoders hoge nauwkeurigheid bieden maar een gebrek aan lay-outflexibiliteit hebben.

Methodologie

De FUTO Swipe-aanpak introduceert een layout-agnostische encoder die het neurale model ontkoppelt van de fysieke toetsenbordlay-out tijdens de training, waardoor één enkele set gewichten kan functioneren op elke aaneengesloten mobiele toetsenbordlay-out.

1. Layout-Agnostische Encoder Architectuur

De kerninnovatie is een spectrale ruimtelijke kop die de toetsenbordlay-out behandelt als een runtime-input in plaats van een geleerd parameter.

Backbone: Een 1D Temporal Convolutional Network (TCN) met gedilaerde depthwise convoluties verwerkt het swipe-traject. De inputfeatures omvatten positie, snelheid, versnelling, snelheid (speed) en kromming, ge-resampled naar 64 tijdstappen.
Spectrale Output: In plaats van logits te voorspellen voor specifieke toetsen, geeft de encoder:
1. Een scalaire intentie $\lambda_t \in [0, 1]$ die de waarschijnlijkheid van een karakterselectie op tijdstap $t$ aangeeft.
2. Een 64-coëfficiënt spectraal patroon $c_t \in \mathbb{R}^{64}$ dat een 2D ruimtelijke distributie over het eenheidsvierkant representeert.
Runtime Layout Mapping: Tijdens de inferentie wordt de toetsenbordlay-out aangeleverd als een tensor van $(x, y)$ coördinaten voor elke toets. Deze coördinaten worden gebruikt om een vaste 2D cosinusbasis (Discrete Cosine Transform, DCT) te samplen. De logits voor elke toets worden berekend als het inproduct tussen de uitgezonden spectrale coëfficiënten en de basisvector die overeenkomt met de positie van de toets:
$z_{t,k} = c_t \cdot \Phi[k]$
waarbij $\Phi$ de basismatrix is afgeleid van de toets-coördinaten. Dit stelt het model in staat om karakterintentie te voorspellen op basis van gebargekenmerken in plaats van vaste toetsposities.

2. Gecoördineerde Augmentatie

Om het model te dwingen te generaliseren over verschillende lay-outs, past de trainingspipeline gecoördineerde geometrische augmentatie toe op zowel het swipe-traject als de layout-key tensor simultaan.

Stages: De pipeline past $y$ -schaal, $x$ -schaal, shear (afschuiving), flips, rotatie, translatie en tijdreversal toe.
Mechanisme: Elke geometrische transformatie die op het swipe-traject wordt toegepast, wordt identiek toegepast op de toetsenbordlay-outcoördinaten. Dit zorgt ervoor dat de geaugmenteerde swipe geometrisch consistent blijft met de geaugmenteerde toetsenbordlay-out, waardoor het model leert te vertrouwen op de relatieve vorm van het gebaar in plaats van op absolute schermcoördinaten of specifieke lay-outconfiguraties.

3. Optionele Fixed-Layout Decoder

Voor scenario's waar lay-out-specifieke trainingsdata beschikbaar is, introduceren de auteurs een optionele DFSMN (Deep Factorized Sequence Memory Network) decoder.

Deze decoder neemt de bevroren encoder-features (log emissies, DCT-coëfficiënten en intentie-scalar) als input.
Deze is getraind om een correctie te voorspellen over de baseline-output van de encoder via een residual skip connection.
Dit stelt het systeem in staat de flexibiliteit van de encoder te behouden terwijl het de voordelen van lay-out-specifieke fine-tuning benut wanneer de data dit toelaat.

4. Dataset Release

Om het probleem van dataschaarste aan te pakken, hebben de auteurs swipe.futo.org uitgebracht, een MIT-gelicentieerd corpus met meer dan 1 miljoen gedoneerde swipes uit meer dan 12.000 sessies. De primaire subset (swipe-1) richt zich op Engels QWERTY, terwijl opeenvolgende runs aanvullende lay-outs en talen dekken.

Belangrijkste Resultaten

Cross-Layout Generalisatie

Het model vertoont een opmerkelijke zero-shot transfercapaciteit:

ClearFlow Layout: Getraind uitsluitend op Engelse QWERTY-data, bereikt de encoder een 96,84% Top-1 nauwkeurigheid op de ClearFlow lay-out (een lay-out die nooit tijdens de training is gezien). Dit overtreft de prestaties van het model op de in-domain QWERTY-lay-out (92,94%) en presteert aanzienlijk beter dan de SHARK2 template-matching baseline (92,18%).
Russisch JCUKEN: Op de uit de dataset gehouden Russische data (RU-A en RU-B lay-outs), bereikt de encoder een 83,11% Top-1 nauwkeurigheid met enkel Engelse trainingsdata. Wanneer de scoringparameters worden bijgesteld met een kleine hoeveelheid Russische validatiedata, stijgt de nauwkeurigheid naar 85,90%.
Ablatie-studies: Het verwijderen van gecoördineerde augmentatie zorgt ervoor dat de prestaties op onbekende lay-outs instorten (bijv. de ClearFlow nauwkeurigheid daalt van 96,45% naar 3,22% in de baseline), wat bevestigt dat gezamenlijke augmentatie de primaire drijfveer is voor lay-outflexibiliteit.

Layout Optimalisatie (KASROZ)

De auteurs gebruikten de encoder zelf als een kostenfunctie om een nieuwe toetsenbordlay-out te ontwerpen, KASROZ, die specifal is geoptimaliseerd voor neurale decoding in plaats van template matching.

Ontwerp: KASROZ doorbreekt colineaire letter-trigrammen (bijv. $s-t-e$ ) die ambiguïteit veroorzaken in standaard lay-outs.
Prestaties: Op echte gebruikers-swipes behaalde KASROZ een 97,68% Top-1 nauwkeurigheid met de FUTO-encoder, waarmee zowel QWERTY als ClearFlow versloeg. Dit suggereert dat de encoder het vermogen heeft om lay-outgeometrie te lezen en hiermee de creatie van lay-outs kan sturen die de detectievertrouwen van neurale modellen maximaliseren.

Winsten van de Fixed-Layout Decoder

Het toevoegen van de optionele fixed-layout decoder aan de Engelse QWERTY-opstelling leverde een bescheiden maar consistente verbetering op, waarbij de Top-1 nauwkeurigheid steeg van 92,94% naar 93,49% op de validatieset.

Betekenis en Claims

Het artikel beweert succesvol de kloof te hebben overbrugd tussen de flexibiliteit van algoritmische decoders en de nauwkeurigheid van neurale modellen. Door de toetsenbordlay-out als een runtime-tensor te behandelen en gecoördineerde augmentatie toe te passen, elimineert het FUTO Swipe-model de noodzaak voor lay-out-specifieke hertraining.

Belangrijke claims zijn onder meer:

Layout-Agnostisch: Een enkele encoder kan elke aaneengesloten toetsenbordlay-out decoderen zonder hertraining, waarbij het generaliseert naar lay-outs die afwezig waren in de trainingsdata.
Superieur op Geoptimaliseerde Lay-outs: Het model presteert uitzonderlijk goed op lay-outs die zijn ontworpen voor vormdistinctiviteit (ClearFlow) en op lay-outs die specifiek zijn geoptimaliseerd voor neurale detectie (KASROZ), waarbij het vaak de prestaties op de trainingslay-out (QWERTY) overtreft.
Data-efficiëntie: De aanpak vermindert de afhankelijkheid van enorme, lay-out-specifieke corpora, wat hoogwaardige decoding voor niche of nieuwe lay-outs mogelijk maakt met data van andere talen of lay-outs.
Open Science: De release van het grootste bekende MIT-gelicentieerde swipe-corpus (swipe.futo.org) en de getrainde modellen beoogt de research in swipe-decoding te democratiseren, waarmee het historische gebrek aan publieke data voor niet-QWERTY lay-outs wordt aangepakt.

De auteurs concluderen dat deze aanpak ervoor zorgt dat de keuze voor een toetsenbordlay-out een selectie tijdens de inferentie wordt in plaats van een vaste beperking, waarbij de beste eigenschappen van algoritmische en neurale decoding-paradigma's worden gecombineerd.