기술 요약: FUTO Swipe – 레이아웃 불가지론적 신경망 스와이프 디코딩

문제 정의

신경망 스와이프 디코더는 정확도 측면에서 템플릿 매칭 알고리즘을 대체해 왔으나, 결정적인 한계점을 가지고 있다. 즉, 일반적으로 학습된 특정 키보드 레이아웃에 종속된다는 점이다. 표준적인 접근 방식은 레이아웃을 고정된 입력 특징, 특정 위치에 키가 지정된 공간적 이산화, 또는 레이아웃별 파라미터 세트로 취급한다. 결과적으로, 새로운 레이아웃(예: QWERTY에서 Dvorak 또는 비라틴 문자로 전환)에 신경망 디코더를 배포하려면 새로운 코퍼스를 수집하고 모델을 처음부터 다시 학습시켜야 한다.

이러한 의존성은 데이터 병목 현상을 야기한다. 공개된 스와이프 코퍼스는 매우 희귀하며, 특히 비 QWERTY 레이아웃의 경우 더욱 그러하다. 반면, 실제 서비스 환경(예: Gboard, SwiftKey)은 공개할 수 없는 비공개 데이터를 사용한다. 기존의 스와이프 궤적 데이터 증강 기술(아핀 변환, 시간 스케일링 등)은 참조 키보드 레이아웃 자체를 변경하지 않으므로, 레이아웃 유연성이라는 근본적인 문제를 해결하지 못한다. 현재 이 분야는 알고리즘 디코더가 제공하는 레이아웃 유연성과 신경망 디코더가 제공하는 높은 정확도 사이의 트레이드오프 문제에 직면해 있다.

방법론

FUTO Swipe 방식은 물리적 키보드 레이아웃으로부터 신경망 모델을 분리하여, 단일 가중치 세트가 모든 연속적인 모바일 키보드 레이아웃에서 작동할 수 있도록 하는 **레이아웃 불가지론적 인코더(layout-agnostic encoder)**를 도입한다.

1. 레이아웃 불가지론적 인코더 아키텍처

핵심 혁신은 키보드 레이아웃을 학습된 파라미터가 아닌 런타임 입력으로 취급하는 스펙트럼 공간 헤드(spectral spatial head)이다.

• 백본(Backbone): 팽창된 심층 분리 합성곱(dilated depthwise convolutions)을 갖춘 1D 템포럴 컨볼루션 네트워크(TCN)가 스와이프 궤적을 처리한다. 입력 특징에는 위치, 속도, 가속도, 속력 및 곡률이 포함되며, 64개의 타임스텝으로 리샘플링된다.
• 스펙트럼 출력: 인코더는 특정 키에 대한 로짓(logits)을 직접 예측하는 대신 다음을 출력한다:
  1. 타임스텝 $t$에서의 문자 선택 가능성을 나타내는 스칼라 의도 $\lambda_t \in [0, 1]$.
  2. 단위 정사각형 상의 2D 공간 분포를 나타내는 64개의 계수 패턴 $c_t \in \mathbb{R}^{64}$.
• 런타임 레이아웃 매핑: 추론 시, 키보드 레이아웃은 각 키의 $(x, y)$ 좌표를 담은 텐서로 제공된다. 이 좌표들은 고정된 2D 코사인 기저(이산 코사인 변환, DCT)를 샘플링하는 데 사용된다. 각 키에 대한 로짓은 방출된 스펙트럼 계수와 해당 키의 위치에 대응하는 기저 벡터 간의 내적으로 계산된다:
  $$z_{t,k} = c_t \cdot \Phi[k]$$
  여기서 $\Phi$는 키 좌표로부터 유도된 기저 행렬이다. 이를 통해 모델은 고정된 키 위치가 아닌 제스처의 특성에 기반하여 문자의 의도를 예측할 수 있다.

2. 협응된 증강 (Coordinated Augmentation)

모델이 레이아웃 전반에 걸쳐 일반화되도록 강제하기 위해, 훈련 파이프라인은 스와이프 궤적과 레이아웃-키 텐서 모두에 협응된 기하학적 증강을 적용한다.

• 단계: 파이프라인은 $y$-스케일, $x$-스케일, 전단(shear), 뒤집기, 회전, 이동 및 시간 역전을 적용한다.
• 메커니즘: 스와이프 궤적에 적용되는 모든 기하학적 변환은 키보드 레이아웃 좌표에도 동일하게 적용된다. 이는 증강된 스와이프가 증강된 키보드와 기하학적으로 일관성을 유지하도록 보장하며, 모델이 절대적인 화면 좌표나 특정 레이아웃 구성이 아닌 제스처의 상대적 형태에 의존하도록 학습시킨다.

3. 선택적 고정 레이아웃 디코더

레이아웃별 훈련 데이터가 존재하는 시나리오를 위해, 저자들은 선택적인 DFSMN(Deep Factorized Sequence Memory Network) 디코더를 도입한다.

• 이 디코더는 고정된 인코더 특징(로그 방출값, DCT 계수 및 의도 스칼라)을 입력으로 받는다.
• 이 디코더는 잔차 스킵 연결(residual skip connection)을 통해 인코더의 베이스라인 출력에 대한 보정치를 예측하도록 학습된다.
• 이를 통해 시스템은 인코더의 유연성을 유지하면서도, 데이터가 허용될 때 레이아웃별 미세 조정(fine-tuning)을 통한 정확도 이점을 얻을 수 있다.

4. 데이터셋 공개

데이터 부족 문제를 해결하기 위해, 저자들은 12,000개 이상의 세션에서 기부된 100만 개 이상의 스와이프를 포함하는 MIT 라이선스 코퍼스인 swipe.futo.org를 공개했다. 주요 서브셋인 swipe-1은 영어 QWERTY에 집중하며, 후속 실행은 추가적인 레이아웃과 언어를 다룬다.

주요 결과

교차 레이아웃 일반화

모델은 놀라운 제로샷 전이 능력을 보여준다:

• ClearFlow 레이아웃: 영어 QWERTY 데이터로만 학습되었음에도 불구하고, 인코더는 학습 중에 본 적 없는 ClearFlow 레이아웃에서 96.84%의 Top-1 정확도를 달성했다. 이는 인도메인(in-domain) QWERTY 성능인 92.94%를 상회하며, SHARK2 템플릿 매칭 베이스라인(92.18%)을 크게 앞선다.
• 러시아어 JCUKEN: 홀드아웃(held-out) 러시아어 데이터(RU-A 및 RU-B 레이아웃)에 대해, 인코더는 영어 훈련 데이터만을 사용하여 83.11%의 Top-1 정확도를 달성했다. 스코어링 파라미터를 소량의 러시아어 검증 데이터로 재조정했을 때, 정확도는 **85.90%**까지 상승했다.
• 절제 연구(Ablation Studies): 협응된 증강을 제거하면 미학습 레이아웃에서의 성능이 급격히 하락한다(예: ClearFlow 정확도가 베이스라인에서 96.45%에서 3.22%로 하락). 이는 결합 증강이 레이아웃 유연성의 핵심 동력임을 확인시켜 준다.

레이아웃 최적화 (KASROZ)

저자들은 인코더 자체를 비용 함수로 활용하여, 템플릿 매칭이 아닌 신경망 디코딩에 특화되어 최적화된 새로운 키보드 레이아웃인 KASROZ를 설계했다.

• 설계: KASROZ는 표준 레이아웃에서 모호함을 유발하는 공선적(colinear) 철자 트리그램(예: $s-t-e$)을 깨뜨린다.
• 성능: 실제 사용자 스와이프에서, KASROZ는 FUTO 인코더를 통해 97.68%의 Top-1 정확도를 기록하며 QWERTY와 ClearFlow를 모두 능가했다. 이는 인코더의 레이아웃 기하학 판독 능력이 신경망 탐지 신뢰도를 극대화하는 레이아웃 제작을 가이드할 수 있음을 시사한다.

고정 레이아웃 디코더의 이점

영어 QWERTY 설정에 선택적 고정 레이아웃 디코더를 추가함으로써, 검증 세트에서 Top-1 정확도를 92.94%에서 **93.49%**로 일관되게 높이는 소폭의 개선을 이루었다.

의의 및 주장

본 논문은 알고리즘 디코더의 유연성과 신경망 모델의 정확도 사이의 간극을 성공적으로 메웠다고 주장한다. 키보드 레이아웃을 런타임 텐서로 취급하고 협응된 증강을 채택함으로써, FUTO Swipe 모델은 레이아웃별 재학습의 필요성을 제거한다.

주요 주장은 다음과 같다:

1. 레이아웃 불가지론: 단일 인코더는 재학습 없이 모든 연속적인 키보드 레이아웃을 디코딩할 수 있으며, 훈련 데이터에 없던 레이아웃에도 일반화된다.
2. 최적화된 레이아웃에서의 우수성: 모델은 형태적 구별성을 위해 설계된 레이아웃(ClearFlow)이나 신경망 탐지에 최적화된 레이아웃(KASROZ)에서 탁월한 성능을 보이며, 종종 훈련 레이아웃(QWERTY)보다 높은 성능을 나타낸다.
3. 데이터 효율성: 이 접근 방식은 대규모 레이아웃별 코퍼스에 대한 의존도를 낮추어, 다른 언어나 레이아웃의 데이터를 사용하여 니치(niche)하거나 새로운 레이아웃에 대한 고정밀 디코딩을 가능하게 한다.
4. 오픈 사이언스: 가장 큰 규모의 MIT 라이선스 스와이프 코퍼스(swipe.futo.org)와 훈련된 모델을 공개함으로써, 비 QWERTY 레이아웃에 대한 데이터 부족 문제를 해결하고 스와이프 디코딩 연구의 민주화를 목표로 한다.

저자들은 이 접근 방식을 통해 키보드 레이아웃의 선택이 고정된 제약 조건이 아닌 추론 시점의 선택 사항이 될 수 있으며, 이를 통해 알고리즘적 디코딩과 신경망 디코딩 패러다임의 장점을 결합할 수 있다고 결론짓는다.