당신이 우리가 글을 쓸 때 뇌가 어떻게 작동하는지 그 미스터리를 풀려는 탐정이라고 상상해 보십시오. 수십 년 동안 과학자들은 우리가 키보드를 두드리는 모든 순간을 기록하는 소프트웨어인 '키로거(keyloggers)'를 사용하여, 타이핑 중에 발생하는 아주 작은 멈춤과 속도의 폭발을 연구해 왔습니다. 이 멈춤은 발자국과 같습니다. 그것은 작가가 열심히 생각하고 있는지, 망설이고 있는지, 혹은 실수를 하고 있는지를 알려줍니다. 이 분야는 인지 과학이라고 불리며, 글쓰기 뒤에 숨겨진 보이지 않는 정신적 체조를 이해하도록 도와줍니다. 하지만 큰 문제가 하나 있습니다. 영어와 같은 알파벳을 사용하는 언어로 글을 쓸 때는 이 발자국을 찾기가 쉽습니다. 왜냐하면 하나의 키가 하나의 글자와 일치하기 때문입니다. 하지만 중국어, 일본어, 또는 한국어로 글을 쓸 때는 어떻게 될까요? 이 언어들은 글자를 직접 입력하는 것이 아닙니다. 소리를 입력하면, '입력기(IME)'라고 불리는 특별한 도우미 프로그램이 당신이 원하는 글자를 추측합니다. 이것은 마치 노래를 흥얼거려 주문을 하면, 요리사(IME)가 당신에게 어떤 피자를 가져다줄지 결정하는 것과 같습니다. 전통적인 키로거는 요리사의 선택을 볼 수 없습니다. 그들은 오직 흥얼거림만을 들을 뿐입니다. 이는 우리가 이러한 언어로 글을 쓸 때 사람들이 어떻게 생각하는지에 대한 이해에 커다란 공백을 남깁니다.

여기에 이 미스터리를 해결하기 위해 연구자 로베르토 크로티(Roberto Crotti), 지오바니 데나로(Giovanni Denaro), 뒤 치창 두(Zhiqiang Du), 리카르도 무뇨스 마르틴(Ricardo Muñoz Martín)이 구축한 새로운 도구인 Hylog가 등장했습니다. Hylog를 두 개의 안경을 동시에 쓰고 있는 슈퍼 탐정이라고 생각해 보십시오. 한 쌍의 안경은 '흥얼거림'(당신이 치는 라틴 알파벳)을 보고, 다른 한 쌍은 '피자'(화면에 나타나는 실제 중국어 글자)를 봅니다. 이 두 가지 관점을 결합함으로써, Hylog는 타이핑 과정의 완벽하고 동기화된 지도를 만듭니다. 연구진은 두 명의 자원봉사자가 영어에서 중국어로 온열 패드 설명서를 번역하는 과정을 통해 이 시스템을 테스트했습니다. 그들은 Hylog가 기존 도구들이 완전히 놓쳤던 아주 작은 멈춤과 정신적 단계를 포착할 수 있다는 것을 발견했습니다. 예를 들어, 특정 글자 선택을 확인하기 위해 정확히 얼마나 오래 기다렸는지를 측정함으로써, 정신적 노력이 단순히 키를 누르는 것에 관한 것이 아니라 복잡한 추측 게임 속에서 결정을 내리는 과정임을 밝혀냈습니다. 이는 비알파벳 언어로 글을 쓰는 방식을 진정으로 이해하려면, 입력과 최종 결과 둘 다를 관찰하는 도구가 필요하다는 것을 시사합니다.

문제점: "보이지 않는" 타이피스트

마술사가 모자에서 토끼를 꺼내는 장면을 보고 있다고 상상해 보십시오. 표준 키로거는 마술사의 손이 움직이는 것만 기록하는 카메라와 같습니다. 손이 들어가고, 손이 나오는 것을 보고, 그 시간이 얼마나 걸렸는지 기록합니다. 하지만 모자 안에서 토끼가 나타나는 것은 보지 못하며, 마술사가 토끼가 가득한 모자 속에서 올바른 토끼를 고르기 위해 잠시 멈춰야 했다는 사실도 알지 못합니다.

사람들이 글을 쓰는 방식을 연구해 온 데이타는 오랫동안 '키간격(Interkeystroke Intervals, IKIs)'을 추적하기 위해 키로거를 사용해 왔습니다. 이는 한 키를 누른 후 다음 키를 누를 때까지의 아주 짧은 간격을 말합니다. 짧은 간격은 작가가 거침없이 써 내려가고 있음을 의미할 수 있고, 긴 간격은 작가가 막혔거나, 생각 중이거나, 단어를 찾고 있음을 의미할 수 있습니다. "c-a-t"를 치는 것이 손가락에서 화면으로 가는 직통 경로인 영어에서는 이 방식이 매우 잘 작동합니다.

하지만 중국어는 다릅니다. "고양이(mao)"라는 글자를 치기 위해 당신은 "cat" 키를 누르는 것이 아닙니다. 당신은 라틴 알파벳으로 "m-a-o"라는 소리를 입력합니다. 그러면 입력기(IME)라는 프로그램이 "mao"와 비슷한 소리가 나는 가능한 글자 목록을 띄웁니다. 당신은 그 목록을 보고, 올바른 글자를 찾아낸 뒤, 숫자 키를 눌러 선택해야 합니다.

여기서 문제가 발생합니다. 전통적인 키로거는 오직 "m-a-o"와 숫자 키 누름만을 봅니다. 키로거는 당신이 목록을 응시하고, 어떤 글자가 맞는지 결정하고, 그것을 확정하는 순간을 놓칩니다. 이는 키로거가 마술사의 손은 보지만 토끼가 나타나는 것은 놓치는 것과 같습니다. 즉, 연구자들은 선택과 확정이라는 인지적 과정의 거대한 부분을 놓치고 있었던 것입니다.

해결책: 하이브리드 탐정

저자들은 이 사각지대를 해결하기 위해 Hylog(하이브리드 로깅)를 만들었습니다. Hylog는 단순히 키보드의 소리를 듣는 대신, 동시에 두 가지 일을 수행합니다:

1. 키보드의 소리를 듣습니다: 표준 키로거처럼, 당신이 치는 모든 라틴 알파벳과 선택을 확정하기 위해 누르는 모든 숫자 키를 기록합니다.
2. 화면을 관찰합니다: 텍스트 로거처럼, 실제로 화면에 나타나는 내용을 스냅샷 형태로 찍습니다.

마법은 그 중간에서 일어납니다. Hylog에는 번역가 역할을 하는 특별한 '하이브리다이저(hybridizer)' 모듈이 있습니다. 이 모듈은 당신이 입력한 소리 목록과 나타난 글자 목록을 가져와서 완벽하게 정렬합니다. 이 모듈은 "아, 사용자가 'm-a-o'를 입력했고, 500밀리초를 기다린 뒤, 'mao'라는 글자가 나타났구나"라고 파악합니다.

이를 효율적으로 수행하기 위해, 특히 방대한 문서를 다룰 때, Hylog는 **동적 스냅샷 창(Dynamic Snapshot Window, DSW)**이라는 영리한 기법을 사용합니다. 300페이지짜리 책을 편집하고 있다고 상상해 보십시오. 서투른 로거는 글자 하나가 바뀔 때마다 책 전체를 복사하려고 시도하여 컴퓨터를 느리게 만들 것입니다. 그러나 Hylog는 똑똑한 스포트라이트와 같습니다. 그것은 현재 편집 중인 텍스트의 아주 작은 부분에만 빛을 비춥니다. 만약 당신이 책의 시작 부분으로 커서를 옮기면, 스포트라이트는 즉시 그곳으로 이동합니다. 몇 단어를 입력하면, 오직 그 몇 단어만을 기록합니다. 이 방식은 프로세스를 빠르고 방해받지 않게 유지하여, 작가가 소프트웨어가 거기 있다는 사실조차 눈치채지 못하게 합니다.

실험: 온열 패드 번역

Hylog가 실제로 작동하는지 테스트하기 위해, 연구진은 두 명의 자원봉사자에게 영어 온열 패드 설명서를 간체 중국어로 번역하도록 요청했습니다.

• **존(John)**은 모국어가 중국어인 원어민(L1)이었습니다.
• **제인(Jane)**은 이탈리아어가 모국어인 중국어 학습자(L2)였습니다.

그들은 두 가지 도구를 동시에 사용했습니다: 기존의 표준 도구(Inputlog 9.5)와 새로운 Hylog입니다.

연구 결과:
기존 도구인 Inputlog는 타이핑을 평면적인 라틴 알파벳의 흐름으로 보았습니다. 그것은 글자를 치는 것과 글자를 확정하는 것의 차이를 구분하지 못했습니다. 그것은 마치 모음만 듣고 대화를 이해하려는 것과 같았습니다.

반면, Hylog는 전체 그림을 보았습니다. Hylog는 타이핑 과정을 뚜렷한 층위로 나누었습니다:

• 소리 층위(The Sound Layer): 라틴 알파벳(예: "m-a-o")을 치는 데 걸린 시간.
• 글자 층위(The Character Layer): 확정 후 글자가 나타날 때까지 걸린 시간.
• 결정 층위(The Decision Layer): IME 목록에서 올바른 글자를 선택하기 위해 기다린 시간.

결과에 따르면, Hylog는 존의 경우 글자 확정의 **98.4%**를, 제인의 경우 **100%**를 식별해 냈습니다. Hylog는 "노이즈"(실수로 누른 키 등)를 성공적으로 걸러냈으며, 키 누름과 화면 변화를 밀리초 단위의 정밀도로 정렬했습니다.

데이터가 밝혀낸 것

이러ic한 동기화된 층위들을 살펴봄으로써, 연구진은 이전에는 보이지 않았던 것들을 볼 수 있었습니다:

• 운동 능력 vs. 두뇌 활동: 그들은 '키 누름 지속 시간(dwell time, 키를 누르고 있는 시간)'을 측정했습니다. 존과 제인 모두 키를 누르는 시간은 약 80~110밀리초 정도로 비슷했습니다. 이는 키를 누르는 물리적 행위는 언어 숙련도와 상관없이 크게 변하지 않는 근육 기억 기술임을 시사합니다.
• "생각하는" 멈춤: 진짜 차이는 키 사이의 간격에서 나타났습니다. 학습자인 제인은 존에 비해 IME 목록에서 글자를 선택할 때 훨씬 더 긴 멈춤을 보였습니다. 이는 그녀의 뇌가 어떤 글자가 올바른지 판단하기 위해 더 많이 작동하고 있음을 시사합니다.
• 타이핑의 "흐름": 존의 타이핑은 이전 키를 떼기 전에 다음 키를 누르는 '롤오버(rollover)' 현상이 많이 나타났습니다. 이는 유창하고 자동화된 리듬의 징후입니다. 제인의 타이핑은 한 키를 누르고, 떼고, 그다음 키를 누르는 '직렬적(serial)' 방식이었습니다. 이는 그녀가 각 단계에 대해 더 많이 생각하고 있음을 나타냅니다.

결정적으로, 연구는 가장 큰 정신적 병목 구간이 소리를 치는 것이 아니라 글자를 확정하는 것임을 발견했습니다. 글자를 선택하기 위해 기다리는 시간이 과정 중 가장 긴 멈춤이었습니다. 이는 비알파벳 문자로 글을 쓸 때, 가장 어려운 부분이 물리적인 타이핑이 아니라 인지적인 의사결정임을 말해줍니다.

이것이 중요한 이유

이 논문은 글쓰기의 모든 미스터리를 풀었다고 주장하는 것이 아니라, 훨씬 더 좋은 손전등을 만들었다고 말합니다. Hylog 이전에는 중국어 쓰기를 연구하는 사람들이 그 긴 멈춤 동안 무엇이 일어나고 있는지 추측하거나, 아예 무시해야 했습니다. 이제 그들은 작가가 글자를 선택하는 데 어려움을 겪고 있는 것인지, 아니면 다음에 무엇을 쓸지 생각하고 있는 것인지를 정확히 구분할 수 있습니다.

연구진은 이것이 '개념 증명(proof-of-concept)' 연구라는 점을 주의 깊게 언급했습니다. 그들은 단 두 명의 사람과 특정 유형의 중국어 입력 방식(Microsoft Pinyin)만을 테스트했습니다. 그들은 향 향후 연구에서 더 많은 사람과 다양한 입력 방식(Sogou 또는 Baidu 등)을 테스트해야 한다고 제안합니다. 그러나 핵심 아이디어, 즉 비알파벳 문자의 쓰기를 이해하려면 키보드와 화면을 모두 관찰해야 한다는 점은 이제 견고한 데이터에 의해 뒷받침되었습니다.

Hylog를 오픈 소스로 공개함으로써, 저자들은 다른 과학자들이 일본어, 한국어 및 기타 복잡한 문자로 글을 쓰는 방식을 탐구하는 데 이 도구를 사용할 수 있도록 초대하고 있습니다. 이는 디지털 세상에서 인간이 어떻게 생각하고, 쓰고, 소통하는지에 대한 더 포괄적인 이해를 향한 한 걸음이며, 비알파벳 작성자들의 "발자국"이 마침내 과학계에 보일 수 있도록 보장하는 길입니다.