A Pilot Study of Autocompleting Tokenizers

매일 수백만 명의 사람들이 스마트폰이나 컴퓨터를 사용하여 메시지를 입력할 때, 문장을 완성하기도 전에 다음 단어를 추측하는 시스템을 사용합니다. 이러한 자동 완성 기능은 인간의 언어가 패턴으로 가득 차 있기 때문에 작동합니다. 일단 문장의 시작 부분을 보면, 나머지는 예측 가능한 경로를 따르는 경우가 많기 때문입니다. 이러한 예측의 원리는 현대 인공지서의 핵심, 즉 번역과 텍xt 생성을 구동하는 거대 컴퓨터 모델의 중심에 자리 잡고 있습니다. 트랜스포머(Transformers)라고 알려진 이 모델들은 매우 강력하지만, 기능을 수행하기 위해 방대한 양의 데이터를 필요로 합니다. 텍스트를 처리하기 위해, 이들은 문장을 토큰(token)이라고 불리는 아주 작은 단위로 나눕니다. 수년 동안 표준적인 방법은 글자들을 하나의 온전한 단어나 단어의 일부를 나타내는 덩어리로 묶는 것이었으며, 이 기술은 데이터를 관리 가능한 수준으로 유지해 줍니다. 그러나 더 단순한 대안이 존재합니다. 바로 텍스트를 디지털 정보의 가장 작은 단위인 개별 바이트(byte)로 나누는 것입니다. 이 바이트 수준의 접근 방식은 보편적이며 서로 다른 언어를 위한 특별한 사전이 필요하지 않지만, 시퀀스를 너무 길게 만들어 컴퓨터의 속도를 늦추고 모델의 효율성을 떨어뜨립니다.

윌리엄스 칼리지(Williams College)의 연구진은 다음과 같은 간단한 질문을 던짐으로써 이 문제를 해결하고자 했습니다. 만약 컴퓨터가 시퀀스의 다음 글자를 높은 확신을 가지고 예측할 수 있다면, 문장을 이해하기 위해 실제로 그 글자를 직접 볼 필요가 있을까? 그들은 텍스트에서 너무 뻔해서 유용하지 않은 부분을 제거하는 스마트 필터 역할을 하는 새로운 방법을 제안했습니다. 그들은 작은 경량 프로그램을 자동 완성 보조 도구로 훈련시켜, 문장에서 어떤 바이트가 너무 예측 가능하여 안전하게 삭제될 수 있는지를 식별했습니다. 그 결과, 의미를 모두 담고 있으면서도 현저히 짧아진 압축된 버전의 텍스트가 만들어졌습니다. 그들의 실험에 따르면 영어와 프랑스어 같은 언어의 경우, 번역 품질을 전혀 손실하지 않으면서도 문자의 거의 3분의 1을 제거할 수 있었습니다. 이 발견은 우리가 이러한 강력한 AI 시스템에 입력하는 데이터의 상당 부분이 중복되어 있음을 시사하며, 예측 가능한 부분을 제거함으로써 모델의 이해 능력을 희생하지 않고도 더 빠르고 효율적으로 만들 수 있음을 보여줍니다.

이 연구의 핵심은 텍는 기계에 입력되는 방식을 변화시키는 3단계 과정입니다. 첫째, 작고 빠른 모델이 원래의 텍스트를 바이트 단위로 읽으며, 이미 본 것을 바탕으로 다음에 올 것을 예측합니다. 만약 모델이 다음 글자에 대해 매우 확신한다면, 그 글자를 '예측 가능하다'고 표시합니다. 두 번째 단계에서 시스템은 이 표시된 글자들을 시퀀스에서 제거합니다. 메인 모델이 누락된 부분 때문에 혼란을 겪지 않도록, 시스템은 이전 바이트를 수정하여 글자가 제거되었음을 나타내며, 이를 통해 모델이 문맥으로부터 그 빈칸을 추론할 수 있게 합니다. 마지막으로, 이 짧아진 압축 시퀀스가 거대하고 표준적인 번역 모델로 전달되어 대상 언어로 출력을 생성합니다. 연구진은 이러한 누락된 조각들을 처리하는 여러 방법을 테스트했으며, 가장 효과적인 방법은 이전 바이트를 변경하여 글자의 부재를 단순히 알림으로써 메인 모델이 문맥으로부터 나머지를 추론할 수 있게 하는 특정 유형의 마커를 사용하는 것임을 발견했습니다.

연구팀이 이 기술을 영어에서 프랑스어로 번역하는 데 적용했을 때, 결과는 놀라웠습니다. 그들은 번 compression 되지 않은 버전과 동일한 번역 품질을 유지하면서 소스 텍스트를 원래 길이의 약 68%로 압축할 수 있음을 발견했습니다. 어떤 경우에는 압축된 버전이 약간 더 나은 성능을 보이기도 했습니다. 연구진은 또한 복잡한 문법을 가진 핀란드어, 다른 알파벳을 사용하는 러시아어, 그리고 글자가 소리가 아닌 단어 전체를 나타내는 중국어를 포함하여 매우 다른 문자 체계와 구조를 가진 언어들에 대해 이 방법을 테스트했습니다. 이 모든 경우에 접근 방식은 잘 작동하여, 핀란드어 0.646, 러시아어 0.468, 중국어 0.668의 비율로 텍스트 길이를 줄이면서도 번역 품질을 유지하거나 심지어 향상시켰습니다. 이렇게 다양한 언어에 걸친 일관성은, 예측하고 중복된 정보를 제거하는 능력이 단지 영어만의 특징이 아니라 인간 언어의 근본적인 속성임을 시사합니다.

이 연구는 모든 모음을 제거하거나 모든 단어의 첫 몇 글자만 남기는 것과 같이, 텍스트를 짧게 만드는 더 단순하고 덜 정교한 방식들과 이 스마트 압축 방법을 비교했습니다. 이러한 투박한 방법들은 번역 품질을 유지하는 데 실패했으며, 이는 핵심이 단순히 글자를 제거하는 것이 아니라 '올바른' 글자를 제거하는 것임을 입증했습니다. 연구진은 모델을 사용하여 텍스트의 어떤 부분이 진정으로 예측 가능한지를 식별함으로써, 신호(signal)를 온전히 유지하면서 노이즈(noise)를 제거할 수 있음을 보여주었습니다. 이 접근 방식은 거대 언어 모델을 실행하는 데 드는 계산 비용을 줄이는 실질적인 방법을 제공하며, 잠재적으로 더 낮은 성능의 하드웨어에서도 모델이 더 빠르게 실행되도록 할 수 있습니다. 이 연구는 우리가 현재 컴퓨터가 처리하도록 강제하는 많은 바이트가 불필요하다는 점을 시사하며, 모델 스스로 빈틈을 채우도록 함으로써 더 적은 노력으로 동일한 결과를 얻을 수 있음을 보여줍니다. 비록 이 연구가 예비 조사 단계이긴 하지만, 그 결과는 모든 글자를 명시적으로 처리해야 하는 무거운 부담 없이 다양한 언어를 다룰 수 있는 더 효율적인 AI 시스템을 향한 명확한 경로를 제시합니다.