Language-Conditional Dequantization: Recovering What Quantization Steals from Non-English Languages

디지털 방언의 딜레마

당신에게 수천 개의 언어를 말할 수 있는 초지능 로봇 뇌가 있다고 상상해 보세요. 이 뇌를 일반 노트북이나 휴대폰에서 충분히 빠르게 실행하기 위해, 엔지니어들은 이를 "양자화(quantization)"라고 불리는 과정을 통해 크기를 줄여야 합니다. 이것은 고화급 영화를 아주 작은 파일 크기로 압축하여 즉시 로딩되도록 만드는 것과 같습니다. 보통 이 방식은 매우 잘 작동하지만, 한 가지 함정이 있습니다. 바로 압축 레시피가 오직 영어 지침만으로 작성되었다는 점입니다. 로봇이 다른 언어, 특히 다른 알파벳이나 구조를 가진 언어를 말하려고 할 때, 압축 과정 때문에 로봇은 비틀거리거나, 단어를 잊어버리거나, 혼란스러워하게 됩니다. 이것은 마치 음악가에게 찌그러진 악보를 주는 것과 같습니다. 영어 노래의 음표는 여전히 명확하지만, 프랑스어나 일본어 노래의 음표는 엉망이 되어버린 것입니다. 이는 수십억 명의 사람들이 매일 이러한 AI 도구에 의존하고 있기 때문에 매우 중요합니다. 도구가 어떤 이들에게는 완벽하게 작동하면서 다른 이들에게는 거의 작동하지 않는다면 그것은 불공평한 일입니다.

논문의 이야기: 찌그러진 뇌를 고치는 방법

이 논문의 저자인 Prathama International의 Nirmal Thomas는 이 "영어 전용 압축"이 비영어 사용자들에게 얼마나 심각하게 해를 끼치는지 조사하기로 했습니다. 그들은 매우 작은 크기(INT3)로 압축된 두 가지 인기 있는 소형 AI 모델(Qwen2.5-3B 및 Llama-3.2-3B)을 테스트했습니다. 결과는 충격적이었습니다. 영어 사용자의 경우 로봇의 성능이 약 1.35배 저하된 반면, 아랍어와 같은 언어 사용자의 성능은 4배 이상 저하되었고, 일본어 사용자는 3배 이상 저하되었습니다. 로봇은 단순히 조금 혼란스러워하는 수준이 아니라, 그 언어들에서는 거의 벙어리가 된 상태였습니다.

이를 해결하기 위해 연구팀은 **언어 조건부 역양자화(Language-Conditional Dequantization, LCD)**라는 방법을 발명했습니다. 로봇 전체를 다시 압축하는 대신(이는 엄청난 시간과 막대한 컴퓨팅 파워를 필요로 합니다), 모델에 아주 작은 언어별 "패치"를 부착하는 방식입니다. 로봇이 갑옷을 입고 있다고 상상해 보세요. 갑옷은 이미 만들어져 있고 압축된 상태입니다. 팀은 갑옷을 다시 녹여서 새로 만드는 대신, 각 언어에 맞는 작은 패치를 꿰매 붙였습니다. 이 패치들은 믿기지 않을 정도로 작습니다. 각 언어당 데이터의 0.12%만을 추가하며, 단 하나의 그래픽 카드에서 20분도 채 되지 않는 시간 내에 학습할 수 있습니다.

로봇이 말을 할 때, 로봇은 언어를 확인하고 즉시 올바른 패치로 교체합니다. 결과는 인상적이었습니다. 라틴 문자를 사용하지 않는 언어들(아랍어, 일본어, 중국어, 한국어 등)에 대해, 이 방법은 손실된 성능의 **70%에서 83%**를 회복했습니다. 이 방법은 "하나의 크기로 모두 통하는(one-size-fits-all)" 패치보다 훨씬 뛰어난 성과를 보였으며, 오류가 정말로 각 언어마다 특수하다는 것을 증명했습니다.

하지만 논문은 까다로운 미스터리 또한 밝혀냈습니다. 패치가 로봇의 "혼란"(다음 단어를 예측하는 능력인 *퍼플렉시티(perplexity)*로 측정됨)은 해결했지만, 로봇이 실제로 질문을 이해하고 답변하는 능력(GlobalMMLU 정확도로 측정됨)을 항상 해결해 주는 것은 아니었습니다. 연구진은 이것이 로봇의 뇌 중 어디에서 손상이 발생했는지에 달려 있다는 것을 발견했습니다.

• 한 모델(Qwen)의 경우, 손상이 뇌의 맨 끝부분에서 발생했습니다. 패치는 이를 쉽게 고칠 수 있었고, 로봇은 질문에 답하는 능력이 더 똑똑해졌습니다.
• 다른 모델(Llama)의 경우, 손상이 뇌의 초기 단계에서 발생했습니다. 패치는 즉각적인 출력을 고칠 수는 있었지만, "나쁜 신호"가 이미 뇌의 나머지 부분을 통과하여 최종 답변을 망쳐놓은 상태였습니다.

저자는 이를 정밀하게 측정하여, 패치가 Llama 모델의 혼란을 69% 회복시킨 반면, 실제 질문 답변 능력은 **17%**밖에 회복시키지 못했음을 보여주었습니다. 이는 단순히 "노이즈"를 고치는 것만으로는, 만약 사고 과정의 핵심 구조가 초기에 부패했다면 충분하지 않을 수 있음을 시사합니다.

이 논문이 배제하거나 확인한 것들

연구진은 자신들의 아이디어를 다른 가능성들과 대조하여 매우 신중하게 테스트했습니다. 그들은 단일한 범용 패치가 모든 언어를 똑같이 고칠 수 있다는 생각을 명시적으로 배제했습니다. 그들은 범용 패치가 평균적으로는 괜찮게 작동했지만, 가장 거리가 먼 언어들(아랍어나 일본어 등)에서는 처참하게 실패했으며, 특정 언어별 패치가 빛을 발했다는 것을 발견했습니다. 또한 거대하고 복잡한 패치가 필요한지도 테스트했는데, 아주 작은 패치(rank-2)만으로도 충분하며, 패치를 더 크게 만든다고 해서 도움이 되지 않고 오히려 적은 양의 학습 데이터에 과적합(overfitting)되어 상황을 악화시킬 수 있다는 것을 찾아냈습니다.

그들은 또한 이것이 특정 모델 하나에서 나타나는 우연한 현상이 아님을 확인했습니다. 이 패턴은 서로 다른 두 가지 AI 제품군에서 공통적으로 나타났습니다. 그러나 연구진은 이 방법이 작은 모델(40억 파라미터 미만)에서 가장 잘 작동한다는 점을 언급했습니다. 70억 파라미터 규모의 더 큰 모델에 적용했을 때, 혜택이 크게 줄어들었는데, 이는 더 큰 모델이 더 많은 "중복성(redundancy)"을 가지고 있어 작은 패치들이 실제 문제를 고치는 대신 노이즈를 단순히 암기해 버리기 때문입니다.

결론

이 논문은 우리가 압축된 AI 모델을 처음부터 다시 만들지 않고도 그 불공정함을 해결할 수 있음을 보여줍니다. 작은 언어별 "패치"를 추가함으로써, 비영어 사용자들을 위해 손실된 대부분의 능력을 복구할 수 있습니다. 하지만 저자는 "노이즈"를 고치는 것이 항상 "사고(thinking)"를 고치는 것은 아니며, 특히 손상이 모델의 초기 층 깊은 곳에서 발생했을 때는 더욱 그렇다고 경고합니다. 이 해결책은 실질적이고 빠르며 저렴한 방법으로, 더 공정한 AI를 만드는 데 사용될 준비가 되어 있지만, 어떤 깊은 구조적 문제는 여전히 다른 종류의 수리가 필요할 수도 있다는 주의 사항이 따릅니다. 해결책은 실재하고 측정 가능하며 즉시 사용될 수 있지만, 일부 깊은 구조적 문제는 여전히 다른 방식의 수리가 필요할 수 있다는 점을 유념해야 합니다.