Non Monotonic Cross Lingual Representational Distances for Culturally Specific Japanese Concepts in Two Transformer Models
이 탐색적 연구는 문화적으로 특수한 일본어 개념들이 두 트랜스포머 모델에서 영어 베이스라인으로부터의 표현적 거리가 증가하는 비단조적이고 층위 의존적인 패턴을 보인다는 점을 밝혀냈으나, 프롬프트 설계의 혼란 변수들로 인해 문화적 비대칭성을 독립적인 원인으로 분리해내지는 못하였다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
현대 인공지능의 디지털 정신 내부에는 단어가 정의로서가 아니라 공간상의 점으로서 저장되는 거대하고 보이지 않는 풍경이 존재한다. 연구자들은 이 점들을 '표상(representations)'이라 부른다. 컴퓨터가 문장을 읽을 때, 그것은 그 문장의 의미를 자신이 알고 있는 다른 모든 것과 비교하여 설명하는 긴 숫자 목록으로 번역한다. 만약 두 아이디어가 매우 유사하다면, 이 공간에서의 두 점은 서로 가까이 위치하며, 서로 다르다면 멀리 떨어져 있게 된다. 수년 동안 과학자들은 이 기계들이 언어 사이에서 정보를 이동시켜, 영어로 된 생각을 일본어나 스페인어로 번역하면서도 그 핵심적인 형태를 잃지 않는다는 사실을 알고 있었다. 하지만 하나의 의문이 여전히 남아 있다. 기계는 문화적으로 독특한 아이디어를 일반적인 아이디어와 동일하게 취급하는가? 고유한 사회적 규칙과 가치를 지닌 문화 특유의 풍미가 기계가 단어를 '보는' 방식에 뚜렷한 흔적을 남기는가, 아니면 기계가 단순히 그러한 차이점들을 매끄럽게 지워버리는가?
이 질문은 최근 두 개의 인기 있는 인공지능 모델을 조사하여, 일본 문화에 깊이 뿌리박힌 20개의 특정 일본어 개념을 이 모델들이 어떻게 다루는지 살펴본 한 연구를 이끌었다. 이것들은 단순한 단어가 아니다. 사회적 의무에 대한 깊은 책임감을 설명하는 '기리(giri)'나, 집단의 조화를 의미하는 '와(wa)'와 같은 용어들이다. 연구자들은 기계의 내부 아이디어 지도가 해당 개념이 본래의 일본어로 제시되었을 때와 영어 또는 스페인어로 설명되었을 때 어떻게 달라지는지 알고 싶어 했다. 그들은 기계가 단어를 정확하게 번역할 수 있는지를 묻는 것이 아니라, 정보가 컴퓨터의 뇌라고 할 수 있는 여러 층(layers)을 통과할 때 아이디어 사이의 거리가 어떻게 변하는지를 묻고 있었다.
답을 찾기 위해 연구진은 두 가지 서로 다른 크기의 인공지능 모델을 사용하여 정교한 실험을 설계했다. 하나는 다른 하나보다 약간 더 큰 모델이었다. 그들은 이 20개의 문화적 특수성을 가진 일본어 개념들을 가져와 네 가지 서로 다른 버전의 프롬프트를 만들었다. 첫 번째는 원래의 일본어 문장이었다. 두 번째는 그 일본어 문장을 직역한 영어 번역이었다. 세 세 번째는 표준 영어 베이스라인의 스페인어 번역이었다. 네 번째는 일본어 텍스트를 뒤섞은 버전으로, 의미를 깨뜨리기 위해 컴퓨터의 내부 코드 순서를 섞었으나 글자와 소리는 그대로 유지했다. 이 네 가지 버전을 모델에 입력함으로써, 연구진은 결과물로 나온 내부 점들이 표준 영어 베이스라인으로부터 얼마나 떨어져 있는지 측정할 수 있었다. 그들은 텍스트가 읽히는 아주 첫 순간부터 답변이 생성되기 전 마지막 순간까지, 모델의 처리 과정 중 모든 단계, 즉 모든 '층(layer)'에서 이 거리를 측정했다.
결과는 언어나 특정 개념에 관계없이 전반적으로 놀라울 정도로 일관된 패턴을 보여주었다. 정보가 모델의 층을 통고 지나감에 따라, 아이디어 사이의 거리는 단순히 작아지거나 커지는 직선 형태를 따르지 않았다. 대신, 그것은 곡선을 그렸다. 거리는 높게 시작하여 과정의 매우 초기에 낮은 지점으로 떨어졌다가, 정보가 끝을 향해 이동함에 따라 다시 상승하기 시작했다. 이러한 '하락 후 상승(dip and rise)' 현상은 일본어 프롬프트, 스페인어 프롬프트, 직역된 영어 번역, 그리고 심지어 뒤섞인 일본어 텍스트에서도 나타났다. 실제 의미가 없는 뒤섞인 텍스트조차 동일한 패턴을 보였다는 사실은, 이 행동이 문화적 깊이라는 특별한 서명이 아니라, 이러한 모델이 어떤 토큰 시퀀스를 처리하는지에 대한 근본적인 속성임을 시사한다.
하지만 연구진이 모델의 층 중 특정 중간 구간에 집중했을 때, 명확한 차이가 드러났다. 이 범위에서 문화적 특수 개념을 포함한 일본어 프롬프트는 다른 버전들보다 영어 베이스라인으로부터 지속적으로 더 멀리 떨어져 있었다. 일본어를 직역된 영어와 비교하든, 혹은 일본어를 스페인어와 비교하든, 일본어 아이디어들은 기계의 내부 공간에서 더 먼 위치를 차지했다. 이 차이는 측정 가능했고 유의미했다. 일본어 개념들은 그 대응물들보다 눈에 띄게 더 멀리 떨어져 있었다. 이는 테스트된 두 모델 모두에서 모든 20개 개념에 대해 동일하게 나타났다. 데이터는 기계가 이러한 문화적 풍미가 담긴 아이디어들을 동일하게 취급하지 않는다는 것을 보여주었다. 즉, 기계는 이들을 독특한 거리로 유지했으며, 이는 일본어 입력의 문화적 프레이밍이나 특정한 언어적 구조가 지속적인 흔적을 남겼음을 시사한다.
이 명확한 거리 차이에도 불구하고, 이 연구는 기계가 문화를 이해하지 못한다거나 의미를 번역할 수 없다고 단정 짓지는 않는다. 연구진은 일본어 프롬프트가 영어와 다른 이유가 단지 문화 때문만이 아니라 언어, 문장 구조, 그리고 텍스트에 기술된 구체적인 동기 때문일 수도 있다는 점을 주의 깊게 언급했다. 너무 많은 요소가 동시에 변했기 때문에, 추가된 거리가 오로지 단어의 문화적 독특함 때문에 발생했다고 확신하는 것은 불가능하다. 그것은 똑같이 언어 자체나 문장이 구성되는 방식의 결과일 수도 있다. 또한, 뒤섞인 텍스트 역시 초기 하락과 후기 상승을 보였다는 사실은, 비단조적(non-monotonic) 패턴이 문화적 의미의 고유한 지문은 아니라는 점을 의미한다.
연구는 이러한 모델들이 문화적으로 특수한 일본어 개념을 표상하는 방식에서 층에 따른 차이를 보여주지만, 그러한 차이의 원인은 언어, 구조, 문화가 혼재되어 있어 이 실험만으로는 완전히 분리할 수 없다고 결론짓는다. 기계는 모든 문화적 뉘앙스를 하나의 점으로 평탄화하지 않으며, 이러한 특정 아이디어들에 대해 측정 가능한 거리를 유지한다. 그러나 이 거리가 기계가 의미를 잃었거나 문화와 씨름하고 있다는 증거는 아니다. 그것은 단지 이 모델들의 내부 기하학이 복잡하며, 개념이 제시되는 구체적인 방식에 민감하다는 것을 보여줄 뿐이다. 이 연구 결과는 기계의 마음속에 이 아이디어들이 어디에 위치하는지에 대한 정밀한 지도를 제공하지만, 왜 그곳에 위치하는지, 그리고 그 거리가 인간의 이해에 진정 무엇을 의미하는지에 대한 더 깊은 질문은 향후 연구를 위한 열린 과제로 남겨두었다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.