당신이 북적이는 국제 시장을 걷고 있다고 상상해 보세요. 당신은 밝은 빨간색 사과를 발견합니다. 당신의 마음속에서 "빨간색(red)"이라는 단어와 그 사과의 이미지는 하나의 견고한 하나의 아이디어로 융합됩니다. 판매자가 그것을 rouge, hong, 또는 ahmar라고 부르더라도 상관없습니다. 당신의 뇌는 즉시 이 단어들이 모두 그 빛나는 과일을 가리키고 있다는 것을 압니다. 우리가 보는 것과 듣는 것을 언어에 관계없이 연결하는 이 능력은 인류가 태어날 때부터 가져온 초능력입니다.

이제 로봇에게도 똑같은 일을 가르친다고 상상해 보세요. 우리는 강력한 "시각-언어 모델(Vision-Language Models, VLMs)"을 구축했습니다. 이는 사진을 보고 그 사진에 대한 질문에 답할 수 있는 AI 시스템입니다. 우리는 만약 이 로봇이 영어로 원뿔 그림과 "노란색(yellow)"이라는 단어를 연결하는 법을 배운다면, 자동으로 "jaune"(프랑스어)나 "huang"(중국어)이 같은 의미라는 것을 알게 될 것이라고 가정합니다. 매우 당연해 보이죠? 하지만 인공지능의 세계에서 "당연함"은 종종 문제가 발생하는 지점입니다. 이 논문은 아주 단순하지만 무서운 질문을 던집니다. 만약 우리가 AI에게 시각적 대상과 설명을 한 가지 언어로 연결하도록 가르친다면, 그 연결은 다른 언어로 바꿨을 때도 살아남을까요? 아니면 로봇이 정답을 맞히더라도 그 연결 고리가 끊어져 혼란에 빠지게 될까요?

거대한 언어 스위치 바꾸기 (The Great Language Switch-eroo)

이 연구를 이끄는 리타브라타 차크라보르티(Ritabrata Chakraborty)와 동료들은 이 가정을 검증하기로 했습니다. 그들은 M2BIND라는 새로운 게임을 만들었습니다. 이것은 마치 마술과 같습니다. 그들은 AI에게 두 개의 3D 도형—원뿔과 정육면체—의 사진을 보여줍니다. 그런 다음 AI에게 한 가지 언어(맥락, Context)로 된 "비밀 규칙"을 주고, 완전히 다른 언어(질문, Query)로 질문을 던집니다.

이 마술의 작동 방식은 다음과 같습니다:

1. 장면: AI는 청록색 정육면체와 노란색 원뿔을 봅니다.
2. 규칙 (맥락): 프랑스어로 AI에게 다음과 같이 말합니다. "청록색 물체에는 항목 P가 들어 있다. 노란색 물체에는 항목 I가 들어 있다."
3. 질문 (쿼리): 영어로 AI에게 묻습니다. "원뿔에는 어떤 항목이 들어 있습니까?"

정답을 맞히기 위해 AI는 일종의 정신적 체조를 수행해야 합니다: 원뿔을 보고, 그것이 노란색임을 깨달은 뒤, "노란색 = I"라고 말하는 프랑스어 규칙을 기억하고, 그 다음 "I"라고 대답해야 합니다. 만약 AI가 이를 해낸다면, 이는 시각적 형태를 색상에, 그리고 색상을 항목에 성공적으로 "결합(bind)"했음을 증 proves 합니다. 즉, 서로 다른 두 언어를 가로질러서 말이죠.

거대한 발견: "침묵의 붕괴" (The "Silent Crash")

결과는 다소 충격적이었습니다. 논문에 따르면 이 AI 모델들은 **취약한 다국어 연상자(fragile multilingual associators)**입니다. 모델이 대부분의 경우 정답을 맞힐 수는 있지만, 언어가 너무 달라지면 그 정답에 도달하는 방식이 무너집니다.

연구진은 이를 **요인화 마진(Factorization Margin, FM)**이라는 지표로 측정했습니다. 이것을 AI가 개념들을 얼마나 강력하게 접착제로 붙여 놓았는지에 대한 "신뢰도 점수"라고 생각하면 됩니다.

• AI가 규칙과 질문에 대해 동일한 언어를 사용할 때(예: 영어에서 영어로), 접착제는 매우 강력했습니다. 점수는 건강한 5.45였습니다.
• 하지만 중국어 규칙과 아랍어 질문처럼 서로 다른 어족의 언어를 섞었을 때, 접착제는 먼지가 되어 사라졌습니다. 점수는 2.80으로 급락했습니다.

이것은 "결합 붕괴(binding collapse)"입니다. 이는 설령 AI가 정답을 맞힌다 하더라도, 인간이 하는 방식대로 점들을 연결하고 있는 것은 아니라는 뜻입니다. 이는 마치 수학 원리는 이해하지 못한 채 정답지만 외운 학생과 같습니다. 논문은 언어가 매우 다를 때(교차 어족이거나 라틴 문자와 아랍 문자처럼 스크립트가 다를 때), AI가 연상 관계를 유지하는 능력을 상 يعد 한다는 것을 시사합니다.

왜 이런 일이 발생하는가: "토큰"의 병목 현상

저자들은 왜 이런 일이 발생하는지 알아내기 위해 깊이 파고들었습니다. 그들은 두 가지 주요 원인을 찾아냈습니다.

1. 토크나이저(Tokenizer) 문제: AI가 텍스트를 읽을 때 사람이 책을 읽는 것처럼 읽지만, 단어 대신 "토큰(글자의 덩어리)"을 봅니다. 어떤 언어들은 "탐욕스러운" 포식자 같습니다. 논문에 따르면 동일한 문장을 쓰기 위해 아랍어는 영어보다 27.6% 더 많은 토큰이 필요합니다. 이는 AI의 메모리를 팽창시켜, 문장의 일부를 잘라내거나(절단) 단순히 과부하를 일으킵니다. 이는 마치 거대한 코끼리를 작은 자동차에 억지로 넣으려는 것과 같습니다. 핏이 너무 빡빡해서 무언가가 찌그러지게 됩니다.

2. "심야 시간"의 뇌: 연구진은 AI의 뇌 내부 층을 들여다보기 위해 "인과적 개입(causal intervention)"이라는 특별한 기술을 사용했습니다. 그들은 언어가 다를 때, AI가 사고 과정의 중간 단계에서 연결을 파악하는 것이 아니라, 마치 시험 직전에 벼락치기를 하는 학생처럼 맨 마지막 단계까지 작업을 미룬다는 것을 발견했습니다. 이 "후기 레이어(late-layer)" 계산은 더 약하고 신뢰도가 떨어집니다.

좋은 소식: 친척끼리는 잘 지낸다

희망적인 부분도 있습니다! 논문은 언어가 "친척" 관계일 때 AI가 훨씬 더 잘 수행한다는 것을 발견했습니다.

• 게르만 어족: 영어, 네덜란드어, 독일어는 가까운 친척입니다. AI가 이들 사이를 전환할 때 연결은 강하게 유지되었습니다 (점수 약 5.00–5.30).
• 로맨스 어족: 프랑스어, 이탈리아어, 스페인어 또한 잘 버텨냈습니다.
• 낯선 이들: 하지만 AI가 영어와 중국어를 섞거나, 프랑스어와 아랍어를 섞으려고 할 때 성능은 현저히 떨어졌습니다.

이는 AI의 내부 "사전"이 언어의 유사성에 따라 조직되어 있음을 시사합니다. 만약 언어들이 같은 가계도를 공유한다면, AI는 개념을 쉽게 번역할 수 있습니다. 하지만 그들이 서로 모르는 사이라면, AI는 그 간극을 메우는 데 어려움을 겪습니다.

이것이 미래에 갖는 의미

이 논문은 우리가 AI 모델이 한 가지 언어로 테스트를 통과했다고 해서, 그 모델이 진정으로 "다국어" 능력을 갖췄다고 가정해서는 안 된다고 결론짓습니다. 만약 당신이 여러 언어가 섞인 글로벌 환경에 AI를 배치한다면, 겉으로는 정답처럼 보이지만 실제로는 불안정하고 깨진 연결 위에 구축된 답변을 받게 될 수도 있습니다.

저자들은 "정확도(정답을 맞혔는가?)"에만 의존하는 것은 위험하다고 경고합니다. 모델은 내부 논리가 완전히 무너지고 있음에도 불구하고 90%의 확률로 정답을 맞힐 수 있기 때문입니다. 그들은 이 모델들이 전 세계적으로 진정으로 신뢰받기 위해서는, 단순히 스스로 해결하기를 바랄 것이 아니라 서로 다른 스크립트와 언어를 처리하는 방식을 수정해야 한다고 제안합니다. 현재로서는, 모든 인간의 언어를 가로질러 시각과 언어를 막힘없이 융합하는 AI의 꿈은, 기초에 몇 가지 균열이 있는 채로 남아있는 꿈일 뿐입니다.