거대한 문화적 결함: 왜 AI는 제우스는 알면서 우코(Ukko)는 잊어버리는가

당신이 인터넷에 존재하는 거의 모든 책이 담긴 거대하고 첨단 기술이 집약된 도서관에 들어갔다고 상상해 보세요. 이 도서관은 모든 페이지를 다 읽은 초지능 로봇 사서에 의해 운영되고 있습니다. 당신이 사서에게 "그리스 신화에서 신들의 왕은 누구인가요?"라고 묻습니다. 사서는 즉시 "제우스!"라고 외칩니다. 당신이 "로마 신화에서 신들의 왕은 누구인가요?"라고 묻자, "유피테르!"라고 답합니다. 당신이 "북유럽 신화에서 신들의 왕은 누구인가요?"라고 묻자, "토르!"라고 답합니다. 로봇은 완벽합니다. 하지만 그 후, 당신이 "핀란드 신화에서 최고의 하늘의 신은 누구인가요?"라고 묻습니다. 로봇는 머뭇거리고, 말을 더듬더니, 결국 틀린 답을 내놓거나 혹은 "모르겠습니다"라고 말합니다.

이것은 단순히 무작위적인 실수가 아닙니다. 하나의 패턴입니다. 로봇은 "인기 있는" 이야기(그리스, 로마, 북유럽)는 잘 아는 것 같지만, "덜 유명한" 이야기(핀란드, 슬라브, 이집트, 중국)에는 어려움을 겪는 듯 보입니다. 이는 로봇이 학습한 도서관이 주로 영어 책과 서구적 이야기들로 채워졌기 때문입니다. 하지만 여기서 큰 미스터리가 발생합니다. 로봇은 정말로 이 덜 알려진 신들을 잊어버린 것일까요, 아니면 알고는 있지만 올바른 이름을 말하기를 거부하는 것일까요?

이를 해결하기 위해 과학자들은 로봇의 "두뇌"(실제로는 거대 언어 모델이라 불리는 복잡한 컴퓨터 프로그램) 내부를 들여다보는 특별한 도구들을 사용합니다. 그들은 정보가 기억(인코더, encoder) 속에서 사라진 것인지, 아니면 기억은 멀쩡하지만 답을 말하는 부분(디코더, decoder)이 고장 난 것인지를 확인하고 싶어 합니다. 이것을 시험을 치르는 학생에 비유해 봅시다. 만약 학생이 오답을 적었다면, 그 학생이 그 사실을 몰랐던 것일까요, 아니면 알고 있었지만 긴장해서 잘못 적은 것일까요? 이 논문은 문화적 편향이 정확히 어디에서 발생하는지 알아내기 위해 로봇의 두뇌 속으로 들어가는 탐정 이야기입니다.

조사: 로봇의 두뇌 내부

연구자들인 이아로슬라프(Iaroslav)와 예카테리나 첼롬비트코(Ekaterina Chelombitko), 그리고 미카 해맬라이넨(Mika Hämäläinen)은 18개의 서로 다른 오픈 소스 AI 모델을 테스트하기로 했습니다. 그들은 단순히 무작위 질문을 던진 것이 아니라, 오래된 민속학 서적을 바탕으로 한 매우 영리하고 구조화된 게임을 사용했습니다. 그들은 유명한 신화 카탈로그에서 27개의 특정 역할(예: "최고의 하늘의 신", "태양의 신", 또는 "장난꾸러기")을 선정했고, 로봇에게 그리스, 로마, 북유럽, 핀란드, 우크라이나, 인도, 이집트, 중국, 일본, 메소포타미아 등 10가지 다른 문화권의 해당 역할을 수행하는 캐릭터의 이름을 대라고 요청했습니다.

로봇 내부에서 무슨 일이 일어나고 있는지 확인하기 위해, 그들은 네 가지 "X-레이" 도구를 사용했습니다:

1. 선형 프로빙(Linear Probing): 로봇의 내부 기억 속에 올바른 문화적 라벨이 포함되어 있는지 확인하는 테스트입니다.
2. 로짓 렌즈(Logit Lens): 로봇의 생각을 층(layer)별로 들여다보며 언제 답을 결정하는지 확인하는 방법입니다.
3. 활성화 패칭(Activation Patching): 로봇의 내부 생각을 한 문화에서 다른 문화로 교체하여 답이 바뀌는지 확인하는 "만약에" 실험입니다.
4. 출력 추출(Output Extraction): 단순히 로봇에게 질문을 던지고 실제로 무엇을 말하는지 보는 것입니다.

거대한 발견: 뇌는 괜찮지만, 입이 고장 났다

결과는 놀랍고도 명확했습니다. 연구진이 로봇의 기억(잔차 스트림, residual stream) 내부를 들여다보았을 때, 로봇은 실제로 그 문화를 완벽하게 알고 있었습니다.

로봇의 뇌가 거대한 서류함이라고 상상해 보세요. 당신이 핀란드 신에 대해 물으면, 로봇의 내부 파일에는 분명히 "핀란드 신화"라고 라벨이 붙은 폴더가 있고 그 안에 올바른 이름이 들어 있습니다. "선형 프로빙" 도구는 이 폴더를 높은 정확도(종종 60%에서 88% 사이)로 읽어낼 수 있었습니다. 로봇은 그리스 신과 핀란드 신의 차이를 알고 있었습니다.

하지만, 로봇에게 말을 하라고 했을 때 문제가 생겼습니다.

이것이 핵심적인 발견입니다: 실패는 "표현(representation)"이 아니라 "읽기 출력(readout)" 단계에서 발생합니다. 로봇은 답을 알고 있지만, 말을 하려고 할 때 고유하고 특수한 이름(예: 핀란드 하늘의 신인 "우코")을 가장 대중적이고 기본적인 이름(예: "제우스"나 "토르")으로 뭉뚱그려 버립니다.

연구진은 이를 **"디코딩 억제(Decoding Suppressed)"**라고 부릅니다. 18개의 모델을 대상으로 한 연구에서 이것이 가장 큰 문제였습니다. 모든 모델에서 대부분의 경우(51%에서 76% 사이), 로봇의 내부 기억은 정확했지만 최종적으로 내놓은 답은 틀렸습니다. 이는 마치 정답이 "핀란드"라는 것을 알면서도, 글을 쓸 때 선생님의 책상 위에 항상 놓여 있는 것을 보고 손이 자동으로 "그리스"라고 적는 학생과 같습니다.

제외된 가설들

논문은 자신들의 결론이 맞는지 확인하기 위해 다른 가능성들도 테스트했습니다:

• 로봇이 "번역 전용" 모델이라는 가설: 어떤 이들은 로봇이 머릿속에서 모든 것을 영어로 번역한 다음 다시 번역한다고 생각했습니다. 만약 그렇다면, 로봇은 뇌 내부에서 문화적 차이를 인지하지 못해야 합니다. 하지만 연구 결과, 뇌는 문화적 차이를 명확히 알고 있음이 드러났습니다.
• 모델 크기만의 문제가 아니라는 점: 연구진은 더 큰 모델(더 많은 "뇌 용량")이 이 문제를 해결하는지 확인했습니다. 그 결과, 큰 모델들이 약간 더 나아지기는 했지만, "답을 아는 것"과 "답을 말하는 것" 사이의 간극은 결코 좁혀지지 않았습니다. 가장 큰 모델들조차 여전히 이러한 편향을 가지고 있었습니다.
• 단순한 언어 문제가 아니라는 점: 연구진은 로봇이 모국어(예: 핀란드어나 우크라이나어)를 읽지 못해서 실패하는 것인지 테스트했습니다. 그들은 로봇이 해당 언어를 읽을 수 있음에도 불구하고 여전히 "영어/서구적" 기본 답변을 선호한다는 것을 발견했습니다. 편향은 로봇의 읽기 능력이 아니라 의사 결정 부분에 있었습니다.

언어의 반전

이 연구에서 가장 흥-미로운 부분 중 하나는 같은 질문을 두 가지 방식, 즉 영어와 해당 문화의 모국어(예: 핀란드 신에 대해 영어로 묻는 것 vs 핀란드어로 묻는 것)로 질문하는 것이었습니다.

연구진은 로봇의 뇌가 스위치처럼 작동한다는 것을 발견했습니다. 영어로 물으면 답을 결정하기 위해 한 세트의 경로를 사용하고, 핀란드어로 물으면 약간 다른 세트의 경로를 사용합니다. 때때로 모국어로 질문하는 것이 로봇이 올바른 답을 내놓는 데 도움이 되기도 했지만, 종종 로봇은 여전히 유명한 서구식 이름을 기본값으로 선택했습니다.

연구진은 만약 로봇에게 동일한 질문을 영어와 모국어로 모두 던진 뒤, 둘 중 더 나은 답을 선택한다면, 로봇에게 새로운 것을 가르치지 않고도 약 36% 더 많은 오류를 수정할 수 있다는 것을 발견했습니다. 이는 마치 두 친구가 답을 확인하는 것과 같습니다. 한 명은 "제우스"라고 하고 다른 한 명은 "우코"라고 한다면, 우리는 옳은 것을 골라낼 수 있습니다.

결론: 뇌가 아닌 입을 고쳐야 한다

이 논문은 AI가 핀란드, 슬라브, 또는 이집트 신화에 대해 모르는 것이 아니라고 결론짓습니다. AI는 그것들을 알고 있습니다. 문제는 AI가 텍사를 생성하는 부분이 문화적 기본값에 의해 "게이트(gate, 문)"가 닫혀 있다는 것입니다. AI는 고유하고 구체적인 문화적 세부 사항을 자신이 학습 데이터에서 본 가장 흔하고 지배적인 것으로 평탄화(flattening)해버리는 습관이 있습니다.

이는 문화적 편향을 해결하기 위해 단순히 로봇에게 핀란드 신화에 관한 책을 더 많이 먹이는 것(이는 기억에는 도움이 되겠지만, 그 기억은 이미 존재합니다)이 해결책이 아니라는 것을 의미합니다. 대신, 우리는 로봇이 말하는 부분을 고쳐야 합니다. 설령 "제우스"라고 말하는 것이 더 안전하고 흔한 답처럼 느껴질지라도, "우코"라고 말해도 괜찮다는 것을 로봇에게 가르쳐야 합니다.

이 연구는 해결책이 단순히 전체 뇌를 재학습시키는 것이 아니라, "읽기 출력(readout)" 개입, 즉 로봇이 최종 단어를 선택하는 방식을 바꾸는 데 있다고 제안합니다. 이는 기계가 모든 정보를 가지고 있다고 해서 반드시 진실을 말하는 것은 아니라는 점을 상기시켜 줍니다. 때때로 기계는 단지 당신이 듣고 싶어 할 법한 말을 할 뿐입니다.