당신이 로봇에게 사진을 보여주고 그에 대한 이야기를 들려주며 세상을 이해하는 법을 가르치고 있다고 상상해 보세요. 이것은 현대 AI가 학습하는 방식과 매우 비슷합니다. AI는 강아지 사진을 보고 "행복한 강아지"라는 캡션을 읽은 다음, 강아지 이미지와 "행복한 강아지"라는 단어를 서로 매칭하려고 노력합니다. 만약 정답을 맞히면 금색 별을 받습니다. 틀리면 다시 시도합니다. 이 과정을 "대조 학습(contrastive learning)"이라고 부릅니다. 로봇의 목표는 서로 어울리는 것들(예: 사진과 그 설명)은 서로 가까이 두고, 어울리지 않는 것들은 멀리 떨어뜨려 놓는 정신적 지도를 만드는 것입니다.

보통 과학자들이 로보가 목소리에 담긴 감정 같은 특정한 것을 더 잘 이해하게 만들고 싶을 때, 그들은 매우 단순한 규칙을 따릅니다: "더 많은 사례를 보여줘라!" 그들은 "로봇이 슬픔을 이해하지 못한다면, 슬픈 목소리 사례를 백만 개 더 보여주면 된다"라고 생각합니다. 이는 마치 수학 문제를 풀 수 없다면 수학 교과서를 더 많이 읽어야 한다고 생각하는 것과 같습니다. 하지만 만약 문제가 로봇이 책을 충분히 읽지 못해서가 아니라, 그 책들이 로봇이 지름길을 택하도록 유도하는 방식으로 쓰여 있다면 어떨까요? 만약 로봇이 너무 똑똑해서 실제로 어려운 교훈을 배우는 대신, 금색 별을 얻기 위한 쉬운 방법을 찾아낸다면 어떨까요? 이것이 바로 과학자들이 해결하려는 퍼즐입니다. 즉, 로봇이 실제로 무엇을 배우고 있는지, 그리고 왜 때때로 데이터를 더 많이 주는 것이 우리가 중요하게 여기는 특정 능력에 대해서는 오히려 독이 되는지를 밝혀내는 것입니다.

---

거대한 목소리 교체: 데이터가 오히려 역효과를 낼 때

이 연구에서 한 연구자는 "데이터가 많을수록 좋다"는 규칙을 검증하기 위해 매우 구체적인 실험을 진행했습니다. 그는 이미 오디오와 텍텍스트를 이해할 수 있는 강력한 AI 모델을 가져와서, 엄청나게 새로운 식단을 제공했습니다. 바로 사람들이 대본을 읽듯 명확하게 말하는 150,000개의 클립이었습니다. 연구자들은 이 AI가 음성을 이해하는 데 있어 초전문가가 될 것이라 기대했습니다. 그리고 실제로 그렇게 되었습니다! 특정 키워드(예: "네", "아니요", "멈춰")를 포착하는 AI의 능력은 무려 76포인트나 급등했습니다.

하지만 반전이 있었습니다. AI가 단어를 듣는 능력은 향상되었지만, '감정'을 듣는 능력은 현저히 떨어졌습니다. 화남, 행복, 슬픔과 같은 목고소리의 감정을 인식하는 능력이 14포인트 하락한 것입니다. 마치 AI가 뛰어난 언어학자가 되었지만, 형편없는 상담가가 된 것 같았습니다. 사람들이 '무엇을' 말하고 있는지에 대해 더 많이 배울수록, 그들이 '어떻게' 말하고 있는지에는 점점 더 무관심해진 것입니다.

세 명의 용의자: 왜 이런 일이 일어났을까?

연구자는 이 현상이 이상하다는 것을 알고 있었습니다. 그는 AI가 왜 감정을 잊어버렸는지에 대해 세 명의 주요 용의자를 설정하고, 한 명씩 결백을 입증해 나갔습니다.

용의자 #1: 뇌가 너무 작다 (용량 문제)
첫 번째로, 그는 AI의 용량이 가득 찼을지도 모른다고 생각했습니다. 아마도 단어에 관한 너무 많은 새로운 정보가 들어와서 감정을 기억할 "뇌 공간"이 부족해졌을 수도 있다는 것입니다.

• 테스트: 그는 사람들이 똑같은 문장을 말하되 감정만 다르게 표현하는(예: "난 괜찮아"를 화나게, 행복하게, 혹은 슬프게 말하는) 아주 작고 집중된 데이터셋을 사용했습니다. 이 데이터셋은 AI에게 주었던 거대한 단어 식단보다 120배나 더 작았습니다.
• 결과: 이 작은 데이터셋으로 AI를 학습시켰을 때, AI의 감정 기술은 단순히 돌아온 것이 아니라 이전보다 더 좋아졌습니다! 점수가 0.211에서 0.508로 올라갔습니다.
• 판결: AI의 뇌는 꽉 찬 상태가 아니었습니다. 공간은 충분했습니다. 다만, 굳이 그 공간을 감정을 위해 사용할 필요가 없었기에 사용하지 않았을 뿐입니다.

용의자 #2: 사례가 부족하다 (데이터 양 문제)
다음으로, 그는 작은 데이터셋이 충분히 크지 않았던 것이 아닐까 생각했습니다. 아마도 모든 캡션에 "이 목소리는 화가 났다"거나 "이 목소리는 슬프다"라고 명시적으로 적힌 데이터의 산을 보여줘야 했을지도 모릅니다.

• 테스트: 그는 인터넷에서 29,428개의 클립을 수집했습니다. 이 모든 클립의 캡션에는 감정이 명시적으로 이름 붙여져 있었습니다 (예: "화가 나서 소리 지르는 남자"). 이는 효과가 있었던 작은 데이터셋보다 4배나 더 큰 규모였습니다.
• 결과: 그는 이 거대한 감정 데이터의 산으로 AI를 학습시켰습니다. 하지만 감정 점수는 거의 움직이지 않았습니다. 변화량은 -0.0007로, 거의 보이지 않을 만큼 미미했습니다.
• 판결: 아무리 많은 사례가 있고 캡션이 명확하더라도 소용없었습니다. 만약 AI가 감정을 살피지 않고도 문제를 풀 수 있는 쉬운 방법을 찾는다면, 캡션에서 "분노!"라고 소리친다 해도 AI는 감정을 무시할 것입니다.

용의자 #3: AI가 정보를 숨기고 있다 (절단 문제)
마지막으로, 그는 AI가 감정 정보를 비밀리에 가지고 있지만, 우리가 보고 있지 않은 뇌의 일부에 숨겨두고 있는 것은 아닌지 확인했습니다.

• 테스트: 그는 더 넓은 렌즈로 AI의 기억을 살펴보며, 정보가 그곳에 있지만 잘려 나간 것은 아닌지 확인했습니다.
• 결과: 사라진 감정 점수의 약 **18%**만이 돌아왔습니다.
• 판결: 정보는 숨겨져 있었던 것이 아니라, 애초에 학습되지 않았던 것입니다.

진짜 범인: "쉬운 길 찾기"

그렇다면 데이터의 양이나 뇌의 크기 때문이 아니라면, 진짜 원인은 무엇일까요? 연구자는 그 답을 데이터의 구조에서 찾았습니다.

당신이 친구와 "게스 후(Guess Who?)" 게임을 하고 있다고 상상해 보세요.

• 시나리오 A (작은 데이터셋): 당신과 친구 모두 명단이 있습니다. 명단에 있는 모든 사람은 이름이 "존"으로 똑같습니다. 이들을 구별할 수 있는 유일한 방법은 한 명은 웃고 있고 다른 한 명은 찡그리고 있다는 사실뿐입니다. 게임에서 이기려면, 반드시 웃음이나 찡그림을 봐야만 합니다. 선택의 여지가 없습니다.
• 시나리오 B (거대한 데이터셋): 당신에게는 이름, 옷차고, 배경이 제각각인 사람들이 있습니다. 한 명은 "공원에서 소리 지르는 존"이고, 다른 한는 "기차 안에서 우는 사라"입니다. 설령 목소리를 무시하더라도, 공원이나 기차라는 배경을 보는 것만으로도 이들을 쉽게 구별할 수 있습니다. 당신은 목소리를 들을 필요 없이 게임에서 이길 수 있습니다. 당신은 쉬운 지름길을 택하게 됩니다.

연구자는 AI가 시나리오 B의 플레이어처럼 쉬운 길을 택한다는 것을 발견했습니다.

• 거대한 감정 데이터셋에서는 캡션들이 매우 달랐습니다 ("공원에서 소리 지르는 남자", "기차에서 우는 여자" 등). AI는 장면(공원이나 기차)에 대한 단어를 읽는 것만으로도 이들을 구분할 수 있었습니다. 즉, 구분을 위해 목소리를 들을 필요가 없었던 것입니다. 그래서 AI는 감정을 무시했습니다.
• 작은 데이터셋에서는 캡션이 모두 동일했습니다 ("난 괜찮아"). AI는 화난 "난 괜찮아"와 행복한 "난 괜찮아"를 구별하기 위해 반드시 목소리를 들어야만 했습니다. AI는 감정을 배우도록 강제되었습니다.

연구자는 이가 진짜 이유임을 증명하기 위해 아주 영리한 행동을 했습니다. 그는 실패했던 그 동일한 29,428개의 클립을 가져왔습니다. 오디오는 전혀 바꾸지 않았습니다. 새로운 클립을 추가하지도 않았습니다. 단지 캡션만 바꿨습니다.

"공원에서 소리 지르는 남자"라고 쓰는 대신, 모든 캡션을 "화난 톤의 음성"과 같이 일반적인 내용으로 다시 썼습니다. 갑자기 모든 화난 목소리의 클립이 정확히 똑같은 캡션을 갖게 되었습니다. 이제 AI는 "공원"이나 "기차"를 이용해 이들을 구분할 수 없게 되었습니다. 게임에서 이길 수 있는 유일한 방법은 목소리를 듣는 것뿐이었습니다.

결과: AI의 감정 기술은 즉시 8.9포인트 상승했습니다. 캡션을 덜 다양하게 만들고 AI가 목소리에 의존하도록 강제함으로써, 그들은 감정을 이해하는 능력을 깨워냈습니다.

핵심 요약

이 논문은 AI에 대해 놀라운 교훈을 줍니다: 중요한 것은 얼마나 많은 데이터를 가졌느냐가 아니라, 그 데이터를 어떻게 배치하느냐입니다.

AI에게 특정 기술을 가르치고 싶다면, 단순히 백만 개의 사례를 쏟아부어서는 안 됩니다. AI가 그 특정 기술을 배우지 않고서는 절대로 이길 수 없도록 게임의 규칙을 설계해야 합니다. 만약 AI가 쉬운 지름길(예: 목소리를 듣는 대신 장면 설명을 읽는 것)을 찾을 수 있다면, AI는 그 길을 택할 것이고, 당신이 실제로 배우길 원했던 것은 결코 배우지 않을 것입니다.

연구자는 데이터의 구조를 주의 깊게 조절함으로써(쉬운 답을 이용할 수 없게 만듦으로써), AI가 어렵지만 중요한 것을 배우도록 강제할 수 있음을 보여주었습니다. 이는 AI의 세계에서 때로는 적은 것이 더 많을 수 있으며, 질문을 던지는 방식이 답만큼이나 중요하다는 것을 상기시켜 줍니다.