Human-AI Perceptual Alignment by Playing Hues and Cues

당신이 로봇에게 단순히 형태를 인식하는 것을 넘어, 사물의 '느낌'을 이해함으로써 세상을 보는 법을 가르치려 한다고 상상해 보세요. 인공지능의 세계에는 '시각-언어 모델(Vision-Language Model)'이라는 특별한 종류의 뇌가 있습니다. 이 모델들을 수십억 권의 책을 읽고 인터넷에서 수십억 장의 사진을 본 아주 똑똑한 학생이라고 생각해 보세요. 이들은 "저것은 개다" 또는 "저것은 자동차다"라고 말하는 데는 매우 능숙합니다. 하지만 이들은 개의 '색깔'을 이해할 수 있을까요? 바나나가 모든 사진에서 물리적으로 노란색이기 때문이 아니라, 우리 뇌에 바나나는 노란색이라는 '기억'이 있기 때문에 노란색이라는 것을 알 수 있을까요? 이것이 까다로운 부분입니다. 인간의 색은 단순히 눈에 빛이 닿는 것이 아니라, 우리의 문화, 기억, 그리고 공유된 이야기들에 관한 것입니다. 과학자들은 이 AI 학생들이 인간처럼 보는 법을 배우고 있는지, 아니면 그저 거대한 데이터 더미에서 발견한 기묘한 패턴에 기반해 추측하고 있는 것인지를 알고 싶어 합니다.

이를 알아내기 위해 연구진은 게임을 하나 하기로 했습니다. 지루한 도표나 복잡한 수학 테스트를 사용하는 대신, 그들은 '휴즈 앤 큐즈(Hues and Cues)'라는 보드게임을 사용했습니다. 무지개 지도처럼 배치된, 각각 조금씩 다른 색을 가진 480개의 작은 사각형이 있는 거대한 보드를 상상해 보세요. 게임 방식은 이렇습니다. 누군가 단어(예: "바나나" 또는 "희망")를 말하면, 당신은 보드에서 그 단어와 가장 잘 어울리는 사각형을 가리켜야 합니다. 단순해 보이지만, 이는 우리 뇌가 어떻게 단어를 색상과 연결하는지를 보여줍니다. 연구진은 이 게임을 사용하여 162개의 서로 다른 AI 모델을 테스트했고, 325명의 실제 사람들과 함께 게임을 진행했습니다. 그들은 AI의 '추측'이 대중의 '기억'과 일치하는지, 아니면 AI가 자신의 머릿속에서 길을 잃고 헤매고 있는지를 확인하고 싶었습니다.

결과가 어떻게 나왔는지, 로봇들이 자리에 앉았을 때의 상황입니다.

설정: 디지털 보드게임
연구진은 디지털 버전의 '휴즈 앤 큐즈' 보드를 제작했습니다. 이 보드는 과학적으로 측정 가능한 방식으로 배치된 480개의 뚜렷한 색상 사각형을 가지고 있었습니다. 그들은 325명의 사람으로 구성된 대규모 그룹을 모아 각자의 휴대폰과 컴퓨터로 게임을 하게 했습니다. 각자에게 100가지의 서로 다른 단어를 가장 잘 어울리는 색상과 매칭하도록 요청했습니다. 어떤 단어들은 "바나나"나 "피"처럼 쉽고 물리적인 것이었습니다. 다른 단어들은 "희망", "페미니즘", 또는 "팝 컬처"처럼 까다롭고 추상적인 것이었습니다.

AI가 프로토콜에서 벗어나지 않도록 하기 위해, 연구진은 모델들에게 정확히 동일한 디지털 보드를 제공했습니다. AI의 임무는 단어를 보고 가장 잘 어울린다고 생각하는 상위 5개의 색상 사각형을 고르는 것이었습니다. 연구진은 AI의 선택을 '인간 합의(Human Consensus)', 즉 실제 사람들이 내놓은 평균 답변과 비교했습니다. 또한 '인간 오류율(Human Error Rate)'도 계산했는데, 이는 인간들이 서로 얼마나 의견이 다른지를 나타냅니다. 이를 통해 완벽한 기준점을 얻었습니다. 만약 AI가 인간만큼 뛰어나다면, 인간이 저지르는 정도의 '실수'를 똑같이 범해야 하기 때문입니다.

대발견: "블루(Blue)"의 충돌
결과는 인상적인 승리와 매우 이상하고 체계적인 실패가 뒤섞인 모습이었습니다.

먼저, 좋은 소식입니다. 단어가 실제 물리적 대상에 관한 것일 때, AI는 놀라울 정도로 뛰어났습니다. "바나나", "호박", "돼지"와 같은 구체적인 사물에 대해 AI는 종종 인간과 정확히 일치하는 색상을 선택했습니다. 그들은 바나나가 노랗고 돼지가 분홍색이라는 것을 이해했습니다. 사실, 일부 물리적 대상에 대해서는 AI가 매우 정밀하여, 단순히 특정 사진의 문자 그대로의 색상이 아니라 인간이 가진 '이상화된' 기억 속의 색상까지도 일치시켰습니다. 이는 명확한 물리적 실체가 존재할 때, AI가 인간의 '분위기(vibe)'를 학습할 수 있음을 시사합니다.

하지만 게임이 추상적이거나 문화적인 개념으로 넘어가자, AI는 벽에 부딪혔습니다. "희망", "분노", "페미니즘", 또는 스페인에서 특정한 문화적 의미를 갖는 "트랙터"와 같은 단어들에 대해, AI는 말이 안 되는 행동을 보였습니다. 느낌이나 문화를 나타내는 색을 고르는 대신, 모델들은 기이하게도 하나의 기본 색상으로 붕괴되었습니다.

연구진은 AI가 답을 모를 때 무작위로 추측하는 것이 아니라, 거의 항상 특정 색상인 파란색(보드상의 좌표 "I18")을 선택한다는 것을 발견했습니다. 마치 AI의 뇌가 단락되어 "이게 무슨 뜻인지 모르겠으니, 그냥 파란색을 고르자"라고 말하는 것 같았습니다. 이는 단어가 "겨울", "스티치(영화 캐릭터)", 또는 "아홀로틀(우파루파)"인 것과 관계없이 반복적으로 발생했습니다.

왜 이런 일이 일어났을까?
연구팀은 왜 AI가 이토록 파란색에 집착하는지 알아내기 위해 더 깊이 조사했습니다. 그들은 의미가 전혀 없는 "무의미한" 단어들(예: 무작위 알파벳이나 "the", "and"와 같은 기능어)로 모델들을 테스트했습니다. 그 결과, 약 42%의 모델이 내장된 편향을 가지고 있다는 것을 발견했습니다. 무의미한 단어를 보았을 때, 그들은 무작위로 추측하는 대신, 종종 그 파란색이나 때로는 노란색과 같은 특정 색상으로 회귀했습니다.

이는 결정적인 결함을 드러냈습니다. AI는 단어 "희망"을 정말로 '이해'하고 있는 것이 아니었습니다. 그것은 단지 훈련 데이터에서 학습한 패턴을 따르고 있었을 뿐입니다. 인터넷에는 하늘과 물(파란색)의 사진이 매우 많기 때문에, AI는 혼란스러울 때 "파란색"이 안전한 선택이라는 것을 배웠습니다. 이는 마치 역사 시험 문제의 답을 모를 때, 교과서에서 그 단어를 많이 봤다는 이유만으로 답안지에 "파란색"이라고 적는 학생과 같습니다.

데이터 품질의 역할
연구진은 또한 AI가 어떻게 훈련되었는지도 살펴보았습니다. 그들은 방대하고 무질서한 인터넷 데이터 뭉치(LAION 데이터셋 등)로 훈련된 모델과, 작지만 정교하게 정제되고 큐레이션된 데이터로 훈련된 모델을 비교했습니다.

그들은 무질서하고 거대한 데이터셋이 실제로 AI를 색상에 대해 더 똑똑하게 만들지는 않는다는 것을 발견했습니다. 오히려, 정교하게 큐레이션된 고품질 데이터로 훈련된 모델들이 인간의 색상을 훨씬 더 잘 맞췄습니다. 데이터의 양 자체가 중요한 것이 아니라 질이 중요했습니다. 이는 시험 공부를 하는 것과 같습니다. 편집되지 않은 무작위 블로그 글 백만 개를 읽는 것이 많은 사실을 알려줄 수는 있지만, 잘 편집된 교과서를 읽는 것이 개념을 이해하는 데 훨씬 도움이 됩니다. "깨끗한" 모델들은 실수를 덜 저질렀고, 그 기본 색상인 파란색으로 무너지는 현상도 적었습니다.

시사점
그래서 이 모든 것이 무엇을 의미할까요? 이 논문은 AI가 물리적 객체와 그 색상을 인식하는 데는 매우 능숙해지고 있지만, 인간의 지각이 가진 복잡하고 문화적이며 감정적인 측면에서는 여 still struggle(여전히 어려움을 겪고 있음)하고 있다는 것을 보여줍니다. AI가 혼란스러울 때, 그것은 불확실성을 인정하는 대신, 훈련 데이터에서 가장 자주 보았던 것에 기반하여 보통 파란색이라는 "안전한" 색상으로 돌아가 버립니다.

연구진은 AI가 진정으로 우리를 이해하게 만들려면, 단순히 더 많은 데이터를 주입하는 것만으로는 부족하다고 제안합니다. 우리는 AI가 불확실성을 마주했을 때 붕괴하지 않고 처리하는 법을 가르쳐야 하며, 인간이 자연스럽게 따르는 미묘하고 문화적인 색의 규칙을 배울 수 있도록 더 좋고 깨끗한 데이터를 사용해야 합니다. "휴즈 앤 큐즈" 게임은 가장 똑똑한 AI 모델이라 할지라도, 우리가 세상을 보는 방식대로 세상을 진정으로 보기 위해서는 아직 갈 길이 멀다는 것을 증명했습니다.