GEB-Bench: Abstract Structures Told in Many Voices

위대한 형상 변형 테스트 (The Great Shape-Shifter Test)

강물이 바다로 퍼져 나가는 삼각주를 보고 있다고 상상해 보세요. 이제 하늘을 가르는 들쭉날쭉한 번개를 보고 있다고 상상해 보세요. 인간에게 이 둘은 완전히 달라 보입니다. 하나는 물과 모래이고, 다른 하나는 불과 공기입니다. 하지만 눈을 가늘게 뜨고 그 가지들의 '형태(shape)'를 본다면, 당신은 그것들이 동일한 비밀스러운 설계도를 공유하고 있다는 사실을 깨닫게 될지도 모릅니다. 둘 다 수학자들이 '프랙탈(fractal)' 혹은 특정한 유형의 분기 구조라고 부르는, 갈라지고 퍼져 나가는 패턴을 따르고 있기 때문입니다. 이 무질서한 표면 아래에 숨겨진 보이지 않는 뼈대를 보는 능력, 이것이 바로 우리가 **추상적 추론(abstract reasoning)**이라고 부르는 능력입니다. 이는 왕에 대한 이야기와 컴퓨터 프로그램에 대한 이야기가 단어는 완전히 다를지라도, 둘 다 '권력'이라는 주제를 담고 있음을 이해하게 해주는 초능력입니다.

오랫동안 과학자들은 인공지간(AI)이 이 초능력을 가지고 있는지 궁금해해 왔습니다. 우리는 사진 속의 고양이를 이름 붙이거나 달에 대한 시를 쓸 수 있는 모델을 만들어 왔지만, 과연 이 모델들이 강, 이야기, 수학 방정식, 그리고 컴퓨터 코드를 연결하는 깊고 숨겨진 구조를 실제로 '볼' 수 있을까요? 이것이 핵심적인 질문입니다. 만약 AI가 이를 할 수 없다면, 그것은 단지 패턴을 흉내 낼 뿐 그 뒤에 숨겨진 '왜(why)'나 '어떻게(how)'를 이해하지 못하는 아주 화려한 앵무새에 불과합니다. 이는 마치 케이크 레시피는 암송할 수 있지만, 정작 '굽기(baking)'가 무엇을 의미하는지는 모르는 로봇을 가진 것과 같습니다.

"다양한 목소리"의 도전 (The "Many Voices" Challenge)

여기, AI 모델이 이러한 숨겨진 형태를 포착할 수 있는지 확인하기 위해 설계된 새롭고 까다로운 테스트인 GEB-BENCH가 등장했습니다. 제작자들은 수학, 예술, 음악에서 동일한 기묘하고 순환적인 아이디어들이 어떻게 나타나는지를 다룬 유명한 책인 *괴델, 에셔, 바흐(Gödel, Escher, Bach)*의 이름을 따서 이 테스트의 이름을 붙였습니다. 이 테스트는 하나의 추상적인 형태(예: 루프, 나선, 또는 거울 이미지)를 가져와서 네 가지 완전히 다른 '목소리'로 그 형태에 대해 이야기한다는 단순하지만 교묘한 아이디어에 기반합니다.

이것을 메시지를 전달하는 대신 형태를 번역하는 '전화기 놀이(Telephone)' 게임이라고 생각해보세요.

1. 장면의 목소리 (The Scene Voice): 자연물(예: 노틸러스 껍데기나 강 삼각주)의 사진으로, 형태가 구도 속에 숨겨져 있습니다.
2. 이야기의 목소리 (The Story Voice): 형태가 이야기를 전달하는 방식 속에 숨겨진 짧은 민담입니다. 예를 들어, 이야기의 뒷부분이 앞부분을 단어 단위로 거꾸로 읽은 것인 '게 형식의 캐논(crab canon)' 같은 형태일 수 있습니다.
3. 수학의 목소리 (The Math Voice): 기호를 사용하여 형태를 설명하는 깔끔하고 정밀한 수학 정리입니다.
4. 골격의 목소리 (The Skeleton Voice): 화려한 디테일 없이 형태만을 보여주는 선으로 된 도면(wireframe)입니다.

함정은 이렇습니다. 테스트 제작자들은 모든 '겉치레(fluff)'를 제거했습니다. 그들은 강 삼각주와 번개가 색상이나 질감을 공유하지 않도록 조치했습니다. 또한 이야기들이 같은 단어를 사용하지 않도록 했습니다. 오직 중요한 것은 보이지 않는 구조뿐입니다. AI는 강의 사진을 보고 "아, 이것은 저 수학 정리와 같은 형태구나!"라고 말하거나, "이 이야기는 저 선 도면과 동일한 구조적 농담을 하고 있구나!"라고 말할 수 있어야 합니다.

결과: 번역의 "세금" (The Findings: The "Tax" of Translation)

연구진은 아주 작은 오픈 소스 모델부터 거대 기술 기업의 거대하고 똑똑한 '프런티어(frontier)' 모델에 이르기까지 37개의 서로 다른 AI 모델을 테스트했습니다. 그들은 흥s미롭고도 다소 실망스러운 사실을 발견했습니다. AI는 한 가지 목소리 안에서 형태를 인식하는 데는 능숙하지만, 다른 목소리로 형태를 옮겨가는 데는 매우 서툴다는 것입니다.

당신이 친구가 가장 좋아하는 빨간 재킷을 입었을 때(수학의 목소리) 그를 알아보는 데 매우 능숙하다고 상상해 보세요. 하지만 그 똑같은 친구가 광대 옷(이야기의 목소리)을 입거나 위장복(장면의 목소리)을 입고 나타난다면, 당신은 그를 전혀 알아보지 못할 수도 있습니다. AI 모델들은 형태가 깔끔한 수학 방정식이나 단순한 선 도면으로 제시되었을 때는 종종 식별해 냈습니다. 하지만 그 형태를 자연스러운 장면이나 민담으로 번역해야 하는 순간, 그 성능은 곤두박질쳤습니다.

논문에서는 이를 **"매핑 세금(mapping tax)"**이라고 부릅니다. 어떤 모델이든, 아무리 똑똑하더라도 이 세금을 지불해야 합니다. 가장 진보된 모델들, 즉 보통 '프런티어'라고 간주되는 모델들조차도 점들을 연결하는 데 어려움을 겪습니다. 연구에 따르면, 이 모델들은 수학의 목소리로 제시된 형태를 약 86%의 확률로 인식했지만, 동일한 형태를 이야기의 목소리와 매칭하는 능력은 약 44%로 떨어졌습니다. 이는 엄청난 격차입니다.

"형식적 기하학"의 함정 (The "Formal Geometry" Trap)

정말 놀라운 부분은 이것입니다. AI는 단순히 무작ful로 추측한 것이 아니었습니다. 틀렸을 때, 그들은 논리적인 패턴을 따르는 특정한 실수를 저질렀습니다. 논문에서는 이를 **"형식적 기하학(formal geometry)"**이라고 부릅니다.

당신이 '루프(원)'와 '이상한 루프(혼란스럽게 되돌아가는 원)'를 구분하려고 노력하고 있다고 상상해 보세요. AI 모델들은 종종 이 둘을 혼동했습니다. 그림이 비슷해 보여서 혼동한 것이 아닙니다. 두 형태를 정의하는 수학적 규칙이 서로 이웃해 있기 때문에 혼동한 것입니다. 이는 마치 운전을 배우는 사람이 정지 표지판과 양보 표지판이 둘 다 빨간 팔각형이라는 이유로 두 표지판을 계속 헷ist하는 것과 같습니다. 실제 사용 규칙은 다르지만 말입니다.

연구는 AI의 오류가 인간이 보는 실제 모습보다 수학적 규칙에 기반하여 훨씬 더 예측 가능하다는 것을 보여주었습니다. 만약 당신이 AI에게 '이상한 루프'처럼 보이는 그림을 보여준다면, AI는 수학의 세계에서 두 개념이 서로 바로 옆에 붙어 있기 때문에 그것을 '루프'라고 부르는 경우가 많았습니다. 이는 AI가 단순히 이미지를 '보는' 것이 아니라, 수학적 개념의 라이브러리에 매칭시키려 노력하고 있으며, 그 과정에서 세부 규칙(fine print)에 막혀 있다는 것을 시사합니다.

"표면"의 문제 (The "Surface" Problem)

연구진은 또한 현실 세계의 "노이즈(noise)"가 AI를 더 어렵게 만든다는 것을 발견했습니다. 그들은 단순한 선 도면(매우 깔끔함)에서 복잡하고 사실적인 사진(매우 무질서함)에 이르기까지 다양한 이미지를 사용하여 모델을 테스트했습니다. 이미지가 더 사실적이고 "노이즈"가 많아질수록, AI의 성능은 저하되었습니다.

이는 조용한 방에서 노래를 듣는 것과 시끄럽고 붐비는 콘서트장에서 노래를 듣는 것의 차이와 같습니다. AI는 조용한 방에서는 멜로디(구조)를 들을 수 있지만, 군중의 소음(사진의 표면적 디테일)이 그것을 덮어버립니다. 연구 결과, 더 크고 강력한 모델을 사용하는 것이 AI를 이 노이즈로부터 면역되게 만들지는 못했습니다. 단지 그 혼란을 견딜 수 있는 약간의 "여유 공간(headroom)"을 제공할 뿐이었습니다. 그것은 문제를 해결한 것이 아니라, 단지 붕괴를 늦춘 것뿐이었습니다.

결론 (The Bottom Line)

이 논문의 가장 중요한 시사점은 구조를 인식하는 것과 그 구조를 서로 다른 세계로 번역하는 것은 두 가지 서로 다른 기술이라는 점입니다. 현재 우리가 가진 AI 모델들은 구조가 명확하게 제시될 때(수학이나 단순한 도표처럼) 구조를 인식하는 데 매우 능숙해지고 있습니다. 하지만 그 이해를 바탕으로 복잡하고 다양하며 무질서한 자연 장면과 이야기의 세계에 적용하는 데는 여전히 어려움을 겪고 있습니다.

이 논문은 AI가 "고장 났다"거나 결코 배울 수 없을 것이라고 말하는 것이 아닙니다. 단지 지금은 구체적이고 측정 가능한 격차가 존재한다고 말할 뿐입니다. 모델들은 수학책 속의 형태는 볼 수 있지만, 아직 강 삼각주나 민담 속의 동일한 형태를 볼 수는 없습니다. 그리고 그 격차를 메우기 전까지, 그들은 추상적 추론의 진정한 "아하!(aha!)" 순간, 즉 강과 이야기와 수학이 모두 서로 다른 목소리로 같은 노래를 부르고 있다는 것을 보는 능력을 갖추지 못할 것입니다.