MultiGlobeQA: A Multilingual and Globally Diverse Benchmark for Geospatial Reasoning

당신은 똑똑한 여행 가이드처럼 행동할 수 있는 로봇을 만들려고 상상해 보세요. 이 로봇은 당신의 집에서 가장 가까운 피자 가게까지 거리가 얼마나 되는지, 혹은 특정 공원을 찾으려면 어느 방향으로 걸어가야 하는지 알려줄 수 있어야 합니다. 이것이 바로 **지리 공간 추론(geospatial reasoning)**의 세계입니다. 즉, 사물이 어디에 있는지, 얼마나 떨어져 있는지, 그리고 지도 위에서 서로 어떻게 맞물려 있는지를 이해하는 능력입니다.

오랫동안 과학자들은 컴퓨터에게 지도를 '읽는' 법과 세상에 대한 사실들을 가르쳐 왔습니다. 그들은 **지식 그래프(Knowledge Graphs)**라고 불리는 거대한 디지털 정보 도서관을 구축했습니다. 이는 마치 거대한 연결된 사실들의 그물망과 같습니다(예: "파리는 프랑스에 있다", "에펠탑은 파리에 있다"). 최근에는 거의 모든 인터넷 글을 읽고 인간의 언어로 답할 수 있는 초강력 AI 두뇌인 **대규모 언어 모델(LLMs)**도 만들어졌습니다. 모두가 던지는 핵심 질문은 이것입니다. 만약 이 AI 두뇌에게 지도와 사실 목록을 준다면, 그들이 실제로 거리를 계산하고 방향을 찾아내는 수학적 능력을 발휘할 수 있을까요, 아니면 그저 자신이 암기한 내용을 바탕로 추측하는 것뿐일까요?

이 지점에서 MultiGlobeQA라는 새로운 연구가 등장합니다. 연구진들은 AI 두뇌가 정말로 현실 세계를 항해할 만큼 똑똑한지, 아니면 기하학적인 질문을 받았을 때 단순히 '환각(hallucinating)'을 일으키며 말을 지어내는 것인지 확인하고 싶었습니다. 그들은 AI가 어디에서 실패하는지 정확히 알아내기 위해 거대한 다국어 테스트를 구축했습니다.

위대한 지도 테스트: MultiGlobeQA

연구진은 MultiGlobeQA라는 거대한 도전 과제를 만들었습니다. 이것은 AI를 위한 거대한 글로벌 "시승 테스트"라고 생각하면 되는데, 자동차를 운전하는 대신 AI가 지구상의 실제 장소들에 관한 46,060개의 서로 다른 질문을 풀어야 합니다.

테스트의 공정성을 확보하고 전 세계를 아우르기 위해, 연구진은 런던이나 뉴욕 같은 유명한 도시들만 선택하지 않았습니다. 그들은 모든 맛과 층을 포함하도록 하는 아이스크림 스쿱질처럼, 201개의 국가와 영토를 포함하는 특수한 "층화 추출(stratified sampling)" 방식을 사용했습니다. 또한 인터넷 환경이 좋은 곳에만 치우치지 않도록 부유한 곳과 가난한 곳, 붐비는 곳과 한적한 곳을 모두 포함했습니다.

또한 이 테스트는 다국어로 제작되었습니다. 동일한 질문들이 영어와 스페인어부터 우르두어, 조지아어에 이르기까지 17가지 다른 언어로 번역되었습니다. 이는 AI가 질문이 다른 언어로 던져졌을 때 혼란을 느끼는 것인지, 아니면 문제 자체가 수학적인 것인지를 확인하기 위해 매우 중요한 과정이었습니다.

질문들은 다음과 같은 14가지 유형의 "공간적 사고"를 다룹니다:

• 거리: "A 마을에서 B 마을까지 거리는 얼마인가?"
• 방향: "공항에서 박물관으로 걸어가면 북쪽으로 가는 것인가, 남쪽으로 가는 것인가?"
• 모양: "이 나라는 직사각형 모양인가, 원형 모양인가?"
• 그리드 인덱싱: "이 지점의 특정 코드(지도의 디지털 주소 같은 것)는 무엇인가?"

결정적으로, 이 테스트의 모든 정답은 인간이 추측한 것이 아니라 컴퓨터 프로그램에 의해 계산되었습니다. 즉, "정답"은 의견이 아닌 물리 법칙과 수학에 의해 검증된 것입니다.

결과: 사실에는 밝지만, 수학에는 멍청하다

연구진이 AI 모델들을 이 테스트에 통과시켰을 때, 결과는 다소 충격적이었습니다.

1. "알고는 있지만, 할 수는 없다"는 문제
AI 모델들은 사실을 기억하는 데는 놀라울 정도로 뛰어났습니다. 만약 "프랑스의 수도는 어디인가?"라고 묻는다면, 그들은 거의 매번 정답을 맞혔습니다. 심지어 장소의 좌표(장소가 있는 정확한 숫자)도 메모리에 저장하고 있었습니다.

하지만 그 숫자들을 가지고 수학을 하는 것에 있어서는 무너졌습니다.

• 두 마을 사이의 거리를 계산하라는 질문에 AI는 종종 터무니없는 추측을 내놓았습니다. 한 예로, 실제 거리는 약 19km였지만 AI는 1.4km라고 답했습니다. 이는 20분 거리의 산책을 단 2분 거리라고 추측하는 것과 같습니다!
• 특정 위치를 그리드 상에 찍는 '지오해시(geohash)'를 계산하라는 질문에서, 연구진이 필요한 정확한 사실들을 제공했음에도 불구하고 모델들은 처참하게 실패했습니다.

2. "도구 사용"의 함정
연구진은 AI에게 "계산기"(수학을 수행하는 도구)를 쥐여주고 웹이나 데이터베이스에서 사실을 검색하게 해보았습니다. 이것은 도움이 되었지만, 기대만큼은 아니었습니다.

• AI에게 완벽한 사실들(골드 트리플)과 완벽한 계산기를 직접 손에 쥐여주었음에도 불구하고, 여전히 약 3분의 1의 질문을 해결하지 못했습니다.
• 모델들은 "도시 A가 국가 B 안에 있는가?"(위상 관계)나 "어느 쪽이 북쪽인가?"(방향)와 같은 단순한 작업에는 뛰어났습니다.
• 하지만 그리드 인덱싱(위치를 디지털 그리드에 고정하는 것)이나 모양 계산이 필요한 작업에서는 완전히 무너졌습니다. 이러한 어려운 과제에서 성공률은 모든 도움을 받았음에도 30% 미만에 머물렀습니다.

3. 부유한 국가와 가난한 국가의 격차
연구는 또한 슬픈 불평등을 발견했습니다. AI 모델은 저소득 국가보다 고소득 국가에 대한 질문에 훨씬 더 잘 답했습니다.

• 이것은 AI가 인간처럼 "인종차 차별"이나 "편견"을 가졌기 때문이 아니라, AI가 학습한 디지털 지도와 데이터가 부유한 국가들에 대해 훨씬 더 풍부하고 상세하기 때문입니다.
• 연구진이 가난한 국가에 대한 완벽한 사실을 제공했음에도 불구하고, AI는 여전히 부유한 국가보다 더 많이 헤맸습니다. 이는 문제가 단순히 데이터의 부족 때문만이 아니라, AI가 이전에 많이 접해보지 못한 장소에 대한 수학적 계산을 수행하는 데 어려움을 겪고 있음을 시사합니다.

4. 언어는 큰 변수가 아니었다
흥미롭게도, 언어는 큰 차이를 만들지 않았습니다. 질문이 영어든, 러시아어든, 베트남어든 AI의 성능은 대략 비슷했습니다. 문제는 AI가 단어를 이해하지 못하는 것이 아니라, 기하학을 수행하지 못하는 것이었습니다.

핵심 요약

MultiGlobeQA의 주요 교훈은 많은 지식을 갖는 것이 곧 추론할 수 있다는 것을 의미하지 않는다는 점입니다.

세상의 모든 거리와 모든 거리의 이름을 외운 학생이 있다고 상상해 보세요. 만약 당신이 "A에서 B까지 거리가 얼마냐?"라고 묻는다면, 그 학생은 그 이름들을 들어본 적이 있기 때문에 그저 적당해 보이는 숫자를 던질 수도 있습니다. 하지만 만약 당신이 자와 지도를 사용하여 실제로 거리를 계산해 보라고 한다면, 그 학생은 자를 사용하는 법을 모르기 때문에 실패할 수도 있습니다.

이 논문은 AI가 내비게이션, 물류, 또는 재난 대응과 같이 진정으로 유용해지기 위해서는 단순히 더 많은 사실을 주입하는 것만으로는 부족하다고 제안합니다. 우리는 그 사실들을 바탕으로 계산하고 추론하는 법을 가르쳐야 합니다. 현재의 병목 현상은 AI가 세상을 모르는 것이 아니라, 세상을 이해하기 위한 수학을 하는 데 서툴다는 점에 있습니다.

최고의 도구와 가장 완벽한 데이터를 갖추고 있음에도 불구하고, 현재의 AI 모델들은 여전히 기본적인 공간 퍼즐 앞에서 비틀거리고 있습니다. 이는 이 모델들이 대화하고 기억하는 데는 놀랍지만, 공간에 대해 진정으로 "생각하는" 법은 여전히 배우는 중이라는 사실을 상기시켜 줍니다.