Children's Intelligence Tests Pose Challenges for MLLMs? KidGym: A 2D Grid-Based Reasoning Benchmark for MLLMs

이 논문은 MLLM 의 다섯 가지 핵심 능력을 평가하기 위해 아동의 인지 발달 단계를 모방한 12 가지 2D 그리드 기반 작업으로 구성된 새로운 벤치마크 'KidGym'을 제안하고, 이를 통해 최신 모델들의 한계를 규명했습니다.

핵심

아이들의 지능 검사, AI 도 맞을까요? '키드짐 (KIDGYM)'의 이야기

이 논문은 **"최신 AI(멀티모달 언어 모델) 가 실제로 얼마나 똑똑한지, 특히 아이들의 두뇌 발달 과정을 통해 측정할 수 있을까?"**라는 흥미로운 질문에서 시작합니다.

연구팀 (상하이테크대학교) 은 아이들의 지능을 측정하는 유명한 '웨슬러 지능 검사'에서 영감을 받아, AI 를 위한 새로운 시험지 **<키드짐 (KIDGYM)>**을 만들었습니다.

이 복잡한 논문을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 왜 '아이들' 테스트를 AI 에 적용할까요?

기존의 AI 시험은 주로 "이 그림에 뭐가 그려져 있나요?"처럼 단순한 인식 능력을 묻는 경우가 많았습니다. 하지만 진짜 똑똑한 AI 는 그림을 보고도 이해하고, 기억하고, 계획을 세워 행동할 수 있어야 합니다.

이는 마치 아이들의 지능을 볼 때 단순히 "사과가 뭐예요?"라고 묻는 게 아니라, "이 장난감을 어떻게 정리할지 계획하고, 기억해 두었다가 나중에 찾아내는 능력"을 보는 것과 같습니다. 연구팀은 AI 의 능력을 5 가지 핵심 영역으로 나누어 평가했습니다.

• 실행 (Execution): "이해한 것을 실제로 행동으로 옮기는 능력" (예: "빨간 공을 줍기"를 듣고 실제로 공을 줍는 것)
• 기억 (Memory): "보이지 않는 정보를 기억해 두는 능력" (예: 방금 봤던 보물 위치를 기억해 두는 것)
• 학습 (Learning): "새로운 규칙을 금방 깨닫는 능력" (예: "지금부터는 빨간색이 파란색보다 무겁다"는 이상한 규칙을 듣고 따라하는 것)
• 계획 (Planning): "여러 단계를 미리 짜서 목표를 달성하는 능력" (예: 열쇠를 먼저 찾고, 문을 열고, 보물을 찾는 순서 정하기)
• 지각 추론 (Perception Reasoning): "눈으로 본 것을 논리적으로 추리하는 능력" (예: 잘린 퍼즐 조각을 보고 원래 모양이 무엇인지 맞히기)

2. '키드짐'은 어떤 시험인가요?

키드짐은 2 차원 격자 (마치 체스판이나 미니게임 화면) 위에서 이루어지는 12 가지 미션으로 구성되어 있습니다.

• 상황: 슈퍼마켓, 농장, 식당 등 다양한 배경에서 다양한 사물 (과일, 동물, 장난감 등) 이 무작위로 배치됩니다.
• 난이도: 쉬운 단계 (L1) 부터 어려운 단계 (L3) 까지 3 단계로 나뉘어 있습니다.
• 특징: 매번 문제가 달라서 AI 가 과거에 풀었던 문제를 외워서 답하는 것을 방지합니다. 마치 아이에게 매번 다른 퍼즐을 주는 것과 같습니다.

비유하자면:
키드짐은 AI 에게 **"당신은 이제부터 이 게임 속 캐릭터가 되어, 주어진 규칙과 기억을 바탕으로 미션을 수행하세요"**라고 하는 것입니다.

3. 실험 결과: AI 는 얼마나 똑똑할까요?

연구팀은 최신 AI 모델들 (o3, GPT-5, Gemini, Claude 등) 을 키드짐에 투입해 시험을 치렀습니다. 결과는 매우 흥미로웠습니다.

✅ 잘하는 점 (성공)

• 단순한 지시 수행: "빨간 사과를 바구니에 넣어" 같은 단순한 명령은 대부분의 AI 가 잘 수행했습니다.
• 새로운 규칙 학습: "새로운 규칙을 배우고 적용하는" 능력은 일부 최상위 모델이 인간에 버금가는 성적을 내기도 했습니다.

❌ 약한 점 (실패)

하지만 AI 는 인간 아이들보다 훨씬 못 하는 부분들이 명확히 드러났습니다.

1. 추상적인 그림을 못 읽어요:
   • 비유: "사과"나 "개" 같은 실물 그림은 잘 보지만, 기하학적 모양이나 추상적인 패턴이 섞인 퍼즐은 완전히 엉망으로 맞췄습니다. AI 는 '의미'가 있는 것만 이해하지, '형식' 자체를 논리적으로 추리하는 데는 약합니다.
2. 개수를 세는 게 어렵습니다:
   • 비유: "여기 사과가 3 개 있어요"라고 말하면 인간은 바로 알지만, AI 는 사과 3 개가 뭉쳐 있으면 1 개로 착각하거나, 개수를 정확히 세지 못했습니다. AI 는 숫자의 '개념'보다 '이미지'에 더 의존하는 경향이 있습니다.
3. 복잡한 미션은 혼란스러워요:
   • 비유: "기억도 해야 하고, 계획도 세우고, 동시에 규칙도 바꿔야 하는" 미션에서는 AI 가 길을 잃었습니다. 여러 가지 능력을 동시에 쓸 때, AI 는 한 가지를 잊어버리거나 순서를 헷갈려 합니다.

4. 결론: AI 는 아직 '유아' 단계?

이 논문의 핵심 메시지는 **"AI 는 언어는 잘하지만, 실제 세상을 이해하고 행동하는 '지능'은 아직 아이 수준이다"**는 것입니다.

• 현재 상태: AI 는 특정 단순 작업에서는 천재처럼 보일 수 있지만, 예상치 못한 상황이나 복잡한 추론이 필요한 상황에서는 쉽게 무너집니다.
• 미래 전망: 키드짐은 연구자들이 AI 의 약점을 정확히 파악하고, 더 똑똑한 AI 를 만들기 위한 나침반 역할을 합니다.

한 줄 요약:

"키드짐은 AI 에게 "너는 진짜로 똑똑한가, 아니면 단순히 말을 잘하는가?"를 확인하는, 아이들처럼 다양한 두뇌 능력을 측정하는 새로운 놀이터입니다."

이 연구를 통해 우리는 AI 가 인간처럼 유연하게 사고하고 행동하기 위해 무엇을 더 배워야 하는지 명확하게 알 수 있게 되었습니다.

기술 요약

1. 문제 정의 (Problem)

멀티모달 대규모 언어 모델 (MLLMs) 은 언어 모델의 강점과 이미지/비디오 처리 능력을 결합하여 인간과 유사한 인지 능력을 목표로 발전하고 있습니다. 그러나 기존 벤치마크는 주로 정적 (Static) 인 작업이나 단일 능력 평가에 치중되어 있어, MLLM 의 실제 적응력과 복잡한 추론 능력을 평가하는 데 한계가 있었습니다.

• 기존 벤치마크의 한계: 대부분의 벤치마크는 환경과 상호작용하는 동적 (Dynamic) 인 과제를 다루지 못하거나, 기억 (Memory), 학습 (Learning), 계획 (Planning) 등 여러 능력이 복합적으로 작용하는 상황을 평가하지 못함.
• 평가 프레임워크의 부재: 인간 지능을 평가하는 표준인 '웨슬러 지능 척도 (Wechsler Intelligence Scales)'와 같은 체계적인 심리 측정 도구를 MLLM 에 적용하여, 모델의 인지 발달 단계를 종합적으로 진단할 수 있는 프레임워크가 필요함.

2. 방법론 (Methodology)

저자들은 웨슬러 지능 척도와 아동 발달 심리학에서 영감을 받아 KIDGYM이라는 새로운 2D 그리드 기반 벤치마크를 제안했습니다.

가. 핵심 능력 정의 (5 가지)

MLLM 의 아키텍처 특성을 고려하여 웨슬러 척도를 재해석하여 5 가지 핵심 능력을 정의했습니다.

1. 실행 (Execution): 추상적인 목표를 구체적인 행동으로 변환하여 작업을 수행하는 능력.
2. 지각 추론 (Perception Reasoning): 비언어적, 추상적인 시각 정보를 분석하고 논리적 결론을 도출하는 능력.
3. 학습 (Learning): 새로운 규칙이나 정보를 즉시 습득하여 기존 지식과 충돌할 때 적응하는 능력.
4. 기억 (Memory): 과거의 정보를 유지하고 맥락에 통합하여 추후 의사결정에 활용하는 능력.
5. 계획 (Planning): 다단계 전략을 수립하고 행동의 결과를 예측하여 복잡한 문제를 해결하는 능력.

나. 태스크 설계 (12 가지 태스크)

총 12 가지 고유한 태스크로 구성되며, 각 태스크는 3 단계의 난이도 (L1~L3) 를 가집니다.

• 단일 능력 평가 (6 개): 분류 (Classification), 선택 (Selection), 정렬 (Sorting), 미로 (Maze), 채우기 (Filling), 퍼즐 (Puzzle).
• 복합 능력 평가 (6 개): 배치 (Placement), 계수 (Counting), 디코드 미로 (Decode Maze), 기억 미로 (Memory Maze), 기억 채우기 (Memory Filling), 기억 디코딩 (Memory Decode).

다. 환경 및 메커니즘

• 동적 생성: 슈퍼마켓, 식당, 농장 등 다양한 시나리오와 무작위로 생성된 레이아웃을 사용하여 데이터 누출 (Data Leakage) 을 방지하고 모델의 일반화 능력을 평가합니다.
• 백팩 및 힌트 바: 모델이 정보를 잃지 않도록 '백팩 (보관함)'과 '힌트 바'를 도입하여 컨텍스트 일관성을 유지하도록 설계했습니다.
• 고수준 행동 (High-level Actions): "한 칸 이동"과 같은 저수준 제어 대신 "공을 줍다", "문을 열다"와 같은 의미 있는 고수준 행동을 수행하도록 하여 모델이 추론에 집중할 수 있게 합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 평가 프레임워크: 웨슬러 지능 척도를 기반으로 MLLM 의 5 가지 핵심 인지 능력을 체계적으로 평가하는 프레임워크를 최초로 제안했습니다.
2. KIDGYM 벤치마크 출시: 12 가지 태스크, 3 단계 난이도, 사용자 정의 및 확장이 가능한 2D 그리드 기반의 통합 벤치마크를 오픈소스로 공개했습니다.
3. 포괄적인 실험 및 통찰: 최신 SOTA MLLM(클로즈드소스 및 오픈소스) 에 대한 체계적인 평가를 수행하여 모델의 강점과 약점을 정량적으로 분석했습니다.

4. 실험 결과 (Results)

저자들은 o3, GPT-5, Gemini-2.5-Pro 등 9 가지 최신 MLLM 과 인간 베이스라인을 비교 평가했습니다.

• 성능 격차: 클로즈드소스 모델 (o3, GPT-5 등) 은 오픈소스 모델보다 전반적으로 우월한 성능을 보였으며, 특히 학습 (Learning) 과 기억 (Memory) 태스크에서 높은 점수를 기록했습니다. 인간 베이스라인은 거의 모든 태스크에서 95% 이상의 성공률을 보였습니다.
• 발견된 4 가지 주요 한계:
  1. 비시맨틱 추론의 어려움: 추상적이고 의미 없는 시각 정보 (예: 무작위 블록 퍼즐) 에 대한 추론 능력이 현저히 낮았습니다. (퍼즐 태스크 성공률 0.30 미만)
  2. 수량 인식 부족: 물체의 개수를 정확히 세는 능력 (Counting) 이 부족하며, 소수의 물체 군집을 하나의 객체로 잘못 인식하는 경향이 있었습니다.
  3. 복합 태스크의 취약성: 단일 능력 태스크에 비해 기억과 계획이 동시에 필요한 복합 태스크 (예: Memory Maze) 에서 성능이 급격히 저하되었습니다.
  4. 지각 추론 및 계획의 미흡: 추상적 시각 추론과 다단계 전략 수립 능력이 인간 수준에 미치지 못했습니다.
• 추론 방법의 영향: Chain-of-Thought (CoT) 는 실행 (Execution) 태스크에서 성능을 향상시켰으나, 기억이나 학습이 필요한 태스크에서는 오히려 성능이 저하되거나 무의미한 경우가 있었습니다.

5. 의의 및 중요성 (Significance)

• AGI 로의 전환점: 단순한 인식 (Recognition) 을 넘어, 동적 환경에서의 적응, 학습, 계획 능력을 종합적으로 평가함으로써 범용 인공지능 (AGI) 개발을 위한 중요한 이정표를 제시합니다.
• 모델 발전 방향 제시: 현재 MLLM 이 비시맨틱 추론과 정량적 정보 처리, 복합적 추론에서 겪는 한계를 명확히 드러내어, 향후 모델 개선의 구체적인 방향성을 제공합니다.
• 확장 가능한 연구 플랫폼: 연구자들이 새로운 시나리오와 난이도를 쉽게 추가할 수 있는 확장 가능한 구조를 제공하여, 급성장하는 MLLM 커뮤니티의 지속적인 평가 도구로 활용될 것입니다.

이 논문은 MLLM 의 능력을 인간 아동의 인지 발달 단계와 유사한 프레임워크로 평가함으로써, 인공지능의 '지능'을 더 깊이 있고 구조적으로 이해하는 데 기여합니다.