🤖 AI

Math Takes Two: A test for emergent mathematical reasoning in communication

이 논문은 언어 모델이 기존의 수학적 관습을 단순히 암기하는 것을 넘어, 사전 지식이 없는 상태에서 통신을 통해 스스로 추상적인 수 체계와 기호 프로토콜을 구축하며 수학적 추론 능력을 발현할 수 있는지 평가하기 위한 새로운 벤치마크인 'Math Takes Two'를 제안합니다.

원저자: Michael Cooper, Samuel Cooper

게시일 2026-04-27

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Michael Cooper, Samuel Cooper

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🧠 제목: "수학은 혼자 하는 게 아니라, 둘이서 대화하며 만들어지는 것이다"

1. 지금의 AI는 '수학 천재'일까, 아니면 '눈치 빠른 암기왕'일까?

요즘 챗GPT 같은 AI들은 수학 문제를 정말 잘 풀죠? 하지만 과학자들은 의심하고 있어요. "얘네가 진짜 수학적 원리를 이해하는 걸까, 아니면 그냥 엄청나게 많은 문제집을 풀어서 '이런 질문엔 이런 답이 나오더라'라는 패턴을 외운 걸까?" 하는 점이죠.

마치 시험 공부를 할 때, 원리는 하나도 모르면서 문제와 답을 통째로 외워버린 학생과 비슷할 수 있다는 거예요. 만약 문제의 숫자 하나만 살짝 바꿔도 쩔쩔맨다면, 그건 진짜 실력이 아니겠죠?

2. 새로운 실험: "아무것도 모르는 외계인 둘을 데려다 놓는다면?" (Math Takes Two)

연구팀은 이 의문을 풀기 위해 아주 독특한 실험실을 만들었습니다. 이름하여 'Math Takes Two' 프로젝트예요.

상상해 보세요. 여기 **'스피커(말하는 이)'**와 **'리스너(듣는 이)'**라는 두 명의 외계인이 있습니다. 이들은 인간의 언어도 모르고, '1, 2, 3' 같은 숫자 개념도 전혀 모릅니다. 오직 눈앞에 보이는 **'물건의 개수'**만 볼 수 있어요.

상황: 스피커 앞에 사과 3개가 놓여 있습니다. 스피커는 리스너에게 이 사과 3개를 설명해야 해요. 하지만 말로 할 수 있는 건 딱 8개의 정체불명 기호(예: A, B, 1, + 등)뿐입니다.
미션: 스피커가 기호를 조합해 신호를 보내면, 리스너는 그 신호만 듣고 여러 장의 사진 중 '사과 3개'가 그려진 사진을 정확히 골라내야 합니다.

이 실험의 핵심은 이것입니다: "두 존재가 서로 소통하려고 애쓰다 보면, 스스로 **'숫자'**나 '더하기' 같은 수학적 규칙을 발명해낼 수 있을까?"

3. 왜 이게 중요할까요? (인류의 역사와 닮은꼴)

인류의 역사도 이와 비슷합니다. 아주 먼 옛날, 우리 조상들도 처음부터 미적분을 알았던 건 아니죠. "저기 적이 8명 온다!"라고 빠르게 전달해야 하는 생존의 필요성 때문에, '8'이라는 개념과 숫자를 나타내는 기호를 스스로 만들어냈을 가능성이 커요. 즉, 수학은 '소통의 효율성'을 높이기 위해 탄생한 도구라는 것이죠.

연구팀은 AI에게도 이 과정을 똑같이 시켜본 겁니다. 인간이 가르쳐준 수학을 베끼는 게 아니라, **"살아남기 위해(미션을 완수하기 위해) 스스로 수학을 발명해봐!"**라고 던져준 것이죠.

4. 실험 결과: "인간은 '응용력 만렙', AI는 아직 '응용력 부족'"

연구팀은 사람들과 AI를 비교해 봤습니다.

사람들: 처음 보는 물건이나 처음 보는 숫자가 나와도, 자신들이 만든 규칙을 순식간에 수정해서 "아, 이건 이렇게 말하면 되겠구나!"라며 척척 맞혔습니다. (응용력 대박!)
AI: 배운 범위 내에서는 어느 정도 따라오지만, 한 번도 본 적 없는 새로운 물건이나 숫자가 등장하면 멘붕에 빠졌습니다. 단순히 패턴을 외우는 수준을 완전히 벗어나지는 못했다는 뜻이죠.

5. 결론 및 미래: "진짜 지능을 향한 첫걸음"

이 논문은 AI가 단순히 '데이터를 외우는 기계'를 넘어, **'스스로 원리를 깨우치는 존재'**가 되려면 어떻게 해야 하는지 방향을 제시합니다.

단순히 문제집을 더 많이 풀게 하는 게 아니라, **"서로 소통하며 새로운 규칙을 만들어내야 하는 환경"**에 AI를 던져놓아야 한다는 것이죠. 그렇게 된다면 미래의 AI는 인간이 가르쳐주지 않은 새로운 수학 법칙이나 과학 원리까지 스스로 발견해낼지도 모릅니다!

요약하자면:

"이 논문은 AI가 수학을 '암기'하는지 '이해'하는지 확인하기 위해, 아무것도 모르는 두 존재가 소통하며 스스로 수학 규칙을 만들어가는 게임을 설계했고, AI가 진짜 수학적 사고를 하기 위해 넘어야 할 산이 무엇인지 보여준 연구입니다."

[기술 요약] Math Takes Two: 커뮤니케이션을 통한 창발적 수학적 추론 테스트

1. 문제 정의 (Problem Statement)

현재의 대규모 언어 모델(LLM)은 수학적 벤치마크에서 뛰어난 성능을 보이지만, 이것이 진정한 **수학적 추론(Mathematical Reasoning)**인지, 아니면 학습된 형식적 구문(Formal Syntax)에 대한 **통계적 패턴 매칭(Statistical Pattern Matching)**인지에 대한 의문이 제기되고 있습니다.

기존의 수학 평가 방식은 이미 인류가 정립한 기호와 규칙을 기반으로 합니다. 따라서 모델이 기초 원리(First Principles)로부터 추상적 개념을 스스로 구축할 수 있는지를 평가하기 어렵습니다. 본 논문은 "수학적 인지 능력이 정밀한 의사소통의 필요성과 함께 공진화(Co-evolved)했을 것"이라는 가설에 기반하여, 모델이 사전 지식 없이도 통신을 통해 수학적 구조를 발견할 수 있는지를 묻습니다.

2. 방법론 (Methodology)

본 연구는 **'Math Takes Two'**라는 새로운 벤치마크를 제안합니다. 이 벤치마크는 두 에이전트(Speaker와 Listener)가 시각적 자극에 기반하여 공유된 기호 프로토콜을 개발하고, 이를 통해 수량을 전달하는 게임 환경을 구축합니다.

핵심 설계:

에이전트 역할:
- Speaker (화자): 입력된 이미지(물체의 수량, $m \times n$ 배열 등)를 보고 제한된 기호 문자열로 변환하여 전달합니다.
- Listener (청자): 전달받은 문자열만을 사용하여 후보 이미지 세트 중 올바른 이미지를 선택해야 합니다.
제한된 언어 (Symbolic Bottleneck): 모델의 편향을 막기 위해 인류의 언어나 수학 체계를 배제하고, 단 8개의 토큰 [A, B, C, 0, 1, 2, +, *]만을 사용합니다.
3단계 실험 프로토콜:
1. Preconditioning Phase (사전 학습 단계): 에이전트들이 자유롭게 상호작용하며 시각적 수량과 기호 사이의 매핑을 스스로 발견하는 비지도 학습 단계입니다.
2. Practice Phase (연습 단계): 이전에 본 적 없는 새로운 물체 유형과 더 큰 숫자가 등장합니다. 에이전트는 피드백을 받으며 언어를 수정/적응할 수 있습니다.
3. Test Phase (테스트 단계): 피드백 없이 완전히 새로운 물체와 수량(OOD, Out-of-Distribution)에 대해 단 한 번의 통신으로 정답을 맞춰야 합니다.

3. 주요 기여 (Key Contributions)

새로운 평가 패러다임: 기존의 '이미지-텍스트 매핑' 방식에서 벗어나, 에이전트 간의 상호작용적 커뮤니케이션을 통해 수학적 구조가 창발(Emergence)하는지를 측정하는 프레임워크를 제시했습니다.
OOD(분포 외) 일반화 테스트: 단순히 학습된 패턴을 따르는 것이 아니라, 새로운 숫자와 기호를 만났을 때 기존의 규칙을 확장(Extrapolation)하여 적용할 수 있는지를 엄격하게 평가합니다.
인간-모델 비교 연구: 인간 참가자들을 대상으로 한 실험을 통해, 인간이 어떻게 기호를 발명하고 확장하는지에 대한 기준점(Baseline)을 제공했습니다.

4. 실험 결과 (Results)

실험은 인간 참가자와 두 가지 유형의 심볼릭 오토인코더(Symbolic Autoencoder, AE) 모델을 대상으로 진행되었습니다.

인간의 성능: 인간은 연습 단계(0.91)와 테스트 단계(0.87) 모두에서 매우 높은 정확도를 보였으며, 새로운 숫자와 기호가 등장해도 실시간으로 언어 체계를 적응시켜 확장하는 능력이 탁월했습니다.
모델의 성능:
- Symbolic AE: 모델들은 연습 단계에서는 어느 정도 성능을 보였으나, 테스트 단계(OOD)에서는 성능이 급격히 하락했습니다.
- 일반화의 한계: 특히 새로운 시각적 기본 요소(OOD Symbol)를 만났을 때 성능 저하가 가장 컸습니다. 이는 현재의 심볼릭 압축 방식이 복잡한 시각적 추론과 기호적 추론을 결합하는 데 한계가 있음을 시사합니다.
- Unfrozen vs Frozen: 모델을 학습 데이터에 맞춰 미세 조정(Unfrozen)할 경우 연습 단계 성능은 올라가지만, 오히려 테스트 단계의 일반화 능력은 떨어지는 현상이 관찰되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

본 논문은 인공지능이 단순히 인간의 수학을 '흉내'내는 것을 넘어, 기초부터 스스로 수학적 개념을 '발명'할 수 있는가에 대한 중요한 질문을 던집니다.

학술적 의의: 수학적 추론을 커뮤니케이션의 산물로 보고, 이를 에이전트 간의 협력적 상호작용을 통해 구현하려는 시도는 인공지능의 추상화 능력을 연구하는 새로운 경로를 제공합니다.
향후 방향: 연구진은 향후 모델에 **외부 메모리(External Memory)**를 도입하거나, 불확실성을 모델링하는 능력을 부여함으로써 인간과 유사한 수준의 창발적 추론을 유도할 수 있을 것으로 기대하고 있습니다.

결론적으로, Math Takes Two는 AI가 통계적 패턴 매칭을 넘어 진정한 의미의 구조적, 기호적 추론 능력을 갖추었는지 검증할 수 있는 강력한 벤치마크로서 기능할 것입니다.