Global Diversity Is Not Enough: Two FixedMarginal Experiments on Local Language Allocation and Recombination in Synthetic Arithmetic Situation–Role Parsing

당신이 로봇에게 수수께끼를 푸는 법을 가르치고 있다고 상상해 보세요. 단순히 로봇이 정답을 맞히는 것뿐만 아니라, 수수께끼의 조각들이 어떻게 서로 맞물려 돌아가는지 그 '방법'을 이해하기를 원합니다. 이것이 바로 **교육 데이터 마이닝(Educational Data Mining)**의 세계입니다. 과학자들이 정보가 어떻게 조직화되는 방식이 기계(그리고 때로는 인간)의 학습에 어떤 영향을 미치는지 연구하는 분야죠.

이 연구를 이해하려면 두 가지 간단한 개념을 알아야 합니다. 첫째, **전역적 다양성(Global Diversity)**은 모든 언어와 모든 주제를 다루는 거대한 도서관과 같습니다. 듣기에는 좋지만, 만약 "베이킹"에 관한 모든 책이 프랑스어로만 쓰여 있고 "원예"에 관한 모든 책이 독일어로만 쓰여 있다면, 학습자는 독일어로 된 베이킹 책을 보았을 때 혼란을 느낄 수 있습니다. "어, 이건 원예에 관한 책인가 봐!"라고 생각할 수도 있으니까요. 둘데, **조합적 일반화(Compositional Generalization)**는 "bake(굽다)"와 "cake(케이크)"라는 익숙한 부분들을 가져와서, 이전에 본 적 없는 "bake a cake(케이크를 굽다)"라는 새로운 문장을 이해하는 능력을 말합니다.

이것이 왜 중요할까요? 현실 세계에서 우리는 데이터셋이 표면적으로 다양해 보이면 학습에 좋다고 가정하곤 합니다. 하지만 이 논문은 까다로운 질문을 던집니다. "다양성이 어디에 위치하는지가 중요할까?" 재료를 무작위로 흩뿌려 놓으면 로봇이 더 잘 배울까요, 아니면 단순히 "베이킹은 항상 프랑스어다"라고 암기하게 될까요?

---

위대한 언어 셔플: 로봇의 이야기

우리의 로봇 학생을 만나봅시다. 이 로봇은 글자 단위로 학습하는 작은 "나노(nano)" 트랜스포머 모델이며, 아직 책을 단 한 권도 읽지 못했습니다. 로봇의 임무는 수학 문제를 푸는 것이 아니라, "상황 탐정(Situation Detective)" 놀이를 하는 것입니다.

로봇에게 사과에 관한 이야기를 들려준다고 상상해 보세요.

• 시나리오 A: "미아는 사과 10개를 가지고 있었습니다. 그녀는 4개를 주었습니다. 이제 그녀는 몇 개를 가지고 있을까요?"
• 시나리오 B: "미아는 사과를 몇 개 가지고 있었습니다. 그녀는 4개를 더 얻었습니다. 이제 그녀는 10개를 가지고 있습니다."

로봇의 임무는 이 이야기를 분류하는 것입니다. 이 상황이 더하기(Add) 상황인지, 빼기(Subtract) 상황인지, 그리고 어느 부분이 **시작(Start)**이고, **변화(Change)**이며, **결과(Result)**인지를 레이블링하는 것입니다. 로봇은 정답(10 - 4 = 6)을 계산할 필요 없이, 단지 알맞은 숫자를 가리키고 올바른 역할을 지정하기만 하면 됩니다.

연구자들은 단어(words)가 바뀌더라도 로봇이 이러한 역할들을 인식할 수 있는지 확인하고 싶었습니다. 이를 위해 그들은 "고정 한계(fixed-marginal)" 설계를 사용하여 대규모 실험을 구성했습니다. 이것은 파티를 위한 엄격한 예산과 같습니다. 당신에게는 정확히 1,000개의 사과, 1,000개의 오렌지, 1,000개의 바나나가 있고, 이를 여섯 가지 다른 테이블(여섯 가지 유형의 수학 문제)에 나누어 주어야 합니다. 모든 시나리오에서 과일의 총량은 동일하지만, 오직 어떻게 배치하느냐만 달라집니다.

실험 1: "모두 모인 파티" vs "섞어 놓은 파티"

연구자들은 과일을 제공하는 두 가지 주요 방식을 만들었습니다.

1. 집중된 파티 (LC-SC): 테이블 1에는 "사과" 이야기만 "프랑스어"로 제공됩니다. 테이블 2에는 "오렌지" 이야기만 "독일어"로 제공됩니다. 로봇은 "사과"가 항상 테이블 1을 의미한다는 것을 배웁니다. 이것은 지름길입니다. 로봇은 이야기를 이해할 필요 없이, 그냥 과일만 인식하면 됩니다.
2. 분산된 파티 (LD-SD): 이제 과일을 섞어 보겠습니다. 테이블 1에는 사과, 오렌지, 바나나가 다양한 언어와 함께 뒤섞여 있습니다. 테이블 2에도 똑같은 혼합물이 들어있습니다. 여기서 로봇은 과일만 보고 속임수를 쓸 수 없습니다. 자신이 어느 테이블에 있는지 알아내기 위해 실제로 이야기를 읽어야만 합니다.

결과:
로봇이 새로운 조합(이전에 본 적 있는 과일이지만, 새로운 언어나 새로운 테이블에서 나타난 경우)에 대해 테스트를 받았을 때, 그 차이는 엄청났습니다.

• 집중된(Concentrated) 설정에서 로봇은 처참하게 실패했습니다. "사과" 이야기를 익숙하지 않은 테이블에서 보았을 때, 정확도는 약 48%(대략 동전 던지기 확률)로 떨어졌습니다. 로봇은 "사과 = 테이블 1"이라는 경직된 지름길을 배워버린 것입니다.
• 분산된(Distributed) 설정에서 로봇은 비상했습니다. 똑같은 "사과" 이야기를 새로운 테이블에서 보았을 때, 로봇은 **95%**의 확률로 정답을 맞혔습니다.

연구자들은 단순히 언어 계열을 흩뿌려 놓는 것(분산시키는 것)만으로도 로봇이 단어를 새로운 상황에 재배정하는 능력이 0.484(또는 48.4 퍼센트 포인트) 더 좋아졌음을 발견했습니다. 더욱 놀랍게도, 문장 구조(통사론)를 분산시켰을 때는 0.929(92.9 퍼센트 포인트)나 더 좋아졌습니다!

여기서 핵심적인 교훈은 전역적 다양성만으로는 충분하지 않다는 것입니다. 모든 단어와 문장 유형이 담긴 도서관을 가지고 있더라도, 실수로 모든 "베이킹" 단어를 "프랑스어" 문장과 짝지어 놓는다면 로봇은 나쁜 습관을 배우게 됩니다. 독일어로 베이킹을 해달라고 요청하는 순간 실패하게 될 것입니다.

실험 2: "연결된" 지도 vs "끊어진" 지도

로봇이 단어를 섞었을 때 더 잘 배웠습니다. 그렇다면 왜일까요?

연구자들은 하나의 가설을 세웠습니다. 아마도 로봇에게 "지도"가 필요할 것이라고 말이죠. 섞여 있는 파티에서는 모든 단어가 하나의 크고 엉킨 그물처럼 연결되어 있습니다. 만약 당신이 "사과"와 "프랑스어"를 안다면, 다른 단어들을 통해 "오렌지"와 "독일어"로 가는 경로를 찾을 수 있습니다. 반면 집중된 파티에서는 지도가 끊어진 섬들로 나뉘어 있습니다.

이를 테스트하기 위해 연구자들은 두 번째 실험을 진행했습니다. 두 그룹의 로봇을 만들었습니다.

• 그룹 A (단절된 모델): 연구자들은 로봇들에게 두 개의 분리된 섬이 있는 지도를 주었습니다. 섬 1의 단어들은 서로 연결되어 있고, 섬 2의 단어들도 서로 연결되어 있지만, 두 섬 사이에는 아무런 다리가 없었습니다.
• 그룹 B (연결된 모델): 연구자들은 모든 것이 하나의 커다란 루프, 즉 하나의 연결된 경로로 이루어진 지도를 주었습니다.

결정적으로, 두 그룹이 정확히 똑같은 단어, 똑같은 횟수의 등장, 그리고 똑같은 "브릿지(bridge)" 테스트 질문(로봇이 이전에 함께 본 적 없는 두 단어를 결합해야 하는 질문)을 보도록 했습니다.

결과:
"연결된" 지도가 도움이 되지는 않았습니다.

• 끊어진, 단절된 지도를 가진 로봇들은 테스트 질문을 **91.5%**의 확률로 맞혔습니다.
• 커다란 하나의 연결된 루프를 가진 로봇들은 **90.7%**의 확률로 맞혔습니다.

차이는 매우 작았으며 통계적으로 무의미했습니다(약 -0.007). "연결된" 지도는 로봇에게 초능력을 부여하지 못했습니다.

이것이 미래에 의미하는 바

이 논문은 학습에 대해 매우 구체적이고, 약간은 직관에 어긋나는 이야기를 들려줍니다.

1. 재료의 개수만 세지 말고, 레시피를 확인하세요. 데이터셋이 다양하다는 것은, 그 다양성이 국소적인 지름길 속에 숨겨져 있다면 무용지물입니다. 만약 학생(혹은 로봇)이 "질문 A"는 항상 "이야기 유형 X"와 함께 나온다고 배운다면, "질문 A"가 "이야기 유형 Y"와 함께 나타날 때 실패할 것입니다. 연구자들은 국소적 할당(local allocation)(재료를 어떻게 섞느냐)이 전역적 수치(총 재료가 얼마나 있느냐)보다 훨씬 더 중요하다는 것을 보여주었습니다.
2. 새로운 조합을 배우기 위해 완벽한 지도가 필요한 것은 아닙니다. 모든 것을 연결하는 거대한 웹이 있어야 새로운 조합을 배울 수 있다는 생각은 이 시뮬레이션에서 틀렸음이 증명되었습니다. 로봇이 퍼즐의 각 부분을 보고, 그것들이 적어도 두 개의 서로 다른 파트너와 짝을 이루어 본 적이 있다면, 로봇은 새로운 조합을 찾아낼 수 있습니다. 거대한 하나의 고속도로가 필요한 것이 아니라, 충분한 국소적 교차로만 있으면 됩니다.

따라서 여러분이 교과서, 교육 과정, 혹은 AI를 위한 데이터셋을 설계하고 있다면, 단순히 "다양성"만을 목표로 하지 마세요. 여러분이 학습자에게 "수학 문제 유형 A"는 반드시 "문장 스타일 B"와 함께 나타난다는 잘못된 습관을 가르치고 있지는 않은지 확인하십시오. 국소적으로 섞어주세요. 그리고 모든 아이디어를 연결하는 완벽한 네트워크를 구축하려고 애쓰지 마세요. 대신 학습자가 스스로 다리를 놓을 수 있도록, 조각들을 다양한 방식으로 함께 보여주기만 하면 됩니다.

연구자들은 이것이 작은 로봇과 합성 수학 문제를 사용한 시뮬레이션임을 주의 깊게 밝히고 있습니다. 아직 실제 어린이나 실제 교실에서 테스트하지는 않았습니다. 하지만 교훈은 명확합니다. 다양성은 도구이지, 마법 지팡이가 아닙니다. 그 도구를 어떻게 사용하는지가 학습자를 유연한 사고가로 만들지, 아니면 경직된 암기자로 만들지를 결정합니다.