지금까지 인공지능 (AI) 을 평가할 때는 주로 어른들의 기준을 사용했습니다. 마치 6 살짜리 아이에게 "대학 입시 문제"나 "복잡한 법률 문서 해석"을 시켜서 점수를 매기는 것과 같습니다.
기존 방식: "너는 세상에 대해 얼마나 많이 알고 있니?", "복잡한 지시사항을 잘 따라하니?"
문제점: 아기 AI 는 아직 세상에 대해 많이 알지 못합니다. 이들은 주로 **아기들이 듣는 말 (어른이 아이에게 하는 말)**이나 동화책 같은 데이터로만 배웠습니다. 어른용 시험지를 주면, 아기는 "내가 몰라서"가 아니라 "시험지가 너무 어려워서" 실패하게 됩니다. 그래서 아기가 실제로 어떤 능력을 가지고 있는지 알 수 없게 됩니다.
2. 해결책: <베이비 리저닝 벤치>라는 새로운 놀이판
저자들은 **"아기들이 실제로 어떻게 생각하는지"**를 알아내기 위해, 발달 심리학자들이 수백 년간 아이들을 연구할 때 쓰던 고전적인 실험들을 AI 시험지로 만들었습니다.
이 시험지는 19 가지 미션으로 구성되어 있는데, 마치 다음과 같은 놀이 같습니다:
마음 읽기 놀이 (False Belief): "지민이는 장난감을 어디에 둔 줄 알까?" (지민이는 장난감이 옮겨졌다는 걸 모릅니다. 아이들은 지민이가 어디를 찾을지 맞혀야 합니다.)
원인 찾기 놀이 (Causal Reasoning): "이 블록이 왜 떨어졌을까?" (원인과 결과를 연결하는 능력)
비유 놀이 (Analogy): "눈사람이 녹으면 물이 되죠? 초콜릿이 녹으면 뭐가 될까요?" (비슷한 관계를 찾아내는 능력)
실험 놀이 (Control of Variables): "어떤 장난감이 소리를 내는지 알아내려면 어떻게 해야 할까?" (한 번에 하나씩만 바꿔가며 실험하는 능력)
이 시험지는 GPT-5.2라는 아주 똑똑한 AI 가 문제를 만들어주게 했지만, 그 내용은 유치원생이나 초등학생이 풀 수 있는 수준으로 설계되었습니다.
3. 실험 결과: 두 명의 '아기 AI'가 시험을 치렀습니다
저자들은 1000 만 단어와 1 억 단어의 아기용 말 (Child-directed speech) 로 배운 두 개의 작은 AI 모델을 시험에 출석시켰습니다. 결과는 어땠을까요?
📊 결과 1: "크면 무조건 좋은 건 아니다" (Scaling is not everything)
1 억 단어 모델 (더 큰 아기): 물리 법칙이나 간단한 인과 관계 문제에서는 100% 를 맞히는 등 훨씬 잘했습니다. (예: "공을 던지면 떨어진다"는 것을 잘 이해함)
1000 만 단어 모델 (작은 아기): 놀랍게도 어떤 문제에서는 더 큰 아기보다 더 잘 풀었습니다. 특히 '원인 구조를 학습하는 문제'나 '실수한 상황을 이해하는 문제'에서는 작은 아기가 더 높은 점수를 받았습니다.
교훈: 단순히 데이터를 많이 먹인다고 해서 모든 지능이 똑같이 자라지는 않습니다. 어떤 능력은 작을 때 더 잘 발달하기도 합니다.
📊 결과 2: "마음 읽기는 여전히 어렵다" (Theory of Mind is Fragile)
마음 읽기 (타인의 생각 이해): "지민이는 장난감이 어디에 있는지 모른다"는 것을 이해하는 문제는 두 모델 모두 50~60% 정도만 맞췄습니다.
의미: 아기 AI 는 타인의 마음을 이해하는 능력이 아직 완전히 자리 잡지 않았습니다. 질문을 조금만 다르게 바꾸면 (예: 문장 구조를 바꿈) 정답을 못 맞추는 등 매우 불안정했습니다.
📊 결과 3: "일관성 없는 성장"
어떤 문제는 100% 를 맞췄는데, 비슷한 다른 문제는 0% 를 맞기도 했습니다. 이는 AI 가 진짜로 '이해'한 것이 아니라, 문제의 표면적인 단서 (단어 순서 등) 를 외워서 답을 맞추고 있을 가능성을 보여줍니다.
4. 결론: 왜 이 연구가 중요한가?
이 논문의 핵심 메시지는 **"아기 AI 를 평가할 때는 어른용 시험지를 쓰지 말라"**는 것입니다.
진짜 능력 찾기: 이 새로운 시험지를 통해 우리는 AI 가 어떤 능력을 진짜로 습득했는지, 어떤 능력은 아직 부족하는지 정교하게 볼 수 있게 되었습니다.
인간 성장의 거울: 인간 아이들은 3 세에 마음 읽기를 배우고, 5 세에 논리를 배우는 등 단계적으로 자라납니다. AI 도 비슷한 패턴으로 자라나는지, 아니면 전혀 다른 방식으로 자라는지 이 벤치마크를 통해 연구할 수 있습니다.
🌟 한 줄 요약
"어른용 시험지로 아기를 재면 안 됩니다. <베이비 리저닝 벤치>는 아기 AI 가 실제로 어떤 능력을 가지고, 어떤 부분에서 아직 '아기'인지 알려주는, 아이들을 위한 맞춤형 성장 기록지입니다."
이 연구를 통해 우리는 AI 가 단순히 데이터를 외우는 기계가 아니라, 인간처럼 단계적으로 사고하는 능력을 키워가는 존재로 발전할 수 있는 길을 찾고 있습니다.
1. 문제 제기 (Problem)
기존의 언어 모델 (LLM) 평가는 성인을 중심으로 설계된 벤치마크에 의존하고 있습니다. 이러한 벤치마크는 광범위한 세계 지식, 복잡한 지시 따르기, 성숙한 화용론적 능력 (pragmatic competence) 을 전제로 합니다. 그러나 베이비 언어 모델 (Baby Language Models) 은 아동 지향적 언어 (child-directed speech) 나 초기 아동기 내러티브와 같이 발달적으로 타당한 입력 데이터로 학습된 모델입니다.
모순: 성인 중심의 평가 기준은 발달적으로 제한된 입력으로 학습된 모델의 능력을 왜곡하거나, 어떤 추론 능력이 실제로 발현되는지 파악하기 어렵게 만듭니다.
필요성: 인간 인지 발달의 궤적에 부합하는 평가 패러다임이 필요하며, 이를 통해 데이터 효율적인 AI 와 인지 모델링에 대한 새로운 통찰을 얻을 수 있어야 합니다.
2. 방법론 (Methodology)
A. BABYREASONINGBENCH 구축
저자는 발달 심리학의 고전적 패러다임을 기반으로 한 BABYREASONINGBENCH를 제안했습니다.
생성 도구: GPT-5.2 를 활용하여 19 가지 추론 작업을 기반으로 한 벤치마크를 생성했습니다.
작업 범위:
심리 이론 (Theory of Mind): 명시적 거짓 신념 (False Belief, 예: Sally-Anne 테스트) 및 암시적 기대 위반 (Violation of Expectation) 작업.
유추 및 관계 추론: 인과적 변환 및 스토리 구조에 기반한 관계 매핑.
인과 추론: 증거 패턴 학습 (Blicket Detector), 인과 구조 유도, 교란 조건 하의 호기심 기반 탐색.
핵심 추론 원리: 전이 추론 (Transitive Inference), 반사실적 추론, 범주 기반 귀납, 화용론적 문장 효과, 변수 통제 전략 (CVS), 보존 개념 등.
데이터 생성 전략:
각 작업에 대해 1 개의 시드 질문을 생성한 후, GPT-5.2 를 통해 각 시드당 10 개의 변형 (Total 11 개) 을 생성하여 총 209 개의 다지선다형 문제 (MCQ) 를 확보했습니다.
이 전략은 특정 문장 구조나 표면적 형식에 대한 편향을 줄이고, 모델의 추론 능력을 더 정확하게 진단하기 위함입니다.
모든 문제는 인간이 직접 검토하여 논리적 오류를 수정하고, 답변 선택지의 토큰 길이를 유사하게 유지하여 퍼플렉시티 (Perplexity) 기반 평가의 편향을 최소화했습니다.
B. 평가 대상 및 프로토콜
모델: 발달적으로 동기 부여된 코퍼스 (CHILDES 등) 로 사전 학습된 두 가지 BabyLM GPT-2 베이스라인 모델 사용:
BabyLM-10M: 1 천만 단어 (10M) 의 아동 지향적 텍스트로 학습.
BabyLM-100M: 1 억 단어 (100M) 의 아동 지향적 텍스트로 학습.
평가 방식: 질문과 각 선택지를 연결하여 프롬프트를 구성한 후, 언어 모델이 해당 선택지를 생성할 조건부 로그 가능도 (conditional log-likelihood) 를 계산하여 가장 확률이 높은 답을 선택하는 방식으로 평가했습니다.
3. 주요 결과 (Key Results)
Table 1 및 Figure 1 의 실험 결과를 바탕으로 한 주요 발견은 다음과 같습니다.
전반적 성능: 두 모델 모두 벤치마크의 의미 있는 하위 집합을 해결했으나, 전반적인 정확도는 중등도 수준이었습니다 (10M 모델 평균 52.15%, 100M 모델 평균 53.59%).
비선형적 스케일링 (Non-monotonic Scaling):
데이터 양이 증가한다고 해서 모든 작업에서 성능이 향상되는 것은 아닙니다.
향상된 영역: 물리적 인과 관계 (Physical Cause-Effect, 100M 에서 100% 달성), 단순 인과 유추, Blicket Detector 추론 등 단거리 증거 통합이 필요한 작업에서 100M 모델이 10M 모델보다 크게 우세했습니다.
악화된 영역:인과 구조 학습 (Causal Structure Learning) 작업에서 10M 모델은 81.82% 의 높은 정확도를 보인 반면, 100M 모델은 18.18% 로 급격히 하락했습니다. 이는 "더 큰 모델이 항상 더 낫다"는 가설이 발달 기반 추론에서는 성립하지 않음을 시사합니다.
신념 귀속 및 화용론적 민감성:
명시적 거짓 신념 작업 (False Belief) 에서 두 모델 모두 바닥 수준 (Floor) 을 벗어났으나 (약 63~81%), 성능이 작업 형식에 따라 불안정하게 변동했습니다.
이는 모델이 신념이나 화용론적 맥락에 민감한 행동을 보일 수는 있으나, 이것이 강력하게 일반화되지 않고 취약 (Fragile) 함을 의미합니다.
4. 주요 기여 (Key Contributions)
BABYREASONINGBENCH 제안: 성인 중심의 복잡한 지식을 요구하지 않고, 인간 영유아의 인지 발달 단계를 반영한 19 가지 추론 작업으로 구성된 최초의 체계적인 벤치마크입니다.
발달적 렌즈를 통한 모델 분석: 기존 벤치마크에서는 보이지 않았던, 발달적으로 훈련된 모델의 세분화된 능력 (Fine-grained abilities) 과 취약점을 드러냈습니다.
메커니즘 민감성 평가: 단순한 정확도 점수가 아닌, 모델이 어떤 인지 메커니즘 (예: 관계 매핑, 증거 통합, 신념 표현) 을 통해 문제를 해결하는지, 그리고 어떤 요인 (화용론, 기억 부하) 에 의해 방해받는지 진단할 수 있는 도구를 제공합니다.
스케일링 법칙에 대한 재고: 데이터 양의 증가가 모든 추론 능력을 선형적으로 향상시키지 않으며, 오히려 특정 작업에서는 성능 저하를 초래할 수 있음을 실증했습니다.
5. 의의 및 결론 (Significance & Conclusion)
이 논문은 BABYREASONINGBENCH가 단순한 순위 매기기용 데이터셋이 아닌, 진단 도구 (Diagnostic Instrument) 로서의 가치를 강조합니다.
이론적 의의: 아동 지향적 입력 분포에서 어떤 종류의 추론 능력이 발현되는지, 그리고 인간 발달의 궤적과 모델의 학습 경로가 어떻게 일치하거나 다른지를 탐구하는 기초를 마련했습니다.
실용적 의의: 미래의 베이비 언어 모델 연구에서 모델의 성능을 평가할 때, 단순한 전체 점수가 아닌 작업별 분해능 (Task-level dissociation) 을 통해 견고한 추론 능력과 형식에 의존한 취약한 성공을 구분해야 함을 시사합니다.
향후 과제: 텍스트 기반 MCQ 의 한계를 극복하기 위해 시각적 장면이나 상호작용적 설정 (다중 모달) 으로 확장하고, 변수 통제 및 기억 부하 조작 등을 통해 화용론과 추론을 더 명확히 분리하는 연구가 필요하다고 제안합니다.
요약하자면, 이 연구는 성인 중심의 평가 기준에서 벗어나, 인간 아기의 인지 발달 단계를 모방한 언어 모델의 진정한 추론 능력을 측정하기 위한 새로운 표준을 제시했습니다.