Heterogeneity in Formal Linguistic Competence of Language Models: Is Data the Real Bottleneck?
이 논문은 대규모 언어 모델의 형식적 언어 능력 편차가 아키텍처의 한계가 아닌 데이터 부족에서 비롯될 수 있음을 보여주며, 소규모 모델에 특정 문법 현상을 목표로 한 소량의 합성 데이터를 주입함으로써 대부분의 저성능 영역에서 성능을 획기적으로 개선할 수 있음을 입증했습니다.
원저자:H S V N S Kowndinya Renduchintala, Sumit Bhatia
이 논문은 **"거대 언어 모델 (LLM) 이 왜 문법 실수를 할까? 그 이유는 모델이 멍청해서일까, 아니면 배운 데이터가 부족해서일까?"**라는 질문에 답하는 흥미로운 연구입니다.
핵심 결론을 한 마디로 요약하면: **"모델이 멍청해서가 아니라, 특정 문법 규칙을 배울 '데이터'가 너무 적어서 실패하는 경우가 많다."**는 것입니다.
이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.
🍳 비유: "요리사 (모델) 와 레시피 (데이터)"
생각해 보세요. 천재 요리사 (거대 언어 모델) 가 있습니다. 이 요리사는 인터넷에 있는 모든 요리 책 (데이터) 을 읽어서 요리를 배웠습니다.
문제 상황: 이 요리사는 '파스타'나 '스테이크' 같은 기본 요리는 완벽하게 해내지만, 유독 **'특이한 소스'**나 **'어려운 디저트'**만 만들면 엉망이 됩니다. 심지어 수천 권의 책을 더 읽어도 그 특정 디저트는 여전히 실패합니다.
사람들은 "아, 이 요리사는 디저트 만드는 재능이 없구나 (모델의 한계)"라고 생각했습니다.
연구자의 의문: 하지만 연구자들은 의문을 품었습니다. "아니, 정말 재능이 없어서일까? 아니면 그 특이한 소스 레시피가 책에 너무 적게 실려서 배울 기회가 없었던 걸까?"
실험 (데이터 주입): 연구자들은 작은 모델 (GPT-2) 을 훈련시키면서, 전체 책의 1% 만을 갈아치웠습니다. 그 1% 는 평소에는 잘 안 나오는 '특이한 소스 레시피'가 아주 많이 들어간 인공적으로 만든 책이었습니다.
마치 요리사에게 "너는 기본 요리는 잘하지만, 이 '특이한 소스' 레시피만 100 번 더 연습해 봐"라고 시킨 것과 같습니다.
결과: 놀랍게도, 그 1% 의 레시피만 추가했을 때, 요리사는 그 '특이한 소스'를 완벽하게 만들게 되었습니다!
예를 들어, 'only_npi_scope'라는 문법 규칙은 20% 만 맞추던 것이 **69%**까지 급상승했습니다.
다른 기본 요리 (전체 성능) 는 오히려 더 좋아지거나 그대로 유지되었습니다.
💡 이 연구가 우리에게 알려주는 교훈
데이터의 양보다 '질'과 '구성'이 중요하다: 우리는 "더 많은 데이터를 먹이면 모델이 똑똑해진다"고 생각합니다. 하지만 이 연구는 **"특정 문법을 배우려면, 그 문법이 포함된 데이터가 충분히 섞여 있어야 한다"**고 말합니다. 마치 아이에게 수학 공식을 가르칠 때, 공식이 나오는 문제만 100 개를 내주는 것이 더 효과적일 수 있는 것과 같습니다.
모델은 원래 능력을 가지고 있다: 모델이 문법을 못 하는 건 '뇌 (아키텍처)'가 부족해서가 아니라, '공부할 책 (데이터)'에 그 내용이 너무 적게 담겨 있어서였습니다. 적절한 데이터를 주면 작은 모델도 복잡한 문법을 마스터할 수 있습니다.
예외도 있다: 하지만 모든 문제가 해결된 것은 아닙니다. 'principle_A_c_command'라는 아주 까다로운 문법은 데이터만 추가해도 여전히 실패했습니다. 이는 어떤 규칙은 단순히 데이터 양으로 해결되지 않고, 모델의 구조적 한계나 훨씬 더 많은 데이터가 필요할 수도 있음을 시사합니다.
🚀 결론: "데이터의 맛을 잘 섞자"
이 논문은 인공지능 개발자들에게 **"무작정 데이터를 더 많이 쌓는 것 (Scaling) 만이 답은 아니다"**라고 경고합니다. 대신, **어떤 문법 규칙이 부족한지 파악하고, 그 부분을 채워줄 수 있는 데이터를 전략적으로 섞는 것 (Data Composition)**이 훨씬 효율적이고 중요한 열쇠라는 것을 증명했습니다.
즉, 거대한 도서관을 짓는 것보다, 아이에게 꼭 필요한 책을 골라 잘 읽히는 것이 더 중요할 수 있다는 뜻입니다.
1. 연구 배경 및 문제 제기 (Problem)
대형 언어 모델 (LLM) 은 방대한 양의 토큰으로 학습되었음에도 불구하고, 형식적 언어 능력 (Formal Linguistic Competence) 에서 극단적인 편차를 보입니다.
현상: 일부 언어 현상은 거의 완벽하게 습득하는 반면, 다른 특정 문법 구조 (특히 BLiMP 벤치마크의 일부 패러다임) 에서는 우연 수준 (chance level) 이하의 성능을 보입니다.
문제: 이러한 실패가 모델 아키텍처의 고유한 한계 (인덕티브 바이어스 부족 등) 때문인지, 아니면 웹 규모의 코퍼스에서 해당 문법 구조의 데이터 부족 (Scarcity) 때문인지 명확하지 않았습니다.
기존 관점: 단순히 학습 데이터의 양 (토큰 수) 을 늘리는 스케일링 (Scaling) 만으로는 특정 패러다임의 성능이 개선되지 않거나, 오히려 성능이 저하되는 '역 U 자형 스케일링 곡선'이 관찰되기도 했습니다.
2. 연구 방법론 (Methodology)
저자들은 데이터 부족이 주요 원인인지 검증하기 위해 제어된 데이터 개입 (Controlled Data Intervention) 실험을 설계했습니다.
기반 모델: GPT-2 Small (124M 파라미터) 사용.
학습 데이터: FineWeb 코퍼스에서 무작위 추출한 1 억 토큰 (100M tokens) 을 베이스로 사용.
개입 전략 (Intervention):
특정 BLiMP 패러다임 (문법 현상) 을 구현하는 합성 데이터 (Synthetic Data) 를 생성하여 학습 데이터에 주입했습니다.
양: 전체 학습 데이터의 1%(약 100 만 토큰, 약 3 천 문장) 만을 교체하거나 추가했습니다.
품질: 생성된 데이터는 자연스러운 문서 형태를 띠도록 설계되었습니다. GPT-OSS 120B 를 사용하여 다양한 장르 (Genre) 와 하위 장르, 그리고 특정 어휘 (Lemmas) 를 포함하도록 프롬프트를 구성하여 문체적 다양성을 확보했습니다.
제어 변수: 모델 아키텍처, 하이퍼파라미터, 총 학습 토큰 수 등은 모두 동일하게 유지하여 데이터 구성의 변화만이 성능에 미치는 영향을 격리했습니다.
평가: BLiMP (Benchmark of Linguistic Minimal Pairs) 벤치마크 전체를 사용하여 평가했습니다. 이는 문법적으로 올바른 문장과 최소한의 차이로 잘못된 문장 쌍을 비교하여 모델이 올바른 문장에 더 높은 확률을 부여하는지 확인하는 방식입니다.
3. 주요 기여 (Key Contributions)
실패 사례 식별: GPT-2 Small 모델이 우연 수준 이하로 성능이 낮은 BLiMP 패러다임 9 가지를 식별했습니다.
데이터 개입 방법론 제안: 자연스러운 합성 텍스트를 소량 (1%) 만 주입하여 특정 문법 규칙에 대한 노출을 극대화하는 방법을 제시했습니다.
데이터 부족 가설 검증: 9 가지 실패 사례 중 8 가지에서 데이터 부족이 주요 병목 현상임을 증명했습니다. 이는 모델이 아키텍처적 한계로 인해 해당 문법을 학습할 수 없는 것이 아니라, 단순히 충분한 노출 (Exposure) 이 부족했기 때문임을 시사합니다.
4. 실험 결과 (Results)
A. 패러다임별 성능 향상
표적 데이터 개입 (Targeted Intervention) 은 9 개 패러다임 중 8 개에서 매우 큰 성능 향상을 보였습니다.
기타 개선:existential_there_quantifiers_2, left_branch_island_echo_question 등에서도 10~28%p 이상의 절대적 향상을 기록했습니다.
예외:principle_A_c_command 의 경우 개입 후에도 여전히 우연 수준 (46.0%) 이하로 성능이 개선되지 않았습니다. 이는 장거리 의존성과 선형적으로 가까운 방해 요소 (distractor noun) 가 결합된 복잡한 구조라 더 많은 데이터 밀도나 다른 인덕티브 바이어스가 필요할 수 있음을 시사합니다.
B. 전체 성능 (Aggregate Performance)
특정 문법 패턴에 집중된 데이터를 주입했음에도 불구하고, 전체 BLiMP 점수는 유지되거나 오히려 약간 향상되었습니다.
이는 1% 의 소량 개입이 모델의 일반적인 언어 분포를 왜곡하거나 다른 능력을 망각 (Catastrophic Forgetting) 시키지 않았음을 의미합니다.
C. 개입 규모에 따른 영향 (Ablation Study)
합성 데이터의 비율을 0.01%, 0.1%, 1% 로 변화시켰을 때, 대부분의 패러다임에서 데이터 양이 증가할수록 성능이 개선되는 경향을 보였습니다.
특히 principle_A_reconstruction 의 경우, 0.01% (약 1 만 토큰, 30 개 예시) 만으로도 성능이 37.2% 에서 72.3% 로 급격히 상승하여, 모델이 해당 구조를 학습하는 데 매우 적은 증거만으로도 충분함을 보여주었습니다.
5. 의의 및 결론 (Significance & Conclusion)
데이터 구성 (Data Composition) 의 중요성: 모델의 형식적 언어 능력은 단순히 데이터의 규모 (Scale) 보다 데이터의 구성 (Composition) 에 더 크게 의존할 수 있습니다. 소규모 모델이라도 적절한 데이터 구성을 가진다면, 초대규모 모델보다 특정 문법 현상을 더 잘 학습할 수 있습니다.
예시: 1 억 토큰으로 학습된 124M 모델이, 15 조 토큰으로 학습된 70B 모델 (Llama-3 70B) 보다 principle_A_reconstruction 에서 더 높은 성능 (78.9% vs 49.6%) 을 보였습니다.
인간 규모 언어 모델링 (Human-scale LM) 에 대한 시사점: 인간이 평생 접하는 언어 데이터 양 (약 1 억 토큰 수준) 으로도 복잡한 문법을 학습할 수 있음을 재확인했습니다. 이는 'BabyLM' 챌린지 등의 연구 방향을 지지하며, 데이터의 질과 구성을 최적화하는 것이 효율적인 언어 모델 개발의 핵심임을 강조합니다.
한계: 모든 패러다임이 데이터 양만으로 해결되는 것은 아니며 (principle_A_c_command 등), 모델 아키텍처나 파라미터 수에 따른 차이는 향후 연구 과제로 남겼습니다.
결론적으로, 이 연구는 LLM 의 형식적 언어 능력 불균형이 대부분 '데이터 부족'에서 기인하며, 소량의 타겟팅된 데이터 개입만으로도 이를 해결할 수 있음을 실증적으로 증명했습니다.