💬 NLP

TELLME: Test-Enhanced Learning for Language Model Enrichment

이 논문은 테스트 강화 학습(Test-Enhanced Learning)을 지속적 사전 학습(continual pre-training)과 결합하여, 전통적인 방식의 데이터 및 계산 효율성 문제를 극복하면서 대규모 언어 모델이 도메인 특화 지식을 효율적으로 습득하고 장기 기억 유지력을 향상시키도록 하는 새로운 방법론인 TELLME를 소개한다.

원저자: Minjun Kim, Inho Won, Hyeonseok Lim, MinKyu Kim, Junghun Yuk, Wooyoung Go, Jongyoul Park, Jungyeul Park, KyungTae Lim

게시일 2026-08-13

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Minjun Kim, Inho Won, Hyeonseok Lim, MinKyu Kim, Junghun Yuk, Wooyoung Go, Jongyoul Park, Jungyeul Park, KyungTae Lim

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 초지능 로봇에게 금융이나 의학 같은 특정 분야의 전문가가 되는 법을 가르치려 한다고 상상해 보세요. 단순히 도서관에 있는 교과서들을 로봇에게 주고 다 외우길 바랄 수는 없습니다. 그것은 너무 느리고 비용이 많이 들기 때문입니다. 이것이 바로 현대 챗봇의 뒤에 있는 AI 두뇌인 **거대 언어 모델(LLM)**의 세계입니다. 보통 이 로봇들을 새로운 주제에 대해 더 똑똑하게 만들기 위해, 과학자들은 **지속적 사전 학습(Continual Pre-training, CPT)**이라는 방법을 사용합니다. CPT를 로봇에게 해당 주제에 관한 방대한 양의 기사와 뉴스 이야기를 끊임없이 먹이는 것이라고 생각하면 됩니다. 로봇은 이를 읽고, 패턴을 학습하며, 점점 더 나아집니다.

하지만 함정이 있습니다. 책을 읽는다고 해서 반드시 내용을 진정으로 이해하거나 다음 주까지 기억할 수 있는 것은 아닙니다. 인간 심리학에는 **테스트 강화 학습(Test-Enhanced Learning, TEL)**이라는 유명한 개념이 있습니다. 공부하는 동안 퀴즈를 푸는 것이 단순히 자료를 다시 읽는 것보다 정보를 뇌에 더 잘 각인시킨다는 역설적인 발견입니다. 이는 요리 프로그램을 수동적으로 시청하는 것과, 셰프가 "소금을 너무 일찍 넣으면 어떻게 될까요?"라고 질문하는 동안 실제로 요리를 직접 해보는 것의 차이와 같습니다. 오늘 우리가 살펴볼 논문은 단순하지만 강력한 질문을 던집니다. 만약 우리가 인간을 가르치는 방식 그대로 AI를 가르친다면 어떻게 될까? 즉, 단순히 더 많은 텍스트를 입력하는 대신, 학습하는 동안 퀴즈를 풀게 만든다면 어떨까요?

논문: TELLME – AI에게 퀴즈를 푸는 법을 가르치다

이 연구를 진행한 한국의 연구팀은 TELLME(Test-Enhanced Learning for Language Model Enrichment)라고 불리는 새로운 방법을 구축했습니다. 그들의 목표는 기존의 "그저 더 많이 읽기" 방식의 문제점을 해결하는 것이었습니다. 그들은 퀴즈를 학습 과정에 섞는 것이 AI가 더 빠르게 배우고, 더 잘 기억하며, 단순히 단어를 암기하는 것을 넘어 주제의 깊은 개념을 실제로 이해하도록 도울 수 있는지 확인하고 싶었습니다.

"그저 읽기"의 문제점

전통적으로 과학자들이 AI에게 금융에 대해 가르치고 싶을 때, 그들은 수천 개의 뉴스 기사를 입력합니다. 이것이 지속적 사전 학습(CPT) 방식입니다. 때때로 그들은 이어서 AI에게 질문과 답변을 보여주며 대화하는 법을 가르치는 **지시 미세 조정(Instruction Tuning, IT)**이라는 별도의 단계를 거치기도 합니다.

저자들은 이 두 단계의 과정이 번거롭다고 주장합니다. 이는 마치 역사 시험을 위해 세 시간 동안 교과서를 읽은 다음, 공부가 다 끝난 후에야 연습 테스트를 받는 것과 같습니다. 테스트를 볼 때쯤이면 방금 읽었던 세부 사항들을 이미 잊어버렸을 수도 있습니다. 다른 연구자들은 텍스트와 간단한 질문을 동시에 제공하며 두 단계를 혼합하려고 시도했습니다. 하지만 저자들은 그 질문들이 종종 너무 쉽다는 결점을 발견했습니다. 예를 들어 "이 단락에서 언급된 은행의 이름은 무엇인가?"와 같은 질문 말입니다. AI는 실제로 생각할 필요 없이 텍스트에서 답을 그대로 복사할 수 있습니다. 이것은 진짜 학습이 아니라 "독해력"을 이용한 속임수였습니다.

TELLME의 솔루션: "심층 탐구" 퀴즈

TELLME는 TEL의 심리학적 원리에 기반한 특정한 유형의 퀴즈를 도입함으로써 판도를 바꿉니다. 작동 방식은 다음과 같습니다.

설정: AI에게 텍스트 한 조각(예: 은행에 관한 뉴스 기사)을 줍니다.
반전: AI에게 "은행이 무엇을 했는가?"라고 묻는 대신, 외부 지식을 필요로 하는 질문을 생성하거나 답하도록 합니다. 예를 들어, 텍스트에 "고빈도 매매(high-frequency trading)"가 언급되어 있다면, 퀴즈는 "고빈도 매매가 시장 변동성에 어떤 영향을 미치는가?"라고 물을 수 있습니다. 정답은 기사에 적혀 있지 않습니다. AI는 연결 고리를 찾기 위해 이미 알고 있는 세상에 대한 지식을 활용해야 합니다.
학습 루프: AI는 텍스트를 읽은 후, 즉시 이러한 깊이 있고 개방적인 질문에 답하려고 노력합니다. 결정적으로, 시스템은 AI를 '질문 자체'가 아니라 '읽은 텍스트와 그 답변'을 기준으로 평가합니다. 이는 AI가 퍼즐을 풀기 위해 자료를 이해하고 자신의 내부 지식을 인출하는 데 집중하도록 강제합니다.

이를 구축하기 위해 연구팀은 강력한 AI(GPT-4o-mini)를 사용하여 금융과 의학이라는 두 가지 어려운 분야를 위해 1만 개가 아닌 100,000개의 특별한 퀴즈 쌍을 만들었습니다. 그들은 질문이 다양하고 추론을 필요로 하도록 만들었으며, 단순히 복사하는 수준이 아니도록 보장했습니다.

연구 결과: 더 빠른 학습, 더 나은 기억력

연구팀은 Llama와 SmolLM을 포함한 여러 다양한 AI 모델을 사용하여 TELLME를 기존 방식들과 비교 테스트했습니다. 결과는 매우 유망했습니다:

더 짧은 시간에 더 똑똑해짐: 금융 분야에서 TELLME는 표준 방식과 비교했을 때 AI의 성능을 최대 23.6% 향상시켰습니다. 즉, 더 효율적으로 학습했습니다.
더 나은 장기 기억: 이 부분이 가장 흥rosa운 대목이었습니다. 연구진은 의학에 대해 가르치기 시작할 때 AI가 금융에 대해 배운 내용을 "잊어버리는지" 테스트했습니다.
- 기존 방식(CPT)은 의학을 배운 후 금융 성능이 5.72% 하락했습니다.
- TELLME 방식은 단 **0.94%**만 하락했습니다.
- 이는 학습 중에 스스로를 "테스트"함으로써, AI가 새로운 정보가 들어올 때 씻겨 내려가지 않는 더 강력하고 내구성이 있는 기억을 구축했음을 시사합니다.
비용 효율성: TELLME는 더 빠르게 학습하기 때문에 더 적은 단계로 동일한 성능 수준에 도달했습니다. 저자들은 TELLME가 표준 방식보다 약 1.4배 더 빠르게 훈련된다고 언급하며, 시간과 컴퓨팅 자원을 절약할 수 있음을 밝혔습니다.

왜 중요한가

이 논문은 AI를 훈련시키는 방식이 너무 수동적이었다고 제안합니다. 인간 교육의 기술인 **"배우는 동안 스스로를 테스트하기"**를 빌려옴으로써, 우리는 개념을 깊이 이해하고 더 오래 기억하는 AI를 구축할 수 있습니다.

연구진은 또한 이것이 다른 언어에도 적용되는지 확인했습니다. 한국어로 시도해 보았고, AI가 한국어 텍스트로 훈련되지 않았더라도 한국어 문장을 이해하는 능력을 향상시키는 데 성공했습니다. 이는 "퀴즈" 방식이 언어와 상관없이 AI를 더 똑똑하게 만드는 보편적인 열쇠가 될 수 있음을 암시합니다.

하지만 저자들은 이것이 지속적 학습(이미 구축된 AI에게 새로운 것을 가르치는 것)을 위한 특정한 개선 사항임을 주의 깊게 명시했습니다. 또한 이 실험은 700억 개의 파라미터를 가진 모델까지 수행되었으며, 비용 절감을 위해 일부 지름길을 사용했으므로, 거대 규모의 전체 모델에서는 결과가 약간 다르게 보일 수 있다고 지적했습니다.

요약하자면, TELLME는 만약 당신이 AI를 진정한 전문가로 만들고 싶다면, 단순히 더 많이 읽게 하지 말고, 시험을 치르게 하라고 제안합니다.

기술 요약: TELLME (언어 모델 강화를 위한 테스트 강화 학습)

문제 정의

지속적 사전 학습(Continual Pre-training, CPT)은 대규모 언어 모델(LLM)을 특정 도메인에 적응시키기 위한 표준적인 방법입니다. 그러나 CPT는 두 가지 주요 과제에 직면해 있습니다: 대규모의 도메인 특화 데이터셋을 확보하는 것의 어려움과 훈련에 따르는 높은 계산 비용입니다. 최근의 접근 방식들은 CPT 과정에 지시어 튜닝(Instruction Tuning, IT) 데이터를 직접 통합하려고 시도해 왔으나(예: INSTPT), 이러한 방법들은 종종 제공된 텍스트에서 답을 직접 추출하는 독해 스타일의 질의응답(QA)에 의존합니다. 저자들은 이러한 형식이 테스트 강화 학습(Test-Enhanced Learning, TEL) 원리를 효과적으로 활용하지 못한다고 주장합니다. 교육 심리학 연구에 따르면, TEL은 학습자가 단순히 텍스트 내의 정보를 회상하거나 선택형 형식으로 제한되는 것이 아니라, 내부 지식을 회상하고 합성해야 하는 개방형 및 서술형 응답을 요구할 때 장기 기억 유지력을 가장 효과적으로 향升시킨다고 합니다.

방법론

저자들은 효율적인 지식 습득과 학습된 표현의 내구성을 모두 향상시키기 위해 TEL 원리를 CPT에 통합하는 프레임워크인 TELLME를 제안합니다.

1. 데이터셋 구축

TELLME는 GPT-4o-mini를 사용하여 100,000개의 도메인 특화 샘플(금융 및 의료 도메인 포함)을 생성하는 비용 효율적인 파이프라인을 활용합니다.

프롬프트 설계: 생성 프롬프트는 합성기(synthesizer)에게 일반적인 도메인 지식을 바탕으로 평문 발췌본에 기반한 QA 쌍을 생성하도록 지시하되, 텍스트에서 정보를 추출하는 것만으로는 답할 수 없는 질문을 만들 것을 명시적으로 금지합니다.
목표: 이는 모델이 텍스트와 더 넓은 도메인 지식 사이의 "개념 매핑(concept mappings)"을 구축하도록 강제하며, 모델이 답변을 하기 위해 내부 지식을 인출하도록 요구합니다.
품질 관리: 생성된 데이터셋은 평균 4.03/5의 인간 평가 점수를 기록했습니다. 문맥이 필요한 샘플(예: "이 문맥에서"와 같은 표현이 포함된 경우)은 필터링하여 QA 쌍이 텍스트와 독립적으로 해결 가능하도록 보장했습니다.

2. 훈련 프레임워크

TELLME는 지속적 사전 학습 단계 동안 표준적인 인과적 언어 모델링(Causal Language Modeling, CLM) 목적 함수를 수정합니다.

데이터 구조: 각 훈련 샘플 $X$ 는 평문( $t$ ), 이어서 질문( $q$ ), 그리고 답변( $a$ )으로 구성된 시퀀스로 이루어집니다.
손실 함수 수정: "테스트" 효과를 시뮬레이션하기 위해, 손실 함수는 질문 토큰을 제외하도록 설정됩니다.
- 지표 함수(indicator function)는 $1(x_i \in t \cup a) = 1$ 이고 $1(x_i \in q) = 0$ 이 되도록 설정됩니다.
- 모델은 평문과 답변을 예측하도록 훈련되지만, 질문은 모델이 예측해야 할 대상이 아니라 모델이 자신의 내부 지식을 사용하여 답해야 하는 "테스트" 역할을 합니다.
비교: 이는 모든 토큰(질문 포함)에 대해 손실을 계산하거나, 텍스트와 QA를 별개의 순차적 단계(CPT 후 IT)로 취급하는 INSTPT와 같은 방법들과 다릅니다. TELLME는 혼합된 샘플을 단일 패스(single pass)로 처리합니다.

주요 기여

TELLME 프레임워크: LLM 훈련을 TEL 원리와 일치시켜 내부 지식의 회상을 자극하는 서술형 개방형 QA를 활용하는 CPT 프레임워크를 도입했습니다.
효율적인 데이터 파이프라인: 제공된 텍스트 이상의 추론을 요구하는 다양한 도메인 특화 QA 데이터를 생성하는 비용 효율적인 방법(10만 개 샘물당 약 $12)을 제시했습니다.
실증적 검증: 다양한 모델 규모(Llama-3.2-1B/3B/8B, SmolLM2-1.7B)를 사용하여 금융 및 의료 벤치마크에서 종합적인 평가를 수행하였으며, 표준 CPT 및 CPT+IT 베이스라인 대비 유의미한 개선을 입증했습니다.

실험 결과

도메인 적응 성능

TELLME는 금융 벤치마크(FOMC, NIFTY, MMLU-F)와 의료 벤치마크(HeadQA, MedMCQA, MMLU-C)에서 평가되었습니다.

금융 도메인: TELLME는 CPT 베이스라인보다 최대 23.6% 높은 성능을 보였으며, 금융 및 의료 도메인 전반에서 INSTPT 방식을 평균 5.1% 상회했습니다.
의료 도메인: TELLME는 일관된 개선을 보여주었으며, 베이스라인 모델보다 평균 2.58 포인트 높은 성능을 기록했습니다.
효율성: TELLME는 표준 CPT와 동일한 퍼플렉시티(PPL)를 달성하면서도 1.4배 빠른 훈련 단계를 기록하여 높은 학습 효율성을 입증했습니다.

장기 보유(Long-Term Retention)

기억 보유력을 테스트하기 위해, 금융 데이터로 훈련된 모델을 이후 의료 데이터로 훈련(덮어쓰기)했습니다.

보유 지표: 의료 훈련 후 원래의 금융 도메인을 평가했을 때, TELLME 기반 모델은 0.94%의 성능 저하를 보인 반면, 표준 CPT 모델은 5.72%의 저하를 겪었습니다.
퍼플렉시티: TELLME 모델은 CPT 모델에 비해 금융 코퍼스에서 더 낮은 퍼플렉시티를 유지하였으며, 이는 이전 도메인 지식의 더 나은 보존을 시사합니다.

절제 연구(Ablation Studies)

순서(Ordering): QA를 텍스트 앞에 배치하는 경우(Inv-TEL) 성능이 낮아졌으며, 이는 TELLME의 특정 순서(Text $\to$ QA)가 중요함을 확인시켜 줍니다.
손실 마스킹(Loss Masking): 질문을 손실 계산에 포함하는 경우(TEL-Q/L) 성능이 감소하였으며, 이는 질문을 제외하는 것이 테스트 효과에 필수적임을 입증합니다.
합성기 견고성(Synthesizer Robustness): TELLME는 더 약한 합성기(Mistral-7B)나 자기 생성 데이터를 사용했을 때도 효과적이었으나, GPT-4o-mini가 가장 좋은 결과를 냈습니다.
다국어 일반화: 본 프레임워크는 한국어(TELLME-KO)에도 성공적으로 적용되었으며, 기존에 한국어 능력이 부족했던 모델들의 KoBEST 벤치마크 성능을 0-shot 설정에서 4.5%, 5-shot 설정에서 8.4% 향상시켰습니다.

의의 및 주장

본 논문은 TELLME가 데이터 부족과 계산 비용 문제를 해결함으로써 기존의 CPT 및 순차적 CPT+IT 접근 방식보다 우수한 대안을 제공한다고 주장합니다. TEL 원리를 통합함으로써, 이 방법은 도메인 적응을 가속화할 뿐만 아니라 모델이 새로운 도메인에 노출될 때 발생하는 치명적 망각(catastrophic forgetting)을 방지하여 장기 기억 보유를 크게 향상시킵니다. 저자들은 TELLME를 지식을 지속적으로 유지하는 전문화된 LLM을 개발하기 위한 실용적이고 확장 가능한 솔루션으로 제시합니다.

본 연구는 한계점도 인정하고 있는데, 70B 파라미터 규모의 모델 실험에는 파라미터 효율적 미세 조정(LoRA)과 양자화가 사용되었으며, 이는 완전 밀집 훈련(fully dense training)과는 다른 변수를 도입할 수 있다는 점을 언급했습니다. 또한, 현재 범위가 금융 및 의료 분야로 제한되어 있으므로, 향후 다른 도메인으로 확장하고 표준화된 벤치마크를 구축하는 후속 연구가 필요합니다.