From Raw Corpora to Domain Benchmarks: Automated Evaluation of LLM Domain Expertise

이 논문은 기존 벤치마크의 오염과 편향 문제를 해결하기 위해, 다른 LLM 이나 인력 개입 없이 원시 도메인 코퍼스를 기반으로 자동화된 완성형 평가 벤치마크를 생성하여 LLM 의 도메인 전문성을 확장 가능하고 공정하게 평가하는 새로운 파이프라인을 제안합니다.

핵심

1. 기존 방식의 문제: "기억력 테스트"가 아니라 "시험지 유출"과 "운"의 문제

지금까지 AI 가 특정 분야를 잘하는지 확인하려면 **객관식 문제 (MCQ)**를 많이 풀게 했습니다. 하지만 이 방식에는 치명적인 세 가지 문제가 있습니다.

• 문제 1: 시험지 유출 (Benchmark Contamination)

  • 비유: 학생이 시험을 보기 전에 이미 정답이 적힌 시험지를 훔쳐봤다면, 그 학생이 진짜로 공부를 한 건지, 아니면 그냥 암기한 건지 알 수 없죠.
  • 현실: AI 모델들은 학습할 때 인터넷의 방대한 데이터를 먹는데, 그 데이터에 이미 유명한 시험 문제들이 섞여 있는 경우가 많습니다. 그래서 AI 가 문제를 풀고 있다고 착각하지만, 사실은 그냥 "이거 전에 봤어"라고 외운 것일 뿐입니다.

• 문제 2: 답안지 순서 바꾸기 (Ordering Bias)

  • 비유: 시험 문제에서 정답이 'A'번이라고 해두면, AI 는 'A'번을 고르는 습관이 생깁니다. 하지만 정답을 'C'번으로 순서만 바꿔주면, 똑똑한 AI 가 엉뚱한 답을 고르는 경우가 생깁니다.
  • 현실: AI 가 진짜 지식을 가지고 있는지, 아니면 문제의 형식이나 답안 순서에 맞춰서 찍고 있는지 구분하기 어렵습니다.

• 문제 3: 전문가가 직접 만들어야 해서 비쌈

  • 비유: 의학 시험지를 만들려면 의사들이 직접 문제를 내고 정답을 확인해야 합니다. 시간이 너무 오래 걸리고 비용이 많이 듭니다.

---

2. 이 논문의 해결책: "빈칸 채우기"로 진짜 실력을 측정하다

이 논문은 "객관식 시험"을 버리고, "빈칸 채우기 (Completion)" 방식을 제안합니다. 마치 연필로 빈칸을 채우는 국어 시험처럼요.

🛠️ 새로운 방식의 작동 원리 (자동화 공장)

이 논문은 자동화 공장을 운영한다고 상상해 보세요.

1. 원재료 수집 (Raw Corpora):
   • 공장은 특정 분야 (예: 인공지능 논문) 의 원고들을 대량으로 가져옵니다.
2. 핵심 단어 추출 (Keyword Extraction):
   • 공장은 원고에서 중요한 전문 용어 (예: '강화학습', '정책', '보상') 를 찾아냅니다.
3. 빈칸 만들기 (Prompt-Target Pairs):
   • 이제 공장은 원고 문장을 가져와서, 중요한 단어 부분을 지워버리고 빈칸을 만듭니다.
   • 예시: "강화학습에서 에이전트가 환경을 통해 얻는 보상을 최대화하는 것을 ___ 라고 합니다." (빈칸: '정책' 또는 '보상')
4. AI 시험 치르기:
   • AI 에게 "빈칸에 들어갈 단어를 맞춰봐"라고 합니다.
   • AI 가 그 단어를 얼마나 자연스럽게, 그리고 정확하게 예측하는지 **순위 (Rank)**로 점수를 매깁니다.

✨ 이 방식의 장점

• 유출 불가: 공장은 실시간으로 최신 원고에서 문제를 만들어냅니다. AI 가 학습할 때 이 최신 문제를 볼 수 없으니, 유출될 리가 없습니다.
• 공정한 비교: 객관식이 아니므로 답안 순서를 바꿔도 점수가 변하지 않습니다.
• 자동화: 사람이 일일이 문제를 만들지 않아도 됩니다. 원고만 있으면 AI 가 알아서 문제를 만들어냅니다.

---

3. 실험 결과: "진짜 공부한 학생" vs "기만하는 학생"

연구팀은 이 새로운 방식으로 AI 들을 시험해 보았습니다.

• 결과 1: 진짜 지식은 '빈칸 채우기'로 드러난다.

  • AI 가 특정 분야 (예: 물리학) 에 대해 더 많이 학습했을 때, 빈칸 채우기 점수는 확실히 올라갔습니다. 하지만 기존에 쓰던 '퍼플렉시티 (Perplexity, 언어 모델의 예측 오차율)'나 '객관식' 점수는 학습 정도를 제대로 반영하지 못했습니다.
  • 비유: 학생이 물리책을 많이 읽었을 때, 빈칸 채우기 시험은 성적이 오릅니다. 하지만 기존 시험지는 성적이 그대로이거나 오히려 떨어지기도 했습니다.

• 결과 2: "대화형 AI"는 때로 지식을 잃는다 (Alignment Tax).

  • 우리가 일상에서 쓰는 대화형 AI (챗봇) 는 원래의 모델에 "예의 바르게 말해라"라고 추가 학습 (Instruction Tuning) 을 받습니다.
  • 놀랍게도, 이 과정을 거치면 전문 지식 (빈칸 채우기 능력) 이 오히려 떨어지는 경우가 많았습니다.
  • 비유: 천재 물리학자가 "예의 바르게 말해라"는 훈련을 받다가, 갑자기 물리 공식이 기억나지 않게 되는 것과 같습니다. 이를 **'정렬세 (Alignment Tax)'**라고 부릅니다.

---

4. 결론: 왜 이 연구가 중요한가?

이 논문은 **"AI 의 전문성을 측정하는 새로운 자물쇠"**를 만들었습니다.

• 기존: "이 AI 가 객관식 문제를 잘 풀까?" (유출 위험, 형식 편향)
• 새로운: "이 AI 가 전문 용어를 빈칸에 자연스럽게 채울 수 있을까?" (유출 방지, 자동화, 공정함)

이 방법은 의사가 새로운 의학 지식을 배웠는지, 변호사가 최신 판례를 알고 있는지, 혹은 AI 가 특정 분야에 진정으로 '전문가'가 되었는지를 비용 없이, 빠르고, 정확하게 확인할 수 있게 해줍니다.

한 줄 요약:

"기존의 객관식 시험은 AI 가 답을 외웠는지, 운이 좋은지 알 수 없게 만들지만, 이 논문이 제안한 '자동 빈칸 채우기' 방식은 AI 가 진짜로 그 분야를 공부했는지, 그리고 대화형 AI 가 될 때 지식을 잃지 않았는지를 정확히 보여줍니다."

기술 요약

1. 문제 제기 (Problem)

대형 언어 모델 (LLM) 의 폭발적인 증가로 인해 특정 도메인 (법률, 의료, 교육 등) 에 대한 모델의 전문성을 정확히 평가하는 것이 중요해졌습니다. 그러나 기존 평가 방식에는 다음과 같은 근본적인 한계가 존재합니다.

• 다중 선택형 질문 (MCQ) 의 편향: MMLU 와 같은 기존 MCQ 벤치마크는 정답의 순서를 바꾸거나 프롬프트 형식을 약간만 변경해도 모델 성능 순위가 크게 변동하는 불안정성을 보입니다. 또한, 기저 모델 (Base Model) 은 지시 따르기 (Instruction-following) 능력이 부족하여 MCQ 평가에 불리합니다.
• 벤치마크 오염 (Contamination): 많은 벤치마크 데이터가 모델의 학습 데이터에 포함되어 있어, 실제 지식 평가가 아닌 암기 능력을 측정할 수 있습니다.
• 도메인 특화 지식의 부재: Perplexity(불확실성) 는 전체 토큰 예측 품질을 평균화하므로 특정 도메인의 전문 지식과 일반 언어 유창성을 구분하지 못합니다.
• 수동 작성의 비효율성: 도메인별 벤치마크를 수동으로 제작하는 것은 비용이 많이 들고 확장성이 떨어집니다.

2. 방법론 (Methodology)

저자들은 확정적 (Deterministic) 파이프라인을 제안하여, 수동 개입이나 다른 LLM 의 도움 없이 원시 도메인 코퍼스 (Raw Domain Corpora) 를 직접 '완성형 (Completion-style)' 벤치마크로 변환합니다.

파이프라인 단계:

1. 키워드 추출 및 정제:
   • 입력된 도메인 텍스트 (예: arXiv 논문 초록) 에서 도메인 특화 키워드를 추출합니다.
   • 전처리 (대소문자 통일, 불용어 제거), n-gram 생성, 길이 기반 필터링, 그리고 시맨틱 유사도 (Cosine Similarity) 를 통한 중복 제거를 거쳐 고품질 키워드 집합을 만듭니다.
2. 문장 매칭:
   • 추출된 키워드와 원문 (Full text) 의 문장 간 시맨틱 유사도를 계산하여, 해당 키워드와 관련된 문장을 선별합니다.
3. 타겟 어휘 (Target Vocabulary) 생성:
   • 매칭된 문장에서 도메인 특화 용어를 추출합니다.
   • TF (Term Frequency) 기반과 TF-IDF (Term Frequency-Inverse Document Frequency) 기반 두 가지 변형을 사용하여, 일반적인 도메인 용어와 더 희귀하고 전문적인 용어를 모두 포착합니다.
4. 프롬프트 - 타겟 쌍 (Prompt-Target Pairs) 구성:
   • 각 키워드에 대해 문맥을 제공하는 프롬프트 (문장의 앞부분) 와 예측해야 할 타겟 (도메인 용어) 을 자동으로 생성합니다.
   • 예: 프롬프트 "강화 학습에서 데이터 효율성을 개선하기 위한 이전 시도들은 경험 ___ 의 사용을 포함했다" -> 타겟 "Replay"
5. 모델 평가 (Prediction Rank):
   • 모델이 주어진 프롬프트에 대해 올바른 타겟 토큰을 얼마나 높은 순위 (Rank) 로 예측하는지 측정합니다.
   • 주요 지표: 토큰 확률 (Probability) 은 보정 (Calibration) 문제가 있어 Base 와 Chat 모델 간 비교가 어렵기 때문에, **예측 순위 (Prediction Rank)**를 주요 지표로 사용합니다. 이는 모델이 무엇을 알고 있는지에 초점을 맞춥니다.
   • 이상치를 제거하기 위해 예측 순위의 상위/하위 20% 를 제거한 **20% 트림드 평균 (Trimmed Mean)**을 사용합니다.

3. 주요 기여 (Key Contributions)

1. 자동화 및 확장성: 인간 주석이나 다른 LLM 없이 원시 텍스트에서 즉시 도메인별 벤치마크를 생성할 수 있는 파이프라인을 제시합니다.
2. 오염 저항성 (Contamination Resistance): 새로운 데이터를 기반으로 벤치마크를 즉시 재생성할 수 있어, 학습 데이터 오염 문제를 설계 단계에서 해결합니다.
3. Base 및 Chat 모델에 대한 공정한 평가: MCQ 형식의 편향을 제거하고, 모든 LLM 의 기본 학습 목표인 '다음 토큰 예측'에 기반하여 평가하므로 기저 모델과 지시 튜닝 (Instruction-tuned) 모델 간의 공정한 비교가 가능합니다.
4. 세분화된 도메인 평가: 광범위한 분야뿐만 아니라 연구 하위 분야 (Subdomain) 수준까지 세밀한 지식 평가를 가능하게 합니다.

4. 실험 결과 (Results)

저자들은 4 가지 도메인 (CS.AI, 물리학, 생물학, 경제학) 에서 다양한 모델 (Llama2, GPT-2, OLMo-2 등) 을 대상으로 실험했습니다.

• 타당성 검증:
  • 전문가가 수동으로 제작한 벤치마크 (Understanding Deep Learning 교재 기반) 와 비교했을 때, 제안된 파이프라인의 순위와 **0.99(r=0.99)**의 매우 높은 상관관계를 보였습니다.
  • Claude 를 이용한 자동 생성 벤치마크와도 높은 상관관계를 보여, 파이프라인이 전문가 수준의 평가를 잘 모방함을 입증했습니다.
• 도메인 적응 (Domain Adaptation):
  • 특정 도메인에 적응 (Adaptation) 된 모델은 관련성이 높은 도메인에서 더 좋은 순위를 보였으며, Perplexity 나 Attribution Rate 와 같은 기존 지표들은 이러한 차이를 명확히 포착하지 못했습니다.
• 학습 과정 추적:
  • 일반 사전 학습 (General Pretraining) 및 지속적 사전 학습 (Continual Pretraining) 과정에서 모델의 지식 축적 추이를 MCQ 나 Perplexity 보다 더 정교하게 추적할 수 있음을 보였습니다.
• Base vs Chat 모델 비교:
  • 지시 튜닝 (Instruction Tuning) 을 거친 Chat 모델이 Base 모델보다 도메인 지식 평가에서 **성능이 저하되는 현상 ("Alignment Tax")**을 발견했습니다. 이는 모델마다 편차가 크며, 일부 모델 (Llama2-7B, Mistral-7B 등) 에서 두드러졌습니다.

5. 의의 및 결론 (Significance)

이 연구는 LLM 의 도메인 전문성을 평가하는 새로운 패러다임을 제시합니다.

• 편향 없는 평가: MCQ 의 구조적 편향과 벤치마크 오염 문제를 해결하여, 모델이 실제로 해당 도메인 지식을 얼마나 보유하고 있는지 객관적으로 측정합니다.
• 실용성: 연구자나 실무자는 원시 데이터만 있으면 즉시 해당 도메인에 맞는 벤치마크를 생성하여 모델을 평가할 수 있어, 빠르게 변화하는 도메인 지식에 대응할 수 있습니다.
• 모델 개발 인사이트: 지시 튜닝이 도메인 지식에 미치는 부정적 영향 (Alignment Tax) 을 발견함으로써, 향후 모델 정렬 (Alignment) 프로세스 개선의 필요성을 제기합니다.

결론적으로, 이 프레임워크는 확장 가능하고, 도메인 특화적이며, LLM 에 의존하지 않는 편향 없는 평가 체계를 제공하여, 특정 분야에서의 LLM 역량 평가에 있어 표준적인 도구로 자리 잡을 수 있을 것으로 기대됩니다.