Constructing Synthetic Instruction Datasets for Improving Reasoning in Domain-Specific LLMs: A Case Study in the Japanese Financial Domain

이 논문은 도메인별 전문 용어를 기반으로 고품질의 합성 지시 데이터 (CoT 포함) 를 구축하는 일반적 방법을 제안하고, 이를 일본 금융 도메인에 적용하여 95 억 토큰 규모의 데이터셋을 생성한 결과, 베이스라인 모델 대비 금융 벤치마크 성능이 향상됨을 입증하고 관련 모델과 데이터를 오픈소스로 공개했습니다.

핵심

이 논문은 **"특정 분야 (예: 금융) 에 정통하면서도, 복잡한 문제를 논리적으로 풀 수 있는 AI 를 만드는 방법"**을 소개합니다.

기존의 AI 는 단순히 지식을 많이 쌓는 것 (책 읽기) 에 집중했다면, 이 연구는 **"지식을 바탕으로 생각의 과정을 거치며 (추론) 정답을 찾아내는 능력"**을 키우는 데 초점을 맞췄습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 핵심 아이디어: "금융 전문가 인턴을 키우는 방법"

이 연구는 일본 금융 분야에 특화된 AI 를 만들기 위해 다음과 같은 3 단계 과정을 거쳤습니다.

① 단계: "주제별 키워드"로 시작하기 (재료 준비)

• 비유: 요리를 하려면 먼저 '재료'가 필요합니다. 연구진은 '보험', '증권', '재무 설계' 같은 금융 관련 단어들을 주재료로 뽑았습니다.
• 방법: 이 단어들을 바탕으로 AI 가 스스로 "이 주제에 대해 어떤 질문을 할까?", "어떤 문제를 풀어야 할까?"라고 상상하게 하여 수백만 개의 질문 (지시어) 을 만들었습니다.

② 단계: "생각의 과정"을 함께 가르치기 (요리 레시피)

• 비유: 단순히 "이 요리는 맛있다"라고 외우는 게 아니라, **"왜 이 재료를 넣었는지, 어떤 순서로 볶아야 하는지"**라는 **생각의 과정 (Chain-of-Thought)**을 함께 가르친 것입니다.
• 방법: AI 가 정답을 말하기 전에, "먼저 A 를 확인하고, B 를 계산한 뒤 C 를 고려해야 한다"라고 **말하는 과정 (추론 흔적)**을 포함시켜 데이터를 만들었습니다. 마치 학생에게 답만 알려주는 게 아니라, 풀이 과정을 자세히 적어주는 것과 같습니다.

③ 단계: "엄격한 심사"로 품질 다지기 (맛보기)

• 비유: 만든 요리가 정말 맛있는지, 재료가 잘못 섞이지 않았는지 **전문 심사위원 (더 큰 AI)**이 맛을 보고 걸러냈습니다.
• 방법: 생성된 데이터 중 엉뚱한 내용이나 논리가 부족한 것은 버리고, 금융 전문가가 봐도 납득할 수 있는 고품질 데이터 95 억 토큰 (약 95 억 단어 분량) 만 남겼습니다.

---

2. 실험 결과: "생각하는 AI"가 더 잘합니다

연구진은 이렇게 만든 데이터로 AI 를 훈련시켰고, 그 결과를 검증했습니다.

• 결과: 기존에 금융 지식을 가진 AI 보다, 생각의 과정을 거치며 훈련된 AI 가 훨씬 더 뛰어난 성능을 보였습니다.
• 비유: 금융 시험을 볼 때, 단순히 암기한 학생보다 **"왜 이 답이 맞는지 논리적으로 설명할 수 있는 학생"**이 더 높은 점수를 받은 것과 같습니다.

---

3. 중요한 발견: "생각할 시간"은 얼마나 필요한가?

이 연구에서 가장 흥미로운 점은 **"생각하는 과정 (추론) 이 길수록 무조건 좋은가?"**를 확인했다는 것입니다.

• 비유: 시험 문제를 풀 때, 생각하는 시간이 너무 짧으면 실수하고, 적당히 길면 잘 풀지만, 너무 길게 끌면 오히려 지쳐서 엉뚱한 소리를 하거나 같은 말을 반복하게 됩니다.
• 발견:
  • 1,024 토큰 (약 1,000 단어) 정도: 생각을 충분히 하면 성능이 가장 좋아졌습니다.
  • 2,048 토큰 이상: 생각의 길이를 더 늘려도 성능은 더 이상 오르지 않았습니다. 오히려 AI 가 "생각을 멈추고 답을 내야지"라고 생각하지 못해, 같은 말을 반복하거나 엉뚱하게 결론을 내리는 경우가 생겼습니다.

---

4. 결론: 왜 이 연구가 중요한가요?

이 논문은 **"어떤 분야든 (법률, 의료 등) 전문 지식을 가진 AI 를 만들려면, 단순히 책을 많이 읽히는 것보다 '논리적으로 생각하는 법'을 가르치는 synthetic(인공) 데이터를 만드는 것이 핵심"**임을 증명했습니다.

• 한 줄 요약: "AI 에게 정답만 외우게 하지 말고, **왜 그 답이 맞는지 생각해보는 훈련 (추론)**을 시키면, 복잡한 금융 문제도 훨씬 잘 풀 수 있다!"

이 연구는 앞으로 금융뿐만 아니라 법률, 의료 등 전문성이 필요한 모든 분야에서 더 똑똑한 AI 를 만드는 데 중요한 발판이 될 것입니다. 연구진은 만든 데이터와 모델을 모두 공개하여 누구나 활용할 수 있게 했습니다.

기술 요약

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 을 금융, 법률 등 고도의 전문성이 요구되는 도메인에 적용할 때, 도메인 지식 습득과 고급 논리적 추론 능력을 동시에 달성하는 것은 여전히 큰 과제로 남아 있습니다.

• 기존 연구는 주로 도메인 지식 습득을 위해 계속된 사전 학습 (Continued Pre-Training) 에 집중했으나, 사기 탐지나 수익 예측과 같은 복잡한 논리적 추론이 필요한 실제 업무에는 한계가 있었습니다.
• 최근 Chain-of-Thought (CoT) 추론을 통해 성능을 높이는 모델들이 등장했으나, 일본어 기반의 도메인 특화 데이터를 대규모로 구축하고 CoT 추론 흔적 (reasoning traces) 을 포함하는 체계적인 방법론은 부재했습니다.

2. 방법론 (Methodology)

이 연구는 도메인 특화 단어 (Topic Words) 에서 시작하여 고품질의 합성 지시 데이터를 구축하는 일반화된 파이프라인을 제안합니다. 금융 도메인을 대상으로 한 구체적인 절차는 다음과 같습니다.

1. 도메인 주제어 선정 (Domain Topic Word Selection):
   • 금융 산업, 제품, 관련 기술 등의 시드 (seed) 단어를 선정합니다.
   • 도메인 전문화로 인한 일반 능력 저하 (Catastrophic Forgetting) 를 방지하기 위해 타 도메인의 시드 단어도 혼합하여 하위 주제어를 생성합니다.
2. 지시문 생성 (Instruction Generation):
   • 생성된 하위 주제어를 기반으로 LLM 을 사용하여 개방형 질문, 수학적 추론, 창의적 글쓰기, 객관식 문제 등 4 가지 유형의 사용자 프롬프트를 생성합니다.
3. 지시문 확장 및 수정 (Instruction Expansion and Modification):
   • 생성된 지시문에 문맥을 추가하거나 형식/스타일을 변환하고, 구체적인 사례를 반영하여 변형함으로써 데이터의 다양성을 확보합니다.
4. 필터링 및 중복 제거 (Instruction Filtering and Deduplication):
   • n-gram 기반 필터링, 단어 수 필터링 (MeCab 사용), MinHash 및 LSH 를 이용한 퍼지 중복 제거 (Fuzzy deduplication) 를 수행하여 데이터 품질을 관리합니다.
5. 다중 턴 대화 생성 (Multi-turn Conversation Generation):
   • 필터링된 지시문을 기반으로 첫 번째 턴은 지시문을 그대로 입력하고, 이후 턴에서는 이전 대화 맥락을 제공하며 사용자 프롬프트와 LLM 의 CoT 추론 응답을 교대로 생성하여 대화 능력을 강화합니다.
6. LLM-as-a-Judge 를 통한 품질 필터링:
   • 생성된 데이터가 도메인 지식을 정확히 반영하고 논리적 추론을 포함하는지 확인하기 위해 LLM 을 심사관 (Judge) 으로 활용하여 저품질 데이터를 제거합니다.
7. 공공 데이터셋 활용:
   • 수학적 능력과 지시 따르기 능력을 보강하기 위해 NuminaMath-CoT 등 공개 데이터셋의 질문 부분을 추출하여 위 파이프라인에 통합합니다.

최종 데이터셋 규모: 약 144 만 개의 샘플, 총 약 95 억 토큰 (9.5 billion tokens).

3. 주요 기여 (Key Contributions)

• 범용 합성 데이터 구축 프레임워크: 도메인 특화 주제어를 기반으로 Reasoning LLM 을 이용해 CoT 추론 흔적이 포함된 지시 데이터를 합성 및 필터링하는 확장 가능한 방법론을 확립했습니다. 이는 금융을 넘어 다양한 도메인에 적용 가능합니다.
• 일본어 금융 도메인 대규모 데이터셋 구축: 제안된 방법을 적용하여 약 95 억 토큰 규모의 일본어 금융 지시 데이터셋을 구축했습니다.
• 성능 검증 및 분석:
  • 구축된 데이터셋으로 학습한 모델이 공식 지시 튜닝 (Instruction-tuned) 모델을 금융 벤치마크에서 능가함을 입증했습니다.
  • 추론 흔적 (Reasoning Trace) 의 길이와 성능 간의 상관관계를 분석하여, 특정 길이 (약 1,024 토큰) 까지는 성능이 향상되지만 그 이상에서는 체감 효과가 줄어든다는 한계를 규명했습니다.
• 오픈소스 공개: 학습된 모델과 데이터셋을 HuggingFace 에서 공개하여 커뮤니티의 활용을 장려했습니다.

4. 실험 결과 (Results)

• 벤치마크 성능:
  • japanese-lm-fin-harness (증권 보고서 감정 분석, 금융 자격증 문제 등) 와 pfmt-bench-fin-ja (금융 도메인 다중 턴 대화) 에서 학습된 모델은 베이스라인 모델 및 공식 지시 튜닝 모델보다 우수한 성능을 보였습니다.
  • 특히 gpt-oss-20b + CPT + SFT 모델은 모든 하위 작업에서 공식 모델을 상회했습니다.
• CoT 의 효과:
  • 추론 흔적 (CoT) 을 사용하는 추론 방식이 모든 모델에서 성능을 약 4.5~5.7 점 (japanese-lm-fin-harness 기준) 향상시켰음을 확인했습니다.
• 추론 길이 분석:
  • 고정된 추론 길이를 128 토큰에서 8,192 토큰까지 변화시키며 실험한 결과, 약 1,024 토큰까지 성능이 향상되다가 그 이후에는 체감 효과가 없거나 오히려 감소하는 경향을 보였습니다.
  • 원인: 길이가 너무 길어지면 모델이 결론을 즉시 도출하려 하거나 (Early termination), 결론 확인만 반복하는 루프 (Output loops) 에 빠지는 현상이 발생했습니다. 또한, 강제로 추론을 종료시키는 방식 자체가 성능 저하를 유발할 수 있음을 발견했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 **도메인 지식 (CPT)**과 **추론 능력 (SFT)**을 효과적으로 결합하여 특정 도메인 (일본어 금융) 에서 LLM 의 성능을 극대화할 수 있음을 입증했습니다.

• 실용성: 합성 데이터 생성을 통해 고비용의 수작업 데이터 라벨링 없이도 대규모 고품질 도메인 데이터셋을 구축할 수 있는 효율적인 방법론을 제시했습니다.
• 확장성: 제안된 프레임워크는 금융을 넘어 법률, 의료 등 고도의 전문성이 필요한 다른 도메인에도 쉽게 적용 가능합니다.
• 향후 과제: 추론 길이의 최적화 및 자연스러운 추론 종료 방법 (Natural termination phrases) 에 대한 추가 연구가 필요함을 지적하며, 도메인 특화 LLM 구축을 위한 기초 작업으로서의 가치를 강조했습니다.