Distilling Reasoning Without Knowledge: A Framework for Reliable LLMs

이 논문은 사실적 답변을 위한 LLM 의 신뢰성을 높이기 위해, 사실 정보 없이 계획 생성만 학습하는 경량 학생 플래너와 검색 및 답변 합성 모듈을 명시적으로 분리한 모듈형 프레임워크를 제안하고 SEAL-0 벤치마크에서 정확도와 지연 시간 개선을 입증했습니다.

핵심

🏗️ 비유: "현명한 건축가"와 "전문 노동자"

기존의 인공지능은 **모든 일을 혼자서 하려는 '올인원 (All-in-One) 건축가'**였습니다.

• 문제: 이 건축가는 머릿속에 있는 과거 지식 (훈련 데이터) 만 믿고 건물을 짓습니다. 하지만 "오늘의 날씨"나 "어제 발생한 뉴스"처럼 최신 정보가 필요할 때, 머릿속에 없는 정보를 상상해서 만들어냅니다. 이것이 바로 AI 가 하는 '거짓말 (환각)'입니다.
• 기존 방식: "검색해라, 그리고 답을 내놔"라고 하면, AI 는 검색을 하기도 하지만 동시에 머릿속 지식을 섞어서 답을 만들어냅니다. 이 과정에서 어떤 부분이 사실이고 어떤 부분이 상상인지 구분하기 어렵습니다.

이 논문이 제안하는 새로운 방식은 **역할을 명확히 나눈 '팀워크'**입니다.

1. 역할 분담: "설계도만 그리는 건축가 (Student Planner)"

이 팀의 핵심은 **가볍고 빠른 '학생 건축가'**입니다.

• 특이점: 이 학생은 사실 (지식) 을 전혀 외우지 않습니다. 대신, "어떤 질문을 해야 답을 찾을 수 있는지"를 설계하는 법만 배웁니다.
• 학습 방법: 거대한 '선생님 AI'가 "이 문제를 풀려면 A 라는 사실을 먼저 확인하고, 그다음 B 를 계산해야 해"라고 **설계도 (계획)**만 그려줍니다. 학생은 그 설계도만 보고 답을 외우는 게 아니라, **"어떻게 질문을 던져야 할지"**를 배웁니다.
• 결과: 학생 건축가는 "이건 검색해봐야 해", "저건 계산기로 확인해야 해"라고 **정확한 작업 지시서 (JSON Plan)**만 작성합니다.

2. 실행: "전문 노동자들과 도구들"

학생이 그린 설계도 (질문 목록) 를 바탕으로 다른 팀원들이 일을 합니다.

• 검색 노동자: 구글 검색을 통해 최신 정보를 가져옵니다.
• 정리 노동자: 검색 결과에서 불필요한 잡음을 제거하고 핵심 사실만 뽑아냅니다.
• 계산 노동자: 숫자나 날짜를 계산합니다.
• 최종 건축가: 가져온 사실들을 바탕으로 최종 답을 만듭니다.

핵심: AI 는 "내가 아는 게 아니라, 검색해서 찾아낸 사실"만 답으로 내놓습니다. 그래서 거짓말을 할 확률이 극도로 낮아집니다.

---

🚀 왜 이 방식이 더 좋은가요?

이 논문은 SEAL-0이라는 아주 어려운 시험지 (최신 정보나 모순된 정보가 많은 질문) 로 실험을 했습니다.

1. 정확도 향상:

   • 기존 AI 는 혼자서 생각하다가 엉뚱한 답을 내거나, 검색을 해도 엉뚱한 정보를 섞어서 0% 에 가까운 성적을 냈습니다.
   • 새로운 방식은 정확한 설계도를 먼저 그리기 때문에, 검색을 훨씬 효율적으로 하고 정답률을 10.8% 까지 높였습니다. (이 시험지는 매우 어려워 10% 만 되어도 엄청난 성과입니다.)

2. 속도 향상:

   • 기존 AI 는 "생각 - 검색 - 다시 생각 - 다시 검색"을 반복하며 시간을 많이 낭비했습니다.
   • 새로운 방식은 설계도만 빠르게 짜고, 그대로 실행하므로 답을 내는 속도가 훨씬 빨라졌습니다.

---

💡 한 줄 요약

"AI 에게 '지식'을 주입하는 대신, '어떻게 질문하고 정보를 찾아야 하는지'라는 '검색 계획'만 가르쳐주니, AI 가 거짓말을 안 하고 훨씬 빠르고 정확하게 답을 찾게 되었다."

이 방식은 AI 가 스스로 지식을 외우려 애쓰는 대신, 올바른 질문을 던지는 법을 배움으로써 신뢰할 수 있는 도구가 될 수 있음을 보여줍니다. 마치 지식을 외우는 것보다 '어디서 정보를 찾을지 아는 것'이 더 중요하다는 교훈을 주는 연구입니다.

기술 요약

1. 문제 정의 (Problem Definition)

대형 언어 모델 (LLM) 은 추론 및 언어 이해 분야에서 뛰어난 성과를 보였으나, 할루시네이션 (Hallucination) 문제, 즉 사실과 다른 정보를 확신 있게 생성하는 경향이 여전히 존재합니다. 특히 다음과 같은 상황에서 이 문제가 심화됩니다.

• 최신 정보 부족: 모델의 학습 데이터에 포함되지 않은 최신 정보나 역동적인 사실.
• 충돌하는 정보: 서로 다른 출처에서 상반된 정보가 존재할 때.
• 단일 모델의 한계: 기존 RAG(검색 증강 생성) 나 도구 사용 LLM 은 종종 '무엇을 검색할지', '어떻게 검색할지', '검색 결과를 어떻게 추론할지'를 하나의 모델이 동시에 결정합니다. 이로 인해 추론, 검색 실패, 잘못된 근거 연결 등 오류의 원인을 특정 단계에서 파악하기 어렵고, 비효율적인 도구 사용이 발생합니다.

2. 제안된 방법론 (Methodology)

이 논문은 추론 (Reasoning/Planning) 과 사실적 지식 획득 (Factual Retrieval) 을 명시적으로 분리하는 모듈형 프레임워크를 제안합니다. 핵심은 '지식'을 모델 내부에 주입하는 것이 아니라, '어떻게 정보를 찾고 구조화할지'에 대한 계획 능력을 학습시키는 것입니다.

A. 아키텍처 및 실행 파이프라인

프레임워크는 Fig. 1 에 제시된 바와 같이 4 단계로 구성됩니다:

1. 계획 (Planning): 경량화된 Student Planner가 사용자 질문을 분석하여 추상적인 추론 단계 ($R$) 와 검색 가능한 사실 요청 ($F$) 으로 구성된 구조화된 JSON 계획을 생성합니다.
2. 검색 (Retrieval): 생성된 사실 요청 ($F$) 을 기반으로 외부 도구 (웹 검색 API, 계산기 등) 를 실행하여 원시 증거를 수집합니다.
3. 추출 (Extraction): 수집된 원시 증거 (예: 검색 결과) 를 간결한 사실 ($\hat{x}_m$) 로 변환합니다.
4. 집계 (Aggregation): 계획과 추출된 사실을 바탕으로 최종 답변을 생성합니다.

B. 교사 - 학생 학습 프레임워크 (Teacher-Student Framework)

이 프레임워크의 핵심은 지식 증류가 아닌, 추론 구조 증류에 있습니다.

• Teacher LLM (GPT-5.2): 각 질문에 대해 (i) 추상적인 추론 단계와 (ii) 외부에서 획득해야 할 최소한의 원자적 사실 요청 (Atomic Fact Requests) 을 생성합니다.
  • 중요 제약: Teacher 는 직접 답변을 생성하거나 내부 지식을 사용하지 않습니다. 오직 "무엇을 알아야 하는지"에 대한 구조만 출력합니다.
• Student Planner (QWEN3-8B): Teacher 가 생성한 계획 구조 ($R, F$) 만을 학습합니다.
  • 학습 데이터: 질문과 그에 대한 계획 구조 ($R, F$) 쌍.
  • 학습 목표: 사실적 답변이나 검색된 증거는 학습 데이터에 포함되지 않습니다. 모델은 사실 자체를 기억하는 것이 아니라, 정보를 찾고 구조화하는 전략을 학습합니다.
• 추론 시 (Inference): Student Planner 는 구조화된 계획을 생성하고, 별도의 프롬프트 엔지니어링된 모듈들이 검색, 추출, 집계를 수행합니다.

3. 주요 기여 (Key Contributions)

1. 추론과 지식의 명시적 분리: LLM 이 내부 기억에 의존하지 않고, 외부 증거에 기반한 신뢰할 수 있는 답변을 생성하도록 계획 단계와 실행 단계를 분리했습니다.
2. 지식 없는 추론 증류 (Reasoning-Only Distillation): 기존 지식 증류 (Knowledge Distillation) 와 달리, 사실적 내용을 배제하고 오직 '계획 구조'와 '정보 탐색 행동'만을 증류하여 모델이 할루시네이션을 줄이고 효율성을 높일 수 있음을 증명했습니다.
3. 구조화된 계획 학습: Student Planner 가 JSON 형식의 구조화된 계획 (검색 의존성, 계산 단계 포함) 을 정확하게 생성하도록 훈련함으로써, 도구 사용의 효율성을 극대화했습니다.

4. 실험 결과 (Results)

연구팀은 검색 증강 LLM 을 평가하기 위해 설계된 매우 까다로운 벤치마크인 SEAL-0(SEALQA 의 주요 분할) 에서 실험을 수행했습니다. SEAL-0 은 최강의 모델조차도 검색 기능을 사용하더라도 정확도가 거의 0% 에 수렴하는 난이도 높은 질문들로 구성되었습니다.

• 정확도 (Accuracy):
  • Base LLM (검색 없음): 1.8% (할루시네이션 및 반복 루프 발생).
  • 프롬프트 기반 프레임워크 (검색 있음): 6.3% (검색 도구 사용의 이점 확인).
  • 제안된 프레임워크 (Student Planner 사용): 10.8% (가장 높은 성능).
  • 해석: 단순 검색 추가만으로는 부족하며, 지도 학습을 통한 구조화된 계획 능력이 정확도 향상에 결정적임을 보였습니다. (기존 SEAL-0 논문에서 보고된 0~5.4% 대비 개선).
• 지연 시간 (Latency):
  • Base LLM: 159.9 초 (내부 추론이 길어 비효율적).
  • 프롬프트 기반 (추론 포함): 107.9 초 (잘못된 계획으로 인한 재시도 및 JSON 수정 오버헤드 발생).
  • 제안된 프레임워크 (Student Planner): 27.8 초 (가장 빠름).
  • 해석: Student Planner 는 유효한 구조화된 계획을 직접 생성하여 JSON 수정 모듈의 오버헤드를 제거하고, 불필요한 내부 추론을 방지하여 전체 파이프라인 속도를 획기적으로 단축했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 신뢰할 수 있는 사실 기반 LLM 을 구축하기 위해서는 모델 내부의 추론 능력이나 검색 접근성 그 자체보다, '명시적으로 학습된 계획 구조'가 핵심임을 증명했습니다.

• 신뢰성: 모델이 내부 지식을 맹신하지 않고 외부 검증 가능한 증거에 기반하여 답변을 생성하도록 유도하여 할루시네이션을 효과적으로 억제합니다.
• 효율성: 경량화된 Student Planner 를 사용하여 추론 속도를 높이고, 도구 호출을 최적화합니다.
• 향후 과제: 프레임워크의 성능은 외부 검색 결과의 품질에 의존하므로, 검색 실패 시 최종 답변에 영향을 받을 수 있다는 한계가 있습니다. 또한, 더 넓은 시나리오에서의 성능 평가를 위해 추가 연구가 필요합니다.

요약하자면, 이 연구는 LLM 이 "무엇을 알고 있는지"가 아니라 **"어떻게 정보를 찾고 구조화할지"**를 학습하게 함으로써, 사실적 신뢰성과 효율성을 동시에 달성하는 새로운 패러다임을 제시했습니다.