기술 요약: 대규모 언어 모델(LLM)은 전문가 자신보다 전문가를 더 잘 설명한다

1. 문제 정의

본 연구에서 다루는 핵심 과제는 암묵적 지식(tacit knowledge)의 외재화 및 전이입니다. 경험 속에 내재된 '노하우'로 정의되는 암묵적 지식은 명문화하기가 매우 어려워, 전문가로부터 초보자에게로 지식을 전달하는 과정에서 상당한 병목 현상을 일으킵니다. 이러한 현상은 폴라니의 역설(Polanyi's Paradox)("우리는 말할 수 있는 것보다 더 많은 것을 알 수 있다")에 함축되어 있습니다. 즉, 전문가는 자신의 행동과 결정 이면에 깔린 논리를 완전히 언어화하지 못하는 경우가 많습니다. 결과적으로, 귀중한 전문 지식은 전문가가 퇴직할 때 유실되거나 효과적으로 확산되지 못하고 사라지곤 합니다.

이러한 지식을 포착하기 위한 전통적인 방법들—반구조화된 인터뷰, 인지적 과업 분석(Cognitive Task Analysis), 멘토링 등—은 비용이 많이 들고, 규모를 키우기 어려우며, 구조화를 위해 상당한 인간의 노력을 요구합니다. 더욱이 전문가가 '말할 수 있는' 지식은 그들이 실제로 '사용하는' 지식의 불완전한 표현인 경우가 많습니다. 본 연구는 **대규모 언어 모델(LLM)**이 전문가의 자기 보고(self-reporting)에 의존하는 대신 전문가의 행동(대화)으로부터 직접 암묵적 지식을 외재화함으로써 이 명문화의 병목 현상을 극복할 수 있는지, 그리고 이렇게 외재화된 지식이 다운스트림의 의사결정과 초보자 교육을 개선할 수 있는지 조사합니다.

2. 연구 방법론

본 연구는 수학 튜터링 맥락 내에서 두 가지 연구로 구성된 실험 설계를 채택하였으며, 1학년부터 5학년 학생들과 튜터 간의 실제 대화 데이터셋(Wang et al., 2024)을 활용하였습니다.

데이터 및 설정

• 데이터셋: 학생의 실수와 초보자 및 전문가 튜터의 응답을 포함한 700개의 수학 튜터링 대화.
• 벤치마크: 전문가가 3단계 의사결정 모델을 명시한 인지적 과업 분석(CTA)에서 도출된 "인간 최선 노력(Human Best Effort)" 벤치마크. 이는 전문가가 명문화한 지식의 골드 스탠다드 역할을 합니다.
• 참가자: Study 2에서는 수학 튜터링 경험이 없는 것으로 스크리닝된 Prolific의 초보 튜터들을 모집하였습니다.

Study 1: LLM 응답 생성

목표는 LLM이 외재화된 지식을 통해 학생의 실수에 대해 더 높은 품질의 응답을 생성하도록 유도할 수 있는지 테스트하는 것이었습니다.

• 지식 외재화 조건: 데이터셋으로부터 암묵적 지식을 추출하기 위해 세 가지 프롬프팅 전략을 테스트했습니다:
  1. LLM 베이스라인(LLM Baseline): 학생-튜터 대화가 제공되지 않음; LLM이 일반적인 지침에 기반하여 지식을 추출함.
  2. LLM+대화(LLM+Conversation): LLM에 학생-튜터 대화(관찰된 행동)가 제공되지만 구조적 제약은 없음.
  3. LLM+둘 다(LLM+Both): LLM에 대화가 제공되며, 인간 전문가 벤치마크를 모방하는 3단계 구조를 출력하도록 요구됨.
• 비교 조건:
  • 인간 최선 노력(Human Best Effort): LLM에 인간 전문가로부터 명시적으로 명문화된 지식을 제공함.
  • 암묵적 지식 없음(No Tacit Knowledge): 외부 지식이 없는 제로샷(zero-shot) 베이스라인.
• 평가: 응답은 유용성(usefulness), 배려(caring), 인간다움(human-sounding) 특성에 대해 1-10 척도로 평가되었습니다.

Study 2: 초보자로의 지식 전이

목표는 LLM이 외재화한 지식이 인간 초보자와 인간 전문가 사이의 성과 격차를 줄일 수 있는지 결정하는 것이었습니다.

• 절차: 초보 튜터들은 Study 1에서 생성된 특정 암묵적 지식 표현(LLM Baseline, LLM+Conversation, LLM+Both, Human Best Effort, 또는 No Tacit Knowledge)을 바탕으로 훈련되는 조건에 무작위로 배정되었습니다.
• 과업: 참가자들은 학생의 실수에 대한 응답을 생성했습니다.
• 지표: **전문가-초보자 격차(Expert-Novice Gap)**로 정의되며, 이는 동일한 대화에 대한 훈련된 초보자와 인간 전문가의 응답 품질 차이입니다.

강건성 검증(Robustness Checks)

연구에는 다음과 같은 여러 강건성 분석이 포함되었습니다:

• 샘플 크기 민감도: LLM이 단순히 스타일을 모방하는 것이 아니라 패턴을 학습하는지 확인하기 위해 훈련 대화의 수(1개에서 320개까지)를 변화시켰습니다.
• 대안적 지식: 도메인 특수적 실체를 고립시키기 위해 도메인 불가지론적(writing), 문맥 외(out-of-context), 또는 기계적으로 도메인에 적응된 지식을 테스트했습니다.
• 검색 증강 생성(RAG): 컨텍스트 윈도우 하위 샘플링 대신 RAG를 사용하여 전체 데이터셋(420개 대화)으로 재현했습니다.
• 모델 복제: 생성 및 채점 모두에 대해 서로 다른 LLM(xAI의 Grok 및 Anthropic의 Claude)을 사용하여 결과를 재평가했습니다.

3. 주요 결과

응답 생성 (Study 1)

• LLM 외재화 지식의 우월성: **전문가 대화에서 외재화된 암묵적 지식(LLM+Conversation)**에 의해 유도된 LLM은 **전문가가 명문화한 지식(Human Best Effort)**에 의해 유도된 것보다 유의미하게 높은 품질의 응답을 생성했습니다.
• 명문화의 병목 현상: "Human Best Effort" 조건은 "LLM Baseline"(대화 없음)과 유사한 성능을 보였는데, 이는 전문가가 자신의 암묵적 지식의 전체 범위를 명문화하는 데 어려움을 겪음을 시사합니다.
• 구조 vs 유연성: 엄격한 3단계 구조를 강요하는 것(LLM+Both)은 오히려 LLM+Conversation의 유연한 접근 방식보다 응답 품질을 저하시켰습니다. 이는 LLM에게 인간의 명문화 구조를 모방하도록 강요하는 것이 미묘한 행동 패턴을 포착하는 능력을 방해할 수 있음을 나타냅니다.
• 품질 차원: LLM+Conversation 접근 방식은 유용성, 배려, 인간다움의 세 가지 차원 모두를 개선했습니다.

지식 전이 (Study 2)

• 격차 해소: LLM+Conversation 지식으로 훈련된 초보자들은 가장 작은 '전문가-초보자 격차'를 달aled하며, Human Best Effort나 LLM Baseline 지식으로 훈련된 이들보다 유의미하게 높은 성과를 보였습니다.
• 초보자 성과: LLM+Conversation 조건의 초보자들은 특히 격차가 통계적으로 유의미하지 않게 나타난 "배려(caring)" 차원에서 전문가 수준의 성과에 근접했습니다.
• 인간 명문화의 비효효율성: 놀랍게도 Human Best Effort 조건은 초보자에게 지식을 전이하는 데 있어 LLM Baseline보다 나은 성과를 보이지 못했으며, 이는 인간의 명문화가 전문가 역량의 불완전한 대리물이라는 생각을 뒷받로합니다.

메커니즘 및 강건성

• 학습 vs 모방: 응답 품질이 충분한 임계값에 도달할 때까지 증가하다가 정체되는 "학습 곡선"이 관찰되었습니다. 이는 LLM이 단순히 스타일을 복제하는 것이 아니라 의사결정 패턴을 추출하고 있음을 확인시켜 줍니다.
• 도메인 특수성: 도메인 내 LLM 외재화 지식은 문맥 외 또는 기계적으로 적응된 지식보다 우수했으며, 주로 유용성(교수법적 가이드)의 개선에 의해 주도되었습니다.
• 일반화 가능성: 결과는 다양한 LLM 제공업체(GPT-4o, Grok, Claude)와 검색 방법(in-prompt 또는 RAG) 전반에서 일관되게 유지되었습니다.

4. 주요 기여

1. 확장 가능한 외재화: 본 논문은 인간의 명문화 병목 현상을 우회하여 LLM을 사용하여 암묵적 지식을 외재화하는 확장 가능한 방법을 제안하고 검증합니다.
2. 폴라니의 역설에 대한 실증적 검증: 본 연구는 LLM이 전문가가 자기 보고를 통해 "말할 수 있는" 것보다 전문가의 의사결정 과정에 대해 더 많이 "알 수 있음"을 입증하는 실증적 근거를 제공합니다.
3. 초보자 훈련의 효능: 전문가의 명문화된 지식보다 전문가의 행동(LLM을 통해)에서 도출된 지식이 초보자 훈련에 더 효과적임을 보여줍니다.
4. 조건 식별: 효과적인 외재화를 위한 핵심 조건(충분한 행동 데이터 노출, 유연한 출력 구조(엄격한 인간형 제약 회피), 유능한 LLM 사용)을 식별합니다.

5. 의의 및 주장

저자들은 이 연구가 조직이 지식 손실을 완화하고 훈련을 개선하기 위해 전문가 상호작용 데이터를 활용할 수 있는 실질적인 경로를 제공한다고 주장합니다. 전문가에게 "무엇을 아는지 묻는 것"에서 "무엇을 하는지 분석하는 것"으로 초점을 전환함으로써, LLM은 지식 관리를 위한 강력한 도구가 될 수 있습니다.

본 논문은 LLM이 전문가-초보자 격차를 완전히 메우지는 못하더라도 이를 유의미하게 좁히며, 종종 전통적인 지식 전이 방식보다 뛰어난 성과를 낸다고 결론짓습니다. 이러한 결과는 전문가의 상호작용 속에 내재된 '노하우'가 전문가가 명시적으로 문서화할 수 있는 '노우왓(know-what)'보다 훈련과 의사결정 지원을 위한 더 풍부한 자원임을 시사합니다. 이는 LLM이 단순한 생성 도구를 넘어, 전문가의 암묵적 논리를 포착하고 전이할 수 있는 조직 학습을 위한 분석 엔진으로서의 잠재력을 가지고 있음을 강조합니다.