Elenchus: Generating Knowledge Bases from Prover-Skeptic Dialogues

이 논문은 대형 언어 모델을 화자 (Prover) 와 반박자 (Skeptic) 로 활용하여 전문가와의 대화를 통해 지식을 추출하는 것이 아니라 명시화하는 'Elenchus' 시스템을 제안하고, 이를 비단조 다결 (NMMS) 논리에 매핑하여 W3C PROV-O 온톨로지의 설계 근거를 대화에서 추출하고 형식적으로 검증하는 방법을 제시합니다.

핵심

1. 기존의 방식 vs. 새로운 방식 (엘렌쿠스)

🚫 기존 방식: "녹음기" (Extraction)
전통적인 지식 공학은 전문가를 녹음기처럼 생각했습니다.

• 상황: 전문가가 머릿속에 완벽한 지식 구조를 가지고 있다고 가정합니다.
• 작업: 연구자가 전문가에게 "이건 뭐죠? 저건 뭐죠?"라고 물어보고, 그 대답을 그대로 적어내면 끝입니다.
• 문제점: 실제로 전문가의 머릿속 지식은 흐릿하고, 상황에 따라 달라집니다. 녹음기로는 그 흐릿한 부분을 다 잡아낼 수 없기 때문에, 지식을 정리하는 데 항상 병목 현상이 생깁니다.

✅ 새로운 방식 (엘렌쿠스): "토론 동아리" (Explicitation)
저자는 지식이 미리 완성된 보물상자가 아니라, 대화 속에서 만들어지는 것이라고 봅니다.

• 상황: 전문가와 AI 가 토론 동아리를 만듭니다.
• 작업:
  • 전문가 (Prover): "나는 A 라는 사실을 믿어."라고 주장합니다.
  • AI (Skeptic/의심쟁이): "잠깐, A 라고 믿으면서 B 는 부정하는 건 모순이 아닌가요?"라고 질문합니다.
  • 해결: 전문가는 이 모순을 발견하고, 자신의 주장을 수정하거나, "아, 내가 B 는 부정할 수 없구나"라고 깨닫습니다.
• 결과: 이 과정에서 전문가가 진짜로 믿고 방어할 수 있는 지식이 드러나고, 그것이 지식 베이스가 됩니다.

---

2. 엘렌쿠스가 어떻게 작동할까요? (비유: 건축가 vs. 검사관)

이 시스템은 **건축가 (전문가)**와 **엄격한 검사관 (AI)**의 관계로 비유할 수 있습니다.

1. 건축가가 설계도를 그립니다: 전문가가 어떤 주제에 대해 "이건 이렇게 돼야 해"라고 말합니다.
2. 검사관이 구멍을 찾습니다: AI 는 "그런데 여기가 다른 부분과 충돌하지 않나요?"라고 지적합니다. (논리적 모순을 찾아내는 것)
3. 건축가가 수정합니다: 전문가는 "아, 맞다. 그건 고쳐야겠다"라고 수정하거나, "아니, 그건 다른 조건이야"라고 설명합니다.
4. 최종 설계도 완성: 이 과정을 반복하면, 모순 없이 단단하게 다져진 **최종 설계도 (지식 베이스)**가 나옵니다.

핵심 포인트: AI 는 지식을 가르쳐주는 선생님이 아니라, 전문가가 자신의 지식을 더 명확하게 만들도록 도와주는 '거울' 역할을 합니다. AI 가 틀린 말을 해도 전문가가 "아니야"라고 거절하면 되기 때문에, AI 가 실수해도 큰 문제가 없습니다.

---

3. 실제 사례: PROV-O (출처 추적)

이론만 말하면 어렵죠? 논문에서는 **W3C 의 PROV-O(출처 추적 표준)**라는 복잡한 규칙을 정리하는 실험을 했습니다.

• 입력: 350 단어 정도의 짧은 문서만 AI 에게 줬습니다.
• 과정: 전문가와 AI 가 대화하며 "이 규칙은 저 규칙과 충돌하지 않나요?"라고 7 번이나 질문하고 답을 찾았습니다.
• 결과:
  • 전문가가 처음에는 "이 규칙은 모든 경우에 적용된다"고 생각했지만, 대화 중 "아, 아니야. 예외가 있구나"라고 깨달았습니다.
  • 이렇게 대화로 찾아낸 규칙들은, 나중에 수학적으로 검증했을 때, 실제로 해당 표준을 만들 때 전문가들이 8,820 통의 이메일과 152 회의 회의를 통해 고민했던 핵심 결정 사항들과 정확히 일치했습니다.

이는 짧은 대화 한 번으로, 수천 건의 문서 검토 없이도 핵심 지식을 정확히 뽑아낼 수 있음을 보여줍니다.

---

4. 왜 이것이 중요한가요? (논리적 구조의 비밀)

이 시스템이 만든 지식 베이스는 단순한 목록이 아니라, 논리적 규칙이 살아있는 구조입니다.

• 비유: 레고 블록
  • 일반적인 지식 베이스는 레고 블록을 그냥 쌓아놓은 것 같습니다.
  • 엘렌쿠스의 지식 베이스는 **블록끼리 어떻게 연결되고, 어떤 블록은 함께 쓰면 무너지는지 (모순)**가 명확하게 정의된 상태입니다.
  • 예를 들어, "비가 오면 길이 젖는다"는 규칙이 있다면, "비가 오는데 길이 마른다"는 규칙은 자동으로 배제됩니다.
  • 더 중요한 건, 규칙이 항상 성립하는 게 아니라 상황에 따라 달라질 수 있다는 점을 인정합니다. (예: "비가 오면 길이 젖는다"는 일반적이지만, "지붕 아래라면 젖지 않는다"는 예외가 있을 수 있음). 이 시스템은 이런 유연한 규칙을 잘 처리합니다.

---

5. 요약: 한 문장으로 정리

엘렌쿠스는 "전문가가 머릿속에 있는 지식을 AI 가 빼내는 게 아니라, AI 가 전문가와 치열하게 토론하며 전문가 스스로가 지식을 더 명확하고 튼튼하게 다듬어 나가게 하는 시스템"입니다.

이 과정을 통해 만들어진 지식은 **어디서 유래했는지 (누가 언제 동의했는지)**가 모두 기록되어 있어, 신뢰할 수 있고, 컴퓨터가 논리적으로 추론할 수 있는 완벽한 형태가 됩니다. 마치 지식을 채굴 (Extraction) 하는 것이 아니라, 지식을 연마 (Explicitation) 하는 과정과 같습니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 지식 획득의 병목 현상 (Knowledge Acquisition Bottleneck): 지식 공학 (Knowledge Engineering) 은 1977 년부터 전문가의 자연어 지식을 형식화하는 과정에서 지속적인 어려움을 겪어 왔습니다.
• 기존 접근법의 한계: 전통적인 지식 공학은 전문가가 머릿속에 이미 정형화된 형식적 구조를 가지고 있으며, 이를 단순히 '추출 (Extraction)'하여 기록해야 한다고 가정합니다. 그러나 저자는 지식은 사전에 결정된 것이 아니라, 표현과 협상을 통해 구성되는 것이라고 주장합니다.
• 해결 과제: 전문가의 내재적 지식을 단순히 추출하는 것이 아니라, 대화 (Dialogue) 를 통해 전문가의 실천에 내재된 추론 관계를 '명시화 (Explicitation)'하는 새로운 패러다임이 필요합니다.

2. 방법론: Elenchus 프로토콜 (Methodology)

저자는 Elenchus라는 양자 변증법적 (Bilateral Dialectical) 프로토콜을 제안합니다. 이는 소크라테스식 문답법 (Prover-Skeptic Dialogue) 을 대규모 언어 모델 (LLM) 과 인간 전문가의 상호작용에 적용한 것입니다.

• 역할 분담:
  • 대응자 (Respondent, 인간 전문가): 주제에 대한 입장 (Commitments, 주장) 과 부인 (Denials) 을 설정하고, LLM 의 도전에 대해 retract(철회), refine(정제), contest(반박) 로 대응합니다.
  • 도전자 (Opponent, LLM): 전문가의 주장과 부인 사이의 모순 (Tension, Incoherence) 을 발견하여 제안합니다. LLM 은 '결함 있는 추론 오라클 (Defeasible Derivability Oracle)'로 작동하며, 인간 전문가의 승인이 있어야만 그 추론 관계가 지식 베이스에 반영됩니다.
• 작동 원리:
  1. 전문가가 초기 입장 (Positum) 을 설정합니다.
  2. LLM 이 전문가의 주장 집합 내에서 모순 (Tension) 을 발견하여 제시합니다.
  3. 전문가가 이를 수용 (인정) 하거나 반박합니다.
  4. 수용된 모순은 **물질적 함의 (Material Implication)**로 기록되어 지식 베이스의 일부가 됩니다.
• 구현: GitHub Issues 를 사용하여 대화 상태 (Commitments, Denials, Tensions) 를 영구적으로 저장하고 버전 관리하며, Python 스크립트를 통해 자연어 대화를 형식적 명제로 자동 매핑합니다.

3. 핵심 기여 (Key Contributions)

3.1. 추론주의적 의미론 (Inferentialist Semantics) 기반 지식 베이스 구축

• 지식 베이스를 세계에 대한 기술이 아니라, 대화 통해 명시된 추론 관계의 기록으로 재정의합니다.
• 의미는 진리 조건이 아니라 추론 역할 (무엇으로부터 따르는지, 무엇과 양립 불가능한지) 로 정의됩니다.

3.2. NMMS 논리와의 매핑 (Mapping to NMMS Logic)

• Elenchus 의 변증법적 상태를 Hlobil 과 Brandom 의 비단조 다결 (NonMonotonic MultiSuccedent, NMMS) 논리의 '물질 베이스 (Material Base)'로 매핑합니다.
• Containment 조건 충족: 동일한 명제를 주장하고 부인하는 것은 모순이라는 최소한의 일관성 조건을 만족합니다.
• 구조적 특징:
  • I (Material Implications): 대화를 통해 발견된 실질적 모순 (전문가가 수용한 것).
  • Cont (Containment): 대화의 전제 조건인 양자 일관성 (동일 명제에 대한 주장과 부인 불가).
  • 이 두 요소의 합집합이 NMMS 논리의 논리적 어휘 (Logical Vocabulary) 를 확장할 수 있는 기반이 됩니다.

3.3. 완전한 추적 가능성 (Traceability)

• 생성된 지식 베이스의 모든 추론 관계는 특정 대화 턴 (Tension 제안 및 수용) 으로 거슬러 올라갈 수 있어, 기존 텍스트 마이닝 기반 지식 베이스의 불투명한 출처 문제를 해결합니다.

4. 실험 결과 및 검증 (Results)

사례 연구: W3C PROV-O (Provenance Ontology)

• 입력: PROV-O 명세서의 350 단어 분량인 '시작점 용어 (Starting Point Terms)' 섹션의 텍스트.
• 과정: 한 명의 도메인 전문가와 LLM 간의 대화 세션을 수행하여 19 개의 주장과 9 개의 수용된 물질적 함의를 도출했습니다.
• pyNMMS 를 통한 검증:
  • 비단조성 (Non-monotonicity): 새로운 정보가 추가되면 기존 추론이 무효화됨을 확인 (예: p2 |∼ p18은 성립하지만 p2, p23 |∼ p18은 성립하지 않음). 이는 PROV 의 '핵심/확장' 경계 설계와 일치합니다.
  • 비전달성 (Non-transitivity): p2 |∼ p18과 p18 |∼ p23은 성립하지만 p2 |∼ p23은 성립하지 않음을 확인. 이는 PROV 의 '유도 (Derivation)'가 전이적이지 않다는 설계 결정 (Moreau et al., 2015 의 ISSUE-612) 을 정확히 반영합니다.
  • 독립성 (Independence): 서로 다른 설계 결정 (예: 데이터 흐름, 프로세스 흐름, 책임) 간의 추론이 서로 침범하지 않음을 확인했습니다.
  • 초고전성 (Supraclassicality) 및 보존성 (Conservativity): 논리적 어휘가 추가되어도 베이스 레벨의 추론 관계는 변하지 않으며, 고전 논리의 타당성은 유지됨을 확인했습니다.

5. 의의 및 중요성 (Significance)

1. 지식 공학의 패러다임 전환: 지식 공학을 '추출 (Extraction)'이 아닌 '명시화 (Explicitation)'로 재개념화했습니다. 지식은 대화 과정을 통해 구성됩니다.
2. LLM 의 역할 재정의: LLM 을 지식의 '출처'가 아닌, 인간의 인식을 보조하는 '변증법적 파트너'로 활용합니다. LLM 의 환각 (Hallucination) 은 전문가의 반박을 통해 필터링되므로, 지식 베이스의 무결성을 해치지 않습니다.
3. 형식적 검증 가능성: 생성된 지식 베이스가 단순히 명제들의 집합이 아니라, 비단조 논리 (Non-monotonic Logic) 의 구조적 속성을 가지며, 이는 PROV 와 같은 복잡한 표준의 설계 의도 (Design Rationale) 와 수학적으로 일치함을 증명했습니다.
4. 실용적 적용: 자연어 대화에서 시작하여 형식적 추론 (Formal Reasoning) 까지 이어지는 엔드 - 투 - 엔드 워크플로우를 실현했습니다.

결론

Elenchus 는 LLM 과 인간의 협업을 통해 추론주의 철학에 기반한 형식적 지식 베이스를 생성하는 새로운 프레임워크를 제시합니다. 이는 전문가의 지식을 단순히 추출하는 것을 넘어, 지식의 구조적 속성 (비단조성, 비전달성 등) 을 대화 과정을 통해 발견하고 검증할 수 있게 하여, 지식 공학 분야에서 중요한 이론적, 실용적 진전을 이루었습니다.