Pramana: Fine-Tuning Large Language Models for Epistemic Reasoning through Navya-Nyaya

이 논문은 2,500 년 역사의 인도 논리학 체계인 '나비아-냐야 (Navya-Nyaya)'를 기반으로 대규모 언어 모델의 인식적 추론 능력을 향상시키기 위해 새로운 미세 조정 방법론인 'Pramana'를 제안하고, 이를 통해 모델이 근거에 기반한 체계적 추론을 학습할 수 있음을 입증합니다.

핵심

프라마나 (Pramana): 고대 인도 철학으로 AI 의 '생각'을 가르치다

이 논문은 인공지능 (AI) 이 단순히 말을 잘하는 것을 넘어, 정말 논리적으로 '생각'할 수 있게 만드는 새로운 방법을 소개합니다. 저자는 2,500 년 전 인도의 고대 철학 체계인 '나야 (Navya-Nyaya)'를 현대의 거대 언어 모델 (LLM) 에 접목시켰습니다.

이 내용을 일상적인 비유로 쉽게 설명해 드리겠습니다.

---

1. 문제: AI 는 왜 '착한 거짓말쟁이'가 될까요?

지금의 AI 는 매우 유창하게 말하지만, 사실은 **기억력 좋은 '패턴 맞추기 기계'**에 가깝습니다.

• 비유: 마치 시험을 치는 학생이 문제의 키워드를 보고 정답을 외운 것처럼, AI 는 훈련 데이터에서 통계적 패턴을 찾아 답을 내뱉습니다.
• 문제점: 만약 문제 속에 엉뚱한 정보 (예: "알리는 5 개의 사과를 가지고 있고 보라색을 좋아한다") 를 넣으면, AI 는 그 엉뚱한 정보에 속아 엉뚱한 답을 내거나, 근거 없이 자신만만하게 틀린 말을 합니다. 이를 **'할루시네이션 (환각)'**이라고 합니다.
• 핵심: AI 는 "왜 이 답이 맞는지"를 증명할 수 있는 근거의 발자취를 남기지 못합니다.

2. 해결책: 2,500 년 전의 '논리 훈련 교본'

저자는 AI 에게 새로운 사고방식을 가르치기 위해, 고대 인도의 '나야 (Nyaya)' 철학을 선택했습니다. 이는 단순히 논리만 다루는 게 아니라, **'어떻게 지식을 얻고 검증하는가 (인식론)'**까지 포함하는 체계입니다.

이를 **AI 에게 6 단계의 '생각 훈련 프로그램'**을 심어주었습니다. 마치 요리사가 레시피를 따라 요리를 하듯, AI 도 이 6 단계를 밟으며 답을 찾아야 합니다.

🧠 AI 의 6 단계 '생각 훈련' (나야 방식)

1. 상샤야 (Samshaya): "도대체 뭐가 문제지?" (의심 분석)
   • 비유: 문제를 풀기 전에 "내가 정말로 모르는 게 뭐지?"라고 먼저 묻는 단계입니다. "사과가 5 개냐, 3 개냐?" 같은 혼란을 먼저 파악합니다.
2. 프라마나 (Pramana): "내 말의 근거는 뭐야?" (증거 수집)
   • 비유: "내가 이걸 어떻게 알았어?"라고 자문합니다. 직접 본 것 (관찰), 논리적으로 추론한 것, 다른 사람의 말 (증언) 등 신뢰할 수 있는 정보원 4 가지를 확인합니다. 근거 없는 말은 허용되지 않습니다.
3. 판차 아바야바 (Pancha Avayava): "논증의 5 단계 완성" (삼단논법)
   • 비유: 서양 논리학의 '삼단논법'보다 더 구체적입니다.
     • 주장 (무엇을 말할 것인가)
     • 이유 (왜 그런가)
     • 보편적 법칙 + 구체적 예시 (이게 핵심! "어디서나 A 면 B 다. 예를 들어..."라고 반드시 예시를 들어야 함)
     • 적용 (이 문제에 어떻게 적용되는가)
     • 결론
   • 핵심: 추상적인 말만 하지 않고, 반드시 구체적인 예시를 들어 논리를 검증합니다.
4. 타르카 (Tarka): "만약 반대라면?" (가정 반증)
   • 비유: "내가 이 답이 맞다고 생각했는데, 만약 반대라면 어떻게 될까?"라고 가정해 봅니다. 그 결과가 모순이 나오면, 내 답이 맞다는 것을 증명합니다. (스스로를 의심하며 검증하는 단계)
5. 헤트바바사 (Hetvabhasa): "내 논리에 구멍은 없나?" (오류 찾기)
   • 비유: "내가 착각하고 있진 않나? 인과관계를 헷갈리진 않았나?"라며 5 가지 논리적 오류를 스스로 점검합니다.
6. 니르나야 (Nirnaya): "이제 확신할 수 있다" (결정)
   • 비유: 모든 검증을 통과했으면 "이게 정답이다"라고 확신합니다. 만약 증거가 부족하면, "아직은 확신할 수 없다"고 솔직하게 인정합니다. (AI 가 무조건 답을 내는 것을 막아줍니다.)

3. 실험 결과: AI 는 정말 변했을까?

저자는 이 6 단계 훈련을 받은 AI 모델 (Llama 3.2 와 DeepSeek-R1 기반) 을 테스트했습니다.

• 형식 준수 (40%): AI 가 6 단계를 완벽한 형식으로 따라 쓰는 것은 아직 어렵습니다. (약 40% 만 성공)
• 정답률 (100%): 하지만 중요한 것은 내용입니다. 형식이 조금 어설퍼도, AI 가 논리적으로 올바른 답을 내는 비율은 100% 에 달했습니다.
• 의미: AI 는 단순히 형식을 외운 게 아니라, **생각하는 방법 (근거를 찾고, 검증하고, 오류를 찾는 과정)**을 진짜로 배웠다는 뜻입니다.

4. 왜 이것이 중요한가요?

• 투명한 사고: 기존 AI 는 "정답"만 알려주지만, 이 방법은 어떻게 그 답에 도달했는지를 단계별로 보여줍니다. 마치 수학 문제 풀이 과정을 보여주는 것과 같습니다.
• 신뢰할 수 있는 AI: 의료, 법률, 안전 같은 중요한 분야에서 AI 가 틀린 답을 낼 때, 어디서 논리가 틀렸는지 찾아낼 수 있습니다.
• 과거와 현재의 만남: 2,500 년 전 인도의 철학이 현대 AI 의 '할루시네이션' 문제를 해결하는 열쇠가 될 수 있다는 놀라운 발견입니다.

요약

이 논문은 **"AI 에게 단순히 '정답'을 외우게 하는 게 아니라, '생각하는 법'을 가르치자"**고 제안합니다. 고대 인도의 철학적 훈련법을 통해 AI 가 근거를 제시하고, 스스로 오류를 찾아내며, 확신할 수 있을 때만 답을 내놓도록 만든 것입니다.

비유하자면, AI 를 '기억력 좋은 학생'에서 '비판적 사고를 가진 탐정'으로 변신시킨 연구라고 할 수 있습니다.

기술 요약

Pramana: Navya-Nyaya를 통한 대규모 언어 모델의 인식론적 추론 정교화 (Fine-Tuning)

이 논문은 대규모 언어 모델 (LLM) 이 가진 체계적인 추론의 부재와 '할루시네이션 (hallucination)' 문제를 해결하기 위해, 고대 인도 철학의 논리 체계인 Navya-Nyaya(신논리학) 를 기반으로 한 새로운 접근법인 Pramana를 제안합니다. 저자는 LLM 에게 명시적인 인식론적 방법론을 학습시켜, 단순한 확률적 패턴 매칭을 넘어 검증 가능하고 추적 가능한 추론을 수행하도록 만드는 것을 목표로 합니다.

1. 문제 정의: LLM 의 인식론적 격차 (Epistemic Gap)

현재의 최첨단 LLM 은 유창한 텍스트 생성 능력이 뛰어나지만, 체계적인 추론에는 심각한 한계가 있습니다.

• 취약한 패턴 매칭: Apple 의 연구에 따르면, 수학 문제에 관련 없는 맥락을 추가하면 LLM 의 성능이 65% 까지 급격히 저하됩니다. 이는 모델이 논리적 추론이 아닌 훈련 데이터의 표면적 상관관계에 의존하고 있음을 보여줍니다.
• 할루시네이션과 근거 부재: 모델은 확신에 찬 거짓 정보를 생성하며, 결론을 뒷받침하는 추적 가능한 증거 사슬을 제공하지 못합니다.
• 인과관계와 상관관계의 혼동: 통계적 패턴 매칭은 우연한 상관관계를 인과관계로 오인하기 쉽습니다.
• 기존 CoT 의 한계: Chain-of-Thought(CoT) 프롬프팅은 추론 단계를 추가하지만, 이는 모델이 사전 학습 중에 암묵적으로 학습한 패턴에 의존할 뿐, 명시적인 논리 구조나 인식론적 엄밀성을 강제하지는 않습니다.

2. 방법론: Navya-Nyaya 논리 체계의 통합

Pramana 는 2,500 년 역사의 인도 철학 체계인 Navya-Nyaya 를 LLM 의 추론 구조로 재해석하여 적용합니다. 이 체계는 추론을 6 단계의 엄격한 과정으로 구조화합니다.

6 단계 추론 프레임워크

1. SAMSHAYA (의심 분석): 문제의 불확실성 유형 (예: 다중 개체의 속성 혼동, 모순된 증거 등) 을 분류하고 분석합니다.
2. PRAMANA (지식원 확인): 주장의 근거가 되는 유효한 지식의 출처를 명시합니다.
   • Pratyaksha (직관): 문제에서 직접 관찰 가능한 사실.
   • Anumana (추론): 논리적 유추.
   • Upamana (비교): 유사한 사례와의 비교.
   • Shabda (증언): 보편적 논리 법칙이나 공리.
3. PANCHA AVAYAVA (5 구성원 삼단논법): 추론의 핵심으로, 다음 5 가지 구성 요소를 포함해야 합니다.
   • Pratijna (주장), Hetu (이유), Udaharana (보편적 규칙과 구체적 예시), Upanaya (적용), Nigamana (결론).
   • 특히 Udaharana는 추상적 규칙을 구체적인 예시와 결합하여 보편성을 입증해야 합니다.
4. TARKA (반례 검증): 결론의 반대 가정을 설정하여 모순을 유도함으로써 결론을 검증합니다 (귀류법).
5. HETVABHASA (오류 탐지): 추론 과정에서 발생할 수 있는 5 가지 논리적 오류 (인과관계 오인, 모순, 순환논증 등) 를 명시적으로 점검합니다.
6. NIRNAYA (확정): 모든 검증을 통과한 경우 '확실한 지식'으로 결론을 내리거나, 증거가 부족할 경우 '검증이 필요한 가설'로 명시하여 인식론적 겸손을 유지합니다.

학습 파이프라인

• 데이터: 55 개의 Nyaya 구조화된 논리 문제 (제약 충족, 부울 SAT, 다단계 추론 등) 를 생성하여 학습 데이터로 사용했습니다.
• 모델: 두 단계의 실험을 수행했습니다.
  • Stage 0: Llama 3.2-3B (개념 증명).
  • Stage 1: DeepSeek-R1-Distill-Llama-8B (최소 실행 가능 추론기).
• 학습 기법: QLoRA(4-bit 양자화) 와 Unsloth 를 활용한 효율적인 파인튜닝 (SFT) 을 적용했습니다.
• 구현: Markdown 형식의 YAML 프론트마터를 사용하여 구조화된 데이터를 생성하고, 파서와 검증기를 통해 구조적 무결성을 확인했습니다.

3. 주요 결과 (Experimental Results)

성능 지표

• 의미론적 정확도 (Semantic Correctness): Stage 1 에서 **100%**의 정확도를 달성했습니다. 이는 모델이 Navya-Nyaya 의 추론 내용 (논리적 단계, 증거 기반, 검증) 을 효과적으로 내재화했음을 의미합니다.
• 형식 준수율 (Format Adherence): 6 단계 구조를 완벽하게 따르는 비율은 **40%**로, 목표치 (90%) 에 미치지 못했습니다. 모델은 추론 내용은 올바르게 수행하지만, 엄격한 스키마 준수 (예: 섹션 누락, 오류 탐지 생략) 에는 어려움을 겪었습니다.
• 기저 모델 대비 향상: 파인튜닝 전 기저 모델은 형식 준수와 의미론적 정확도 모두 0% 에 가까웠으나, 파인튜닝을 통해 추론 능력이 획기적으로 개선되었습니다.

분석 및 발견

• 내용과 구조의 분리: 모델은 추론의 '내용'을 학습하지만, '형식'을 엄격하게 따르는 것은 별개의 과제임을 보여주었습니다. 의미론적 정확도가 높음에도 형식 오류가 발생하는 것은 모델이 논리적 사고는 하지만 출력 스키마를 완벽하게 제어하지는 못함을 시사합니다.
• 모델 크기와 데이터의 영향: 모델 크기 증가 (3B → 8B) 와 데이터 양 증가 (20 → 55 개) 는 의미론적 정확도 향상에 기여했으나, 형식 준수율 plateau(40%) 를 해결하지는 못했습니다. 이는 형식 강제성을 위해 추가적인 기법 (제약 디코딩, 강화학습 등) 이 필요함을 시사합니다.
• 오류 패턴: 가장 흔한 실패 원인은 Hetvabhasa(오류 탐지) 섹션의 누락과 Nirnaya(확정) 섹션의 불완전함이었습니다. 이는 모델이 핵심 추론에는 집중하지만, 메타-추론 (검증 및 겸손) 단계는 소홀히 하는 경향이 있음을 보여줍니다.

4. 주요 기여 (Contributions)

1. 최초의 Nyaya 기반 LLM 파인튜닝: 대규모 언어 모델에 명시적인 6 단계 Nyaya 방법론을 학습시켜, 구조화된 추론 출력을 생성하는 것을 최초로 증명했습니다.
2. 해석 가능한 추론 프레임워크: 블랙박스인 CoT 와 달리, 각 추론 단계가 검증 가능한 지식 출처 (Pramana) 와 보편적 규칙 (Vyapti) 에 기반하도록 하여 AI 의 신뢰성과 감사 가능성 (Auditability) 을 높였습니다.
3. 오픈소스 생태계 구축: 학습된 모델 (Stage 0, 1), 데이터셋, 학습 인프라, 그리고 Hugging Face 의 대화형 데모를 공개하여 커뮤니티 연구와 재현을 장려했습니다.

5. 의의 및 결론

이 연구는 고대 인식론 (Epistemology) 이 현대 AI 의 추론 한계를 극복하는 데 유효한 도구가 될 수 있음을 보여줍니다.

• 신뢰할 수 있는 AI 로의 전환: LLM 이 단순히 확률적으로 다음 단어를 예측하는 것을 넘어, 증거를 기반으로 결론을 도출하고 오류를 스스로 검증하는 '지식'을 가진 시스템으로 발전할 수 있는 가능성을 제시합니다.
• 고위험 분야 적용: 의료 진단, 법률 논증, 안전 필수 시스템 등 결론의 근거가 명확해야 하는 분야에서, Navya-Nyaya 구조는 모델의 추론 과정을 투명하게 만들어 신뢰를 구축하는 핵심 요소가 될 수 있습니다.
• 향후 과제: 형식 준수율 향상을 위해 제약 디코딩 (Constrained Decoding) 이나 형식 특화 보상 (Format-specific Rewards) 을 포함한 강화학습 (GRPO) 적용, 그리고 더 다양한 도메인 (법률, 의학) 으로의 확장이 필요합니다.

결론적으로, Pramana는 AI 에게 "무엇을 생각할지"뿐만 아니라 "어떻게 생각할지"를 가르치는 새로운 패러다임을 제시하며, 투명하고 검증 가능한 인공지능의 실현을 위한 중요한 첫걸음입니다.