Upholding Epistemic Agency: A Brouwerian Assertibility Constraint for Responsible AI

Each language version is independently generated for its own context, not a direct translation.

🎩 핵심 비유: "마법 모자"와 "검증 가능한 증명서"

상상해 보세요. 우리가 AI 를 **'지식 마법사'**라고 부른다고 칩시다. 이 마법사는 아주 유창하게 말하고, 마치 모든 것을 다 아는 것처럼 단정적인 답변을 내놓습니다.

현재의 문제: 이 마법사는 때로는 진짜 사실을 말하지만, 때로는 근거 없이 지어낸 이야기 (할루시네이션) 를 마치 진실인 것처럼 말합니다. 중요한 문제 (의료, 법률, 선거 등) 에서 이런 '거짓 확신'은 시민들이 스스로 판단할 능력을 잃게 만듭니다.
이 논문의 해결책: 저자는 이 마법사에게 **"네가 'YES'나 'NO'라고 말하려면, 손에 들어온 '공인된 증명서 (Certificate)'를 보여줘야 한다"**는 규칙을 세우자고 제안합니다.
- 증명서가 있다면: "이건 사실입니다 (Asserted)."
- 증명서가 없다면: "아직은 모릅니다 (Undetermined)."

이 규칙을 **'브라우어 (Brouwer) 의 원칙'**이라고 부릅니다. 수학자 브라우어는 "아직 증명되지 않은 것은 참이나 거짓으로 단정할 수 없다"고 주장했는데, 이를 AI 에 적용한 것입니다.

🏗️ 3 단계 인터페이스: "예, 아니오, 그리고 '아직 모름'"

대부분의 AI 는 이진법 (0 또는 1, 참 또는 거짓) 으로 작동합니다. 하지만 이 논리는 AI 에게 3 가지 상태를 도입합니다.

✅ 승인 (Asserted): "내가 이 주장을 해도 됩니다."
- 조건: AI 내부에서 계산한 '증거 (예: 수치적 범위)'가 명확하게 기준선을 넘었고, 그 증거를 사람이 검증할 수 있는 '증명서'가 있을 때.
❌ 거절 (Denied): "이 주장은 틀렸습니다."
- 조건: 반대로, 이 주장이 틀렸다는 '증명서'가 확실할 때.
🤔 미정 (Undetermined): "아직은 말하지 못합니다."
- 조건: 증거가 부족하거나, 모호하거나, 계산이 명확하지 않을 때.
- 중요한 점: 여기서 '미정'은 AI 가 게으르거나 실수해서가 아니라, 도덕적으로 말하지 말아야 할 때입니다. "모른다"고 말하는 것이 오히려 책임 있는 태도입니다.

📜 구체적인 예시: "부패한 장관 사건"

논문의 사례를 들어보겠습니다.

상황: 한 장관이 비리 혐의로 조사받고 있습니다. 시민들이 AI 비서에게 "그 장관이 부패했나요?"라고 묻습니다.
기존 AI 의 반응: "아마도 부패했을 것입니다 (확률 73%)." → 마치 이미 결론이 난 것처럼 들립니다.
이 논문의 AI (Tooth Social) 의 반응:
- 초기 단계 (증거 부족): "현재 공개된 정보만으로는 부패 여부를 단정할 증명서가 없습니다. 따라서 '부패했다'거나 '아니다'라고 말할 권한이 없습니다. (상태: 미정) 이유: 공식 조사 결과가 아직 나오지 않았습니다."
- 나중 단계 (증거 확보): 국회의 조사 보고서가 나오고 확실한 증거가 확보되었습니다.
- 변화된 반응: "이제 공식 보고서와 증언이라는 증명서가 확보되었습니다. 따라서 '부패했다'는 주장을 할 수 있습니다. (상태: 승인) 첨부된 증명서를 확인하세요."

이처럼 AI 는 증거가 쌓일 때까지 기다렸다가, 확신할 수 있을 때만 입을 엽니다.

🧩 왜 이것이 중요한가요? (인간이 주체가 되는 것)

이 논문의 가장 깊은 메시지는 **"AI 가 답을 주는 것이 아니라, 인간이 답을 찾을 수 있도록 돕는 것"**입니다.

지식 소외 방지: AI 가 "무조건 확신하는 척"하면 사람들은 그 말에 맹목적으로 따르게 됩니다. 하지만 AI 가 "증거가 없으니 모른다"고 말하면, 사람들은 "아, 그럼 내가 더 찾아봐야겠다"라고 생각하며 스스로 판단합니다.
책임의 귀속: AI 가 "모른다"고 말할 때, 그 이유는 명확합니다. (예: "증거가 부족해서", "범위가 불명확해서"). 이는 AI 가 책임을 회피하는 것이 아니라, 어떤 추가 정보가 필요한지 시민들에게 알려주는 교육적 순간이 됩니다.

💡 결론: "성인들을 위한 교육"

이 논문의 저자는 AI 를 단순한 도구가 아니라, 우리 사회의 **'지적 파트너'**로 보고 있습니다.

"AI 가 유창하게 말한다고 해서 그것이 진실은 아닙니다. AI 가 '모른다'고 말할 때, 우리는 비로소 진실의 무게를 다시금 느끼게 됩니다."

이 제안은 AI 가 더 똑똑해지기를 바라는 것이 아니라, AI 가 더 겸손해지고, 우리가 더 현명해지기를 바라는 것입니다. AI 가 "증명서"를 보여줄 수 있을 때만 말하게 함으로써, 우리 사회가 AI 에게 휘둘리지 않고 스스로 판단하는 **'지적 주체 (Epistemic Agency)'**를 지키자는 것입니다.

한 줄 요약:

"AI 는 근거가 확실할 때만 'YES/NO'를 말하고, 근거가 부족하면 솔직하게 '모른다'고 말해야 합니다. 그래야 우리가 AI 에게 속지 않고 스스로 판단할 수 있습니다."

Each language version is independently generated for its own context, not a direct translation.

이 논문은 생성형 AI 가 고위험 (high-stakes) 분야에서 민주적 인식 주체성 (epistemic agency) 을 훼손하는 문제를 해결하기 위해, 수학자 루이 브라우어 (L.E.J. Brouwer) 의 직관주의 (Intuitionism) 철학을 차용한 새로운 AI 설계 원칙을 제안합니다. 저자는 불확실성을 단순히 확률로 표현하는 것을 넘어, AI 가 단정적인 결론을 내리기 전에 검증 가능한 '증명 (certificate)'을 제시해야 한다는 규범적 제약을 도입합니다.

다음은 논문의 기술적 요약입니다.

1. 문제 제기 (Problem)

인식 주체성의 위기: 생성형 AI 는 불확실성을 가진 확률적 패턴을 권위 있는 단정적 결론 (authoritative-seeming verdicts) 으로 변환하여, 시민들이 지식을 평가하고 정당화하는 능력을 약화시킵니다.
허위 정보와 권위: AI 의 유창한 환각 (hallucination) 은 사실처럼 보이지만, 그 근거는 불투명합니다. 이는 공공 담론에서 '진실'을 대체하거나 민주적 심의 과정을 무력화할 위험이 있습니다.
기존 접근법의 한계: 기존 불확실성 정량화 (conformal prediction, semantic entropy 등) 는 확률적 신뢰도를 제공하지만, 언제 AI 가 단정적으로 말할 수 있는지에 대한 규범적 기준을 제시하지 못합니다. 즉, "신뢰도가 낮으면 말하지 않는다"는 통계적 거부는 충분하지 않으며, "증거가 없으면 말하지 않는다"는 규범적 원칙이 필요합니다.

2. 방법론 (Methodology)

저자는 브라우어의 직관주의 수학을 AI 설계의 도구로 활용하여 **'브라우어식 주장 가능성 제약 (Brouwerian Assertibility Constraint)'**을 제안합니다.

핵심 철학:
- 구성적 진리 (Constructive Truth): 진리는 미리 존재하는 것이 아니라, 검증 가능한 구성 (construction) 을 통해 드러나는 것입니다.
- 제 3 의 배중률 거부: 고전 논리의 '배중률 (Law of Excluded Middle, P 또는 ¬P)'을 거부합니다. 증명 (witness) 이 없는 경우, 진리값은 '참'이나 '거짓'이 아니라 '미결정 (Undetermined)' 상태여야 합니다.
이중적 권한 구조 (Two-Dimensional Entitlement):
1. 내부적 권한 (Internal Entitlement, $E^R_{t_{int}}$ ): AI 내부 계산 regime( $R$ ) 하에서 모델이 특정 주장 ( $\psi$ ) 을 할 수 있는가? (예: 검증 가능한 수치적 경계, 분리 마진 등).
2. 공공적 권한 (Public Warrant, $W^{S,\tau}_t$ ): 공개된 기록 ( $t$ ) 과 증거 기준 ( $S$ ), 임계값 ( $\tau$ ) 하에서 해당 주장이 공적으로 단정될 수 있는가?
경계 객체로서의 인증서 (Certificate as Boundary Object): 내부 계산 결과와 공공적 정당성을 연결하는 '인증서 ( $\kappa$ )'를 도입합니다. 이 인증서는 검증 가능한 증인 (witness) 과 공공 기록의 정당성 조건을 모두 포함해야 합니다.

3. 주요 기여 및 기술적 제안 (Key Contributions)

A. 3 상태 인터페이스 시맨틱 (Three-Status Interface Semantics)

AI 의 출력은 기존의 {참, 거짓} 이 아닌 다음 3 가지 상태 중 하나로 결정됩니다:

Asserted (A): 인증서를 통해 주장이 강제됨 (Forced).
Denied (D): 인증서를 통해 부정이 강제됨.
Undetermined (U): 강제할 수 있는 인증서가 없을 때. 이는 선택적 거부가 아니라 필수적인 상태입니다.

B. 강제 (Forcing) 메커니즘 및 설계 보조 정리 (Design Lemma)

임계값 및 Argmax 강제:
- Threshold: 점 추정치 대신 구간 $[l, u]$ 를 사용합니다. $l \ge \tau$ 이면 'A', $u < \tau$ 이면 'D', 그 사이면 'U'입니다.
- Argmax: 클래스 $i$ 가 유일한 최상위 클래스임을 증명하려면, $l_i > u_j$ (모든 다른 클래스 $j$ 에 대해) 인 분리 마진이 필요합니다.
설계 보조 정리 (Proposition 1): "어떤 총체적 (total) 이고 인증서-정합 (certificate-sound) 인 이진 (A/D) 인터페이스는 선언된 범위 내에서 배포된 예측 함수를 결정 가능하게 만든다"는 명제를 증명합니다.
- 의미: 만약 시스템이 인증서 없이 A 또는 D 를 강제한다면, 그것은 사실에 대한 증거 없이 단정하는 것이므로 인식적 불성실 (epistemic dishonesty) 입니다. 따라서 강제할 수 있는 증인이 없다면 U 상태는 필연적입니다.

C. 출력 계약 (Output Contract) 및 이유 코드

계약 ( $C$ ): 적용 범위 ( $\Sigma$ ), 내부 검증 체계 ( $R$ ), 예산 ( $B_{budget}$ ), 공공 기준 ( $S, \tau, t$ ) 등을 정의합니다.
U 상태의 이유 코드: 시스템이 U 를 반환할 때, 구체적인 이유를 제공해야 합니다.
- U-EVIDENCE: 공공 기록이 부족함.
- U-SCOPE: 적용 범위나 출처가 불명확함.
- U-MODEL: 내부 경계가 임계값을 강제하지 못함.
- U-COMPUTE: 계산 예산 내에서 증인을 찾지 못함.

D. 하이브리드 아키텍처 구현

완전한 직관주의 아키텍처 구축은 어렵기 때문에, 기존 고전적 모델 (Classical Core) 위에 **구성적 래퍼 (Constructive Wrapper)**를 입히는 하이브리드 방식을 제안합니다.

LLM 이 유창한 텍스트를 생성하면, 래퍼가 해당 주장에 대한 인증서 (구간 경계, 검증 결과 등) 를 생성합니다.
인증서가 충분하면 A/D 를 출력하고, 부족하면 U 와 이유 코드를 출력하여 유창한 환각을 차단합니다.

4. 결과 및 사례 연구 (Results & Case Study)

Tooth Social (정치적 챗봇) 시나리오:
- 1 단계 (미결정): 초기 보도만 있을 때, AI 는 증거가 불충분하여 "부패 여부 단정 불가 (U)"를 반환합니다. 이는 시민이 추가 조사를 기다리게 합니다.
- 2 단계 (단정): 의회 조사 보고서 등 새로운 공공 기록이 추가되고, 인증된 하한선이 임계값을 넘으면 AI 는 "부패 주장 가능 (A)"으로 전환합니다.
- 결과: 이 방식은 AI 가 증거 없이 결론을 내리는 것을 방지하고, 시민들이 AI 의 결론을 검증하고 이의를 제기할 수 있는 기반을 제공합니다.

5. 의의 및 결론 (Significance)

규범적 전환: AI 를 단순한 예측 도구가 아닌, 공공 담론에 참여하는 '책임 있는 화자'로 재정의합니다.
민주적 방어: AI 가 시민의 인식 주체성을 대체하는 것을 막고, "무엇을 말할 수 있는가"에 대한 규범적 기준을 설정함으로써 민주적 심의를 보호합니다.
기술적 엄격성: "증거 없이는 단정하지 않는다 (No certificate, no categorical speech act)"는 원칙은 AI 의 과신 (overconfidence) 과 허위 정보를 구조적으로 차단합니다.
교육적 역할: AI 의 'U' 응답은 실패가 아니라, 시민에게 추가적인 증거와 심의를 요구하는 교육적 순간으로 작용합니다.

이 논문은 AI 의 기술적 성능을 높이는 것을 넘어, AI 가 민주 사회에서 어떻게 '말'해야 하는지에 대한 철학적, 기술적 프레임워크를 제시하며, 고위험 분야에서 AI 의 책임 있는 사용을 위한 새로운 표준을 제안합니다.