Can machines be uncertain?

Each language version is independently generated for its own context, not a direct translation.

이 논문은 **"인공지능 (AI) 이 정말로 '모르겠다'거나 '불확실하다'는 느낌을 가질 수 있을까?"**라는 아주 흥미로운 질문을 던집니다.

저자 루이스 로사는 단순히 AI 가 데이터를 잘못 가지고 있는 경우 (정보의 불확실성) 가 아니라, **AI 시스템 자체가 '아직 확신이 없다'는 태도 (주관적 불확실성)**를 가질 수 있는지, 그리고 그걸 어떻게 구현할 수 있는지 탐구합니다.

이 복잡한 철학적이고 기술적인 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

1. 핵심 질문: AI 는 '모르겠다'고 말할 수 있을까?

우리는 AI 가 모든 것을 다 아는 만능 로봇이 되길 원하지 않습니다. 오히려 **"이건 잘 모르겠는데, 더 확인해 봐야겠다"**라고 말할 줄 아는 AI 를 원하죠. 하지만 AI 가 진짜로 그런 '불확실한 마음'을 가질 수 있을까요?

정보의 불확실성 (Epistemic Uncertainty): 데이터 자체가 애매한 경우입니다. (예: 비가 올지 안 올지 기상청 데이터가 모호할 때)
주관적 불확실성 (Subjective Uncertainty): 시스템 자체가 "나는 이 문제에 대해 확신이 없어"라는 태도를 가지는 경우입니다.

이 논문은 AI 가 정보의 애매함을 넘어, 스스로 '불확실하다'는 태도를 가질 수 있는지를 다룹니다.

2. AI 의 두 가지 유형과 불확실성의 구현

저자는 AI 를 크게 두 부류로 나누어 설명합니다.

A. 상징적 AI (Symbolic AI) - "규칙을 따르는 꼼꼼한 학생"

이 AI 는 인간이 만든 명확한 규칙과 기호 (문자, 수식) 로 작동합니다.

확률적 불확실성: "환자가 감기일 확률이 90% 야"라고 숫자로 표현합니다. 마치 학생이 시험 문제를 풀 때 "이건 90% 맞을 것 같아"라고 적어두는 것과 같습니다.
범주적 불확실성: 아예 답을 내지 않고 "환자가 감기일까? (질문)"라고 질문 자체를 메모장에 적어둡니다. 답을 모르는 상태를 '질문'이라는 형태로 저장하는 거죠.

B. 연결주의 AI (Connectionist AI / 신경망) - "직관적인 예술가"

이건 우리가 흔히 아는 딥러닝 (Deep Learning) 방식입니다. 규칙보다는 수많은 데이터 패턴을 학습해서 작동합니다.

분산된 불확실성 (Distributive Uncertainty): 이 AI 는 "감기일 확률 90%"라고 숫자를 적지 않습니다. 대신, 뇌의 신경 연결망 (가중치) 자체가 흐릿하게 설정되어 있어서, 어떤 입력을 받으면 "감기"라고 확실히 말하지도, "아니오"라고 확실히 말하지도 않는 상태가 됩니다. 마치 색깔이 섞여 있어 회색으로 보이는 그림처럼, 전체적인 구조가 '모호함'을 담고 있는 것입니다.
점 단위 불확실성 (Point-wise Uncertainty): 출력 결과로 "감기일 확률 60%"라고 숫자를 직접 내보내기도 합니다.

3. 가장 중요한 문제: "내부 vs 외부"의 괴리 (레벨 스플릿)

이 논문에서 가장 재미있고 중요한 부분은 **"AI 내부에서는 불확실해 보이는데, 밖에서는 확신에 차서 행동할 때"**에 대한 논의입니다.

비유: 망설이는 요리사와 당황스러운 식당 주인

상황: AI 의 내부 (신경망) 는 "이 요리가 맛있을지 모르겠어 (불확실성)"라고 생각하며 망설이고 있습니다.
하지만: 그 AI 가 속한 더 큰 시스템 (프로그램) 은 "음, 80% 이상 확신이 들면 그냥 '맛있다'고 발표해!"라는 규칙을 가지고 있습니다.
결과: 내부에서는 망설이고 있지만, 밖으로 나가는 말은 **"이 요리 최고입니다!"**라고 확신에 차서 나옵니다.

이때 우리는 무엇을 말해야 할까요?

해석 1 (두 번째 해결책): "내부에서 망설였으니, 이 시스템은 불확실한 거야. 다만 그 불확실성을 무시하고 행동한 거지."
해석 2 (첫 번째 해결책 - 저자의 주장): "아니야. 시스템 전체가 '불확실한 상태'가 된 게 아니야. 내부에서 망설이는 건 그냥 계산 과정일 뿐이지, 실제 '불확실한 태도'가 아니야. 시스템은 확신에 차서 행동하니까, 불확실하지 않은 거야."

저자는 해석 2를 지지합니다. 왜냐하면 우리가 AI 에게 "너는 불확실할 줄 알아야 해"라고 요구할 때, 원하는 건 **내부 계산 과정이 아니라, 실제 행동 (확신하지 않고 말하거나, 더 확인해 보라고 하는 행동)**이기 때문입니다.

4. 결론: AI 는 어떻게 '불확실함'을 가져야 할까?

이 논문의 결론은 다음과 같습니다.

AI 는 불확실할 수 있다: AI 는 확률 숫자를 쓰거나, 질문을 던지거나, 신경망 연결이 흐릿해지는 방식으로 '불확실함'을 구현할 수 있습니다.
하지만 행동이 중요하다: AI 내부에서 '모르겠다'는 신호가 떠도, 그 신호가 시스템의 최종 결정에 영향을 주지 않고 (예: 무조건 확신하는 규칙 때문에) 밖으로 나간다면, 그 AI 는 진짜로 불확실한 것이 아닙니다.
우리가 원하는 것: 우리는 AI 가 "아직 모르겠으니, 답을 내리기 전에 더 조사해 보자"거나 "이건 50:50 이니 신중하게 결정하자"라고 행동하는 것을 원합니다. 단순히 내부 계산만 불확실한 게 아니라, 그 불확실성이 행동으로 이어져야 진짜 불확실한 AI라고 할 수 있습니다.

한 줄 요약:

"AI 가 내부적으로 '모르겠다'고 생각해도, 밖으로 나가는 말과 행동이 '확신'에 차 있다면, 그 AI 는 불확실한 게 아닙니다. 진짜 불확실한 AI 는 모르겠다는 태도를 행동으로 보여주는 AI입니다."

이 논문은 AI 를 더 똑똑하고 인간처럼 안전하게 만들기 위해, AI 가 '무엇을 모르는지'를 인정하고 행동하는 능력을 어떻게 설계해야 하는지에 대한 중요한 통찰을 줍니다.

Each language version is independently generated for its own context, not a direct translation.

논문 제목: Can machines be uncertain? (기계가 불확실성을 가질 수 있는가?)

저자: Luis Rosa (Washington University in St. Louis)
주제: 인공지능 (AI) 시스템의 불확실성 (Uncertainty) 의 실현 가능성, 유형, 및 해석 수준에 대한 철학적 및 기술적 분석

1. 문제 제기 (Problem)

현재 AI 시스템은 종종 모든 질문에 대한 답을 내놓거나 '결론을 서두르는' (jump to conclusions) 경향이 있습니다. 그러나 진정한 지능은 적절한 상황에서 불확실성을 인정하고, 결론을 내리지 못하는 상태를 유지할 수 있는 능력을 포함합니다.

이 논문은 다음과 같은 핵심 질문을 다룹니다:

AI 시스템은 실제로 불확실한 상태 (states of uncertainty) 를 가질 수 있는가?
만약 가능하다면, 상징적 (Symbolic) 및 연결주의적 (Connectionist) 아키텍처에서 불확실성이 어떻게 구현되는가?
시스템 내부의 정보 불확실성 (Epistemic uncertainty) 과 시스템 자체의 주관적 불확실성 (Subjective uncertainty) 은 어떻게 구분되는가?
하위 시스템 (서브시스템) 이 불확실성을 나타내지만 상위 시스템이 이를 무시하고 확신 있는 행동을 보일 때, 전체 시스템은 불확실하다고 간주해야 하는가?

2. 방법론 (Methodology)

저자는 분석 철학 (기능주의, 행동주의) 과 AI 아키텍처에 대한 기술적 이해를 결합하여 접근합니다.

개념적 구분:
- 인지적 불확실성 (Epistemic Uncertainty): 시스템이 보유한 정보나 데이터 자체가 모호한 경우.
- 주관적 불확실성 (Subjective Uncertainty): 시스템 자체가 불확실한 태도 (attitude) 를 가지는 경우. (예: 데이터가 불완전한 것이 아니라, 시스템이 "모르겠다"는 입장을 취하는 상태).
- 질문적 태도 (Interrogative Attitudes): 불확실성이 단순히 명제적 신념 (propositional attitudes) 의 부재가 아니라, 질문 그 자체를 내용으로 하는 상태임을 강조합니다.
시스템 분류 및 분석:
- 상징적 AI (Symbolic AI): 명시적 규칙과 기호 조작을 기반으로 하는 시스템.
- 연결주의 AI (Connectionist AI): 인공 신경망 (ANN) 을 기반으로 하는 시스템.
- 하이브리드 시스템: 위 두 가지를 결합한 시스템.
해석 수준 (Levels of Ascription) 분석:
- 인지적 수준 (Cognitive Level): 시스템 내부의 계산, 기호 처리, 가중치 설정 등.
- 행동적 수준 (Behavioral Level): 시스템의 관찰 가능한 입력/출력 및 외부 행동.
- 수준 분리 (Level Splits) 문제: 내부적으로는 불확실성을 나타내지만 외부 행동은 확신 있는 것처럼 보이는 경우를 분석합니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

3.1. 상징적 AI 시스템에서의 불확실성 실현

상징적 시스템은 두 가지 방식으로 불확실성을 실현할 수 있습니다.

확률적 불확실성 (Probabilistic Uncertainty):
- 명제 $p$ 에 대해 $0 < r < 1$ 인 신뢰도 (confidence) 를 가진 기호 구조 (예: $<p, 0.9>$ ) 를 생성하고 저장합니다.
- 이는 단순한 데이터가 아니라, 시스템 내부에서 특정 인과적 역할 (예: 부정적 결론을 내리지 못하게 함) 을 수행해야 주관적 불확실성으로 간주됩니다.
범주적 불확실성 (Categorical Uncertainty):
- 확률적 척도가 없더라도, 시스템이 질문 (예: $?D(a)$ ) 을 내부적으로 토큰화 (tokenize) 하고 처리하는 상태입니다.
- 이는 명제적 신념으로 환원되지 않는 근본적인 '질문적 태도'입니다. 시스템이 답을 찾지 못해 질문을 유지하는 상태 자체가 불확실성입니다.

3.2. 연결주의 AI (신경망) 시스템에서의 불확실성 실현

신경망에서는 불확실성이 분산적 (Distributive) 또는 점별 (Point-wise) 방식으로 실현됩니다.

데이터 불확실성 (Data Uncertainty): 학습 데이터 자체의 모호함. 이는 시스템의 주관적 불확실성과 직접 연결되지 않을 수 있습니다 (데이터는 불확실하지만 시스템은 결론을 내릴 수 있음).
모델 불확실성 (Model Uncertainty):
- 분산적 실현: 가중치와 임계값의 설정으로 인해, 특정 입력 (예: 곰) 에 대해 '포유류'인지 '비포유류'인지 결정하지 못하는 상태. 이는 신경망 전체가 불확실한 상태임을 의미합니다.
- 점별 실현: 출력 활성화 벡터가 확률 분포 (예: 0.6) 나 질문을 직접 표현하는 경우.
인과적 역할의 중요성: 신경망의 출력 벡터가 불확실성의 실현이 되려면, 상위 시스템 내에서 불확실성 특유의 인과적 효과 (예: 결정 지연, 추가 정보 요청) 를 가져야 합니다.

3.3. 수준 분리 (Level Splits) 문제와 해결 방안

하위 시스템 (예: 신경망) 이 불확실성을 나타내지만, 이를 처리하는 상위 시스템이 이를 무시하고 확신 있는 행동을 할 때 (Level Split), 어떻게 해석해야 하는가?

해법 1 (First Solution - 저자가 지지): 전체 시스템은 불확실하지 않다. 하위 시스템의 상태가 상위 시스템의 행동에 영향을 주지 않는다면, 그것은 전체 시스템의 '주관적 불확실성'이 아니다. 불확실성은 시스템의 행동적 반응과 인과적 기능에 의해 정의되어야 한다.
해법 2 (Second Solution): 하위 시스템이 불확실하므로 전체 시스템도 불확실하지만, 시스템이 이를 무시하는 결함이 있다.
결론: 저자는 해법 1을 지지합니다. AI 시스템이 불확실한 상태에 있다고 말하려면, 그 상태가 시스템의 행동과 추론에 실제로 영향을 미쳐야 합니다. 내부 상태만 불확실하고 행동은 확신에 차 있다면, 그 시스템은 불확실한 것이 아닙니다.

4. 의의 및 시사점 (Significance)

의식 없이도 가능한 불확실성: 이 논문은 AI 가 불확실성을 가지기 위해 의식 (Consciousness) 이나 완전한 정신 (Full-blown Mind) 이 필요하지 않음을 주장합니다. 기능적 역할과 행동적 반응만으로도 불확실성 상태가 실현될 수 있습니다.
지능의 필수 요소로서의 불확실성: 지능적인 시스템은 결론을 서두르지 않고, 증거가 불충분할 때 불확실성을 유지할 수 있어야 합니다. 이는 생존과 적응에 필수적입니다.
AI 평가 기준의 재정립: AI 시스템의 불확실성을 평가할 때 내부 확률 값이나 가중치만 보는 것이 아니라, 시스템이 그 불확실성을 어떻게 행동으로 나타내는지 (예: "모르겠다"고 말하거나, 추가 정보를 요청하는지) 를 확인해야 함을 강조합니다.
하이브리드 시스템에 대한 통찰: 상징적, 연결주의적, 하이브리드 시스템 모두에서 불확실성이 다양한 방식으로 실현될 수 있음을 보여주며, 향후 하이브리드 아키텍처 연구의 기초를 제공합니다.

요약

이 논문은 AI 시스템이 단순히 불완전한 데이터를 가진 것이 아니라, 시스템 자체가 불확실한 태도를 가질 수 있는지를 철학적이고 기술적으로 분석합니다. 저자는 불확실성이 단순한 내부 상태가 아니라, 시스템의 인과적 기능과 행동적 반응에 의해 정의되어야 한다고 주장하며, 하위 시스템의 불확실성이 전체 시스템의 행동에 반영되지 않는다면 그 시스템은 불확실하지 않다고 결론 내립니다. 이는 안전하고 신뢰할 수 있는 AI 를 설계하기 위해 시스템이 '언제 불확실함을 표현해야 하는지'에 대한 중요한 기준을 제시합니다.