두 사람이 테이블에 앉아 정확히 같은 문서, 차트, 뉴스 보고서 더미를 바라보고 있다고 상상해 보십시오. 그런데 한 사람은 "이 프로젝트를 즉시 중단해야 합니다"라고 결론 내리는 반면, 다른 사람은 "더 과감하게 투자하고 속도를 높여야 합니다"라고 말합니다.

실제 세계에서는 이에 대해 "그중 한 명은 미친 거야", "그들은 거짓말을 하고 있어", "그냥 이해를 못 하는 거야"라고 반응하곤 합니다. 우리는 문제를 성격의 결함으로 간주합니다.

이 논문은 우리가 잘못된 것을 보고 있다고 주장합니다. 이 논문은 의견 불일치가 '누가' 보는가의 문제가 아니라 '어떻게' 보는가의 문제라고 제안합니다. 저자 다카하시 토루는 사람들이 동일한 사실을 공유하면서도 서로 다른 결론에 도달할 때, 이는 뇌의 결함이 아니라 **비식별성 (non-identifiability)**이라는 수학적 필연성이라고 주장합니다.

다음은 이 논문의 주장을 간단한 개념과 비유로 풀어낸 것입니다.

1. 핵심 아이디어: "동일한 입력, 다른 출력" 문제

이 논문은 오직 하나의 "올바른" 사고 방식만 존재한다는 아이디어 (이를 단일 지능 가정이라고 부름) 를 거부하며 시작합니다. 대신 사고는 여러 다이얼이 있는 기계와 같다고 제안합니다. 두 사람이 정확히 같은 데이터를 뇌에 입력하더라도 다이얼을 다르게 돌리면 다른 답을 얻게 됩니다.

저자는 이를 두 가지 수준의 "오작동"으로 나눕니다.

1 단계: 설정 오작동 ( $\theta$ -레벨). 두 명의 요리사가 정확히 같은 레시피와 재료를 사용한다고 상상해 보십시오. 한 요리사는 소금을 약간 넣고 5 분간 조리한 뒤 바로 맛을 봅니다. 다른 요리사는 소금을 넣지 않고 20 분간 조리한 뒤 천천히 맛봅니다. 그들이 다른 요리를 만들어낸 것은 재료가 나빠서가 아니라 설정이 달랐기 때문입니다.
2 단계: 기억 오작동 ( $W$ -레벨). 이제 그 요리사들이 매일 요리를 한다고 가정해 보십시오. 첫 번째 요리사는 짠맛이 강하고 빠른 요리만 만들고, 두 번째 요리사는 느리고 밍밍한 요리만 만듭니다. 시간이 지남에 따라 '맛있는 음식'에 대한 그들의 기억이 변합니다. 그들은 서로 다른 내부 세계 모델을 구축한 것입니다. 이제 동일한 새로운 재료를 주더라도 과거 경험이 뇌를 다른 것을 기대하도록 형성했기 때문에 서로 다르게 해석할 것입니다.

2. 사고의 네 가지 다이얼

왜 사람들이 다르게 생각하는지 설명하기 위해 저자는 조정 가능한 네 개의 다이얼을 가진 "사고 프로파일"을 소개합니다. 이를 카메라나 비디오 게임의 설정으로 생각하십시오.

참조 (Reference, R): 무엇을 신뢰합니까?
- 친구에게 보여 주며 "봐, 여기 있어"라고 말할 수 있는 숫자, 로그, 법적 텍스트와 같은 확실한 것을 신뢰합니까? 아니면 설명하기 어려운 직감, 암묵적 위험, 직관과 같은 것을 신뢰합니까?
- 비유: 한 사람은 속도계와 내비게이션을 엄격히 보고 운전하는 반면, 다른 사람은 도로와 바람, 그리고 "뭔가 잘못되었다"는 느낌을 보고 운전합니다.
탐색 (Exploration, E): 몇 가지 가능성을 열어둡니까?
- 한 가지 답을 빠르게 결정하고 고집합니까? 아니면 머릿속에서 동시에 여러 "만약에" 시나리오를 유지합니까?
- 비유: 즉시 첫 번째 용의자를 체포하는 형사 대, 열 명의 용의자 목록을 유지하고 모두 수사하는 형사.
안정화 (Stabilization, S): 생각을 바꾸기 얼마나 어렵습니까?
- 새로운 정보가 들어오면 즉시 계획을 업데이트합니까? 아니면 새로운 정보가 압도적이지 않는 한 원래 규칙을 고수합니까?
- 비유: 방이 1 도만 따뜻해져도 온도를 즉시 바꾸는 온도 조절 장치 대, 방이 얼어붙을 때까지 난방을 켜지 않는 온도 조절 장치.
지평 (Horizon, D): 미래의 어느 정도까지 내다보십니까?
- 다음 주에 일어날 일을 중요하게 생각합니까? 아니면 다음 10 년을 중요하게 생각합니까?
- 비유: 다음 달 시장을 위해 작물을 심는 농부 대, 20 년 뒤에야 열매를 맺을 나무를 심는 농부.

3. 왜 우리는 같은 세 가지 일로 논쟁합니까?

무한한 방식으로 의견 불일치가 발생할 수 있다고 생각할 수 있습니다. 하지만 이 논문은 우리의 뇌에 한계가 있기 때문에 (무한한 데이터를 처리할 수 없고, 모든 것을 볼 수 없으며, 서로 대화해야 함), 이러한 네 가지 다이얼이 단순히 세 가지 주요 논쟁으로 수렴된다고 주장합니다.

추상적 vs 구체적:
- 갈등: 한 사람은 크고 일반적인 원칙 (추상적) 에 대해 이야기하고 싶어 하는 반면, 다른 사람은 구체적이고 messy 한 세부 사항 (구체적) 에 대해 이야기하고 싶어 합니다.
- 원인: 우리의 뇌는 정보를 압축하여 수용해야 합니다. 때로는 너무 많이 압축하여 세부 사항을 잃고, 때로는 세부 사항을 너무 많이 붙잡아 큰 그림을 잃습니다.
외부적 vs 내부적:
- 갈등: 한 사람은 "데이터를 보여 줘!" (외부적) 라고 말하는 반면, 다른 사람은 "네가 내가 느끼는 위험을 이해하지 못해!" (내부적) 라고 말합니다.
- 원인: 내부적인 감정을 공유하기는 어렵지만 스프레드시트를 공유하기는 쉽습니다. 사람들은 "감정"이 유효한 증거로 간주되는지 여부에 대해 논쟁합니다.
질서 vs 자유:
- 갈등: 한 사람은 엄격한 규칙과 일관성 (질서) 을 원하는 반면, 다른 사람은 유연성과 새로운 아이디어 (자유) 를 원합니다.
- 원인: 우리는 매 순간 생각을 바꾸지 않는 안정성 (불변성) 과 새로운 것을 배울 때 생각을 바꾸는 적응성 사이에서 균형을 잡아야 합니다.

4. 실제 사례: AI 규제

이 논문은 인공지능 규제에 대한 논쟁을 통해 이것이 어떻게 작동하는지 보여줍니다.

공유된 사실: 모두 AI 사고, 경제 성장 통계, 기술 벤치마크에 대한 동일한 보고서를 봅니다.
"예방 원칙" 그룹:
- 참조: 외부화하기 어려운 두려움 (예: "우리가 통제력을 잃으면 어떻게 될까?") 에 집중합니다.
- 탐색: 머릿속에서 "최악의 시나리오"를 살아있게 유지합니다.
- 안정화: 변경 불가능한 엄격한 규칙을 원합니다.
- 지평: 50 년 후를 내다봅니다.
- 결론: "금지하거나 강력히 규제하라."
"촉진" 그룹:
- 참조: 외부화 가능한 데이터 (예: "이 경제 수치를 봐") 에 집중합니다.
- 탐색: 가장 가능성 높고 긍정적인 시나리오에 집중합니다.
- 안정화: 기술이 발전함에 따라 변경될 수 있는 유연한 규칙을 원합니다.
- 지평: 향후 2~5 년을 내다봅니다.
- 결론: "성장하게 두자; 나중에 문제를 해결할 수 있다."

이 논문은 말합니다: 어느 쪽도 "미친" 것이 아닙니다. 그들은 단지 사고 기계의 다른 설정을 사용하고 있을 뿐입니다.

5. 해결책: 비난을 멈추고 조정을 시작하라

이 논문의 주요 교훈은 사람들이 의견 불일치를 보일 때 그들을 "비이성적"이거나 "나쁜 의도"라고 부르는 것을 멈추어야 한다는 것입니다. 대신 의견 불일치를 기술적 문제로 취급해야 합니다.

두 사람이 의견이 다르면 "누가 멍청한가?"라고 묻지 말고 다음과 같이 물어야 합니다.

"데이터의 다른 부분을 보고 있는가?" (참조)
"서로 다른 가능성을 붙잡고 있는가?" (탐색)
"서로 다른 시간 범위를 보고 있는가?" (지평)

어떤 "다이얼"이 다르게 설정되어 있는지 식별함으로써 더 나은 대화 방식을 설계할 수 있습니다. 동일한 시간 범위를 보거나 동일한 "직감"을 데이터로 공유하기로 합의할 수 있습니다. 이는 도덕적 싸움을 해결 가능한 공학적 문제로 바꿉니다.

요약하자면: 의견 불일치는 망가진 뇌의 신호가 아니라, 동일한 기계의 다른 설정을 나타내는 신호입니다. 우리가 설정을 이해한다면 의견 불일치를 해결할 수 있습니다.

기술적 요약: 추론 프로파일 $\theta$ 를 통한 세계 모델 비동일성 형식화

1. 문제 제기

본 논문은 동일한 관찰 데이터 (문서, 통계, 로그, 또는 사건) 를 공유하는 서로 다른 에이전트들이 상반된 결론에 도달하는 현상을 다룹니다. 전통적인 담론에서 이러한 차이는 종종 상대방의 인지적 결함, 비합리성, 또는 악의에 기인합니다. 이러한 귀인은 **단일 지능 가정 (Single Intelligence Assumption, SIA)**에 의존하는데, 이는 지능이 논리적 추론에 집중되어 있으며 이 규범에서의 이탈은 실패로 간주되고, 동일한 입력을 가진 합리적 에이전트들은 동일한 결론에 수렴해야 한다는 (교환 가능성) 전제를 담고 있습니다.

본 논문은 이러한 프레임이 생산적인 탐구를 차단한다고 주장합니다. 대신 결론의 차이는 세계 모델 추정의 **비동일성 (non-identifiability)**이라는 구조적 특징이라고 제안합니다. 유한한 데이터, 부분적 관찰 가능성, 그리고 표현적 제약 조건 하에서는 여러 모델이나 추론 정책이 동일한 관찰과 양립할 수 있습니다. 본 논문은 논쟁을 도덕적 또는 성격적 결함이 아닌, 두 가지 서로 다른 수준에서 발생하는 비동일성이라는 계산적 문제로 재정의하고자 합니다:

$\theta$ -수준: 공유된 세계 모델 ( $W$ ) 을 가지고 있음에도 불구하고 추론 설정의 차이로 인해 발생하는 차이.
$W$ -수준: 반복된 추론 연산이 데이터 노출과 업데이트 규칙에 편향을 주어 시간이 지남에 따라 학습된 세계 모델 자체가 분기하는 것으로 인해 발생하는 차이.

2. 방법론 및 프레임워크

2.1 추론 프로파일 $\theta$

차이의 원인을 운영화하기 위해 본 논문은 추론 과정의 운영적 자유도를 나타내는 4 차원 벡터인 추론 프로파일 (Inference Profile) $\theta = (R, E, S, D)$ 을 도입합니다:

참조 (Reference, $R$ ): 추론에 사용되는 근거 (증거) 의 가중치입니다. 이는 부분적 근거 집합 $\{e_i\}$ 의 가중 합으로 모델링됩니다. 가중치 $w_i$ 는 외부화 가능성 점수 (externalizability score) $x_i$ (근거가 공유 및 감사될 수 있는 용이성) 와 매개변수 $\beta_R$ 에 의존합니다. 높은 $\beta_R$ 은 감사 가능한 근거 (로그, 통계) 를 우선시하고, 낮은 $\beta_R$ 은 높은 기술 비용이 드는 근거 (암묵적 지식, 직관) 가 결론에 영향을 미치도록 허용합니다.
탐색 (Exploration, $E$ ): 대안적 가설의 유지입니다. 이는 가설 분포의 엔트로피 $H(h|o)$ 로 특징지어집니다. 높은 탐색은 여러 가능성을 유지 (높은 엔트로피) 하는 반면, 낮은 탐색은 단일 결론에 집중합니다.
안정화 (Stabilization, $S$ ): 업데이트의 억제입니다. 이는 임계값 $\tau$ 또는 정규화 강도 $\lambda$ 에 의해 지배됩니다. 높은 안정화는 변화에 저항 (질서) 하고, 낮은 안정화는 새로운 정보에 대한 빠른 적응 (자유) 을 허용합니다.
지평 (Horizon, $D$ ): 평가의 시간적 중심입니다. 할인 인자 $\gamma$ 에 의해 제어됩니다. 높은 $\gamma$ 는 장기적 결과를 강조하고, 낮은 $\gamma$ 는 즉각적이고 국소적인 결과를 강조합니다.

2.2 비동일성의 두 수준

$\theta$ -수준 비동일성: 두 에이전트가 동일한 세계 모델 매개변수 $\phi$ (따라서 동일한 $W_\phi$ ) 를 공유하더라도, 그들의 추론 프로파일 $\theta_A \neq \theta_B$ 라면 결론 $y$ 는 다를 수 있습니다. 형식적으로: $y = \text{Infer}(W_\phi, o_{\le t}; \theta)$ .
$W$ -수준 비동일성: 추론 연산은 시간에 걸쳐 반복됩니다. $\theta$ 의 선택은 관찰되는 데이터와 모델이 업데이트되는 방식 ( $\phi_{t+1} = U(\phi_t, o_t, \theta_t)$ ) 에 편향을 줍니다. 결과적으로 초기 $\theta$ 값이 다른 에이전트들은 근본적으로 다른 세계 모델 $W_A$ 와 $W_B$ 를 발전시킬 수 있으며, 동일한 새로운 입력이 제시되더라도 상이한 인과적 귀인과 기대를 갖게 됩니다.

2.3 세 가지 기저에 대한 투영

본 논문은 $\theta$ 의 네 가지 운영적 차원이 학습 시스템에 공통적인 세 가지 근본적 제약으로 인해 세 가지 반복되는 논쟁 축으로 투영되는 경향이 있다고 가정합니다:

계산적 제약 ( $C_{comp}$ ): 유한한 용량과 자원.
관찰적 제약 ( $C_{obs}$ ): 부분적 관찰 가능성과 노이즈.
조정 제약 ( $C_{coop}$ ): 책임성, 재현성, 감사 가능성에 대한 요구.

이러한 제약은 세 가지 트레이드오프를 유발합니다:

추상적 vs 구체적: $C_{comp}$ (율 - 왜곡 이론) 에 의해 주도됩니다. 높은 추상화는 정보를 압축하고, 높은 구체성은 세부 사항을 보존합니다. **지평 ( $D$ )**이 여기에 투영됩니다.
외부화 vs 내면화: $C_{obs}$ 와 $C_{coop}$ 에 의해 주도됩니다. 외부화 가능한 근거는 공유 가능하지만, 내면화된 상태 (예: 불안, 암묵적 위험) 는 의사소통 비용이 듭니다. **참조 ( $R$ )**가 여기에 투영됩니다.
질서 vs 자유: $C_{comp}$ 와 $C_{coop}$ (가소성 - 안정성 딜레마) 에 의해 주도됩니다. 질서는 낮은 엔트로피와 재현성을 의미하고, 자유는 높은 엔트로피와 유지된 대안을 의미합니다. **탐색 ( $E$ )**과 **안정화 ( $S$ )**가 공동으로 여기에 투영됩니다.

2.4 딥러닝에서의 구조적 대응

이 프레임워크는 딥 표현 학습 개념에 기반합니다:

참조는 표현 계층의 선택에 해당합니다 (예: 트랜스포머에서 구체적 특징을 위한 하위 계층 대 추상적 개념을 위한 상위 계층).
외부화 가능성은 잠재 상태 추 estimation 과 관련이 있으며, 여기서 숨겨진 상태는 귀납적 편향이나 감독 없이는 비동일하므로 의사소통을 위해 외부화 절차 (프로빙, 로깅) 가 필요합니다.
질서/자유는 학습과 추론 (예: 온도 샘플링) 에서의 정규화 (안정성) 와 탐색 (다양성) 간의 트레이드오프에 해당합니다.

3. 주요 기여

비동일성의 형식화: 본 논문은 $\theta$ -수준 (추론 설정) 과 $W$ -수준 (모델 학습) 비동일성을 구분하여 단기적 불일치와 장기적 인식적 분열을 위한 통합 프레임워크를 제공합니다.
추론 프로파일 $\theta$ : 모호한 성격 특성이 아닌 식별 가능한 운영 지점에서 차이를 위치시키기 위한 4 구성 요소 표현 ( $R, E, S, D$ ) 을 도입합니다.
투영 메커니즘: 계산적, 관찰적, 조정적 제약을 통해 다양한 추론 설정이 세 가지 반복되는 논쟁 기저 (추상/구체, 외부화, 질서/자유) 로 수렴하는 이유를 설명합니다.
계산적 기반: 이러한 기저를 딥러닝 메커니즘 (표현 계층, 잠재 상태 추정, 정규화) 에 연결하여 논쟁에 대한 담론을 수사적 또는 심리학적 설명에서 계산적 설계 문제로 전환합니다.

4. 결과 및 예시

본 논문은 경험적 실험 결과를 제시하지는 않지만, 프레임워크를 설명하기 위해 AI 규제 논쟁 (특히 EU AI 법안 형성) 에 대한 사례 연구를 제공합니다:

공유된 관찰: 이해관계자들은 사건 보고서, 벤치마크, 경제 전망을 공유합니다.
$\theta$ -수준 차이:
- 예방적 행위자는 외부화하기 어려운 우려 (낮은 $\beta_R$ ) 를 우선시하고, 최악의 시나리오를 유지 (높은 $H$ ) 하며, 제도적 고정을 선호 (높은 $\tau$ ) 하고, 장기적 비가역성을 강조 (높은 $\gamma$ ) 합니다.
- 촉진 지향적 행위자는 외부화 가능한 이점 (높은 $\beta_R$ ) 을 우선시하고, 주류 시나리오에 집중 (낮은 $H$ ) 하며, 유연한 수정을 허용 (낮은 $\tau$ ) 하고, 중기적 기회 비용을 강조 (중간 $\gamma$ ) 합니다.
$W$ -수준 차이: 행위자들은 역사에서 서로 다른 인과적 순서를 학습합니다 (예: "혁신이 개선을 이끈다" 대 "규제 부재가 사고를 이끈다"). 이로 인해 동일한 새로운 증거를 서로 다른 인과 구조를 통해 해석하게 됩니다.
해결 전략: 이 프레임워크는 논쟁을 도덕적 실패로 귀인하는 대신, 모델 간의 예측적 차이를 극대화하는 차별적 관찰 또는 개입(예: A/B 테스트, 측정 가능한 신뢰 지표) 을 설계함으로써 논쟁을 해결해야 한다고 제안합니다.

5. 중요성 및 주장

본 논문은 논쟁이 종종 식별 가능한 계산적 구조를 가지고 있다고 주장합니다. 추론 연산과 세계 모델 학습에서 차이를 위치시킴으로써, 문제를 도덕화된 평가(상대의 결함을 비난) 에서 설계 가능한 조정으로 전환할 수 있습니다.

그 중요성은 다음과 같습니다:

방법론적 전환: 추론의 다양성을 제거해야 할 결함이 아닌 비동일성의 결과로 간주하는 **다중 추론 가정 (Multiple Inference Assumption, MIA)**을 채택합니다.
운영적 명확성: 추론 과정이 어디에서 다른지 진단하기 위한 어휘 ( $R, E, S, D$ ) 를 제공합니다.
실용적 적용: 운영 설정을 정렬하여 ( $\theta$ -수준 문제) 또는 경쟁하는 세계 모델을 테스트하기 위한 특정 개입을 설계하여 ( $W$ -수준 문제) 갈등을 해결하는 경로를 제시합니다.

본 논문은 네 가지 차원이 세 가지 기저로 투영되는 것이 엄격한 정리가 아니라 이론에 의해 지지되는 "구조적 경향"이며, 이 프레임워크가 다양성의 규범적 찬양이 아닌 계산적 설명임을 명시하며 겸손하게 접근합니다. 향후 연구는 경험적 데이터에서 프로파일을 추출하고 3 기저 축소 이론을 정량적으로 검증하는 것으로 식별됩니다.

Why Conclusions Diverge from the Same Observations: Formalizing World-Model Non-Identifiability via an Inference