🤖 AI

Unbiased Canonical Set-Valued Oracles Via Lattice Theory

본 논문은 예측이 미래의 사건에 영향을 미친 후에도 편향되지 않고 자기 일관성을 유지하는 자기 참조적 AI 오라클을 위한 정준적이고 비자명한 신념 집합(credial set)을 구축하기 위해, 반사실적 접근 방식의 한계를 극복하는 Knaster–Tarski 고정점 정리를 이용한 격자 이론적 프레임워크를 제안한다.

원저자: Jobst Heitzig

게시일 2026-06-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jobst Heitzig

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

문제점: "자기 충족적 예언"의 함정

당신에게 미래를 예측할 수 있는 초지능 AI 예언자가 있다고 상상해 보세요. 당신은 그에게 이렇게 묻습니다. "내 새로운 스타트업이 성공할까?"

만약 AI가 "아니요, 실패할 것입니다"라고 답하고 당신이 그 말을 듣게 된다면, 당신은 낙담하여 노력을 포기할 수도 있습니다. 당신이 노력을 그만두었기 때문에, 스타트업은 실제로 실패하게 됩니다. AI의 예측이 맞긴 했지만, 그것은 오직 AI가 당신에게 정답을 알려주었기 때문에 일어난 일입니다.

만약 AI가 "네, 성공할 것입니다"라고 말한다면, 당신은 지나치게 자신감을 얻어 무모한 위험을 감수하다가 회사를 망칠 수도 있습니다. 이 경우에도 예측이 실현된 이유는 바로 그 답변 때문입니다.

이것이 바로 **자기 참조 문제(Self-Reference Problem)**입니다. AI가 답변을 내놓는 순간, 그 답변이 세상을 바꾸어 놓으며, 원래의 예측을 잠재적으로 틀리게 만듭니다.

기존의 해결책 ("만약 ~라면" 게임):
일부 연구자들은 AI에게 이렇게 묻는 방식을 제안합니다. "만약 우리가 당신의 답변을 듣지 못한다면 어떤 일이 벌어질까요?"
이 논문은 이 방식이 쓸모없다고 주장합니다. 질문을 하는 순간, 당신은 이미 답변을 듣게 될 것임을 알고 있기 때문입니다. "만약 ~라면"이라는 시나리오는 거짓입니다. 이는 마치 "내가 밖에 나가지 않는다면 날씨가 어떨까?"라고 묻는 것과 같습니다. 당신은 이미 밖에 서 있기 때문입니다. 이 답변은 현실 세계에서 아무런 도움이 되지 않습니다.

새로운 해결책: "안전 구역" (신념 집합, Credal Sets)

단 하나의 숫자(예: "성공 확률 90%")를 묻는 대신, 저자는 AI에게 안전 구역(가능한 확률들의 집합)을 요구할 것을 제안합니다.

이렇게 생각해 보세요. "다리가 안전한가요?"(예/아니오)라고 묻는 대신, "확실히 안전한 무게 제한 목록을 주세요"라고 묻는 것입니다.

만약 AI가 "500kg"이라고 말했는데 당신의 무게가 501kg이라면, 당신은 다리를 건너려다 부술 수도 있습니다.
만약 AI가 "100kg에서 600kg 사이의 모든 무게는 안전합니다"라고 말하고 당신의 무게가 500kg이라면, 당신은 자신이 "안전 구역" 안에 있다는 것을 알게 됩니다.

목표는 **자기 일관적인 안전 구역(Self-Consistent Safe Zone)**을 찾는 것입니다. 이는 AI가 "정답은 이 목록 중 하나에 있습니다"라고 말했을 때, 실제 결과가 반드시 그 목록 안에 포함되도록 하는 확률들의 목록을 찾는 것입니다.

큰 문제: 너무 많은 답변들

함정이 있습니다. "안전 구역"의 종류가 너무 많다는 점입니다.

[0.1, 0.9]라는 목록이 안전할 수 있습니다.
[0.1]이라는 목록도 안전할 수 있습니다.
[0, 1] (즉, "모든 것이 가능하다"는 의미)은 확실히 안전하겠지만, 아무 쓸모가 없습니다. 이는 마치 "날씨는 영하부터 영상 수십 도 사이일 것이다"라고 말하는 것과 같습니다. 맞는 말이긴 하지만, 아무런 정보도 주지 못합니다.

우리는 공정하고 편향되지 않은 단 하나의 특정한 답변을 선택할 방법이 필요합니다.

마법의 도구: "격자(Lattice)"와 "상향식(Bottom-Up)" 탐색

저자는 완벽한 답을 찾기 위해 **격자 이론(Lattice Theory)**이라는 수학적 도구를 사용합니다 (이는 모든 가능한 목록들이 정리된 거대한, 체계적인 파일 캐비닛이라고 생각하면 됩니다).

당신이 가장 작은 규모의 "안전 구역"을 찾으려고 노력한다고 상상해 보세요.

아무것도 없는 상태에서 시작: AI가 빈 목록(또는 "모름"이라는 기본값)에서 시작한다고 가정합니다.
AI에게 질문: "내가 이 빈 목록을 가진다면 어떤 일이 벌어질까?"라고 묻습니다.
목록 업데이트: AI가 새로운 숫자를 줍니다. 당신은 그 숫자를 목록에 추가합니다.
반복: "만약 내가 현재의 목록을 가진다면 어떤 일이 벌어질까?"라고 계속 묻고, 새로운 결과들을 목록에 계속 추가합니다.

이 논문은 이 과정을 반복하면 목록이 결국 더 이상 커지지 않고 특정 형태에 도달하게 된다는 것을 증명합니다. 이를 **고정점(Fixed Point)**이라고 합니다.

"최소" 고정점: 저자는 성장이 멈추는 가장 작은 목록을 선택합니다. 이것이 "정형적(canonical)"인 답변입니다. 이는 가장 정직하고, 과장하지 않는 답변입니다. 추측하지 않고, 단지 보장된 범위만을 보고합니다.

특별한 변수: "앵커(Anchor)"

수학에는 작은 특징이 하나 있습니다. 목록이 결코 비어 있지 않도록 하기 위해, 수학은 AI가 "모름"(빈 목록)에 대한 반응을 최종 답변에 포함하도록 강제합니다.

이것을 **앵커(Anchor)**라고 생각하세요. AI가 불확실하더라도, 최종 안전 구역에 자신의 "기본 추측"을 포함해야 합니다.
이는 답변이 결코 비어 있지 않음을 보장하지만, 결과적으로 최종 목록이 필요 이상으로 약간 커질 수 있음을 의미합니다.

"스타트업" 예시

이 논문은 이 방식이 어떻게 작동하는지 보여주기 위해 스타트업 예시를 사용합니다.

창업자가 낮은 수치(예: 10%)를 듣게 되면, 그는 포기하고 성공 확률은 낮게 유지됩니다.
높은 수치(예: 90%)를 듣게 되면, 그는 무모해지고 성공 확률은 떨어집니다.
예측이 결과와 일치하는 "안정적인" 지점(10%와 90%)이 존재합니다.

수학적 계산에 따르면, 어떻게 탐색을 시작하느냐에 따라 결과가 달라집니다:

최소 답변: "모름"에서 시작하면, 낙관적인 90%를 놓치고 비관적인 측면(예: 10%~26%)만을 포함하는 목록을 얻을 수 있습니다. 시작점이 낮았기 때문에 낙관적인 가능성을 놓친 것입니다.
"공정한" 답변: 이 논문은 처음부터 모든 안정적인 지점(10%, 90% 등)을 포함하도록 강제하는 변형 모델을 제안합니다. 이 경우 더 큰 목록(10%~90%)을 얻게 되지만, 시작점이 낮았다는 이유로 낙관적인 가능성을 무시하지 않으므로 더 "공정"합니다.

핵심 요약

이 논문은 AI 예언자가 자기 충족적 예언의 덫에 빠지지 않고 미래에 대해 답할 수 있는 새로운 방법을 제 제안합니다:

단 하나의 숫자를 묻지 말고, **범위(집합)**를 물으세요.
수학적인 "상향식(bottom-up)" 탐색을 사용하여, 그 답변을 들었을 때 반드시 참이 되는 가장 작은 범위를 찾으세요.
이 방법은 단순한 예/아니오 질문에 유효하며, 주가나 날씨 같은 복잡한 변수에 대한 예측으로 확장될 수 있습니다.

이는 정직하고, 자기 일관적이며, 세상을 속여서 결과를 만들어내려 하지 않는 예측을 얻기 위한 방법입니다.

기술 요약: 격자 이론을 통한 편향 없는 정준 집합값 오라클(Canonical Set-Valued Oracles)

문제 정의
본 논문은 미래 사건을 예측하도록 설계된 비에이전트적(non-agentic) "오라클" AI에 내재된 "자기 참조 문제(self-reference problem)"를 다룬다. 오라클의 출력이 학습되고 행동으로 이어질 때, 이는 오라클이 보고하고자 했던 바로 그 확률을 변화시킬 수 있다(수행성, performativity). 기존의 제안들(예: Fornasiere et al., 2026; Bengio et al., 2025b)은 (답변이 영향력을 미치지 않는다고 가정하여) 반사실적 질문만을 던질 것을 제안하지만, 저자는 이것이 학습되는 순간 반사실적 전제가 거짓이 되므로 답변을 무의미하게 만든다고 주장한다. 반대로, 순수하게 자기 참조적인 접근 방식("내가 당신의 답변을 알게 되면 어떻게 되는가?")은 비유일성(non-uniqueness) 문제에 직면한다. 즉, 여러 개의 자기 일관적인 확률(또는 집합)이 존재할 수 있으며, 여기에는 무익한 자명한 집합인 $[0, 1]$ 도 포함된다. 핵심 과제는 학습의 결과와 자기 일관성을 유지하면서도, 유일하고 비자명하며 편향 없는 집합값 답변을 도출하는 방법을 정의하는 것이다.

방법론
저자는 자기 일관적인 신념 집합(credal sets)의 비유일성을 해결하기 위해 격자론적 구성을 제안한다.

도메인 정의: 문제는 $[0, 1]$ 의 모든 닫힌 부분집합들의 완전 격자(complete lattice) $D$ 내에서 프레임화되며, 이는 집합 포함 관계에 의해 순서가 정해진다. 여기서 meet은 교집합이고, join은 합집합의 폐쇄(closure)이다.
연산자 구성: 반응 함수 $f(C) = P(B \mid A, C)$ 는 보고된 집합 $C$ 를 전제 $A$ 가 주어졌을 때의 사건 $B$ 의 확률로 매핑한다. 고정점 이론을 적용하기 위해, 저자는 단조 증가(isotone) 연산자 $F: D \to D$ 를 다음과 같이 정의한다:
$F(C) = \{ f(C') : C' \subseteq C, C' \text{는 닫힌 집합} \}$
이 연산자는 $C$ 에 포함된 모든 가능한 하위 답변 $C'$ 에 대한 가능한 반응 확률들을 수집한다.
고정점 선택: 본 논문은 크나스터-타르스키(Knaster–Tarski) 고정점 정리를 인용한다. $D$ $D$ 는 완전 격자이고 $F$ $F$ 는 단조 증가하므로, 고정점의 집합 $\text{Fix}(F)$ $Fix (F)$ 는 비어 있지 않은 완전 격자를 형성한다. 저자는 이 중 최소 고정점( $\mu_F$ $μ_{F}$ )을 정준 답변으로 선택한다.
- 변형: 두 번째 후보 $C^\star$ 는 "자기 일관적인 단일 원소(self-consistent singletons)"(즉, $f(\{p\}) = p$ 를 만족하는 점 $p$ )들과 앵커(anchor) $f(\emptyset)$ 를 모두 포함하는 부격자(sublattice) 내에서의 최소 고정점으로 정의된다. 이 변형은 자기 실현적인 점 추정치들이 조용히 배제되지 않도록 보장한다.

주요 결과 및 이론적 특성

존재성 및 비공집합성: 최소 고정점 $\mu_F$ 는 항상 존재하며 비어 있지 않다. 결정적으로, $\mu_F$ 는 앵커 값 $f(\emptyset)$ (정보가 제공되지 않았을 때의 오라클 추정치)를 포함하므로, 해가 공집합으로 붕괴하는 것을 방지한다.
자기 일관성: 모든 고정점 $C \in \text{Fix}(F)$ 는 조건 $f(C) \in C$ 를 만족한다. 보고된 집합은 해당 집합을 학습함으로써 발생하는 확률 분포와 일관된다.
비자명성: 반응 함수가 $[0, 1]$ 에서 조밀하지(dense) 않은 한, 자명한 답변인 $[0, 1]$ 은 강제되지 않는다. 대부분의 경우 $\mu_F$ 는 엄격히 더 작은 비자명한 집합이다.
고전적 답변으로의 수렴: 비수행적 질문(답변이 결과에 영향을 미치지 않는 경우)의 경우, 이 구성은 고전적인 단일 원소 점 추정치 $\{P(B \mid A)\}$ 로 수렴한다.
반복 계산: 연속성 가설(하우스도르프 메트릭에 관하여) 하에서, $\mu_F$ 는 공집합으로부터 시작하는 클레이니 반복(Kleene iteration)을 통해 도달 가능하다: $C_0 = \emptyset, C_{i+1} = F(C_i)$ , 그리고 $C_\omega = \mu_F$ 로 수렴한다.
구간 특성 (이진 사례): 이진 사건의 경우, 반응 함수가 "헐 팩터링(hull-factored)"되어 있고(보고된 집합의 최솟값/최댓값에만 의존) 연속적이라면, 변형 $C^\star$ 는 반드시 닫힌 구간임이 보장된다. 그러나 최소 해인 $\mu_F$ 는 연결되지 않은 집합(예: 채워진 분지와 이산적인 꼬리가 결합된 형태)이 될 수 있다. 이는 앵커가 "비관적 분지(pessimistic basin)"에 위치하여 $\mu_F$ 가 "낙관적" 자기 일관적 평형을 놓치게 되는 토이 스타트업 모델에서 입증되었다.
일반화: 이 구성은 확률을 확률 측도 공간 내의 조건부 법칙 $L(X \mid A, C)$ 로 대체함으로써 임의의 확률 변수 $X$ 로 변경 없이 확장된다. 단, 공간이 $T_1$ (점들이 닫힌 집합인 공간)이어야 한다.

의의 및 주장
본 논문은 반사실적 질문에 의존하지 않고도 자기 참조적 오라클 쿼리에 대한 비편향적이고 자기 일관적인 집합값 답변을 제공하는 순수 수학적 해결책을 제시한다고 주장한다. 점 추정에서 **집합값 신념 집합(set-valued credal sets)**으로 전환함으로써, 이 방법은 수행적 예측에 내재된 불확정성을 임의로 선택하여 끊어내는 대신 이를 흡수한다.

편향 없음: 최소 고정점을 선택하는 것은 특정 값을 특권화하지 않고 모든 후보 확률 값을 대칭적으로 다루기 때문에 "최소 개입적(least-committal)"인 솔루션으로서 편향되지 않은 것으로 제시된다.
Scientist AI의 보완: 이 접근법은 "Scientist AI" 프로그램의 보완재로 위치한다. 반사실적 쿼리가 예측과 결과 사이의 연결을 끊으려 한다면, 이 자기 참조적 접근법은 그 연결을 수용하되 오라클이 자신의 폭로로 인한 결과와 안정적이고 일관된 집합을 보고하도록 보장한다.
한계 및 열린 질문: 저자는 정준 집합의 존재성은 증명되었으나, 이 집합의 *추정 가능성(estimability)*은 여전히 미해결된 계산적 문제("computational gap")임을 겸허히 언급한다. 또한, 이진 사건에 대한 구간 특성이 고차원 확률 변수로 자동 일반화되지 않는다는 점과, 집합을 보고하는 것이 오라클의 "비에이전트적" 성격을 유지하는지에 대한 안전성 관련 질문은 향-후 과제로 남겨두었다.

결론
본 논문은 비에이전트적 시스템에서 수행적 예측을 처리하기 위한 엄격한 대안으로서, 편향 없고 자기 일관적인 집합값 예측을 생성하기 위한 격자론적 프레임워크를 구축한다. 저자는 자명한 $[0, 1]$ 이나 반사실적 무의미함에 빠지지 않고, 정준 최소 고정점을 찾아내는 존재성을 증명함으로써 이 문제를 해결한다.