기술 요약: 국소적 검증은 비전이성(Non-Transportability)을 탐지할 수 없다

문제 정의

에이전트형 AI 시스템은 다양한 생물학적, 임상적, 상업적 맥락을 가로질러 결론을 전이(transport)하는 경향이 점점 강해지고 있다. 현재의 최첨단 아키텍처(예: Medea)는 **국소적 검증(local verification)**에 의존한다. 즉, 각 단계에서 엔티티가 표현 가능한지, 파라미터가 호환되는지, 출력이 계획과 일치하는지를 확인하는 방식이다. 이러한 체크는 맥락 공간의 유한한 부분(단일 맥락, 쌍 또는 삼중 맥락)에 기반하므로 "국소적"이다.

본 논문은 이러한 접근 방식의 구조적 불완전성을 식별한다. 국소적 검증은 특정 유형의 오류를 탐지할 수는 있지만, **구조적 비전이성(structural non-transportability)**에는 눈이 멀어 있다. 이는 에이전트가 모든 국소적 검증 체크를 통과했음에도 불구하고, 결국 취해진 추론 경로에 의존적인 결론을 도출하게 되는 현상으로 나타난다. 이 현상은 네트워크 메타 분석에서의 "루프 불일치(loop inconsistency)"와 형식적으로 유사하다. 즉, 폐쇄된 루프 주변의 직접 증거와 간접 증거가 각각은 타당하지만, 결합되었을 때는 서로 모순되는 상황을 의미한다.

방법론

이론적 프레임워크

저자는 대수적 위상수학과 셰프 이론(sheaf theory)을 사용하여 문제를 모델링한다:

1. 맥락 사이트(Context Site): 결정론적 상황의 공간 $X$는 유한한 맥락 집합 $\mathcal{U} = \{U_i\}$로 덮여 있다. 여기서 너브(nerve) $N(\mathcal{U})$를 구성하며, 정점은 맥락을, 에지는 중첩(가교 증거)을, 삼각형은 삼중 중첩을 나타낸다.
2. 증거 코체인(Evidence Cochain): 증거는 각 중첩에 측정된 대비(contrast)를 할당하는 실수 값 1-코체인 $\omega \in C^1(N(\mathcal{U}); \mathbb{R})$로 모델링된다.
3. 에이전트 전이로서의 경로 적분: 앵커 $a$에서 타겟 $t$로 주장을 전이하는 에이전트는 경로 적분을 수행한다: $\hat{\theta}_t = \theta_a + \langle \omega, \gamma \rangle$, 여기서 $\gamma$는 너브에서의 경로이다.
4. 호지 분해(Hodge Decomposition): 1-코체인 공간은 세 가지 성분으로 직교 분해된다:
   • 그레이디언트(Gradient, $g = \delta_0 \beta$): 맥락별 도구 오프셋. 재보정(recalibration)을 통해 제거 가능하다.
   • 컬(Curl, $c \in \text{im}(\delta_1)^\top$): 삼중 중첩에서 탐지 가능한 국소적 불일치 ($\delta_1 c \neq 0$).
   • 하모닉(Harmonic, $h \in H^1$): $\delta_1$과 $\delta_0^\top$의 커널(kernel)에 속하는 성분. 이는 제1 체흐 코호몰로지 클래스 $[\omega] \in H^1$를 나타낸다.

주요 이론적 결과

• 경로 독립성: 전이된 추정치가 경로에 독립적이기 위한 필요충분조건은 증거 코체인이 엑스액트(exact, $\omega \in \text{im } \delta_0$)인 것이다.
• 홀로노미(Holonomy): 두 추론 경로 사이의 불일치는 코호몰로지 클래스 $[\omega]$의 홀로노미와 정확히 일치한다.
• 국소 검증의 맹점: 심플렉스(simplex, 에지 또는 삼각형)에 의해 지지되는 모든 일관성 체크는 엑스액트 코체인과 하모닉 성분에 의해 섭동된 코체인을 구분할 수 없다. 하모닉 성분은 $\delta_1 h = 0$을 만족하므로 모든 삼중 중첩 체크를 통과하지만, 경로 간의 비제로(non-zero) 불일치를 발생시킨다.
• 저해 기제(Mechanism of Obstruction): 하모닉 성분은 **효과 수정(effect modification)**과 중첩 특이적 인구 구성(overlap-specific population composition)(심슨의 역설의 네트워크 버전)의 결합으로 인해 발생한다. 효과 수정이 존재하지 않으면 하모닉 에너지는 기계 정밀도 수준까지 소멸한다.

제안된 방법: Ks.etra

저자는 다음과 같은 절차인 Ks.etra(Ksetra)를 제안한다:

1. 맥락 사이트를 구축하고 증거 코체인을 조립한다.
2. 최소제곱법을 통해 $\omega$를 그레이디언트, 컬, 하모닉 성분으로 분해한다.
3. 트리아지(Triage):
   • 지배적인 그레이디언트 $\to$ 도구 재보정.
   • 지배적인 컬 $\to$ 재측정 또는 추론 재실행(국소적 불일치).
   • 지배적인 하모닉 $\to$ 구조적 저해; 덮개(covering)를 정교화해야 함(층화/stratification).
4. 게이팅(Gating): 하모닉 에너지 $\|\omega_h\|$가 임계값을 초과하면 시스템은 결정을 유보한다. 유보 시, 가장 큰 홀로노미를 가진 특정 사이클을 데이터 수집 지침으로 출력한다.

결과

시뮬레이션 연구

저자는 두 가지 도메인에서 시뮬레이션을 수행했다:

1. 제약 없는 실제 임상 데이터(Pharma RWE): 맥락은 (CKD 단계 $\times$ 케어 환경)으로 정의된다. 속성 공간은 수축 가능(contractible)하며, $H^1$은 오직 증거의 공백으로부터 발생한다.
2. 소비자 신용(Consumer Credit): 맥락은 (지역 $\times$ 거시 경제 체제)로 정의된다. 체제 축은 순환적(확장 $\to$ 회복)이며, 이로 인해 구조적 저해가 생성된다.

주요 결과:

• 예측력: 효과 수정에서 홀로노미가 발생하는 기계적 모델에서, 하모닉과 컬 에너지는 모두 최적 추정기의 불가측 오차(irreducible error)를 유사하게 예측한다 (Spearman $\rho \approx 0.37$ [하모닉] 및 $0.33$[컬]). 이 상관관계는 단일 잠재 원인(효과 수정)이 두 성분을 모두 생성하기 때문이다. 그러나 **하모닉 에너지는 다른 성분들을 조건부로 고려한 후에도 독립적인 예측 가치를 유지한다** (부분$\rho \approx 0.19$), 반면 컬은 그렇지 않다. 두 성분의 운영상 차이는 예측력 자체가 아니라 그 해결책(컬은 재측정, 하모닉은 정교화)에 의해 정의된다.
• 경로 의존성: 하모닉과 컬 성분 모두 경로 의존성(추론 경로 간의 확산)을 예측하지만, 오직 하모닉만이 다른 성분들과 독립적으로 오차 하한(error floor)을 예측한다.
• 성능: 하모닉 에너지에 기반하여 게이팅을 수행하는 Ks.etra는 "잔차 게이팅(Residual-gated)" 베이스라인(전체 갈등에 기반한 게이팅)보다 AURC(Area Under the Risk-Coverage Curve) 측면에서 우수하며, (제약 분야에서) 0.029, (신용 분야에서) 0.039만큼 감소시켰다.
• 드리프트 비용: (검증 없이 맥락을 붕괴시키는) "침묵하는 조잡화(silent coarsening)"는 완벽한 시스템에서도 상당한 오차를 초래한다.

금융 테스트 케이스 (FX 및 IFRS 9)

• 정확한 F-검정: 저자는 전역적 주장의 존재 여부에 대한 정확한 F-검정을 도출하며, 자유도를 보정, 국소적 일관성, 전이로 분할한다. 이 검정은 등방성 노이즈 하에서 적절한 크기를 갖는다.
• 외환(FX) 차익거래: 실행 가능성 제약이 있는 구축된 15개 통화 복합체에서, 하모닉 성분은 표준 삼각 차익거래 체크(컬)가 놓치는 "루프 차익거래"(실행 가능한 삼각형으로 채워지지 않은 사이클에서의 P&L)를 탐지한다.
• IFRS 9: 순환적 체제 공간에 대한 PD(부도 확률) 모델 인벤토리에 적용했을 때, 이 방법은 쌍별 또는 삼중 검증으로는 탐지할 수 없는 불일치한 이야기를 전달할 수 있는 17개의 독립적인 루프를 식별해 냈다.

의의 및 주장

본 논문은 **부정적 결과(negative result)**를 핵심 기여로 삼는다: 심플스(simplex)에 의해 지지되는 일련의 일관성 체크로는 하모닉 저해를 탐지할 수 없다. 이는 현재의 에이전트형 검증 전략이 구현 품질과 관계없이 근본적인 사각지대를 가지고 있음을 의미한다.

의의:

1. 이론적: 증거 합성에서의 루프 불일치를 맥락 사이트의 제1 코호몰로지로 규명함으로써, 이 개념을 치료 네트워크에서 임의의 맥락 덮개로 확장하였다.
2. 운영적: 유보(abstention)를 단순한 휴리스틱 신뢰 점수가 아닌 코호몰로지 양으로 재정의한다. 비제로 하모닉 클래스는 단순한 경고가 아니라, 덮개를 정교화(층화)하라는 구체적인 지침이다. 컬과 하모닉 성분의 구분은 예측력뿐만 아니라 그 해결책(재측정 vs 정교화)에 의해 정의된다.
3. 경제적: 선택적 리스크 기하학으로부터 포트폴리오 성과로의 투명한 매핑을 제공하며, 코호몰로지 게이팅이 잘못된 약속의 비용이 올바른 약속의 이득보다 실질적으로 클 때(예: 규제 대상인 치료 및 신용 결정)에만 경제적으로 유효함을 보여준다.

한계 및 겸손:

• 본 논문은 실제 데이터 검증을 포함하지 않는다라고 명시하고 있다. 시뮬레이션은 이론에 대한 통제된 검증이다.
• 하모닉 생성의 기제(효과 수정)는 관찰된 것이 아니라 모델링된 것이다.
• 저자는 맥락 간의 상관된 오차와 올바른 맥락 인수(factorisation)의 도출이 아직 해결되지 않은 미결 과제임을 인정한다.
• 본 논문의 기여는 이론적 사각지대의 식별과 그 해결책의 제안이며, 시뮬레이션을 넘어 실제 데이터(예: 발표된 네트워크 메타 분석 또는 Medea의 효모 벤치마크)를 통한 검증이 다음 단계의 필수 과제임을 밝히고 있다.