기술 요약: CARTOGRAPH – 자율적 발견을 위한 검증 가능한 실험 제어 및 거부(Refusal)

1. 문제 정의

LLM 플래너, 자동화된 실험실, 통계적 해석기를 통합하는 현재의 자율 과학적 발견 루프는 구조적 부적절성(structural inadequacy) 하에서의 의사결정이라는 결정적인 병목 현상에 직면해 있다. 기존 시스템은 실험을 제안(Select)하고 데이터를 해석(Interpret)할 수는 있지만, 현재의 메커니즘 모델 라이브러리가 근본적으로 잘못되었음을 판별할 수 있는 검증 가능한 메커니즘이 부족하다.

표준 베이지안 최적 실험 설계(BOED)는 진정한 법칙이 사전 지원 범위(prior support) 내에 있다고 가정하며, 고전적인 모델 판별법은 최소한 하나 이상의 경쟁 모델이 옳다고 가정한다. 약동학(pharmacokinetics)이나 재료 합성 같은 고위험 도메인에서 이러한 가정은 종종 실패한다. 본 논문은 "거부(Refuse)" 결정 과정에서의 공백을 지적한다. 즉, 가설 공간 자체가 구조적으로 불충분하여 더 이상 주장을 펼쳐서는 안 되는 시점에 시스템이 명시적으로 신호를 보낼 수 없다는 것이다.

2. 방법론: CARTOGRAPH 프레임워크

저자들은 세 가지 연결된 결정인 선택(Select) (실험 선택), 해결(Resolve) (모호성 해소), 거부(Refuse) (라이브러리 부적절성 탐지)를 결합한 검증 레이어인 CARTOGRAPH를 제안한다. 이 프레임워크는 에이전트가 기호 방정식이 아닌 시뮬레이터나 로봇으로부터의 수치적 출력을 관찰하는 "행동적 접근(behavioral access)" 모델 하에서 작동한다.

2.1. 미해결 부분 공간 기하학 (Unresolved Subspace Geometry)

핵심적인 수학적 대상은 누적된 불일치 행렬($H_{cur}$)의 우특이 벡터(right singular vectors) 중 특이값 $\sigma_j \le \tau$에 대응하는 스팬(span)으로 정의되는 미해결 부분 공간($U_\tau$)이다.

• 불일치 행렬 ($H$): 후보 실험 $e$에 대해 모든 모델 쌍에 대한 선형화된 쌍방 예측 차이($D_{ij,e} = J_{i,e} - J_{j,e}$)를 쌓아서 구성된다.
• 선택 (Steering): 프레임워크는 $U_\tau$ 내에서 정보 이득을 최대화하는 실험을 선택한다.
  • 원시 점수 (Raw Score): 등방성 미해결 투영 점수(isotropic unresolved-projection score)인 $\|H_e U_\tau\|_F^2$로, 이는 국소 선형-가우시안 가정 하에서의 미해결 피셔 정보량 트레이스(Fisher-information trace)에 해당한다.
  • CARTOGRAPH-A: 정확한 A-최적 규칙(A-optimal rule)으로, 미해결 부분 공간에서의 사후 분산 감소를 최대화한다: $\text{tr}(\Lambda_{cur}) - \text{tr}((\Lambda_{cur}^{-1} + G_e)^{-1})$, 여기서 $G_e$는 노이즈를 고려한 정보 행렬이다.
• 해결 (Resolve): 모호함은 $\dim(U_\tau) = 0$ (정확한 영역)이거나 가장 작은 특이값이 $\tau$를 초과할 때(근사적 영역) 해결된 것으로 선언된다.

2.2. 거부 가드 (The Refusal Guard)

표준 BOED와 달리, CARTOGRAPH는 잔차 기반 거부 메커니즘을 포함한다. 이는 단순히 $U_\tau$의 기하학에만 의존하지 않고, 최적의 라이브러리 구성원이 관측된 데이터와 얼마나 잘 부합하는지를 모니터링한다.

• 잔차 지표 ($\rho$): 물리적으로 의미 있는 요약 특징(예: $C_{max}$, 종단 기울기)에 대한 최적 적합 라이브러리 구성원의 정규화된 $\ell_2$ 잔차.
• 식별 격차 ($\mu$): 상위 두 라이브러리 구성원 간의 BIC 격차.
• 로직: 모델은 $\rho \le \delta$ (잔차 임계값) 및 $\mu \ge \mu_{min}$ (BIC 임계값)을 만족할 때만 잠정적으로 식별된다. 결정적으로, 이후 라운드에서 $\rho$가 $\delta$를 초과하면 시스템은 이전의 식별을 **철회(revoke)**하고, 라이브러리가 구조적으로 부적절함을 알린다.

2.3. 이론적 연결

본 논문은 CARTOGRAPH가 임의의 휴리스틱이 아니라 국소 선형-가우시안 브릿지 하에서 확립된 이론 내에 위치함을 입증한다.

• 피셔 정보량 (Fisher Information): 원시 투영 점수는 정확히 미해결 피셔 정보량 트레이스이다.
• 사후 분산 (Posterior Variance): $k=1$ (하나의 미해결 차원)인 경우, 투영 점수를 최대화하는 것은 사후 분산을 최소화하는 것과 동일하다.
• EIG 및 Box-Hill: 이 프레임워크는 기대 정보 이득(EIG) 및 Box-Hill 기준의 등방성 한계 축소와 일차적 정렬을 제공한다.
• 스케일링 법칙 (Scaling Laws): 이론적 분석은 저차원 설정($k/d \approx 1/2$)에서는 미해결-투영 방법이 단순 불일치 휴리스틱과 동등한 수준에 머무는 반면, 고차원 설정($d \to \infty$)에서는 이를 엄격히 능가할 것임을 예측한다.

3. 주요 기여

1. 공식적 접근 모델 구분: 기호적 접근(coverage property)과 행동적 접근(rank property)을 분리하여, 진정한 법칙이 회복 가능한 조건을 정의한다.
2. CARTOGRAPH 프레임워크: "감사 가능한 중단 및 에스컬레이션(auditable stop and escalate)" 신호를 가능하게 하는 미해결 부분 공간 스티어링과 잔차 기반 거부 가드가 통합된 단일 루프를 제공한다.
3. 국소 BOED 브릿지: 국소 선형-가우시안 영역에서 미해결 피셔 정보량, A-최적성, 그리고 닫힌 형태의 EIG/Box-Hill 사이의 정확한 항등식을 증명한다.
4. 스케일링 이론: 투영 방식이 필요한 시점과 불일치 휴리스틱이 충분한 시점을 예측하는 정확한 무작위 후보 스케일링 법칙을 도출한다.
5. 경험적 검증: 심볼릭 동역학 시스템, 약동학(PK) 벤치마크, EPA 시계열 데이터, 그리고 A-Lab 자율 재료 시스템의 사후 감사(retrospective audit)를 통해 성능을 입증한다.

4. 실험 결과

4.1. 선택: 구조적 비선형 캐스케이드

확장 가능한 ODE 시스템 벤치마크($d \in \{2, 4, 8, 16\}$)에서:

• 고차원 이득: $d=8$에서, CARTOGRAPH-A는 오라클 "숨겨진 최적(hidden-best)" 실험을 **65%**의 시행에서 선택한 반면, 원시 투영 및 불일치 베이스라인은 **2%**에 그쳤다 ($p < 10^{-21}$).
• 저차원 동등성: $d=2$에서 모든 방법이 동등한 결과를 보였으며, 이는 $k/d = 1/2$일 때 불일치 휴리스틱이 유용한 신호의 절반을 포착한다는 이론적 예측과 일치한다.
• 효율성: CARTOGRAPH-A는 닫힌 형태의 EIG와 유사한 성능을 달면서도, 몬테카를로 적분 대신 매 라운드 한 번의 SVD를 사용하여 계산 비용이 더 저렴하다.

4.2. 선택: 약동학 경계 사례

저차원 PK 라이브러리($k/d \approx 1/2$)에서:

• 프레임워크는 CARTOGRAPH와 불일치 휴리스틱 사이의 근접한 동등성을 관찰하였으며, 이는 스케일링 이론을 검증한다.
• 이 결과는 복잡한 투영 방식이 단순 불일치 휴리스칙보다 큰 이점을 제공하지 못하는 저차원 환경에 대한 정직한 부정적 결과(negative finding)로 제시된다.

4.3. 거부: 라이브러리 외 메커니즘

가장 독보적인 발견은 철회 능력이다:

• 시나리오: 세 가지 라이브러리 외 PK 메커니즘(시간 가변적 클리어런스, 포화 제거, 장간 순환)과 한 가지 라이브러리 내 제어군.
• 동작: CARTOGRAPH는 초기 라운드(0–1)에서 라이브러리 구성원을 잠정적으로 식별했으나, 정규화된 잔차($\rho$)가 거부 임계값($\delta = 0.25$)을 넘어서는 후기 라운드(2–5)에서 이러한 식별을 철회했다.
• 제어: 라이브러리 내 제어군은 전 기간 동안 식별 상태를 유지했다.
• 베이스라인 실패: 표준 예측 불확실성 휴리스틱(앙상블 분산)은 이러한 실패를 감지하지 못하고, 라이브러리가 틀렸음에도 불구하고 확신을 유지했다.

4.4. 실제 감사: A-Lab

발표된 A-Lab 자율 재료 시스템의 40개 긍정적 주장(positive claims)에 대한 사후 감사:

• 거부 성능: CARTOGRAPH 가드는 수동 재분석 결과 "결론 불능(inconclusive)"으로 판명된 4/4개의 모든 주장을 사전에 포착했다.
• 통과율: 확정된 주장 중 32/36개를 통과시켰다.
• 비교: 잔차 전용 베이스라인(Rwp)은 결론 불능으로 판명된 주장 중 어느 것도 포착하지 못했다.

5. 의의 및 주장

본 논문은 CARTOGRAPH가 통제된(governed) 접근 방식을 제공한다고 주장한다. 이 연구의 의의는 단순한 선택적 이득(저차원에서는 미미함)이 아니라, 감사 가능한 거부 신호에 있다.

• 정직성: 프레임워크는 라이브러리가 구조적으로 틀린 경우를 명시적으로 처리하며, 이는 표준 BOED가 무시하는 시나리오이다.
• 철회: 증거가 축적됨에 따라 잠정적인 과학적 주장을 철회할 수 있는 능력을 보여주며, 이는 고위험 과학 분야에서 필수적인 행동이다.
• 거버넌스: 시스템은 로그된 잔차, 임계값, 철회 이벤트를 통해 의사결정 로그를 생성하며, 이를 통해 "잘 뒷받침된 거부(well-supported refusal)" 또한 과학적으로 가치 있는 결과로 취급한다.

저자들은 "검증 가능하다"는 성격이 보편적인 신뢰성 인증이 아니라, 로그된 잔차와 임계값으로부터 온다는 점을 강조한다. 이 프레임워크는 LLM 플래너를 위한 검증 레이어로 설계되었으며, LLM이 자체적으로 수행할 수 없는 엄격한 통계적 판별을 담당한다.