기술 요약: CIVeX – 언어 에이전트를 위한 개입 인과성 검증

1. 문제 제기

도구를 사용하는 언어 에이전트 (예: 스키마 유효성 검사기, 정책 필터, 상태 예측기, 자기 검증 프롬프트) 에 대한 현재 안전 메커니즘은 행동이 잘 형성되었고, 허용되며, 논리적으로 일관되도록 보장합니다. 그러나 이러한 안전 장치는 혼란 (confounded) 환경에서의 치명적인 실패 모드를 해결하지 못합니다: 유효한 도구 호출이 반드시 유효한 개입 (intervention) 인 것은 아닙니다.

관측 로그에서 행동은 에이전트가 알지 못하는 잠재적 혼란 요인 (latent confounding factors) 으로 인해 높은 효용과 상관관계를 가질 수 있습니다. 이 행동이 실행될 때, 역사적 상관관계가 실제 인과 효과를 반영하지 않기 때문에 낮은 효용을 초래하거나 해를 끼칠 수 있습니다. 기존 안전 스택은 제안된 상태 변경 행동이 관심 대상 결과에 식별 가능한 인과 효과를 갖는지 검증하지 않습니다. 이 논문은 식별 가능성을 검증하지 않으면 에이전트가 관측 신호는 이점을 시사하지만 실제 인과 효과는 해로운 "유해한 함정 (harmful traps)" 사례를 실행할 위험이 있다고 주장합니다.

2. 방법론: CIVeX

저자들은 도구 실행을 인과 추론 문제로 취급하는 런타임 검증기인 **CIVeX(인과 개입 검증)**를 소개합니다. 행동을 예측하는 대신, CIVeX 는 실행 전에 **가정 범위 내 인과 인증서 (assumption-scoped causal certificate)**를 요구함으로써 행동을 게이트합니다.

2.1 인과 인증서

유효한 실행은 다음을 포함하는 인증서 $C = (G, A, \pi, \hat{\theta}, LCB_\alpha, prov, risk)$를 요구합니다:

• $G$: 행동 및 상태 변수에 대한 약속된 인과 그래프 (양방향 엣지를 통한 잠재적 혼란 포함).
• $A$: 명시적 가정 집합 (예: SUTVA, 그래프 정확성).
• $\pi$: 기계 검증 가능한 식별 증명 (예: 백도어 조정, 프론트도어 분해, 또는 도구 변수).
• $\hat{\theta}$: 인과 효과 $E[Y \mid do(T=t^*)]$의 점 추정치.
• $LCB_\alpha$: 수준 $1-\alpha$에서의 $\hat{\theta}$에 대한 일측 하위 신뢰 구간.
• $prov$: 사용된 데이터의 출처 메타데이터 (해시).
• $risk$: 잠재적 해악에 대한 상한선.

2.2 분류 알고리즘

CIVeX 는 제안된 행동을 구조적 인과 쿼리로 매핑하여 다음 네 가지 감사 가능한 판정 중 하나로 라우팅합니다:

1. 실행 (EXECUTE): 쿼리가 약속된 그래프 하에서 식별 가능하고, 일측 $LCB_\alpha$가 효용 임계값 ($\tau_u$) 을 초과하며, 비용이 위험 한도 ($\tau_r$) 내에 있을 때만 발급됩니다.
2. 거부 (REJECT): 쿼리가 식별 가능하지만 $LCB_\alpha$가 부족하거나 비용이 위험 한도를 초과할 때 발급됩니다.
3. 실험 (EXPERIMENT): 효과가 식별 불가능할 때 (예: 차단되지 않은 혼란 경로로 인해) 하지만 행동이 가역적이고 비용이 낮을 때 발급됩니다. 이는 그래프를 해결하기 위해 실험 데이터 (예: RCT 스타일 데이터셋) 요청을 트리거합니다.
4. 양보 (ABSTAIN): 효과가 식별 불가능하고 행동이 비가역적이거나 비용이 너무 높을 때 발급됩니다.

2.3 이론적 보장

이 논문은 두 가지 주요 명제를 제공합니다:

• 명제 1: 비인과적 검증기 (관측 신호에만 의존) 는 혼란 환경에서 "유해한 함정 비율"과 적어도 동일한 위양성 실행률을 갖습니다.
• 명제 2: 올바른 그래프 약속과 유효한 추정치 하에서, CIVeX 가 해로운 행동을 실행할 확률은 일측 신뢰 수준 $\alpha$로 제한됩니다. 이 한계는 점근적으로뿐만 아니라 인스턴스별로도 성립합니다.

3. 주요 기여

1. 인과 인증서의 형식화: 제안된 행동을 구조적 인과 쿼리, 식별 논증, 불확실성 한계와 연결하는 엄격하고 감사 가능한 객체를 정의합니다.
2. CIVeX 검증기: 식별 가능성과 위험 제약을 강제하여 유효한 도구 호출과 유효한 개입을 구분하는 분류 알고리즘입니다.
3. Causal-ToolBench: 6 가지 도구 워크플로 패밀리 (예: 데이터베이스 인덱싱, 서비스 재시작) 에 걸친 1,890 개의 인스턴스로 구성된 새로운 벤치마크입니다. 다음과 같은 특징을 가집니다:
   • 명시적으로 매개변수화된 구조적 인과 모델 (SCM).
   • 두 가지 regime: 중등도 혼란 및 적대적 혼란 (잠재적 혼란 요인이 관측 신호를 실제 인과 효과와 반전되도록 보정됨).
   • "EXPERIMENT" 분기를 평가하기 위한 짝을 이룬 RCT 스타일 데이터.
4. 이론적 특성화: 혼란 환경에서 관측 검증은 본질적으로 안전하지 않으며, CIVeX 는 그래프 정확성에 조건부인 위양성 실행률을 제공한다는 것을 증명하는 증명들.

4. 실험 결과

평가에서는 CIVeX 를 오라클, 12 가지 베이스라인 (정책 게이트, 휴리스틱 분류기, LLM 기반 검증기 포함) 및 제거 연구와 비교했습니다.

4.1 혼란 regime 내 성능

• 적대적 혼란: CIVeX 는 0% 의 위양성 실행과 84.9% 의 정확도를 달성하여 +2.23 의 효용을 얻었습니다. 반면, "AlwaysAbstain" 베이스라인은 +0.99 를 얻었고, 최상의 LLM 베이스라인 (Chain-of-Thought Opus) 은 0% 의 위양성 실행과 과도한 양보를 보이며 +1.65 (CIVeX 효용의 74%) 로 떨어졌습니다.
• 중등도 혼란: CIVeX 는 0% 의 위양성 실행으로 +2.29 의 효용을 달성했습니다.
• 강건성: 엄격한 0% 위양성 실행 제약 하에서, CIVeX 는 "AlwaysAbstain" 바닥을 초과한 유일한 비오라클 방법이었습니다.

4.2 LLM 베이스라인

이 논문은 Chain-of-Thought (CoT) LLM(Claude Opus 및 Sonnet) 을 검증기로 테스트했습니다.

• CoT 는 간결한 프롬프트에 비해 위양성 실행을 줄였지만, CIVeX 의 인스턴스별 보장을 제공하지는 못했습니다.
• 적대적 혼란 하에서 CoT-Opus 의 효용은 과도한 양보로 인해 크게 하락했고, CoT-Sonnet 은 잔여 위양성 실행률 (1.0%) 을 유지하여 엄격한 안전 제약을 실패했습니다.
• 결론: 강력한 프롬프팅은 추론을 개선하지만, 엄격한 안전 제약을 위한 알고리즘적 식별 검사를 대체하지는 못합니다.

4.3 제거 연구

• EXPERIMENT 분기: 실험 데이터 요청 기능 제거 (EXPERIMENT 를 ABSTAIN 으로 매핑) 는 적대적 환경에서 CIVeX 의 효용을 "AlwaysAbstain" 바닥 (+0.99) 으로 붕괴시켰습니다. 이는 식별 가능성이 초기에 차단되었을 때 효용을 포착하는 데 해당 분기가 중요함을 보여줍니다.
• 그래프 오명세: 관측된 혼란 요인이 잠재적 (차단 불가능한 경로 도입) 으로 재레이블되었을 때, CIVeX 는 식별을 올바르게 실패하고 인스턴스를 EXPERIMENT 또는 ABSTAIN 으로 라우팅하여 0% 의 위양성 실행을 유지하면서 올바른 실행을 감소시켰습니다 (예상대로).

5. 중요성 및 주장

이 논문은 행동의 유효성보다 개입 식별 가능성이 신뢰할 수 있는 도구 사용에 누락된 원시적 요소라고 주장합니다.

• 안전 보장: CIVeX 는 조건부 안전 보장을 제공합니다: 약속된 그래프가 정확하고 인프라가 이를 지원한다면, 위양성 실행 확률은 $\alpha$로 제한됩니다.
• 감사 가능성: 모든 결정은 누락된 가정을 설명하는 인증서 또는 거부와 함께 제공되어 사후 감사를 가능하게 합니다.
• 적당한 범위: 저자들은 CIVeX 가 그 자체로 안전을 보장하지 않는다고 명시적으로 밝힙니다. 보장은 그래프 약속 인프라(버전 관리, 서명, 드리프트 모니터링) 에 조건부이며, 이는 논문의 범위를 벗어났지만 프로덕션 배포에 필수적입니다.
• 한계: 결과는 합성 SCM(Causal-ToolBench) 에 기반하며 점근적 후회 한계를 주장하지 않습니다. 위양성 실행률은 벤치마크에 대한 경험적 관찰이며, 이론적으로 신뢰 수준 $\alpha$로 제한됩니다.

요약하자면, CIVeX 는 성공과 관측적으로 상관관계가 있지만 인과적으로 해로운 행동을 에이전트가 실행하지 않도록 인과 추론 기계를 사용하여 "도구 호출의 유효성 검증"에서 "개입의 유효성 검증"으로의 전환을 제안합니다.