🤖 machine learning

Causal Agent Replay: Counterfactual Attribution for LLM-Agent Failures

이 논문은 구조적 인과 모델링과 반사실적 개입을 활용하여 기존 관측 도구의 한계와 신뢰할 수 없는 LLM-판사 휴리스틱을 극복하고, LLM 에이전트의 실패를 그 근본 원인에 정확하게 귀속시키는 새로운 프레임워크인 Causal Agent Replay(CAR)를 소개한다.

원저자: Jaineet Shah

게시일 2026-06-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jaineet Shah

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 AI 에이전트(똑똑한 컴퓨터 프로그램)가 고객을 도우려 노력하는 영화를 보고 있다고 상상해 보세요. 갑자기, 에이전트가 큰 실수를 저지릅니다. 자격이 없는 고객에게 환불을 해주거나, 실수로 개인 정보를 유출한 것입니다.

당신은 이 일이 일어난 전체 영상 녹화본을 가지고 있습니다. 당신은 '무엇이'(실수) 일어났는지, 그리고 '언제'(타임스탬프) 일어났는지는 알고 있습니다. 하지만 왜 그런 일이 발생했는지, 혹은 어느 구체적인 순간이 재앙을 초래했는지는 모릅니다.

이것이 바로 "Causal Agent Replay (CAR)"라는 논문이 해결하고자 하는 문제입니다. 여기서는 일상적인 비유를 사용하여 이 내용을 쉬운 용어로 설명합니다.

문제점: 엉뚱한 사람을 범인으로 지목하기

일이 잘못되면, 우리의 뇌(그리고 현재의 컴퓨터 도구들)는 가장 눈에 띄는 것을 범인으로 몰아가는 경향이 있습니다.

실수: 에이전트가 돈을 건네주었습니다.
잘못된 비난: 우리는 "돈을 건네준 그 단계가 나쁜 놈이야!"라고 말합니다.
현실: 그 단계는 그저 명령을 따랐을 뿐인 로봇이었을 뿐입니다. 진짜 실수는 두 단계 전, 즉 고객의 메시지에 담긴 속임수 때문에 에이전트가 규칙을 무시하기로 결정했을 때 일어났습니다.

현재의 도구들은 다른 AI에게 "누가 잘못한 것 같아?"라고 물어봄으로써 원인을 추측하려고 합니다. 이 논문은 이것이 마치 탐정이 사건 현장 사진만 보고 조사도 없이 범인을 추측하는 것과 같다고 말합니다. 이는 신뢰할 수 없습니다. 논문에 따르면 이러한 도구들의 정확도는 약 **14%**에 불당합니다.

해결책: "만약에" 시뮬레이터

저자들은 **Causal Agent Replay (CAR)**라는 도구를 만들었습니다. 추측하는 대신, CAR는 시간을 되돌려 아주 작은 하나를 바꾸고 어떤 일이 일어나는지 지켜볼 수 있는 '시간 여행을 하는 감독' 역할을 합니다.

AI의 결정 과정을 '당신의 선택에 따라 이야기가 달라지는(Choose Your Own Adventure)' 책이라고 생각해 보세요.

설정: AI가 페이지를 읽고(상태), 선택을 하고(행동), 결과(관찰)를 봅니다.
개입: CAR는 책의 특정 페이지를 하나 고릅니다. 그리고 이렇게 말합니다. "좋아, 여기서 AI가 다른 선택을 했다고 가정해 보자. 혹은 AI가 페이지를 다시 읽고 새로운 선택을 했다고 가정해 보자."
재생: 그 후, 도구는 그 시점부터 이야기를 빠르게 진행하며, 다른 결말들을 보기 위해 영화를 100번 실행합니다.
- 만약 그 한 페이지를 바꿨을 때 "나쁜 결말"이 사라진다면, 그 페이지가 원인이었습니다.
- 만약 나쁜 결말이 여전히 발생한다면, 그 페이지는 문제가 아니었습니다.

까다로운 부분: "나비 효과"

함정이 있습니다. AI의 결정은 주사위를 던지는 것과 비슷하게 무작위적(stochastic)입니다.
만약 당신이 3단계로 되돌아가서 선택을 바꾼다면, 4단계, 5단계, 6단계에서 AI는 단지 "주사위"가 다르게 나왔다는 이유만으로 완전히 다른 선택을 할 수도 있습니다. 이 때문에 실수가 3단계 때문인지, 아니면 6단계의 무작위한 혼란 때문인지 구별하기 어렵습니다.

해결책: "결정 지점 (Point of Commitment)"
저자들은 **결정 지점(Point of Commitment)**이라는 영리한 규칙을 고안했습니다.
기차가 역을 떠나는 장면을 상상해 보세요.

만약 기차를 역에서 멈춘다면(1단계), 기차는 출발하지 못합니다.
만약 기차가 중간쯤 갔을 때 멈춘다면(5단계), 선로가 끊어져 있다면 나중에 결국 충돌할 수도 있습니다.
"결정 지점"은 당신이 기차를 멈춰 세워 상황을 구할 수 있었던 마지막 순간입니다. 일단 기차가 이 지점을 지나면, 충돌은 피할 수 없는 운명이 됩니다. CAR는 정확히 어디서 결정이 잘못되었는지 알려주기 위해 이 특정 순간을 찾아냅니다.

책임을 나누기 (샤플리 값 - Shapley Value)

때로는 하나의 실수이 단 하나의 단계에 의해 발생하지 않을 수도 있습니다. 예를 들어, 3단계도 이상했고 7단계도 이상했지만, 두 단계가 함께 일어났을 때만 재앙이 발생했을 수도 있습니다.

3단계만 비난한다면, 그것은 무죄처럼 보입니다.
7단계만 비난한다면, 그것 역시 무죄처럼 보입니다.
하지만 둘이 함께라면 유죄입니다.

이를 해결하기 위해 CAR는 (노벨 경제학상 수상자의 이름을 딴) **샤플리 값(Shapley Values)**이라는 수학적 개념을 사용합니다. 식당에서 계산서를 나누는 것을 생각해 보세요. 만약 두 사람이 함께 거대한 피자를 주문했다면, 단순히 "A가 피자를 다 먹었다"라고 말할 수 없습니다. 각자가 전체 비용에 얼마나 기여했는지 계산해야 합니다. CAR는 상호작용하는 단계들 사이에서 "책임"을 공정하게 나누기 위해 수학적으로 이 작업을 수행합니다.

효과가 있었나요?

저자들은 정답을 미리 알고 있는 가상의 시나리오(정답이 정해진 수학 문제와 같은 상황)를 통해 이 도구를 테스트했습니다.

결과: 도구는 오류를 일으킨 단 하나의 단계를 정확히 찾아냈습니다.
결과: 도구는 두 단계가 결합하여 실패를 일으켰을 때, 그 책임을 정확히 나누었습니다.

핵심 요약

이 논문은 AI 에이전트가 실패하는 것을 단순히 지켜보는 것이 아니라, 테이프를 되감고, 결정을 바꾸고, 영화를 다시 재생하여 어떤 단계가 문제를 일으켰는지 과학적으로 증명하는 도구를 소개합니다. 이는 "추측"에서 "테스트"로 나아가는 것이며, 개발자들에게 무엇을 고쳐야 하는지에 대한 명확하고 확신 있는 답을 제공합니다.

이 도구는 오픈 소스(무료로 사용 가능)이며, 클라우드 기반 및 로컬 AI 모델 모두에서 작동합니다.

기술 요약: 인과적 에이전트 리플레이 (Causal Agent Replay, CAR)

문제 정의

LLM 에이전트가 잘못된 환불을 처리하거나, 잘못된 도구를 호출하거나, 데이터를 유출하는 등 실패했을 때, 기존의 관측성(observability) 및 평가 도구들은 단순히 무엇이 일어났는지 설명하거나 결과가 통과(pass)인지 실패(fail)인지를 판별할 수 있을 뿐입니다. 이 도구들은 어느 특정 단계가 실패를 유발했는지는 식별하지 못합니다.

현재의 귀속(attribution) 휴리스틱은 근본적으로 결함이 있습니다:

기계적 단계와 결정적 단계의 혼동: 해로운 행동을 실행하는 단계(예: issue_refund 호출)는 종종 이전 단계에서 내려진 결정의 기계적 결과에 불과합니다. 실행 단계를 비난하는 것은 범주 오류(category error)입니다.
신뢰할 수 없는 LLM 판사: 트랜스크립트를 판단하기 위해 LLM을 사용하는 것은 인과 관계가 아닌 상관 관계에 의존하는 것입니다. "Who&When" 벤치마크에서, LLM 판사의 단계별 귀속 정확도는 약 14%에 불과합니다.

핵심 과제는 LLM 에이전트가 확률적 정책(stochastic policies)을 통해 작동한다는 점입니다. 단순한 리플레이(replay)는 인과 관계를 드러내지 못하는데, 그 이유는 결과가 결정과 관찰의 복잡한 궤적(trajectory)의 결과물이기 때문입니다.

방법론: 인과적 에이전트 리플레이 (CAR)

CAR는 에이전트 실행을 **구조적 인과 모델(Structural Causal Model, SCM)**로 모델링하고, 상관 관계가 아닌 **개입(intervention)**을 통해 인과 관계를 결정함으로써 이 문제를 해결합니다.

1. 정식화 (Formalization)

에이전트 궤적 $\tau$ 는 상태, 행동, 관찰 및 결과의 시퀀스로 모델링됩니다:
$\tau = [s_0, (a_1, o_1), (a_2, o_2), \dots, (a_n, o_n), y]$
여기서 $s_k$ 는 상태, $a_k \sim \pi(\cdot | s_k)$ 는 확률적 정책으로부터 추출된 행동, $o_k$ 는 도구 결과, $y$ 는 결과 점수입니다.

2. 개입 대수 (Intervention Algebra)

CAR는 특정 단계에 대한 do(·) 연산을 구현하여, 동일한 확률적 정책 하에서 에이전트가 후속 행동을 다시 결정하도록 강제합니다. 다섯 가지 연산이 정의됩니다:

do_resample: 변경되지 않은 정책으로부터 행동 $a_k$ 를 다시 추출합니다 (null 개입). 이는 해당 단계에 대한 결과의 내재적 인과적 민감도를 측정합니다.
do_action: 특정 행동 $a_k$ 를 강제합니다.
do_observation: 관찰값 $o_k$ 를 교체합니다.
do_context: 단계 $k$ 에서의 히스토리를 편집합니다.
do_policy: 단계 $k$ 이후부터 모델을 교체합니다.

3. 충실한 리플레이와 비결정성 (Faithful Replay and Nondeterminism)

단계 $k$ 에서 개입하기 위해 시스템은 정확한 상태 $s_k$ 를 재구성해야 합니다. CAR는 모든 비결정적 입력을 기록하는 레코드-리플레이(record-replay) 규율을 채택합니다. 호스트 제공업체들이 (부동 소수점 비결합성 및 배치 커널 등으로 인해) 완벽하게 결정적이지 않다는 점을 인정합니다. 따라서 CAR는 완벽한 재현성을 주장하기보다 리플레이 충실도를 나타내는 **액션 매치율(action-match rate)**을 보고합니다. 고정된 시드(seed)를 가진 로컬 모델은 정확하게 리플레이됨을 확인하였으며, 이는 분포적 프레임링(distributional framing)을 검증합니다.

4. 귀속 추정치 (Attribution Estimators)

개입은 단일 경로가 아닌 결과의 분포를 생성하므로, CAR는 신뢰 구간을 포함한 통계적 추정치를 사용합니다.

대조적 단일 단계 추정치 (Contrastive Single-Step Estimator):
각 단계 $k$ 에 대해, 시스템은 실제 행동인 단계 $[0, k)$ 를 유지하고, do_resample(k)를 적용한 뒤, $K$ 번의 전방 실행(forward run)을 수행하여 "나쁜" 결과의 확률 변화를 추정합니다.
- 실행 전방 혼란 (Run-Forward Confound): 단계 $k$ 를 리샘플링하면 의도치 않게 모든 후속 확률적 단계들이 다시 롤(re-roll)됩니다. 이로 인해 초기 단계들이 실제로 중요한 후속 단계를 다시 롤링하게 만듦으로써, 무관한 초기 단계들이 인과적인 것처럼 보일 수 있습니다.
- 결정 지점 규칙 (Point-of-Commitment Rule): 이를 해결하기 위해, CAR는 효과의 신뢰 구간이 여전히 0을 포함하지 않는 가장 늦은 단계를 인과적 위치(causal locus)로 식별합니다. 이는 재결정이 여전히 실행을 "구제"할 수 있는 마지막 지점입니다. 이 지점을 지나면 결과는 확정(committed)됩니다.
예산 제한 몬테카를로 샤플리 추정치 (Budget-Bounded Monte-Carlo Shapley Estimator):
단일 단계 방식은 상호작용(예: 두 단계가 모두 실패해야 발생하는 AND-failure)을 포착하지 못합니다. CAR는 샤플리 값(Shapley values)을 사용하여 상호작용하는 단계들에 공로를 배분합니다.
- 이는 안티테틱 역순 퍼뮤테이션 페어링(antithetic reverse-permutation pairing)을 사용한 몬테카를로 순열 샘플링을 통해 모든 코리션 컨텍스트(coalition contexts)에 대한 한계 기여도를 추정합니다.
- 캐싱 없음 (No Caching): 퍼뮤테이션 간에 $v(S)$ 를 캐싱하지 않는데, 이는 단계별 한계 분산을 0으로 수렴시켜 잘못된 확신을 주는 것을 방지하기 위함입니다.
- 추정치는 회로 차단기(circuit breaker)가 있는 예산 제한형이며, 온디맨드(on-demand)로 실행됩니다.

주요 기여

SCM 정식화: 에이전트 실행을 SCM으로 정식화하고 5가지 연산의 개입 대수를 정의함.
분포적 프레임링: 확률적 정책을 다루기 위해 신뢰 구간을 포함한 결과 분포를 중심으로 시스템을 구축함.
결정 지점 규칙: 리샘플링이 후속 확률성을 다시 롤링하는 혼란을 해결하기 위해 결정 지점 규칙을 사용하여 진정한 인과적 위치를 식별함.
상호작용 처리: 단일 단계 방식이 구조적으로 실패하는 상호작용 단계에서 공로를 올바르게 배분하는 샤플리 추정치를 제공함.
그라운드 트루스 검증: 알려진 그라운드 트루스를 가진 합성 SCM을 통해 방법론을 검증하며, 이것이 귀속 방법론의 필수 사항임을 논증함.

결과 및 검증

CAR는 알려진 그라운드 트루스를 가진 합성 SCM을 통해 검증되었습니다:

중요 단계 회복 (Pivotal Step Recovery): 중간 단계가 핵심 결정이었던 3단계 SCM에서, 대조적 추정치는 해당 단계를 인과적 위치로 정확히 회복했습니다. 후속 단계를 리샘플링하는 것은 유의미한 효과를 보이지 않았으며, 이는 결정 지점 의미론과 일치합니다.
상호작용 회복 (Interaction Recovery): 두 특정 단계가 모두 실패해야 결과가 나빠지는 SCM에서, 샤플리 추정치는 공로를 정확히 나누었습니다 ( $\phi_0 \approx 0.44, \phi_1 \approx 0.45, \phi_2 \approx 0$ ). 효율성 합계는 0.909였으며, 이는 분석적 값인 0.91에 매우 근접합니다.
대조적 방식의 한계: 동일한 상호작용 실행에서, 대조적 추정치는 과다 계상(효과가 실제 총 기여도를 초과함)되었으며, 이는 상호작용에서 샤플리 추정치의 필요성을 입증합니다.

의의 및 주장

본 논문은 CAR가 상관 관계가 아닌 개입을 통해 "어떤 단계가 실패를 유발했는가"라는 질문에 답한다고 주장합니다. 본 연구의 의의는 다음의 구체적인 조합에 있습니다:

실행된 동일 정책 기반의 do_resample 개입 (오라클 대체나 LLM 텍스트 판정을 피함).
신뢰 구간을 포함한 분포적 결과.
실행 전방 혼란을 처리하기 위한 결정 지점 규칙.
상호작용을 위한 샤플리 공로 배분.
합성 그라운드 트루스를 통한 검증.

시스템은 오픈 소스이며 호스트 모델 및 무료 로컬 모델 모두에서 실행되도록 설계되었습니다.

한계점

저자들은 몇 가지 한계점을 언급했습니다:

직접 효과 vs 총 효과: 대조적 효과는 확률적 지속을 통한 총 효과를 측정합니다. 단계의 직접적인 효과를 격리하려면 분기되는 LLM 컨텍스트 간에 공통된 난수(common random numbers)가 필요한데, 이는 어렵습니다.
결과 노이즈: 판사 기반의 결과 함수는 노이즈를 주입합니다. 신뢰도를 위해서는 규칙 기반 결과가 선호됩니다.
부수 효과 (Side Effects): 부수 효과가 있는 실제 도구는 범위 밖입니다. 데모에는 재현 가능한 모킹(mocked)된 도구가 사용되었습니다.
계산 비용: 샤플리는 최악의 경우 지수적입니다. 몬테카를로 접근법은 예산 제한형이며, 이는 분산과 예산 사이의 실제적인 트레이드오프를 포함합니다.