🤖 machine learning

CausalFlow: Causal Attribution and Counterfactual Repair for LLM Agent Failures

CausalFlow 는 실행 흔적을 모델링하여 인과적 실패 지점을 식별하고 즉각적인 테스트 시간 복구와 오프라인 훈련 감독을 위한 최소 반사실적 수리를 생성함으로써 LLM 에이전트의 실패를 신뢰할 수 있는 학습 신호로 변환하는 개입형 프레임워크입니다.

원저자: Akash Bonagiri, Devang Borkar, Gerard Janno Anderias, Setareh Rafatirad, Houman Homayoun

게시일 2026-05-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Akash Bonagiri, Devang Borkar, Gerard Janno Anderias, Setareh Rafatirad, Houman Homayoun

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

매우 똑똑하지만 때로는 서투른 로봇이 복잡한 퍼즐을 풀려고 노력하는 모습을 상상해 보세요. 이 로봇은 대규모 언어 모델 (LLM) 로 구동되며, 단순히 최종 답변만 제시하는 것이 아니라, 마치 탐정이 단서를 수집하고 질문을 던지며 수학을 수행하듯, 그 답에 도달하기 위한 일련의 단계를 밟아 나갑니다.

때로는 로봇이 실패하기도 합니다. 과거에 로봇이 실패하면 인간들은 그저 "틀렸어, 다시 해봐"라고 말하거나 "정답은 여기 있어"라고 알려주곤 했습니다. 하지만 이 논문은 로봇의 실수를 처리하는 새로운 방법인 CausalFlow를 소개합니다. 이는 로봇의 실수를 위한 첨단 기술 탐정 역할을 합니다.

다음은 CausalFlow 가 작동하는 방식을 간단한 개념으로 분해한 것입니다:

1. 문제: 실패의 "블랙박스"

로봇이 수학 문제 풀기나 코드 작성과 같은 다단계 작업에서 실패할 때, 우리는 보통 최종적으로 틀린 답변만 볼 뿐입니다. 어떤 특정 단계가 재앙을 초래했는지 알 수 없습니다.

옛 방식: 로봇이 답을 틀리면 이전 방법들은 종종 로봇에게 처음부터 전체 이야기를 다시 쓰게 했습니다. 마치 10 페이지 분량의 에세이를 썼는데 쉼표 하나를 잘못 찍었다고 해서 선생님이 전체를 버리고 다시 쓰라고 시키는 것과 같습니다. 이는 낭비적일 뿐만 아니라 로봇에게 왜 실패했는지 가르쳐 주지 않습니다.

2. 해결책: "만약에?" 탐정

CausalFlow 는 로봇의 실패한 시도를 주사위 줄처럼 다룹니다. 로봇이 취한 모든 단일 단계마다 구체적인 질문을 던집니다: "만약 이 한 단계만 바꾼다면, 최종 결과는 올바르게 될까요?"

이를 **반사실적 개입 (Counterfactual Intervention)**이라고 합니다.

비유: 요리사가 나쁜 수프를 만들었다고 가정해 보세요. CausalFlow 탐정은 전체 냄비를 버리고 처음부터 다시 시작하는 대신 수프를 맛본 다음, "3 단계에서 소금을 넣지 않았다면 어땠을까?"라고 말합니다. 그들은 마음속에서 그 변화를 시뮬레이션합니다. 만약 그 소금 없이 수프가 맛있었다면, 그들은 정확히 실수가 어디서 발생했는지 알게 됩니다.

3. "인과적 책임 점수 (Causal Responsibility Score, CRS)"

시스템은 모든 단계에 점수를 매깁니다.

만약 어떤 단계를 변경하면 최종 답변이 수정된다면, 그 단계는 높은 점수를 받습니다. 그것이 "범인"입니다.
만약 어떤 단계를 변경해도 답변이 수정되지 않는다면, 시스템은 그 단계가 의심스러워 보였더라도 문제가 아니라는 것을 알게 됩니다.

4. "최소 수리 (Minimal Repair)"

범인이 발견되면 CausalFlow 는 전체 이야기를 다시 쓰지 않습니다. 오직 그 한 단계만 고치기 위해 가능한 가장 작은 편집을 가합니다.

비유: 로봇이 4 단계에서 수학 실수를 저지르면, CausalFlow 는 오직 4 단계만 수정합니다. 1, 2, 3, 5 단계는 그대로 둡니다. 이를 "최소 수리"라고 합니다.
이는 완벽한 학습 쌍을 생성합니다: (틀린 단계) 대 (수정된 단계). 이는 로봇이 미래에 더 나아지도록 훈련시키는 데 있어 금과옥조와 같습니다.

5. 이것이 중요한 이유 (결과)

연구자들은 네 가지 다른 유형의 작업에서 이를 테스트했습니다:

수학 문제 (초등학교 수준의 응용 문제 등).
코딩 (컴퓨터 프로그램 작성).
질문 응답 (웹에서 답변 검색).
의료 검색 (온라인에서 의료 정보 찾기).

그들이 발견한 것:

정밀도: CausalFlow 는 모든 실패 시도 중 약 **43%**에서 정확한 실수를 찾아냈습니다.
효율성: 모든 것을 다시 쓰는 대신 작고 표적화된 변경을 통해 이러한 실패를 수정했습니다.
성공률: 의료 검색이나 복잡한 검색 질문과 같은 어려운 작업에서 다른 방법들 (전체 답변을 다시 쓰는 방식) 은 실제로 상황을 악화시키거나 전혀 도움이 되지 않았습니다. CausalFlow 는 오직 고장 난 연결부만 수정함으로써 성공률을 크게 향상시켰습니다 (예: 의료 검색에서 30% 에서 61% 로 상승).

6. "이중 확인" 팀

로봇이 단순히 추측하지 않도록 하기 위해, CausalFlow 는 세 명의 "AI 심판" 팀을 사용합니다.

한 명은 수정안을 제안합니다.
한 명은 제안 사항을 비판합니다.
한 명은 전체 논쟁을 검토합니다.
그들은 모두 그 수정안이 실제로 작동한다고 동의할 때만 수정안을 받아들입니다.

요약

CausalFlow는 AI 의 실패를 총체적인 재앙으로 취급하지 않는 시스템입니다. "실패했으니 처음부터 다시 해"라고 말하는 대신, 외과 의사와 같이 행동합니다: 정확한 작은 실수를 찾아내고, 그것을 제거한 뒤, 나머지 작업을 완벽하게 꿰매어 다시 연결합니다. 이는 즉각적인 문제를 해결할 뿐만 아니라, AI 가 배울 수 있는 명확한 교훈을 만들어내어 미래에 더 신뢰할 수 있고 신뢰하기 쉬운 AI 로 만듭니다.

중요한 참고 사항: 이 논문은 AI 의 논리와 추론 단계를 수정하는 데 전적으로 초점을 맞추고 있습니다. 이는 의사가 아니거나 변호사가 아니며, 실제 임상 진단을 위한 도구가 아니라고 주장하지 않습니다. 이는 오직 이러한 AI 에이전트가 사고하고 문제를 해결하는 방식을 디버깅하고 개선하기 위한 방법론일 뿐입니다.

기술 요약: CausalFlow

문제 정의

대형 언어 모델 (LLM) 에이전트는 추론, 도구 사용, 환경 상호작용이 포함된 복잡하고 다단계 작업에서 빈번히 실패합니다. 이러한 실패를 처리하는 현재의 접근 방식은 일반적으로 결과 수준의 피드백 (예: 최종 답변이 올바른지 여부) 이나 전체 재생성, 자기 성찰, 반복적 재작성과 같은 휴리스틱 전략에 의존합니다. 이러한 방법들은 중요한 모호성에 시달립니다: 실행이 무너진 원인이 되는 어떤 특정 중간 결정을 식별하지 못한다는 점입니다. 실행 흔적 (execution traces) 에 대한 원칙적인 책임 할당이 없으면 실패를 체계적으로 수정할 수 없을 뿐만 아니라, 향후 학습을 위한 구조화된 단계별 감독으로 전환할 수도 없습니다. 기존 귀속 (attribution) 방법들은 명시적인 인과성 테스트가 부족하거나 단일 에이전트 순차 흔적에는 적용 불가능한 복잡한 다 에이전트 오케스트레이션 프레임워크를 요구하는 경우가 많습니다.

방법론: CausalFlow 프레임워크

CausalFlow 는 실패한 에이전트 흔적을 최소한의 반사실적 수정 (minimal counterfactual repairs) 과 재사용 가능한 감독으로 변환하도록 설계된 개입 (interventional) 프레임워크를 도입합니다. 이 프레임워크는 실행 흔적이 의존적인 단계들의 순차적 사슬이며, 한 단계의 출력이 하류 계산으로 전파된다는 전제에 기반합니다.

이 프레임워크는 네 가지 주요 구성 요소로 이루어져 있습니다:

흔적 모델링 및 의존성 로깅:
에이전트는 각 단계 $s_t$ 에 행동 (추론, 도구 호출) 과 이전 단계에 대한 명시적 의존성을 포함하는 구조화된 실행 흔적 ( $\tau = (s_1, \dots, s_T)$ ) 을 생성하도록 구성됩니다. 이 구조는 표준 비구조화 사고 연쇄 (chain-of-thought) 출력에는 부재하는 개입 지점을 식별하기 위한 전제 조건입니다.
개입을 통한 인과적 귀속:
검증기 $V(y(\tau), x) = 0$ 인 실패 흔적에 대해, CausalFlow 는 단계별 반사실적 개입을 수행하여 인과적으로 책임 있는 단계를 식별합니다.
- 개입: 후보 단계 $s_i$ 를 대안 $\tilde{s}_i$ 로 대체합니다.
- 재실행: 이전 단계는 변경되지 않은 채로, 모든 후속 단계 ( $s_{i+1}, \dots, s_T$ ) 가 새로운 입력을 기반으로 재실행됩니다.
- 인과적 책임 점수 (CRS): 적어도 하나의 개입 제안이 최종 결과를 실패에서 성공으로 전환할 때 ( $V(y(\tau[i \leftarrow \tilde{s}_i]), x) = 1$ ), 해당 단계에 CRS 1 을 할당합니다. 이 점수는 $K$ 개의 개입 제안을 생성하고 실행기가 존재하는 경우 결정론적 재실행을 통해, 또는 예측 결과 모델을 통해 테스트함으로써 계산됩니다.
반사실적 수정 및 최소성:
인과적으로 책임 있는 단계 (CRS=1) 로 식별된 단계에 대해, 시스템은 검증된 반사실적 수정을 생성합니다. 해석 가능성 확보와 근본 원인 격리를 위해 수정안은 최소성에 따라 순위가 매겨집니다.
- 최소성 지표: 수정안은 원본과 수정된 단계 간의 위치별 토큰 매칭을 기반으로 점수가 매겨지며, 길이 차이로 인해 패널티를 받습니다.
- 선택: 결과를 성공적으로 전환하면서 최소성 점수를 최대화하는 수정안이 선택되어, 대비 쌍 $(s_i, s^*_i)$ 를 생성합니다.
다 에이전트 검증:
LLM 생성 귀속의 노이즈를 완화하기 위해 3 에이전트 검증 시스템이 사용됩니다. 에이전트 A 는 인과적 단계를 제안하고, 에이전트 B 는 귀속을 비판하며, 에이전트 C 는 둘 모두를 메타 비판합니다. 합의 점수가 계산되어 고신뢰도 인과적 단계만 유지됩니다.

주요 기여

본 논문은 네 가지 주요 기여를 제시합니다:

개입 프레임워크: 구조화된 에이전트 흔적에서 단계별 인과적 귀속을 위한 방법으로, 최종 결과를 전환하는 개입이 필요한 결정을 식별하여 결과 수준 피드백을 넘어섭니다.
반사실적 수정 메커니즘: 인과적으로 책임 있는 실패를 검증된 최소 감독 쌍 $(s_i, s^*_i)$ 로 변환하는 과정입니다. 이러한 쌍은 매개변수 업데이트 없이 배포 시 수정을 지원하며, 오프라인 선호도 최적화 또는 보상 모델링을 위한 학습 준비 대비 예시를 제공합니다.
실증적 검증: 수학 추론 (GSM8K), 코드 생성 (MBPP), 복잡한 질문 답변 (SealQA Hard), 의료 검색 (MedBrowseComp) 등 네 가지 다양한 벤치마크에 대한 평가입니다. 이 프레임워크는 3,000 개 이상의 문제에서 실패한 실행의 42.7% 를 검증된 최소 수정으로 변환합니다.
실패에서 감독으로의 공식화: 로깅된 실행 실패를 재사용 가능한 단계별 감독으로 변환하는 일반적 접근법으로, 모든 중간 단계의 수동 주석 없이 자연 발생 에이전트 실패로부터의 오프라인 학습을 가능하게 합니다.

실험 결과

CausalFlow 는 직접 단일 패스 실행, Self-Refine, Self-Reflection 을 포함한 베이스라인과 비교 평가되었습니다.

수정률: CausalFlow 는 벤치마크 전반에 걸쳐 실패한 흔적의 21.9% 에서 52.4% 사이를 성공적으로 수정했습니다. 특히 검색이 많은 설정 (SealQA Hard 및 MedBrowseComp) 에서 휴리스틱 베이스라인이 성능을 개선하지 못하거나 오히려 저하시키는 경우가 많았던 반면, CausalFlow 는 이를 능가했습니다. MBPP 의 경우 베이스라인이 더 높은 원시 수정률을 달성했지만, CausalFlow 는 훨씬 더 국소화된 수정 (더 높은 최소성 점수) 을 생성했습니다.
정확도 향상: CausalFlow 는 네 가지 벤치마크 전반에 걸쳐 일관된 정확도 향상을 보인 유일한 방법이었습니다. 검색이 많은 작업에서 가장 큰 절대적 개선을 달성했습니다 (MedBrowseComp 에서 +30.8 백분율 포인트, SealQA Hard 에서 +12.6). GSM8K 에서는 구조화된 로깅으로 인한 초기 정확도 격차를 회복하여 수정 후 비구조화 Direct 베이스라인의 성능과 일치했습니다.
국소화: CausalFlow 가 생성한 수정은 매우 국소화되어 있으며, 일반적으로 전체 재작성이 아닌 작은 토큰 수준의 수정 (최소성 점수 0.79~0.87) 을 포함합니다. 이는 종종 전체 답변을 재생성하는 베이스라인 (최소성 점수 0.01 까지) 과 대조됩니다.
기술 분해: 인과적으로 책임 있는 단계의 클러스터링은 산술 전파 오류, 경계 조건 처리, 쿼리 구성과 같은 체계적인 기술 결함을 드러내어, 표적 디버깅 및 커리큘럼 설계에 대한 해석 가능한 신호를 제공합니다.

중요성 및 주장

본 논문은 많은 LLM 에이전트 실패가 전역적이지 않고 국소적이라고 주장합니다. 즉, 소수의 결정이 종종 잘못된 결과를 결정한다는 것입니다. CausalFlow 는 다음을 보여줍니다:

인과적 귀속의 필요성: 복잡한 검색 환경에서 글로벌 휴리스틱 개선은 불충분하며 해로울 수 있습니다. 신뢰할 수 있는 개선을 위해서는 표적화된 인과적 개입이 필요합니다.
실패는 자원이다: 실행 실패에는 고품질 단계별 감독으로 변환될 수 있는 구조화된 신호가 포함되어 있어, 수동 주석 없이 오프라인 학습과 보상 모델링을 가능하게 합니다.
운영적 유용성: 이 프레임워크는 추론 시 실용적인 신뢰성 메커니즘으로 기능하여, 모델 재학습 없이 에이전트가 최소한의 행동 편차로 실패에서 회복할 수 있게 합니다.

저자들은 LLM 이 유효한 수정 제안을 생성하는 능력에 대한 의존성, 재실행의 계산 오버헤드, 구조화된 흔적 로깅의 초기 정확도 비용 등을 포함한 한계를 인정합니다. 그러나 에이전트가 어디서 그리고 왜 실패하는지 식별할 수 있는 능력은 더 수리 가능하고, 해석 가능하며, 학습 준비가 된 에이전트 시스템을 구축하는 데 필수적이라고 주장합니다.