🤖 AI

Why LLMs Fail at Causal Discovery and How Interventional Agents Escape

본 논문은 지도 학습 및 선호도 기반 학습 방법이 커널 장애 정리에 따라 인과 발견에서 근본적으로 실패함을 증명하고, 외부 베이지안 루프 내에서 개입 오라클로 고정된 언어 모델을 사용하여 기존 벤치마크를 능가하는 증명 가능한 수렴 대안인 에이전트 인과 베이지안 최적화 (A-CBO) 를 제안한다.

원저자: Amartya Roy, Sonali Parbhoo

게시일 2026-05-28

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Amartya Roy, Sonali Parbhoo

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 간단한 언어와 일상적인 비유를 사용하여 설명합니다.

큰 문제: 왜 AI 가 '인과적' 퍼즐에 갇히는지

기계가 작동하는 모습을 지켜보기만 해서 그 기계가 어떻게 작동하는지 파악해 보려고 상상해 보세요. 빨간 불이 켜지면 종소리가 나는 것을 봅니다. 또한 파란 불이 켜져도 종소리가 나는 것을 봅니다.

이제 내부 배선을 추측해야 합니다:

시나리오 A: 빨간 불이 종을 치는 스위치를 작동시킵니다.
시나리오 B: 파란 불이 종을 치는 스위치를 작동시킵니다.

기계를 관찰하는 것만 (관측 데이터) 으로 판단한다면, 두 시나리오가 정확히 동일해 보입니다. 불이 켜질 때마다 종소리가 납니다. 이것이 논문에서 말하는 "거의 실패한 (near-miss)"문제입니다. 완전히 다른 내부 구조 (인과 그래프) 가 정확히 동일한 외부 행동을 만들어낼 수 있습니다.

논문의 주요 발견:
저자들은 ChatGPT 와 같은 도구의 두뇌인 대형 언어 모델 (LLM) 이 여기에 근본적인 수학적 맹점이 있음을 증명했습니다. 수백만 개의 예시로 훈련 (파인튜닝) 시키거나 매우 열심히 생각하도록 요청 (프롬프팅) 하더라도, 그들은 이러한 "거의 실패한" 시나리오들 사이를 신뢰할 수 있게 구별할 수 없습니다.

비유: "흐릿한 사진"의 한계
LLM 을 복잡한 기계를 찍는 사진작가로 생각하세요.

문제: 기계가 더 크고 복잡해질수록 (변수가 늘어날수록), "거의 실패한" 시나리오들은 사진에서 99.9% 동일해 보입니다. 어떤 전선이 무엇인지 알려주는 아주 작은 차이가 흐릿함에 묻혀 사라질 정도로 미미합니다.
수학: 논문은 LLM 이 그 작은 차이를 보려면 내부 기억을 무한히 "늘려야" 함을 증명합니다. 그렇게 할 수 없기 때문에 그저 추측할 뿐입니다. 퍼즐이 어려워질수록 AI 의 성능은 급락하며, 종종 무작위 추측 수준으로 떨어집니다.

해결책: "에이전트"와 "오라클"

AI 가 퍼즐 전체를 한 번에 해결할 수 없으므로, 저자들은 A-CBO(에이전트 인과 베이지안 최적화) 라는 새로운 시스템을 구축했습니다.

AI 에게 "이 두 복잡한 기계 중 실제 것은哪一个인가?"라고 묻는 대신 (그것은 실패하기 때문에), 게임을 바꿉니다. AI 를 전문 보조자로, 그리고 수학적 탐정을 의사결정자로 활용합니다.

다음은 단계별 작동 방식입니다:

1. 동결된 오라클 (AI)

AI 는 "동결"되어 있어 재훈련되거나 새로운 규칙을 배우도록 강요받지 않습니다. 그것은 진실을 말하는 오라클처럼 행동합니다.

질문: AI 에게 전체 미스터리를 해결하라고 묻는 대신, 시스템은 간단한 이진 질문을 합니다: "내가 이 특정 빨간 버튼을 누르면 종소리가 날까요?"
작동 원리: AI 가 두 복잡한 기계 사이를 구별할 수는 없더라도, 간단한 인과 관계 질문에 답하는 것은 매우 능숙합니다. 버튼을 누르고 결과를 보는 것은 AI 가 예측하기 쉽습니다.

2. 베이지안 루프 (탐정)

이 부분이 중추적인 역할을 합니다. 이는 AI 외부에서 실행되는 수학적 루프입니다.

전략: 탐정은 모든 가능한 기계 설계 목록으로 시작합니다.
행동: 가장 많은 오답을 제거할 질문을 선택합니다. AI 에게 묻습니다: "내가 A 버튼을 누르면 종소리가 날까요?"
업데이트:
- AI 가 "예"라고 말하면, 탐정은 A 버튼을 눌렀을 때 종소리가 나지 않는 모든 기계 설계를 목록에서 지웁니다.
- AI 가 "아니오"라고 말하면, 종소리가 날 설계를 지웁니다.
결과: 간단한 질문이 하나씩 늘어날 때마다 가능성의 목록은 줄어듭니다. 탐정은 AI 가 완벽하기를 필요로 하지 않습니다. 단지 AI 가 무작위 추측보다 조금 더 나을 뿐이면 됩니다.

이것이 게임 체인저인 이유

이 논문은 이 방법이 다른 모든 것이 실패하는 곳에서 작동함을 보여줍니다.

훈련 불필요: AI 는 수백만 개의 새로운 예시로 재훈련될 필요가 없습니다. 기존 지식을 활용하여 간단한 질문에 답합니다.
확장성: 퍼즐이 어려워질수록 (변수가 더 많아지고 기계가 더 복잡해질수록), 기존 방법 (파인튜닝) 은 완전히 실패합니다. 하지만 A-CBO 시스템은 계속 더 나아집니다. 가장 진보된 파인튜닝 모델조차 당황시키는 24 개의 변수를 가진 퍼즐도 해결할 수 있습니다.
"게으름"의 이점: 시스템은 AI 를 "게으른" 상태 (다음 단어를 예측하는 상태) 로 유지하지만, AI 의 수학적 한계가 적용되지 않는 곳으로 의사결정을 이동시킵니다.

한 문장으로 요약한 내용

이 논문은 AI 가 스스로 복잡한 닮은꼴 원인들을 구별하는 것이 수학적으로 불가능함을 증명하지만, AI 를 간단한 "예/아니오" 질문자로 전환하고 실제 탐정 작업을 수학적 루프에 맡기면 AI 를 재훈련할 필요 없이 이러한 퍼즐을 완벽하게 해결할 수 있음을 보여줍니다.

기술 요약: LLM 이 인과성 발견에 실패하는 이유와 개입형 에이전트의 탈출 방법

문제 제기
인과성 발견 (인과 그래프 구조를 통계적 데이터로부터 복원하는 작업) 은 과학적 추론의 핵심이지만, 대규모 언어 모델 (LLM) 에게는 여전히 해결되지 않은 과제로 남아 있습니다. LLM 은 자연어 처리 작업에서는 탁월한 성능을 보이지만, 최근 벤치마크 (예: Corr2Cause) 에 따르면 유사한 관측 데이터를 생성하는 인과 그래프들을 신뢰성 있게 구별하지 못합니다. 구체적으로 모델들은 "근접 실패 (near-miss)" 가설, 즉 서로 다른 마르코프 동치 클래스에 속하지만 거의 동일한 조건부 독립 명제를 생성하는 방향성 비순환 그래프 (DAG) 들을 처리하는 데 어려움을 겪습니다. 프롬프트 전략, 지도 미세 조정 (SFT), 직접 선호도 최적화 (DPO), 그리고 문맥 내 학습 (ICL) 을 포함한 기존 접근법들은 그래프 복잡도가 증가함에 따라 경험적으로 성능이 저하되는 것을 보여주고 있으나, 이러한 실패의 이론적 원인은 아직 규명되지 않았습니다.

방법론 및 이론적 프레임워크
저자들은 LLM 의 인과성 발견 실패를 **커널 장애 정리 (Kernel Obstruction Theorem)**로 형식화합니다.

커널 장애 정리 (정리 1): 본 논문은 SFT, DPO, 그리고 ICL 이 모두 유계 노름 (bounded norms) 을 가진 재생 커널 힐베르트 공간 (RKHS) 내에서 작동하는 예측기를 생성함을 증명합니다 (즉, "게으른" 또는 NTK 영역). "근접 실패" 인과 가설 쌍 (예: $V_1 \to V_2 \to V_3$ 체인 대 $V_1 \leftarrow V_2 \to V_3$ 포크) 의 경우, 관측 데이터 토큰들이 거의 동일하여 커널 유사도가 1 에 수렴하게 됩니다 ( $\delta \to 0$ ).
- 이 정리는 이러한 가설들을 $\gamma$ 점수 마진으로 분리하기 위해서는 예측기 가중치 벡터의 노름 ( $B$ ) 이 $B \geq \gamma / (\kappa\sqrt{2\delta})$ 로 증가해야 함을 보여줍니다.
- 그래프 복잡도 ( $d$ ) 가 증가함에 따라 $\delta$ 는 $O(1/d^2)$ 로 스케일링됩니다. 결과적으로 필요한 노름 $B$ 는 무한대로 발산합니다. SFT 와 DPO 와 같은 훈련 방법들이 유계 노름 (게으른 훈련) 의 제약 하에 작동하므로, 복잡도가 증가함에 따라 근접 실패 가설들을 기하학적으로 구별할 수 없습니다.
에이전트 인과 베이지안 최적화 (A-CBO): 이러한 장애를 탈출하기 위해 저자들은 이산적 의사결정 과정을 LLM 의 RKHS 밖으로 이동시키는 프레임워크를 제안합니다.
- 개입 오라클: 고정된 LLM 은 $do(V_i=v)$ 하에서 $V_j$ 가 변하는지 여부 (예: " $do(V_i=v)$ 하에서 $V_j$ 는 변하는가?") 와 같은 이진 개입 쿼리에만 응답하는 오라클로만 작동합니다. 보조정리 2 는 관측 데이터가 근접 실패일지라도 개입 응답은 $\delta$ 와 무관한 상수 마진 $\rho$ 로 커널 분리됨을 증명합니다.
- 외부 베이지안 루프: 외부 에이전트는 확률 심플렉스 $\Delta^{n-1}$ 내의 후보 그래프들에 대한 확률 분포를 유지합니다. 이는 정보 이론적 점수 (정보 이득) 를 사용하여 가장 변별력 있는 개입을 선택하고, LLM 에게 쿼리를 수행하며, 베이즈 규칙을 통해 믿음 분포를 업데이트합니다.
- 수렴: 의사결정 로직이 RKHS 가 아닌 심플렉스에서 작동하기 때문에, 수렴 속도는 근접 실패 매개변수 $\delta$ 에 의존하지 않습니다. 정리 2 는 참인 그래프가 개입으로 구별 가능하다면 A-CBO 가 $O(\log n)$ 라운드 내에 올바른 그래프로 수렴함을 증명합니다.

주요 기여

실패에 대한 이론적 증명: 본 논문은 LLM 이 근접 실패 인과 가설들을 분리하지 못하는 능력이 모델 규모나 데이터 양의 한계가 아니라, 게으른 영역에서 커널 유형 예측기 (SFT, DPO, ICL) 에 내재된 근본적인 기하학적 장애임을 확립합니다.
A-CBO 프레임워크: LLM 의 역할 (국소 이진 쿼리 응답) 과 인과적 의사결정 (전역 가설 선택) 을 분리하여 커널 장애를 우회하는 에이전트 인과 베이지안 최적화 (Agentic Causal Bayesian Optimization) 를 도입했습니다.
확장된 벤치마크: 근접 실패 간격이 $O(1/d^2)$ 로 축소되는 규모에서 인과 변별력을 스트레스 테스트하도록 설계된, 7 개에서 24 개 변수까지 확장되고 18,000 개의 테스트 샘플을 가진 새로운 벤치마크 Extended Corr2Cause를 제작했습니다.

실험 결과

Corr2Cause (원본): A-CBO 는 그라디언트 업데이트 없이 미세 조정된 베이스라인 (예: LLaMA-7B FT) 의 성능을 맞먹거나 능가합니다. 예를 들어, 최상위 A-CBO 모델 (GLM-5.1) 은 F1 점수 93.2 를 기록하여 미세 조정된 LLaMA-7B(92.0) 를 능가했습니다.
확장된 Corr2Cause (d=7–24):
- 확장성: 미세 조정된 모델들 (SFT 및 DPO) 은 그래프 크기가 증가함에 따라 치명적으로 성능이 저하되어 무작위 수준 (35.1%, $d=21-24$ 에서 SFT) 에 근접합니다. 반면, A-CBO 는 모든 그래프 크기에서 견고한 성능 (최상위 모델 기준 83.2% 정확도) 을 유지합니다.
- 우위 증가: A-CBO 와 미세 조정된 베이스라인 간의 성능 격차는 그래프 복잡도가 증가함에 따라 단조롭게 커집니다. 가장 어려운 그래프 ( $d=21-24$ ) 에서 A-CBO 는 SFT 보다 44.7% 포인트 더 높은 성능을 기록합니다.
- 애블레이션: 에이전트 루프 자체가 성능을 주도합니다. 제로샷 모델에 A-CBO 를 적용하면 막대한 향상을 보입니다 (예: Qwen3-30B 의 경우 +59.3% 포인트). 이는 개선이 원시 모델 능력에서 비롯된 것이 아니라 아키텍처 전환에서 비롯되었음을 확인시켜 줍니다.

의의 및 주장
본 논문은 개입 쿼리가 단순한 휴리스틱이 아니라 RKHS 장애로부터의 증명 가능한 필수적이고 충분한 탈출구라고 주장합니다. LLM 을 비의사결정적 오라클 역할로 제한하고 가설 변별을 외부 베이지안 루프에 위임함으로써, A-CBO 는 모델이 새로운 표현을 학습하거나 게으른 훈련 영역을 벗어나지 않아도 규모에 따른 신뢰할 수 있는 인과성 발견을 달성합니다. 이 연구는 과학 및 정책 분야의 LLM 에이전트에 대한 원칙적인 기초를 제공하며, 진정한 인과 지능은 현재의 학습 패러다임의 기하학적 한계를 존중하는 개입적 추론 구조로 상관관계 기반 감독을 넘어설 필요가 있음을 주장합니다.