💬 NLP

Evidence-Type Competition: When Can Interventional Data Teach Language Models Causal Direction?

이 논문은 관찰적 증거와 개입적 증거가 충돌하는 합성 환경에서, 언어 모델의 인과 방향 추론 능력은 훈련 데이터의 혼합에 의해 결정되는 것이 아니라 추론 문맥에 존재하는 증거의 유형에 의해 동적으로 켜지거나 꺼지며, 관찰적 단서가 모델의 잠재적 인과 추론 능력을 능동적으로 억제한다는 것을 입증한다.

원저자: Xining Xun

게시일 2026-08-03

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Xining Xun

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

탐정, 단서, 그리고 큰 목소리

당신이 아주 똑똑한 로봇에게 인과관계를 이해하는 법을 가르치려 한다고 상상해 보세요. 당신은 버튼을 누르면 불이 켜진다는 사실을 단순히 버튼과 불이 보통 함께 나타난다는 것을 넘어, 실제로 이해하기를 원합니다. 인공지능의 세계에는 '인과관계의 사다리(Ladder of Causation)'라는 유명한 개념이 있습니다. 이는 사물이 왜 일어나는지를 진정으로 이해하려면, 단순히 세상을 지켜보는 것(관찰)을 넘어, 실제로 개입하여 변화를 일으키는 것(개입)이 필요하다는 것을 시사합니다. 오랫동안 연구자들은 AI에게 이 기술을 가르치는 가장 좋은 방법은 AI가 버튼을 누르고 불이 켜지는 것을 직접 보는 '개입 데이터(interventional data)'가 풍부한 이야기를 먹이는 것이라고 생각했습니다.

핵심 질문은 간단했습니다. 만약 우리가 로봇의 훈련 과정에 이러한 '행동' 이야기를 더 많이 섞는다면, 로봇은 인과관계를 파악하는 능력이 더 좋아질까요? 이 논문은 수학적으로 답이 알려진 매우 통제된 가상의 세계를 사용하여 이 질문을 파고듭니다. 연구자는 '심슨의 역설(Simpson's Paradox)'이라 불리는 까다로운 시나리오를 설정했습니다. 이는 단순히 관찰할 때는 두 가지가 서로 반대 방향으로 움직이는 것처럼 보이지만, 실제 원인을 살펴보면 함께 움직이는 통계적 퍼즐입니다. 마치 우산을 든 사람들이 그렇지 않은 사람들보다 더 많이 젖는 것을 보고, 우산이 비를 유발한다고 결론 내리는 것과 같습니다. 실제로는 비가 우산과 젖음 모두를 유발하는 것인데 말이죠. 이 논문은 '개입' 훈련을 더 많이 제공하는 것이 로봇이 오해를 불러일으키는 '관찰' 단서들을 무시하고 진정한 원인을 찾아내는 데 도움이 되는지 테스트합니다.

실험: 로봇에게 섞인 식단 제공하기

저자는 50개의 서로 다른 '세계'로 구성된 디지털 놀이터를 만들었습니다. 각 세계에서 연구자는 숨겨진 트릭을 심어 놓았습니다. 자연적인 관찰 결과는 부정적인 관계(우산 예시처럼)를 보여주었지만, 진정한 인과적 효과는 양(+)의 관계였습니다. 그런 다음 연구자는 모델에게 '개입' 데이터(누군가 강제로 변화를 일으키는 것을 본 데이터)와 '관찰' 데이터(그저 지켜본 데이터)를 다양한 비율로 섞어서 학습시켰습니다.

연구자는 처음에 '가설 1'이라고 부르는 일반적인 믿음에서 시작했습니다. "훈련 혼합물에서 개입 데이터의 양을 늘리면, 모델은 진정한 원인을 찾는 데 더 능숙해질 것이다." 연구자는 개입 데이터의 비율을 0%에서 100%까지 서서히 높이며 이를 테스트했습니다.

여기서 놀라운 반전이 일어났습니다. 그 가설은 틀렸습니다.

모델에게 훈련 중에 100%의 개입 데이터를 제공했음에도 불구하고, 모델이 질문에 답해야 하는 순간에 관찰 단서가 주어지면 여전히 인과관계의 방향을 틀리게 판단했습니다. 모델은 개입 데이터를 통해 효과의 '크기'(불이 더 밝아질 것이라는 점)는 배웠지만, 문맥(context)에서 보이는 관찰 단서로부터 '방향'(양 또는 음)을 복사해 왔습니다. 이는 마치 수학 공식은 완벽하게 암기했지만, 시험을 볼 때는 공식을 무시하고 이전 문제들의 패턴에 따라 짐작해서 답하는 학생과 같았습니다.

진짜 범인: 컨텍스트 스위치(Context Switch)

그렇다면 훈련 혼합물이 중요하지 않았다면, 무엇이 결정적이었을까요? 논문은 모델이 질문에 답하는 순간 존재하는 증거의 유형이 결정적이었다는 사실을 발견했습니다.

연구자는 서로 다른 유형의 단서가 모델에 어떤 영향을 미치는지 확인하기 위해 '4방향 비교'를 수행했습니다.

순수 관찰 (Pure Observation): 문맥에 관찰 기록만 있을 때, 모델은 50번 중 29번 방향을 틀렸습니다.
혼합 증거 (Mixed Evidence): 문맥에 관찰과 개입이 섞여 있을 때, 모델은 50번 중 19번 틀렸습니다.
순수 개입 (Pure Intervention/Probes): 문맥에 개입 기록(프로브)만 있을 때, 모델은 50번 중 41번을 맞혔습니다.

가장 흥aki한 발견은 테스트 도중 수행된 '마술'에서 나왔습니다. 연구자는 혼합된 데이터를 학습했고 문맥 속의 관찰 단서 때문에 실패하고 있던 모델을 가져왔습니다. 그러고 나서 모델이 답하기 직전에 문맥에서 관찰 단서를 지워버렸습니다. 그 즉시, 진정한 원인을 찾는 모델의 능력이 "켜졌습니다." 모델의 정확도는 음(-)의 점수에서 양(+)의 점수로 급상승하며, 오직 개입 데이터만 보았던 모델의 성능과 일치하게 되었습니다.

이는 모델이 이미 인과적 추론을 학습했음을 증명했습니다. 다만 문맥이 그 능력을 '음소거'하고 있었던 것입니다. 능력은 모델의 뇌(가중치) 속에 있었지만, 문맥이 올바른 답을 차단하는 리모컨 역할을 하고 있었습니다.

스위치가 작동하는 방식: 단계적 조절 다이얼

논문은 또한 이 스위치가 어떻게 작동하는지도 탐구했습니다. 이것은 단순한 온/오프 버튼이 아니라, 마치 볼륨 다이얼과 같습니다.

관찰 기록 1개: 모델을 거의 억제하지 못했습니다.
관찰 기록 2개: 신호를 희석시켜 모델을 혼란스럽게 만들었습니다.
관찰 기록 4개: 모델의 주의력을 완전히 사로잡아, 잘못된 관찰 방향을 따르도록 강제했습니다.

더 흥미롭게도, 관찰의 내용이 중요했습니다. 만약 관찰 기록이 현재의 세계와 일치하지 않는 무작위 숫자라면 억제 효과가 약했습니다. 하지만 관찰 기록이 일관적이고 현재 세계의 특정 상관관계와 일치한다면 억제 효과가 가장 강력했습니다. 이는 모델이 문맥 속의 '이야기'에 귀를 기울이고, 가장 일관된 서사가 학습된 규칙을 압도하도록 내버려 두고 있음을 시사합니다.

규모 확장과 "양의 편향(Positive Bias)"

연구자는 모델이 커짐에 따라 이 문제가 개선되는지 아니면 악화되는지도 확인했습니다. 초기 2,500만 개의 파라미터보다 훨씬 큰 약 10억 개의 파라미터를 가진 모델을 테스트했습니다. 문제는 지속되었습니다: 혼합 문맥 모델은 여전히 약 32%의 확률로 인과 방향을 반대로 판단한 반면, 순수 개입 모델은 단 6%만이 반대로 판단했습니다.

마지막으로, 모델이 "원인은 항상 양(+)이다"라는 일반적인 규칙을 학습했는지 확인하기 위해 다른 데이터셋(CLadder)을 조사했습니다. 연구자들은 모델이 '양의 편향'을 학습했다는 것을 발견했습니다. 이는 사용된 모든 훈련 예시가 양의 효과를 가지고 있었기 때문입니다. 이를 해결하기 위해 양과 음의 예시를 모두 넣어 재학습시켰을 때, 모델은 훈련 세계 내부의 부호를 읽는 능력은 좋아졌지만, 혼란스러운 외부 데이터에 직면했을 때는 여전히 양(+)의 답을 내놓는 경เรียน을 보였습니다. 이는 모델이 확신이 없을 때 작동하는 '안전망'을 가지고 있으며, 그 안전망을 제거하기가 매우 어렵다는 것을 시사합니다.

결론

이 논문은 AI를 가르치는 것에 대해 중요한 교훈을 줍니다. 단순히 올바른 데이터를 먹이는 것만으로는 충분하지 않습니다. 모델은 기술을 배울 수 있지만, 모델이 작동하는 환경(문맥)이 오해를 불러일으키는 단서들로 가득 차 있다면, 모델은 배운 것을 무시하고 단서를 따라가 버립니다. 모델의 진정한 추론 능력을 켜는 스위치는 훈련 데이터에 있는 것이 아니라, 테스트하는 순간 우리가 제공하는 '문맥'에 있습니다. 최선의 결과를 얻으려면, 단순히 훈련 데이터가 알아서 해주기를 바랄 것이 아니라, 올-바른 종류의 증거를 강조할 수 있도록 문맥을 설계해야 합니다.

기술 요약: 언어 모델의 증거 유형 간 경쟁 (Evidence-Type Competition in Language Models)

문제 정의

본 논문은 사전 학습 시 중재(interventional) 데이터의 비율을 높이는 것이 언어 모델(LM)의 인과 추론 능력을 자동으로 향상시킨다는 기존의 가설(H1)에 이의를 제기한다. 중재 데이터는 인과적 방향성을 학습하는 데 있어 이론적으로 "골드 스탠다드(gold standard)"이지만(Pearl, 2009), 본 연구는 LLM이 관측적 상관관계(observational correlation)와 충돌하는 상황에서 이 데이터를 효과적으로 활용할 수 있는지 조사한다.

저자는 특히 심슨의 역설(Simpson's Paradox) 시나리오, 즉 변수 $X$ 와 $Y$ 사이의 관측적 상관관계는 음수( $Cor_{obs}(X, Y) < 0$ )이지만, 실제 인과 효과는 양수인( $eff(X \to Y) > 0$ ) "심슨 트랩 세상(Simpson-trap worlds)"에 주목한다. 핵심 질문은 중재 데이터와 관측 데이터를 혼합하여 학습된 LM이 올바른 인과 방향을 추론할 수 있는지, 아니면 추론 컨텍스트에 존재하는 관측적 상관관계를 기본값으로 채택하는지 여부이다.

방법론

본 연구는 자연어의 혼란 요인을 격리하기 위해 완전히 통제된 합성 환경을 사용한다.

합성 세상 생성기 (Synthetic World Generator): 저자는 숨겨진 혼란 변수( $Z$ )를 가진 파라미터 구조적 인과 모델(SCM)을 생성한다. 평가 대상 군은 $Cor_{obs}(X, Y)$ 와 $eff(X \to Y)$ 의 부호가 반대인 50개의 세상으로 구성된다.
학습 프로토콜: 25.7M 파라미터의 GPT 스타일 디코더를 관측(OBS) 데이터와 중재(INT/PROBE) 데이터의 혼합물로 학습시킨다. 중재 데이터의 비율 $\alpha$ $α$ 를 0.0에서 1.0까지 변화시키며 탐색한다.
- OBS: 관측 샘플 $(v_1, \dots, v_n) \sim P(V)$ .
- PROBE: 쿼리 노드 $X$ 에 대한 중재 기록 ( $do(X=v) \to$ 응답).
평가 지표:
- 적중 기준 (Hit Criterion): $do(X) $그리드에 대한 회귀 기울기가 0이 아니고($ |slope| > 0.05$) 부호가 올바른 경우를 "적중(hit)"으로 간vi한다.
- True Ratio: 모델이 예측한 기울기와 오라클(oracle) 기울기의 비율.
- 노이즈 바닥 제어 (Noise Floor Control): 완벽한 보간자(interpolator)조차 단일 샷 프로브 평가의 샘플링 노이즈로 인해 부호 오류(26%)를 범한다는 것을 정량화하였다. 저자는 증거 평균화( $n_{rep}=8$ )를 구현하여 이 바닥을 9%로 낮춤으로써, 관찰된 역전 현상이 통계적 아티팩트가 아닌 기계적 현상임을 보장한다.
추론 시 중재 (Inference-Time Interventions): 결여된 능력과 컨텍스트에 의한 억제(suppression)를 구분하기 위해, 학습 비용 없이 추론 시에 수행되는 중재(예: 관측 증거 삭제 또는 증거 유형의 '용량(dose)' 조작)를 수행한다.

주요 기여

H1의 반증 (크기-방향 이중성): 본 연구는 사전 학습에서 중의 데이터 비율( $\alpha$ )을 높이는 것이 인과 방향 정확도를 개선하지 못함을 보여준다. 대신, **크기-방향 이중성(magnitude–direction duality)**이 나타난다. 즉, 모델은 중재 데이터로부터 인과 효과의 크기를 학습하지만( $\alpha$ 에 따라 단조 증가), *부호(방향)*는 관측적 컨텍스트로부터 복사한다.
증거 유형 요인 (The Evidence-Type Factor): 인과 추론 성능의 주요 결정 요인은 학습 혼합 비율이 아니라 추론 컨텍스트에 존재하는 증거 유형이다.
- 순수 관측 컨텍스트: 50개 세상 중 29개에서 체계적인 부호 역전을 유도한다.
- 혼합 컨텍스트: 50개 세상 중 19개에서 역전을 유도한다.
- 순수 프로브 컨텍스트: 50개 세상 중 41개에서 올바른 방향을 도출한다 (역전은 측정 노이즈 바닥에서만 발생).
메커니즘 국소화 (Mechanism Localization): 인과 능력의 억제는 학습 결함이 아니라 추론 시 발생하는 현상이다.
- 컨텍스트에서 관측 증거를 삭제하면 모델의 억제된 보간 능력이 즉시 해방된다 (ratio true가 -0.09에서 +0.56으로 급증).
- 관측 증거를 제거하지 않은 채 프로브 용량을 두 배로 늘리는 것은 억제를 해제하는 데 실패한다.
- 활성화 패칭 (Activation Patching): 트랜스포머의 중간 레이어(레이어 2~3)에 있는 관측 기록 행(row)으로 "스위치"를 국소화한다.
강건성 및 스케일링: 억제 효과는 규모(0.93B 파라미터)에서도 지속되지만, 절대적인 중재 이득은 줄어든다. 이 현상은 학습 시드에 관계없이 안정적이지만, 더 큰 규모에서는 고정된 역전 세트가 아닌 확산된 비율 상승의 형태로 나타난다.
이중 레이어 사전 분포 발견: CLadder 벤치마크에 대한 외부 감사는 학습된 **양의 효과 사전 분포(positive-effect prior)**를 밝혀낸다.
- 레이어 1 (In-Distribution): 부호 무작위 재학습(sign-randomized retraining)으로 제거 가능한 양의 효과 편향.
- 레이어 2 (Out-of-Distribution): 부호 무작위화 후에도 남아있는 지속적인 "양의 기본값(positive default)"으로, 이는 증거 메커니즘이 작동하지 않을 때의 폴백(fallback) 메커니즘을 시사한다.

결과

학습 혼합물의 비효과성: 심슨의 역설 세상에서 $\alpha$ 를 0에서 1.0까지 변화시켜도 부호 정확도에 단조적인 개선이 나타나지 않는다 (정확도는 0.2에서 0.5 사이를 요동친다).
컨텍스트 용량 구배 (Contextual Dose Gradient): 4개 암(arm) 비교(Baseline: 순수 OBS; C1: OBS + Probes; C2: 순수 Probes)는 명확한 구배를 보여준다. 컨텍스트 내의 관측 증거가 감소함에 따라 평균 ratio true는 단조 증가한다 (-0.288 $\to$ -0.092 $\to$ +0.418).
콘텐츠 매개 스위치 (Content-Mediated Switch): 억제는 단계적이며 콘텐츠에 의해 매개된다. 관측 콘텐츠(형식 토큰은 유지하더라도)를 제거하면 억제가 해제되는 반면, 단순히 용량을 희석하는 것은 효과가 없다. 일관된 세상-매칭 관측 데이터가 가장 강력한 억제 효과를 발휘한다.
CLadder 감사: 중재 데이터로 학습된 모델은 CLadder에서 "한쪽 방향 읽기" 행동을 보이며, 음의 ATE 세상을 양의 기본값으로 붕괴시킨다. 이는 모델이 분포 외(OOD) 상태일 때 증거를 압도하는 강력한 양의 사전 분포가 존재함을 확인시켜 준다.

의의 및 주장

본 논문은 LLM의 인과적 역량에 대한 이해를 재정의하는 **동기 부여적 부정적 결과(motivating negative result)**를 제공한다고 주장한다. 저자는 다음과 같이 주장한다:

능력 vs 활성화: 인과적 보간을 수행하는 능력은 모델 가중치 내에 존재하지만(순수 프로브 컨텍스트의 성공으로 증명됨), 컨텍스트 내의 상충하는 관측 증거에 의해 꺼져 있는(switched off) 상태이다.
증거 생태계 (Evidence Ecology): 인과 추론의 병목은 사전 학습 시 중재 데이터의 부족이 아니라, 추론 시 컨텍스트의 증거 생태계이다. 관측적 사전 분포가 중재 신호를 지배하고 억제할 수 있다.
방법론적 엄밀성: 본 연구는 인과 평가에서 샘플링 노이즈 바닥을 제어하는 것의 필요성을 강조하며, 부호 정확도의 "어트랙터 캠프(attractor camps)"가 적절히 평균화되지 않을 경우 노이즈의 아티팩트가 될 수 있음을 보여준다.
실질적 시사점: 사전 학습 데이터 혼합물을 최적화하는 것만으로는 불충분하다. 효과적인 인과 추론을 위해서는 관측적 사전 분포가 학습된 인과 메커니즘을 압도하는 것을 방지하기 위한 컨텍스트 엔지니어링 또는 배포 시의 증거 유형 게이팅(evidence-type gating)이 필요하다.

저자는 특정 미시적 메커니즘(OOD 양의 기본값의 원인)은 아직 확인되지 않았으며, 현재의 결과가 자연어가 아닌 합성 및 교과서적 그래프 도메인에 국한되어 있다는 점을 언급하며 겸허한 태도를 유지한다.