Causality Elicitation from Large Language Models

Each language version is independently generated for its own context, not a direct translation.

이 논문은 **"거대 언어 모델 (LLM) 이 가진 '인과관계 추론 능력'을 어떻게 찾아내고 정리할 것인가?"**에 대한 연구입니다.

쉽게 말해, **"AI 가 세상을 어떻게 이해하고, 어떤 사건이 어떤 결과를 불러일으킨다고 믿고 있는지를 그림으로 그려내는 방법"**을 제안한 것입니다.

이 복잡한 내용을 일상적인 비유로 설명해 드릴게요.

🎬 비유: "AI 의 시나리오 작가단과 편집실"

이 연구는 마치 수백 명의 시나리오 작가 (AI) 가 같은 주제에 대해 이야기를 써내려가게 하고, 그 이야기들 속에 숨겨진 '원인과 결과'의 지도를 만드는 과정과 같습니다.

1. 문제 상황: "말은 비슷하지만, 이름은 천차만별"

AI 가 "미국과 일본의 무역"에 대해 100 편의 글을 쓴다고 가정해 봅시다.

A 작가는 **"관세 부과"**라고 썼고,
B 작가는 **"세금 장벽 강화"**라고 썼으며,
C 작가는 **"수입품에 대한 추가 비용"**이라고 썼습니다.

세 사람은 사실 **같은 일 (관세 인상)**을 말하고 있는데, AI 가 이를 그대로 받아들이면 "서로 다른 3 가지 사건"으로 착각하게 됩니다. 마치 같은 사람을 "김철수", "철수 씨", "김 씨"라고 부르면 3 명의 다른 사람으로 오인하는 것과 같습니다. 이렇게 되면 원인과 결과를 분석하는 지도를 그릴 때 엉망이 됩니다.

2. 해결책: "5 단계로 이루어진 정교한 편집실"

이 논문은 이 혼란을 정리하고 AI 의 생각을 그림으로 보여주는 5 단계 프로세스를 제안합니다.

1 단계: 이야기 수집 (Document Generation)
- AI 에게 "2026 년 트럼프 대통령의 정책이 일본 경제에 미치는 영향" 같은 주제를 던져주고, 100 편의 분석 글을 쓰게 합니다. (마치 100 명의 작가를 모아서 같은 주제로 에세이를 쓰게 하는 것)
2 단계: 사건 추출 (Event Extraction)
- 각 글에서 핵심 사건들 (예: "관세 부과", "반도체 수출 규제", "엔화 가치 하락" 등) 을 뽑아냅니다.
3 단계: 사건 정리 (Canonicalization) - 가장 중요한 단계
- 여기서는 **AI 의 '편집장'**이 나옵니다.
- "관세 부과", "세금 장벽", "수입 비용 증가"처럼 뜻이 비슷한 말들을 묶어서 "관세 강화"라는 하나의 표준 이름으로 통일시킵니다.
- 이를 위해 AI 는 단어의 의미를 파악하는 기술 (임베딩) 을 쓰고, 비슷한 것끼리 뭉쳐서 (클러스터링) 인간이 읽기 쉬운 이름으로 다시 짓습니다.
4 단계: 표 만들기 (Matrix Construction)
- 이제 100 편의 글을 30 개의 '표준 사건'으로 정리합니다.
- "A 글에는 '관세 강화'가 있었나요? (O), B 글에는 있었나요? (X)..." 하는 식으로 **체크리스트 (표)**를 만듭니다.
5 단계: 인과관계 지도 그리기 (Causal Discovery)
- 이제 이 표를 컴퓨터에게 주면, 컴퓨터는 "어떤 사건이 자주 함께 나타나는지"를 분석합니다.
- "관세 강화가 있으면, 보통 '일본의 미국 투자 증가'가 따라오는구나"라고 추론하여 **화살표가 있는 지도 (그래프)**를 그려냅니다.

🗺️ 이 연구가 보여주는 결과 (실제 사례)

논문의 저자들은 이 방법으로 두 가지 실험을 했습니다.

트럼프 정책과 일본 경제:
- AI 는 "미국이 기술 규제를 강화하면 → 일본 기업들이 미국에 공장을 짓고 투자를 늘린다"는 인과 관계를 찾아냈습니다.
- 또한 "무역 전쟁이 심해지면 → 일본이 미국에 방위비를 더 내거나 정치적 양보를 한다"는 연결고리도 발견했습니다.
AI 투자와 금 가격:
- AI 는 "미국이 AI 에 돈을 많이 쓰면 → 경제가 좋아져 금리가 오르고, 동시에 중국과의 기술 전쟁이 심해져 → 사람들이 안전자산인 '금'을 사게 된다"는 두 가지 경로를 발견했습니다.

⚠️ 중요한 점: "진실"이 아니라 "가설"입니다

이 논문에서 가장 강조하는 부분은 **"이 지도가 현실의 진실은 아니다"**라는 점입니다.

이 지도는 현실 세계의 물리 법칙을 보여주는 것이 아니라, **"AI 가 학습한 데이터 속에서 어떻게 인과관계를 추론하고 있는가"**를 보여주는 가설 지도입니다.
마치 수백 명의 전문가가 모여 "만약 A 라면 B 가 될 것이다"라고 토론한 내용을 정리한 것과 같습니다.
따라서 이 결과는 AI 의 생각 구조를 파악하거나, 새로운 가설을 세울 때 참고하는 체크리스트로 사용해야 합니다.

💡 요약

이 연구는 **"AI 가 쓴 수많은 글 속에서, 비슷한 말들을 하나로 묶고 (정리), 어떤 사건이 다른 사건을 부르는지 (인과관계) 그림으로 그려내는 방법"**을 개발했습니다.

이는 AI 의 '머릿속'에 있는 인과관계 논리를 인간이 이해하고 검토할 수 있도록 **가시화 (Visualize)**해 주는 도구라고 볼 수 있습니다.

Each language version is independently generated for its own context, not a direct translation.

1. 문제 정의 (Problem Definition)

대형 언어 모델 (LLM) 은 방대한 데이터로 학습되어 방대한 지식을 내재화하고 있으나, LLM 이 생성한 텍스트나 기존 문서에서 인과 관계 (Causal Relationships) 를 체계적으로 추출하고 가설을 수립하는 데는 몇 가지 어려움이 존재합니다.

사건 표현의 다양성 (Variation in Event Expressions): 동일한 본질적 사건 (예: "관세 강화") 이 문서마다 다른 표현 ("2026 년부터 주요 교역국에 관세 재도입", "보호무역주의 심화" 등) 으로 나타납니다. 이를 그대로 변수로 사용하면 '변수 동일성 (Variable Identity)' 문제가 발생하여 인과 발견 (Causal Discovery) 의 안정성과 해석 가능성을 해칩니다.
인과성 검증의 부재: LLM 이 생성한 인과 그래프는 실제 세계의 인과성을 보장하지 않습니다. 따라서 이를 검증된 모델이 아닌, LLM 이 가질 수 있는 합리적인 인과 가설의 집합 (Hypothesis Map) 으로 접근할 필요가 있습니다.
체계적인 파이프라인 부재: 문서 생성, 사건 추출, 정규화, 인과 구조 추론을 연결하는 통합된 프레임워크가 부족했습니다.

2. 방법론 (Methodology)

저자들은 LLM 이 생성한 문서나 기존 문서에서 인과 가설을 도출하기 위해 5 단계 파이프라인을 제안합니다.

단계 (i): 주제 기반 문서 생성 (Document Generation)

관심 주제 (Topic) 를 입력으로 받아 LLM 에게 분석가 역할을 부여하여 구체적인 사건과 메커니즘을 기반으로 한 상세한 분석 문서 $N$ 개를 생성합니다.
예시 프롬프트: "2026 년 이후 트럼프 대통령의 정책이 일본 경제에 미치는 영향 분석" 등.

단계 (ii): 사건 추출 (Event Extraction)

각 문서에서 의미 있는 사건 (정책 결정, 시장 변동, 리스크 인식 등) 을 추출하여 리스트로 만듭니다.
LLM 의 출력 형식 (JSON, 리스트, 불릿 등) 이 다양하므로, JSON 파싱, 파이썬 리터럴 파싱, 줄바꿈/쉼표 분할 등을 순차적으로 시도하여 일관된 리스트 형태로 정규화합니다.

단계 (iii): 사건 정규화 (Event Canonicalization) - 핵심 기여

임베딩 기반 클러스터링: 추출된 모든 사건 문구를 임베딩 모델 (예: text-embedding-3-large) 로 변환하고, $K_{max}$ (예: 30) 개 이하의 클러스터로 MiniBatchKMeans 를 적용합니다.
LLM 기반 명명: 각 클러스터의 대표 예시들을 LLM 에게 입력하여 인간이 읽을 수 있는 단일 '정규화된 사건 이름 (Canonical Label)'을 생성합니다 (예: "관세 강화").
매핑: 원본 사건 문구를 정규화된 레이블로 매핑하여 변수의 중복성을 제거하고 일관된 변수 집합을 구축합니다.

단계 (iv): 문서 - 사건 이진 행렬 구성 (Matrix Construction)

정규화된 사건을 기반으로 문서 - 사건 이진 행렬 (Binary Incidence Matrix) $Z$ 를 생성합니다.
$Z_{i,c} = 1$ 은 문서 $i$ 가 정규화된 사건 $c$ 를 포함함을 의미하며, 원본의 다양한 표현은 논리 OR 연산을 통해 하나의 열로 병합됩니다.

단계 (v): 인과 발견 (Causal Discovery)

생성된 이진 행렬 $Z$ $Z$ 에 대해 다양한 인과 발견 알고리즘을 적용하여 후보 인과 그래프를 추정합니다.
- PC (Constraint-based): 조건부 독립성 검사를 기반으로 그래프 추정.
- GES (Score-based): 점수 최적화를 통해 방향성 그래프 탐색.
- LiNGAM (Functional model): ICA-LiNGAM 등을 통해 인과 순서와 인접 행렬 추정.
결과 그래프는 가시화되어 전문가 검토를 위한 '가설 지도'로 활용됩니다.

3. 주요 기여 (Key Contributions)

LLM 기반 인과성 도출 파이프라인 제안: 문서 생성, 사건 추출, 사건 정규화 (Canonicalization), 행렬 구성, 인과 발견을 연결하는 통합 프레임워크를 최초로 체계화했습니다.
변수 동일성 문제 해결: 임베딩 클러스터링과 LLM 기반 명명을 결합하여, 표면적 표현의 차이를 극복하고 안정적인 변수 집합을 구축하는 방법을 제시했습니다. 이는 기존 NLP 작업 (이벤트 코어퍼런스, 엔티티 해결) 을 인과 발견 파이프라인의 전처리 모듈로 성공적으로 통합한 사례입니다.
검토 가능한 가설 지도 (Inspectable Hypothesis Map): 실제 인과성을 증명하는 것이 아니라, LLM 이 내재하고 있는 인과적 가설의 공간을 시각화하여 도메인 전문가가 검증, 반박, 정제할 수 있는 객체를 제공합니다.

4. 실험 결과 (Empirical Analysis)

두 가지 사례 연구를 통해 방법론의 유효성을 입증했습니다.

사례 1: 트럼프 대통령의 정책이 일본 경제에 미치는 영향 (2026 년 이후)
- 100 개의 분석 문서와 30 개의 정규화된 사건을 사용.
- PC 알고리즘 결과: 세 가지 주요 메커니즘이 도출됨.
  1. 기술 제한 $\rightarrow$ 조달 현지화 $\rightarrow$ 일본 기업의 미국 FDI 증가.
  2. 무역 규칙 강화 및 조달 국수주의가 상호 강화되는 압력 묶음.
  3. 일본의 대응 (방위 지원, 관세 조정) 및 정책 모니터링.
- LLM 이 생성한 시나리오가 기존 경제 문헌의 논리와 유사한 인과 경로를 포착함을 확인.
사례 2: 미국의 AI 투자가 금 가격에 미치는 영향
- 100 개의 문서와 20 개의 정규화된 사건 사용.
- PC 알고리즘 결과: 두 가지 채널이 금 수요 허브로 수렴함.
  1. 거시 금융 채널: AI 투자 $\rightarrow$ 성장/금리 변화 $\rightarrow$ 금 가격 변동.
  2. 지정학적/기술 경쟁 채널: 수출 통제 및 대만 해협 긴장 $\rightarrow$ 중앙은행 금 매수 증가.
- 복잡한 거시 - 지정학적 인과 관계를 명확한 구조로 분리하여 제시.

5. 의의 및 한계 (Significance & Limitations)

의의:

해석 가능성: LLM 의 블랙박스 성격을 탈피하여, 구체적인 사건 변수와 인과 경로를 명시적으로 제시함으로써 도메인 전문가의 검토를 가능하게 합니다.
가설 생성 도구: 새로운 연구 주제에 대한 가설 수립이나 문서 기반 인과 요약에 활용될 수 있습니다.
확장성: 생성된 문서뿐만 아니라 기존 문서 코퍼스에도 적용 가능합니다.

한계 및 향후 과제:

정규화의 모호성: 시간 수식어나 메타데이터를 어떻게 처리할지 (동일 사건으로 볼지) 는 분석가에 따라 달라질 수 있으며, 이는 오합병 (False Merge) 또는 미합병 (Missed Merge) 으로 이어질 수 있습니다.
데이터 특성: 이진 행렬 (Binary Matrix) 에 기반하여 연속형 데이터를 가정하는 기존 인과 발견 알고리즘 (PC, LiNGAM 등) 의 적용에는 한계가 있을 수 있음.
인과성 검증 부재: 생성된 그래프는 '실제 인과성'이 아닌 'LLM 의 가설'이므로, 외부 데이터나 전문가 판단을 통한 검증이 필수적입니다.
시간적 순서: 문서 내 사건 순서가 행렬 구성 시 손실될 수 있어, 시간적 선후 관계를 반영하기 위한 제약 조건 추가가 필요함.

결론

이 논문은 LLM 이 내재한 지식을 구조화된 인과 가설로 변환하는 새로운 패러다임을 제시합니다. 특히 사건 정규화 (Canonicalization) 를 인과 발견의 핵심 전처리 단계로 도입함으로써, 자연어 처리와 인과 추론의 교차점에서 실용적인 도구를 개발했다는 점에서 중요한 학술적, 실용적 가치를 지닙니다.