기술적 요약: EconCausal

문제 제기

사회경제적 인과 효과는 본질적으로 맥락에 의존적입니다. 동일한 개입이라도 규제 체계, 시장 조건, 시점, 또는 인구 특성에 따라 상이하거나 심지어 정반대의 결과를 낳을 수 있습니다. 대규모 언어 모델 (LLM) 은 일반적 추론에서 가능성을 보여주었으나, 경제 의사결정 지원에 적용되는 데는 결정적인 격차가 존재합니다. 즉, 특정 고차원 맥락 하에서 인과 방향을 신뢰성 있게 추론하고, 맥락이 변화할 때 그러한 판단을 수정할 수 없다는 점입니다. 기존 벤치마크는 이 문제를 해결하지 못하는데, 그 이유는 일반적으로 맥락이 약한 보편적 관계에 초점을 맞추거나, 해석에 필요한 제도적 및 경험적 맥락을 생략하거나, 맥락 변화 하에서의 견고성을 거의 테스트하지 않기 때문입니다. 결과적으로 현재 모델들은 사회경제적 환경에서 피상적이거나 오해의 소지가 있는 인과 판단을 내릴 위험이 있습니다.

방법론

데이터셋 구축: EconCausal

저자들은 EconCausal을 소개합니다. 이는 최상위 경제학 및 금융 저널 (예: American Economic Review, Journal of Finance) 에 게재된 2,595 건의 고품질 경험적 연구에서 파생된 10,490 개의 맥락 주석 인과 삼중항으로 구성된 대규모 벤치마크입니다. 데이터셋 구축은 엄격한 4 단계 파이프라인을 따릅니다:

1. 다중 실행 합의를 통한 삼중항 추출: GPT-5 mini 를 사용하여 시스템이 논문에서 치료 - 결과 쌍을 3 회 독립적으로 추출합니다. 적어도 2 회 이상 나타난 쌍은 유지됩니다. 경미한 문구 변이는 텍스트 임베딩의 코사인 유사도 (임계값 $\ge$ 0.8) 를 통해 병합됩니다. 부호 ($+, -, \text{None}, \text{Mixed}$) 는 다수결로 할당되며, 추적 가능성을 위해 지지 증거 단락이 저장됩니다.
2. 메타데이터 및 전역 맥락: 논문 수준의 메타데이터 (경험적 대 이론적), 전역 맥락 요약 (시간, 장소, 분석 단위), 그리고 식별 방법 (예: DiD, IV, RCT) 이 기본값으로 제공되도록 추출됩니다.
3. 삼중항별 정제: 경험적 논문의 경우, 시스템이 전역 맥락이 특정 삼중항에 적용되는지 확인합니다. 삼중항이 더 구체적인 맥락이나 식별 방법을 요구하면 최소한의 편집이 적용되고, 그렇지 않으면 전역 기본값이 유지됩니다.
4. 다중 비평가 평가 및 필터링: 세 명의 독립적인 LLM 비평가 (Gemini, Grok, Qwen) 가 0~3 점 척도를 사용하여 각 삼중항을 6 가지 차원 (변수 추출, 방향, 부호, 인과성, 주요 주장, 맥락 적절성) 에 대해 점수화합니다. 보수적 임계값 (기준당 평균 점수 $\ge$ 2.0 및 총합 $\ge$ 15) 을 충족하지 못하는 삼중항은 필터링되어 후보의 27.3% 가 제거됩니다.

이 데이터셋은 세 명의 경제학 교수에 의해 검증되었으며, 유지된 삼중항의 86.6% 가 승인되어 필터링 규칙의 보수성을 확인했습니다.

벤치마크 작업

EconCausal 은 점진적으로 복잡해지는 세 가지 작업을 통해 LLM 을 평가합니다:

• 작업 1 (인과 부호 식별): 특정 맥락 $c$와 치료 - 결과 쌍 $(T, O)$가 주어졌을 때 인과 부호를 예측합니다. 이는 모델이 확립된 경제 인과성을 내재화했는지 테스트합니다.
• 작업 2 (맥락 의존적 부호 예측): 맥락 $c_1$에서 $(T, O)$에 대한 알려진 부호가 주어졌을 때, 다른 맥락 $c_2$에서의 부호를 예측합니다. 이는 인과 부호가 맥락에 따라 변한다는 것을 인식하는 능력을 테스트합니다.
• 작업 3 (오정보 견고성 부호 예측): 작업 2 와 유사하지만, $c_1$에 대한 제공된 예시에 고의적으로 잘못된 부호가 포함되어 있습니다. 이는 오해의 소지가 있는 증거에 대한 견고성을 테스트합니다.

주요 결과

성능 개요

다양한 독점 (Gemini, GPT, Grok) 및 오픈소스 (Llama, Qwen) 모델에 걸친 실험은 고정된 맥락 추론과 맥락 의존적 전이 사이에 상당한 성능 격차를 드러냅니다:

• 고정 맥락 (작업 1): 최상위 모델은 높은 정확도 (Gemini 3 Flash 의 경우 약 88%) 를 달성하여 명시적 설정에서 인과 사실에 대한 강력한 내재화를 나타냅니다.
• 맥락 변화 (작업 2): 모델이 맥락 간에 판단을 수정해야 할 때 정확도가 크게 떨어집니다. 폐쇄형 소스 모델의 경우 "부호 불일치"사례 (출처와 대상 맥락이 반대 부호를 암시하는 경우) 에서 전체 정확도가 73.9% 에서 41.3% 로 하락합니다.
• 오정보 견고성 (작업 3): 오해의 소지가 있는 증거가 도입되면 성능이 더욱 저하되어, 폐쇄형 소스와 오픈소스 평균이 각각 49.3% 와 44.3% 로 떨어집니다.

체계적 실패

• 출처 부호의 과도한 전이: 작업 2 에서 모델은 대상 맥락과 모순되더라도 출처 예시에서 부호를 "과도하게 전이"하는 강한 편향을 보입니다. 부호가 명시된 출처 예시를 추가하면 올바른 예측이 15.08% 포인트 감소하는 반면, 출처 부호와 일치하는 예측은 21.95% 포인트 증가했습니다.
• 방향성 부호에 대한 편향: 모델들은 이진 부호 ($+$ 또는 $-$) 에 체계적으로 과도하게 몰입하여 null($\text{None}$) 이나 이질적 ($\text{Mixed}$) 효과를 식별하는 데 어려움을 겪습니다. $\text{None}$사례의 정확도는 13.8% 이고 $\text{Mixed}$사례는 22.8% 인 반면, 양 (+) 과 음 (-) 부호의 경우 각각 74.8% 와 61.1% 입니다.
• 부족한 보정: 모델들은 "과도한 몰입"을 보이며, 특히 $\text{None}$과 $\text{Mixed}$범주에 대해 잘못된 예측에 높은 확신을 부여합니다. 기대 보정 오차 (ECE) 는 이러한 모호한 범주에서 심각합니다 (예: 금융 분야 $\text{None}$의 경우 0.839). 모델들은 맥락 정보가 완전히 제거되었을 때도 거의 "알 수 없음"을 선택하지 않습니다.

중요성과 주장

본 논문은 EconCausal이 LLM 이 제도적 및 환경적 제약을 경제 판단에 어떻게 통합하는지 평가하기 위한 엄격한 기반을 제공한다고 주장합니다. 저자들은 현재 시스템이 "타당성"과 "이식성"을 혼동하기 때문에 고위험 경제 또는 정책 민감 분석에 아직 견고하지 못하다고 주장합니다. 모델들은 타당한 인과 부호를 생성할 수는 있지만, 해당 부호가 특정 대상 맥락에 적용되는지 판단하지 못하며, 종종 더 이상 유효하지 않은 출처 맥락에서 경험적으로 유효한 부호에 고정됩니다.

이 벤치마크는 사회경제적 추론이 패턴 인식을 넘어선 것을 요구함을 강조합니다. 즉, 고차원적이고 부분적으로 관찰되며 잠재적으로 내생적인 맥락에 판단을 조건화할 능력을 요구합니다. 저자들은 EconCausal 을 인과 부호가 타당한지뿐만 아니라 현재 맥락으로 전이되는지도 판단할 수 있는 시스템을 개발하기 위한 필수 단계로 위치시킵니다.

한계

저자들은 다음과 같은 몇 가지 한계를 인정합니다:

• 추출 의존성: 파이프라인은 추출 및 필터링을 위해 LLM 에 의존하며, 다중 실행 합의와 전문가 검증을 거쳤음에도 불구하고 체계적 편향을 도입하거나 미묘한 식별 세부 사항을 누락할 수 있습니다.
• 말뭉치 편향: 데이터셋은 최상위 영어 저널에서 추출되어 영향력 있는 연구를 과대표할 수 있으며 다른 사회경제적 주장은 과소대표할 수 있습니다.
• 레이블 세분화: 방향성 레이블 공간 ($+, -, \text{None}, \text{Mixed}$) 은 복잡한 경험적 발견을 압축하여 효과 크기, 크기, 신뢰 구간을 생략합니다.
• 맥락 범위: 맥락은 특정 경험적 설정에 묶여 있어 시장 구조나 집행 환경과 같은 주석되지 않은 특징에 대한 외부 타당성을 직접 평가하는 데 제한이 있습니다.
• 행동 범위: 평가는 행동적이며 내부 모델 표현이나 주의 메커니즘을 탐구하지 않습니다.