기술 요약: 비정형 데이터를 활용한 생성형 AI 기반 동적 인과 추론

문제 제기

비정형 데이터 (텍스트, 이미지, 비디오) 로부터 인과 효과를 추정하는 기존 방법들은 일반적으로 이러한 객체를 단일하고 정적인 관측치로 취급합니다. 이러한 접근법은 텍스트의 경우 문장별, 비디오의 경우 프레임별로 특징이 시간에 따라 전개되는 이러한 데이터의 본질적인 순차적 특성을 간과합니다. 동적 환경에서는 후속 특징의 출현이 종종 이전 특징에 의존하여 복잡한 교란 구조를 생성합니다. 교란 특징이 고차원적이고 알려지지 않았으며 시간에 따라 진화하기 때문에 표준 조정 방법은 여기서 실패합니다. 또한, 전통적인 인과 추론 프레임워크는 고차원 동적 환경에서 '양성성 (positivity)' 가정에 어려움을 겪습니다. 여기서 이전 시퀀스가 후속 치료 할당을 거의 결정하여 결정론적 개입이 불가능해지기 때문입니다.

방법론

저자들은 비정형 데이터에서 동적 개입을 처리하기 위해 생성형 인공지능 (GenAI) 을 활용하는 동적 생성형 AI 기반 추론 (GPI) 프레임워크를 제안합니다. 방법론은 네 가지 주요 구성 요소로 이루어집니다:

1. 개념적 프레임워크 및 가정

• 순차적 구조: 비정형 데이터 $X_i$는 순서대로 배열된 세그먼트 $X_{i1}, \dots, X_{iS_i}$의 시퀀스로 모델링됩니다.
• 치료 및 교란 변수: 각 세그먼트에 대해 결정론적 함수가 원시 데이터를 이진 치료 특징 $W_{is}$와 관측되지 않은 교란 특징의 저차원 벡터 $U_{is}$로 매핑합니다.
• 순차적 분리 가능성: 특정 세그먼트의 교란 특징은 해당 세그먼트의 치료 특징의 함수가 아니라는 핵심 가정입니다. 다만, 치료 특징은 교란 변수에 의존할 수 있습니다.
• 심층 생성 모델: 이 프레임워크는 대규모 언어 모델 (LLM) 과 같은 심층 생성 모델의 내부 표현 ($R_{is}$) 을 활용합니다. 출력 세그먼트가 모델의 은닉 상태의 결정론적 함수인 '분해된 결정론적 디코딩 (Factorized Deterministic Decoding)'을 가정합니다. 이를 통해 관측되지 않은 교란 변수를 이러한 내부 잠재 상태의 함수로 표현할 수 있습니다.

2. 확률적 개입을 통한 식별

동적 환경에서 흔히 발생하는 양성성 가정 위반 문제를 해결하기 위해, 저자들은 동적 확률적 개입 (dynamic stochastic intervention) 프레임워크 (Kennedy, 2019 에 기반) 를 채택합니다.

• 결정론적 치료를 강제하는 대신, 개입은 각 단계 $s$에서 치료 할당 확률을 점진적 매개변수 $\delta_s$만큼 수정합니다.
• 목표 추정량 $\Psi(\delta)$는 이 확률적 개입 하에서의 평균 잠재 결과이며, 여기서 치료 확률은 관측된 데이터 생성 과정과 관련하여 이동됩니다.
• 비모수적 식별: 저자들은 '교란 제거자 (deconfounder)' (내부 표현 $R_{is}$의 저차원 요약) 를 조정함으로써 인과량을 비모수적으로 식별할 수 있음을 증명합니다. 중요한 점은 교란 제거자가 실제 교란 변수를 정확히 복원할 필요는 없으며, 결과에 대해 평균 독립 조건을 만족하기만 하면 된다는 것입니다.

3. 추정 전략

추정 절차는 신경망과 반모수적 추론을 결합합니다:

• 신경망 아키텍처: 공유 신경망 아키텍처가 다음을 동시에 학습하도록 훈련됩니다:
  1. 내부 표현을 저차원 공간으로 매핑하는 교란 제거자 함수 $f(R_{is}, s)$.
  2. 치료 이력과 교란 제거자를 기반으로 결과를 예측하는 결과 회귀 모델 $\mu$.
• 반모수적 추론: 유효한 추론을 보장하기 위해 저자들은 목표 매개변수에 대한 **영향 함수 (influence function)**를 유도합니다. 이 함수는 교란 변수 (교란 제거자, 성향 점수, 결과 모델) 의 추정 오차를 고려합니다.
• 크로스 피팅: 교란 함수와 목표 매개변수를 추정하기 위해 $K$-폴드 크로스 피팅 절차가 사용되며, 유연한 머신러닝 모델을 사용할 때에도 점근적 정규성과 유효한 신뢰구간을 보장합니다.

4. 이론적 보장

정규성 조건 (교란 함수의 유계 중첩 및 리프시츠 연속성 포함) 하에서 제안된 추정기는 다음과 같음을 논문은 입증합니다:

• 일관성: 실제 인과 효과로 수렴합니다.
• 점근적 정규성: 추정기는 가우스 분포를 따르므로 유효한 신뢰구간을 구성할 수 있습니다.
• 수렴 속도: 교란 함수 (교란 제거자, 성향 점수 등) 는 $N^{-1/4}$ 속도로 추정되어야 하며, 이는 표준 심층 신경망으로 달성 가능합니다.

주요 결과

시뮬레이션 연구

저자들은 동기를 부여한 예시 (홍콩 시위) 를 기반으로 수치 시뮬레이션을 수행하여 유한 표본 성능을 평가했습니다.

• 정확도: 제안된 추정기는 다양한 표본 크기 ($N \in \{2000, \dots, 5000\}$) 및 개입 매개변수 ($\delta$) 에 걸쳐 목표 인과 효과를 정확하게 복원했습니다.
• 커버리지: 95% 신뢰구간은 대부분의 시나리오에서 명목 수준 (0.95) 에 가까운 커버리지를 달성했습니다. 저자들은 시뮬레이션 설계에 필요한 조건인 리프시츠 연속성이 아닌 데이터 생성 과정의 경우 일부에서 약간의 커버리지 부족이 있음을 지적했습니다.

실증 적용

이 방법은 Fong 와 Grimmer(2023) 의 미국인의 홍콩 시위 지지와 관련된 무작위 실험에 적용되었습니다.

• 설정: 텍스트 비니엣은 여러 논증 요소로 구성되었습니다. 관심 치료 (홍콩에 대한 미국의 약속) 는 텍스트 내 다양한 위치에 나타났습니다.
• 발견: 연구는 치료 특징의 인과 효과가 위치에 따라 이질적임을 드러냈습니다. 첫 번째 문장에 적용된 개입은 평균 반사적 응답을 유의하게 변화시켰지만, 동일한 특징이 두 번째 문장에 나타났을 때 효과는 현저히 감소했습니다.
• 검증: 이 결과는 순서 효과에 대한 기존 설문 조사 연구 (예: Krosnick and Alwin, 1987) 와 일치하지만, 전통적인 정적 방법으로는 놓칠 수 있는 비정형 데이터 내의 이러한 동적 특성을 제안된 방법이 포착할 수 있음을 보여줍니다.

중요성 및 주장

이 논문은 문헌에 세 가지 주요 기여를 한다고 주장합니다:

1. 비정형 데이터를 위한 동적 인과 추론: GPI 프레임워크 (Imai and Nakamura, 2024, 2025) 를 정적 환경에서 동적 환경으로 확장하여, 연구자들이 치료 특징의 시퀀스 및 텍스트나 비디오 내 특정 위치의 인과 효과를 추정할 수 있게 합니다.
2. GenAI 와 인과 추론의 통합: 고차원적이고 진화하는 교란 구조에 대해 수동적인 특징 공학 없이 생성형 AI 모델의 내부 표현을 유효한 교란 제거자로 사용할 수 있음을 보여줍니다.
3. 방법론적 엄밀성: 일관성과 점근적 정규성에 대한 공식적 증명과 함께 반모수적 추정 프레임워크를 제공하여, 확률적 환경 하의 동적 개입에 대한 유효한 신뢰구간을 제공합니다.

저자들은 현재 적용이 텍스트에 초점을 맞추고 있지만, 방법론은 비디오 및 오디오와 같은 다른 모달리티로 확장 가능하며 순차적 결과가 있는 환경에서도 더 발전될 수 있다고 결론지었습니다. 이 연구는 비정형 데이터의 순차적 구조를 무시하면 오해의 소지가 있는 인과 결론으로 이어질 수 있으며, 특징의 타이밍과 배치를 고려하는 것이 정확한 추론에 중요함을 강조합니다.