Estimating Causal Effects of Text Interventions Leveraging LLMs

이 논문은 대규모 언어 모델 (LLM) 을 활용한 텍스트 변환과 도메인 적응 능력을 갖춘 분류기를 결합한 'CausalDANN'이라는 새로운 접근법을 제안하여, 관찰 데이터만으로도 복잡한 텍스트 개입의 인과적 효과를 견고하게 추정할 수 있도록 합니다.

핵심

이 논문은 **"소셜 미디어의 글이 사람들의 반응에 미치는 진짜 영향을 어떻게 알 수 있을까?"**라는 질문에 답하기 위해 쓴 연구입니다.

쉽게 말해, "화가 난 글이 더 많은 관심을 받을까?" 혹은 **"긍정적인 리뷰가 실제로 판매를 늘릴까?"**를 증명하고 싶은데, 현실에서 실험을 하기 어렵기 때문에 인공지능 (LLM) 을 이용해 해결책을 찾은 이야기입니다.

이 복잡한 내용을 일상적인 비유로 설명해 드릴게요.

---

🕵️‍♂️ 1. 문제: "만약에"를 증명하는 것은 왜 어려울까?

우리가 "화가 난 글이 더 많은 조회수를 받는다"고 생각한다고 칩시다. 하지만 현실에서는 다음과 같은 문제가 생깁니다.

• 실험 불가: 화가 난 글과 평범한 글로 똑같은 사람을 두 그룹으로 나누어 실험할 수 없습니다. (누군가에게 "너 지금 화내봐"라고 강요할 수 없죠.)
• 관찰 데이터의 함정: 이미 올라온 글들을 보면, 화난 글이 조회수가 높을 수도 있습니다. 하지만 그게 글 때문일까요? 아니면 그 글이 쓴 사람이 유명해서일까요? 아니면 글의 주제가 흥미로워서일까요? 이 모든 '혼란스러운 요인들'을 가려내는 게 매우 어렵습니다.

기존의 통계 방법들은 숫자나 간단한 '예/아니오' 같은 데이터에는 잘 작동하지만, 수천 단어로 이루어진 복잡한 텍스트에는 힘을 못 씁니다.

🎭 2. 해결책: AI 가 연기하는 "평행우주" (CAUSALDANN)

저자들은 CAUSALDANN이라는 새로운 방법을 제안합니다. 이 방법은 마치 연극을 하는 것과 비슷합니다.

1 단계: AI 가 글을 변신시킨다 (LLM Transformation)

우리가 가진 '평범한 글'을 AI(대형 언어 모델) 에게 보여줍니다. 그리고 "이 글의 내용은 그대로 두되, 분위기만 화나게 바꿔줘"라고 주문합니다.

• 원본: "이 제품은 좀 느리네요." (평온한 글)
• AI 변신: "이 제품 정말 끔찍하게 느리다! 짜증 난다!" (화난 글)

이제 우리는 '평온한 그룹'과 '화난 그룹' 두 가지 글을 갖게 됩니다. 하지만 여기서 문제는, 화난 글이 실제로 사람들의 반응을 어떻게 바꿀지 그 결과는 아직 아무도 모른다는 점입니다. (현실에서는 그 화난 글을 아직 올리지 않았으니까요.)

2 단계: AI 가 결과를 예측한다 (Domain Adaptation)

이제부터가 이 연구의 핵심인 CAUSALDANN의 마법입니다.

• 상황: 우리는 '평온한 글'에 대한 반응 (데이터) 은 알고 있습니다. 하지만 '화난 글'에 대한 반응은 알 수 없습니다.
• 문제: AI 가 '평온한 글'을 학습해서 '화난 글'의 반응을 예측하려 하면, 두 글의 스타일이 달라서 (도메인 차이) 예측이 빗나갈 수 있습니다. 마치 한국 음식을 잘 만드는 셰프가 갑자기 이탈리아 요리를 하라고 하면 맛이 달라지는 것과 비슷하죠.
• 해결 (CAUSALDANN): 이 연구는 AI 에게 "두 가지 스타일의 글을 구분하지 말고, 글의 '핵심 의미'만 기억하게" 훈련시킵니다.
  • AI 는 "아, 이 글은 화난 버전이고 저 글은 평온한 버전이지만, 둘 다 같은 '제품 불만'이라는 공통점이 있구나!"라고 배우게 됩니다.
  • 이렇게 하면 AI 는 평온한 글에서 배운 지식을 화난 글에도 똑같이 적용해서, **"만약 이 글이 화난 버전이었다면, 사람들은 이렇게 반응했을 거야"**라고 아주 정확하게 예측할 수 있게 됩니다.

🏆 3. 결과: 왜 이 방법이 좋은가?

저자들은 아마존 리뷰와 Reddit(레딧) 의 '나야 아니야 (AITA)' 게시글 데이터를 이용해 실험했습니다.

• 기존 방법들 (IPW, DR 등): 숫자만 쫓다가 "화난 글은 100% 화난 글이다"라고 너무 확신해서, 오히려 예측이 엉망이 되는 경우가 많았습니다. (너무 극단적인 가중치를 줌)
• CAUSALDANN: 글의 스타일 변화에도 흔들리지 않고, 가장 정확한 예측을 했습니다. 마치 변덕스러운 날씨에도 불구하고 옷차림을 잘 맞춰주는 똑똑한 비서 같은 역할을 한 셈입니다.

💡 4. 핵심 요약 (한 줄 정리)

"현실에서 실험할 수 없는 '만약에'를, AI 가 글을 변신시키고 그 결과를 똑똑하게 예측함으로써 찾아냈다."

🌟 이 연구가 중요한 이유

이 방법은 우리가 소셜 미디어에서 **"어떤 글이 사람들의 감정을 자극하는지", "어떤 표현이 더 많은 반응을 얻는지"**를 과학적으로 증명할 수 있는 길을 열어줍니다. 앞으로 정책 입안자나 기업들이 더 나은 소통 전략을 세우는 데 큰 도움이 될 것입니다.

---

한 마디로 비유하자면:
이 연구는 **"화난 척 연기하는 AI 배우"**를 만들어서, 그 배우의 연기가 관객 (사람들) 에게 어떤 반응을 불러일으킬지, 실제 배우가 무대에 오르기 전에 미리 시뮬레이션으로 알아내는 기술을 개발한 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 소셜 미디어와 같은 사회 시스템에서 텍스트 개입 (예: 게시글의 분노 감정을 줄여 참여도에 미치는 영향 분석) 의 인과적 효과를 정량화하는 것은 중요합니다. 그러나 실제 개입 실험은 비현실적이므로 관찰 데이터에 의존해야 합니다.
• 핵심 문제:
  1. 잠재적 처리 변수 (Latent Treatment): 텍스트 내의 감정 (분노, 긍정 등) 은 직접 관찰되지 않고 텍스트에 내재되어 있어 추론해야 하므로, 기존 이진/이산적 처리 변수를 가정하는 전통적 인과 추론 방법으로는 처리하기 어렵습니다.
  2. 고차원 텍스트 데이터: 텍스트는 고차원 데이터이므로 혼란 변수 (confounders) 를 식별하고 보정하는 것이 매우 복잡합니다.
  3. 개입 그룹의 부재: 실제 개입 데이터가 없으므로, 관찰된 데이터 (통제군) 만으로 개입된 데이터 (처리군) 의 결과 (Outcome) 를 예측해야 하는 도메인 시프트 (Domain Shift) 문제가 발생합니다.
  4. 기존 방법의 한계: 기존 텍스트 기반 인과 추론 방법은 텍스트 자체를 처리 변수로 삼기보다 임베딩을 공변량으로 사용하거나, 이진 처리 변수를 전제로 하여 직접적인 텍스트 개입 효과를 추정하는 데 한계가 있었습니다.

2. 제안된 방법론: CAUSALDANN

저자들은 CAUSALDANN이라는 새로운 프레임워크를 제안합니다. 이는 대규모 언어 모델 (LLM) 과 도메인 적응 (Domain Adaptation) 기술을 결합하여 텍스트 개입의 인과적 효과를 추정합니다.

주요 구성 요소 및 프로세스

1. 텍스트 개입 및 반사실 데이터 생성 (Intervention & Counterfactual Generation):

   • 관찰된 텍스트 $W$에 대해 LLM 을 프롬프팅하여 특정 속성 (예: 분노 수준 증가) 을 변경하지만 다른 속성 (문법, 의미 등) 은 유지하는 변환 $g(W)$를 수행합니다.
   • 이를 통해 관찰된 데이터 (비개입군) 와 변환된 데이터 (개입군) 를 생성합니다. 개입군의 결과 ($Y$) 는 관찰되지 않으므로 반사실 (Counterfactual) 로 간주됩니다.
   • 참고: 개입군 결과의 실제 값을 알 수 없으므로, 평가용 합성 데이터를 생성할 때에도 LLM 을 사용하여 사회적 판단 (예: Reddit 의 AITA 판정) 을 시뮬레이션합니다.

2. 도메인 적응을 통한 결과 예측 (Outcome Prediction with DANN):

   • 관찰된 데이터 (소스 도메인) 로 훈련된 모델이 변환된 데이터 (타겟 도메인) 에서는 성능이 떨어지는 도메인 시프트 문제를 해결하기 위해 **도메인 적대적 신경망 (DANN, Domain Adversarial Neural Network)**을 도입합니다.
   • 구조:
     • BERT 인코더: 텍스트를 임베딩합니다.
     • 결과 예측기 (Outcome Predictor): 라벨이 있는 비개입 데이터로 훈련된 분류기입니다.
     • 도메인 예측기 (Domain Predictor): 데이터가 관찰된 것인지 개입된 것인지 분류하는 적대적 분류기입니다.
   • 학습 방식: 결과 예측 손실 ($L_{outcome}$) 을 최소화하면서 도메인 예측 손실 ($L_{domain}$) 을 최대화하도록 (Gradient Reversal Layer 사용) 훈련하여, 두 도메인에서 불변적인 (domain-invariant) 특징을 학습하게 합니다.
   • 이를 통해 관찰되지 않은 개입 데이터에 대한 결과 ($Y(g(W))$) 를 더 정확하게 예측합니다.

3. 인과 효과 추정 (Effect Estimation):

   • 예측된 결과를 바탕으로 평균 처리 효과 (ATE) 와 조건부 평균 처리 효과 (CATE) 를 계산합니다.
   • $ATE = E[Y(g(W))] - E[Y(W)]$

3. 주요 기여 (Key Contributions)

1. 직접적인 텍스트 개입에 대한 인과 효과 추정 프레임워크: 텍스트를 처리 변수 (Treatment) 로 직접 간주하고, LLM 을 활용한 텍스트 변환을 통해 개입을 정의하는 최초의 방법론을 제시했습니다. 이는 관찰된 개입 그룹이 없어도 인과 추론이 가능하게 합니다.
2. 도메인 적응을 활용한 강건한 추정: 기존 방법 (IPW, DR 등) 이 직면한 도메인 시프트 문제를 해결하기 위해 DANN 을 인과 추론에 적용했습니다. 이는 관찰된 데이터와 변환된 데이터 간의 분포 차이를 줄여 편향을 감소시킵니다.
3. 잠재적 공변량 제어: 텍스트 자체가 공변량 (문법, 스타일 등) 을 포함하고 있으므로, 텍스트 전체를 조건으로 두어 잠재적 공변량을 명시적으로 식별하고 보정할 필요성을 줄였습니다.

4. 실험 및 결과 (Experiments & Results)

저자들은 Amazon 리뷰 데이터와 Reddit 의 r/AmITheAsshole (AITA) 데이터를 기반으로 한 3 가지 시뮬레이션 실험을 수행했습니다.

• 실험 설정:
  1. Amazon Reviews: 긍정적 감정이 판매 (클릭) 에 미치는 영향 (5 성 vs 1-2 성 리뷰 샘플링).
  2. Reddit AITA Comments: 상단 댓글 노출이 도덕적 판단에 미치는 영향 (상단 vs 무작위 댓글 샘플링).
  3. Reddit AITA Anger: 게시글의 분노 수준이 도덕적 판단에 미치는 영향 (LLM 을 통한 분노 증폭 변환).
• 비교 대상: BERT (Baseline), 역확률 가중치 (IPW), 이중 강건 추정기 (DR), TextCause (기존 텍스트 인과 방법).
• 결과:
  • CAUSALDANN은 모든 실험에서 가장 낮은 $\Delta ATE$ (실제값과 예측값의 차이) 와 CATE 의 MSE 를 기록하며 Baseline 들을 압도적으로 우세했습니다.
  • 특히 IPW와 DR은 도메인 시프트가 크거나 확률 점수 (Propensity Score) 추정이 불안정할 때 (0 또는 1 에 가까운 값) 심각한 수치적 불안정성과 높은 오차를 보였습니다.
  • DANN의 도입이 도메인 적응을 통해 예측 정확도를 높이고 편향을 줄이는 데 결정적인 역할을 함을 입증했습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의:
  • 텍스트 데이터에 대한 인과 추론의 새로운 패러다임을 제시했습니다. LLM 의 생성 능력을 활용하여 실험적 개입을 시뮬레이션하고, 도메인 적응 기술을 통해 그 효과를 정량화할 수 있는 방법을 제시했습니다.
  • 소셜 미디어 정책, 콘텐츠 관리 등 텍스트 기반 개입의 효과를 평가하는 데 실용적인 도구를 제공합니다.
• 한계 및 향후 과제:
  • LLM 편향: 개입과 결과 생성 모두 LLM 에 의존하므로, LLM 의 학습 데이터 편향이 결과에 전파될 수 있습니다. (저자는 수동 검토 및 대조군 생성 시 동일한 LLM 사용으로 이를 완화하려 했습니다.)
  • 반사실 데이터의 신뢰성: LLM 이 생성한 반사실 결과가 실제 인간의 행동을 완벽히 반영하지 못할 수 있습니다.
  • 일관성 가정 (Consistency Assumption): LLM 의 무작위성으로 인해 동일한 개입이 여러 "버전"으로 생성될 수 있어 전통적인 인과 추론의 일관성 가정을 위반할 수 있습니다.
  • 미관측 혼란 변수: 텍스트 외의 다른 요인 (예: 사용자 간의 암묵적 편향) 이 결과에 영향을 줄 수 있으나 모델이 포착하지 못할 수 있습니다.

결론

이 논문은 LLM 과 도메인 적응 신경망을 결합하여 텍스트 개입의 인과적 효과를 추정하는 CAUSALDANN을 제안했습니다. 관찰 데이터만으로도 텍스트의 특정 속성 (감정, 톤 등) 을 인위적으로 변경한 시나리오에서의 효과를 정밀하게 추정할 수 있음을 실험을 통해 입증했으며, 이는 텍스트 기반 인과 추론 분야에서 중요한 진전으로 평가됩니다.