NoisyCausal: A Benchmark for Evaluating Causal Reasoning Under Structured Noise

기술 요약: NoisyCausal

문제 제기
자연어에서의 인과 추론은 변수를 식별하고, 그 상호작용을 이해하며, 효과와 개입에 대해 추론하는 것을 요구하며, 이는 종종 노이즈나 모호함 조건 하에서 이루어집니다. 대규모 언어 모델 (LLM) 은 강력한 일반 추론 능력을 보여주지만, 관찰 데이터가 부분적으로 잘못되었거나 관련 없는 정보를 포함할 때 상관관계와 인과관계를 구분하는 데 자주 어려움을 겪습니다. 기존 벤치마크 (예: COPA, CausalQA, Cladder) 는 주로 단순하거나 암시적인 인과 구조를 가진 깨끗하고 이상화된 시나리오에 의존합니다. 이러한 데이터셋은 데이터가 노이즈가 있거나 불완전하거나 허위 변수에 의해 혼동되는 실제 세계 조건을 반영하지 못하는 경우가 많습니다. 결과적으로 현재 모델들은 진정한 인과적 이해보다는 패턴 매칭이나 얕은 휴리스틱을 통해 성공하는 경우가 많아, 그 견고성과 해석 가능성이 제한됩니다.

방법론
본 논문은 구조화된 노이즈 하에서 인과 추론을 평가하기 위해 설계된 합성 벤치마크인 NoisyCausal과 함께 모듈형 그래프 기반 추론 프레임워크를 소개합니다.

1. NoisyCausal 벤치마크 구축:

   • 파이프라인: 데이터셋은 다섯 단계의 파이프라인을 통해 생성됩니다: (1) 다양한 위상 모티프 (연쇄, 포크, 콜라이더) 를 가진 방향성 비순환 그래프 (DAG) 샘플링; (2) 실제 세계 레이블 (예: 의약품, 감염) 과 메타데이터를 할당하는 의미적 기반 설정; (3) 인과적 일관성을 보장하기 위해 구조적 인과 모델 (SCM) 에서 변수 값을 샘플링; (4) 구조화된 노이즈 주입; (5) 자연어 질문 구성.
   • 노이즈 유형: 벤치마크는 실제 세계의 결함을 시뮬레이션하기 위해 여섯 가지 제어 가능한 노이즈 카테고리를 도입합니다:
     • 값 교란 (VP): 변수 값을 반전.
     • 무관 변수 주입 (IV): 비인과적이며 허위인 변수 추가.
     • 부분 마스킹 (PM): 관찰된 변수 값 숨김.
     • 인과 교환 (CS): 연결된 노드의 값을 교환하여 조건부 논리 파괴.
     • 잠재 혼란 변수 (CI): 여러 노드에 영향을 미치는 숨겨진 변수 시뮬레이션.
     • 질문 교란 (QP): 근본적인 SCM 과 모순되도록 질문 수정.
   • 규모: 데이터셋은 다양한 노이즈 조합과 난이도 수준을 포괄하는 10,617 개의 질문 - 답변 쌍을 포함합니다.

2. 그래프 기반 추론 프레임워크:

   • 엔드 - 투 - 엔드 블랙박스 추론 대신 제안된 방법은 추론을 세 단계로 분해합니다:
     1. 변수 추출: LLM 이 문맥에서 핵심 개체와 잠재 요인을 식별합니다.
     2. 인과 그래프 구축: LLM 이 작업별 DAG 를 구축하여 변수 쌍 간의 인과 방향성을 예측합니다.
     3. 구조화된 추론: 배경 문맥, 관찰된 값, 그리고 구축된 그래프가 구조화된 프롬프트로 포맷팅됩니다. 그런 다음 LLM 은 통계적 패턴에만 의존하는 것이 아니라 이 명시적 기호 구조에 기반하여 추론을 수행합니다.

주요 기여

• NoisyCausal 벤치마크: 명시적 인과 그래프, 자연어 시나리오, 제어 가능한 구조화된 노이즈를 특징으로 하는 새로운 평가 세트로, 방해 요소, 혼란 변수, 부분 관측 가능성에 대한 견고성을 테스트하도록 설계되었습니다.
• 모듈형 프레임워크: LLM 을 명시적 인과 추상화와 통합하는 추론 아키텍처입니다. 해석 가능한 중간체로서 인과 그래프를 사용하여 LLM 을 안내하며, 구조 추출과 추론을 분리합니다.
• 실증적 검증: 표준 프롬프팅 및 체인 - 오브 - 씽킹 (CoT) 베이스라인과 비교하여 인과 구조와 LLM 추론을 결합하면 성능과 견고성이 크게 향상됨을 입증했습니다.

실험 결과

• NoisyCausal 성능: 그래프 기반 방법은 깨끗한 데이터에서 **80.7%**의 정확도를 달성하여 GPT-4(62.8%) 와 Causal CoT(73.4%) 를 능가했습니다. 구조화된 노이즈 하에서 제안된 방법은 높은 안정성을 유지했습니다 (예: 값 교란에서 77.3%, 잠재 혼란 변수에서 73.5%). 반면 표준 LLM 과 CoT 베이스라인은 유의미한 저하를 보였습니다 (예: GPT-3.5 는 질문 교란에서 43.8% 로 하락).
• 일반화: 모델은 작업별 튜닝 없이 외부 Cladder벤치마크로 일반화되어 **82.3%**의 정확도를 달성, 모든 베이스라인을 상회했습니다.
• 애블레이션 연구:
  • 인과 그래프를 제거하거나 무작위로 재배선된 그래프를 사용하면 성능이 약 15~20% 크게 하락하여 올바른 구조적 안내의 필요성을 확인했습니다.
  • 노이즈 유형이 결합됨에 따라 성능은 점진적으로 감소하여 1 가지 노이즈 유형 (73.47%) 에서 6 가지 모든 노이즈 유형 (57.98%) 으로 떨어졌습니다.
  • 프레임워크는 엣지 삭제보다 인과 방향성 오류 (방향 반전) 에 더 민감한 것으로 나타났습니다.
• 구조 발견: GPT-4 는 깨끗한 텍스트에서 인과 그래프를 추출할 때 높은 F1 점수 (>85%) 를 달성했으나, 노이즈가 있을 경우 성능이 저하되었습니다. 구조화된 프롬프트는 자연어 지시문보다 더 나은 추출 품질을 제공했습니다.
• 신념 불일치 교란 (BIP): 인과 그래프와 모순되는 일반적인 오해를 포함하는 프롬프트에 노출되었을 때, 표준 모델은 최대 6% 까지 정확도가 하락했으나 그래프 기반 모델은 견고성을 유지하며 1.2% 만 하락했습니다.
• 전이 가능성: NoisyCausal 로 LLaMA-7B 를 파인튜닝한 결과, 인간이 작성한 CausalQA벤치마크에서 성능이 5.1 퍼센트 포인트 향상되어 학습된 기술이 실제 세계 작업으로 전이됨을 시사했습니다.

의의 및 주장
본 논문은 현재 LLM 이 기계적 의존성보다는 사전 학습 코퍼스에서 얻은 통계적 연관성에 의존하기 때문에 인과 추론에 실패한다고 주장합니다. 저자들은 NoisyCausal이 자연어 코퍼스에서 분리하기 어려운 특정 실패 모드 (예: 방해 요소 민감도, 혼란) 를 격리하는 중요한 진단 도구 역할을 한다고 주장합니다.

주요 의의는 인과 추상화와 언어 기반 추론을 결합함으로써 더 충실하고 견고한 추론이 가능함을 입증한 데 있습니다. 명시적 기호 구조로 LLM 을 안내함으로써 제안된 프레임워크는 노이즈 조건에서도 상관관계를 인과관계와 혼동하는 경향을 완화합니다. 저자들은 이 접근법을 "인과 인식" LLM 을 향한 한 걸음으로 위치시키며, 불확실한 환경에서 견고한 AI 를 달성하기 위해서는 구조적 기반이 필수적임을 강조합니다.

한계
저자들은 프레임워크가 LLM 기반 변수 추출과 그래프 구축에 의존하며, 이로 인해 연쇄적 오류가 발생할 수 있음을 인정합니다. 현재 설계는 엔드 - 투 - 엔드 최적화가 없으며, 벤치마크가 다양함에도 불구하고 멀티모달 또는 오픈 도메인 담화에 대한 실제 세계 일반화는 아직 검증되지 않았습니다. 향후 연구는 신뢰도 추정, 공동 학습, 그리고 실제 세계 멀티모달 데이터에 대한 평가를 포함할 것으로 제안됩니다.