기술 요약: CausalDS – 데이터 과학 에이전트의 인과 추론 벤치마킹

1. 문제 정의

데이터 과학 및 인과 추론 분야의 현재 대규모 언어 모델(LLM) 벤치마크는 실제 세계의 인과 분석 복잡성을 포착하지 못하는 파편화 문제를 겪고 있습니다. 기존 평가 방식은 특정 역량을 고립시켜 테스트하는 경향이 있습니다:

• 데이터 과학 벤치마크(예: DS-1000, MLE-bench)는 코딩, 도구 사용, 개방형 분석을 강조하지만, 숨겨진 원칙적인 인과적 데이터 생성 구조가 결여되어 있습니다.
• 인과 추론 벤치마크(예: CLadder, CausalGraph2LLM)는 기호적 그래프 추론, 개입, 반사실적 논리를 테스트하지만, 주로 순수 기호 수준에서 작동하거나 기존 문헌에서 선별된 예시를 사용합니다.

이러한 분리는 모델이 진정한 구조 민감적 추론을 하기보다 "기존 데이터셋의 패턴을 암기하는 것"(amortized causal inference)에 의존하게 만드는 격차를 만듭니다. 이는 "인과적 앵무새(causal parrot)"라고 불리는 실패 모드입니다. 나아가, 현실적인 인과 데이터 과학을 수행하려면 에이전트가 단순히 인과적 질문에 답하는 것을 넘어, 도메인 설명을 해석하고, 관측 데이터를 검사하며, 식별 가능성(identifiability)을 판단하고, 수치를 추정하며, 불확실성을 정량화하고, 질문이 답변 불가능할 때 이를 인식(abstention, 절제)할 수 있어야 합니다. 기존의 어떤 벤치마크도 단일한 합성적이지만 현실적인 프레임워크 내에서 기호적 추론, 데이터 과학 실행, 불확실성 정량화, 인식적 절제(epistemic abstention), 그리고 도구 사용을 결합하여 평가하지 못하고 있습니다.

2. 방법론: CausalDS 프레임워크

CausalDS는 이러한 격차를 해결하기 위해 벤치마크 단위로서 합성된 인과 데이터 과학 장면(scene)을 생성합니다. 각 장면은 숨겨진 구조적 인과 모델(SCM), 자연어 이야기, 표 형식의 관측 데이터, 그리고 Pearl의 3단계 계층 구조를 아우르는 일련의 과제로 구성됩니다.

2.1 장면 생성 파이프라인

생성 과정은 정답(ground truth)을 알 수 있는 동시에 서사적 일관성을 유지하도록 엄격한 파이프라인을 따릅니다:

1. 그래프 샘플링: 유향 비순환 그래프(DAG)를 정형적인 모티프(체인, 포크, 컨파운더, 콜라이더 등)로부터 샘플링하며, "앵커 기반 그래프 접합(anchor-based grafting)"을 통해 보조 모티프를 공유 노드를 통해 부착함으로써 서사의 흐름을 유지하면서 복잡성을 높일 수 있습니다.
2. SCM 인스턴스화: 각 그래프는 생화학적/불리언 규칙과 합성 체제를 혼합한 레지스트리에서 추출된 유형화된 메커니즘 프로파일(연속형 및 이진형)을 사용하여 SCM으로 구체화됩니다.
3. 관측 계층: 이 핵심적인 설계 선택은 개념적 SCM과 에이전트에게 제공되는 데이터를 구분합니다. 개념적 변수는 노이즈가 섞인 측정값의 묶음(proxies)으로 대체될 수 있습니다. 이 계층은 인과적 식별 상태를 변경하지 않으면서 데이터 분석의 난이도를 높입니다.
4. 언어화(Verbalization): 추상적인 노드는 도메인 관련 변수명(선택적으로 CauseNet에서 시딩됨)으로 매핑되며, 생성된 자연어 이야기가 숨겨진 그래프를 충실히 반영하되 "부수적인 엣지(accidental edges)"를 도입하지 않았는지 감사자(auditor)에 의해 검증됩니다.
5. 태스크 유도: 각 장면으로부터 Rung 1(연관/예측), Rung 2(개입/식별/추정), Rung 3(반사실/매개)에 걸친 과제들이 도출됩니다.

2.2 평가 하네스

에이전트는 샌드박스 환경(mini-swe-agent 사용) 내에서 상호작용하며 다음을 수행해야 합니다:

• 제공된 파일(이야기, 데이터 스키마, 관측 데이터) 읽기.
• 분석을 수행하기 위한 코드(Python/bash) 실행.
• 특정 형식으로 답변 파일 작성.
• 불완전한 관측치를 처리하고, 대상이 식별 불가능할 경우 답변을 거절(abstain)할지 결정.

2.3 점수 산정 및 지표

평가는 완전히 결정론적이며 다섯 가지 별개의 축을 점수화합니다:

• 기호적 인과 추론: 그래프 복구 및 식별 논리.
• 데이터 과학 실행: 추정치 및 예측의 정확도.
• 불확실성 정량화: 신뢰 구간의 교정(calibration).
• 인식적 절제(Epistemic Abstention): 식별 불가능한 쿼리를 올바르게 식별하고 답변을 거부하는 능력.
• 도구 사용/효율성: 토큰 사용량 및 도구 호출 횟수.

종합 점수(CausalDSScore)는 성능을 집계하며, 내용 오류와 식별 불가능한 과제에 대한 절제 실패 모두에 페널티를 부여합니다.

3. 주요 기여

• SCM 기반 합성 장면: 숨겨진 SCM을 생성하고 관측 데이터를 합성하며, 프라이빗한 정답을 계산하는 동시에, 현실성을 보장하기 위해 구성 축(변수 유형, 그래프 구조)을 실제 데이터셋의 경험적 분포에 고정시킨 최초의 벤치마크입니다.
• 그래프 충실도가 높은 자유 형식 언어화: 추상적 그래프 노드를 일관된 도메인 변수로 매핑하고 자연어 이야기를 생성하며, 서사가 밑바탕이 되는 인과 구조에서 벗어나지 않도록 감사(audit)를 거치는 파이프라인을 제공합니다.
• 분리된 관측 계층: 인과적 식별 가능성과 독립적으로 데이터 과학의 난이도(노이즈 섞인 프록시를 통해)를 조절할 수 있는 메커니즘을 통해, 인과적 질문 자체를 바꾸지 않고도 추정 기술을 스트레스 테스트할 수 있게 합니다.
• 광범위한 태스크 세트: 예측, 연관, 그래프 복구, 식별, 효과 추정, 편향 진단, 반사실적 추론을 포함하여 Pearl의 계층 구조의 세 단계를 모두 다루는 포괄적인 과제들을 제공합니다.
• 절제 인지 결정론적 평가: 식별 불가능한 추정치에 대해 절제하는 것을 일급 결과(first-class outcome)로 취급하여, 답변할 수 없는 질문에 대해 환각을 일으키는 모델에게 보상이 돌아가는 것을 방지하는 점수 체계입니다.

4. 실험 결과

저자들은 100개의 장면으로 구성된 현실적 구성 시험에서 6개의 모델(프런티어 폐쇄형 모델 3개: Claude Opus 4.8, Gemini 3.1 Pro, GPT-5.5; 오픈 웨이트 모델 3개: Qwen 3.6 35B, Kimi K2.6, Gemma 4 26B)을 평가했습니다.

• 성능 해리(Performance Dissociation): 다섯 가지 평가 축은 단일한 능력으로 수렴되지 않습니다. 모델들은 내용의 정확성, 불확실성 정량화, 절제 인식, 도구 사용 효율성 측면에서 크게 달랐습니다.
• 리더보드: Claude Opus 4.8이 가장 높은 종합 CausalDSScore(0.278)를 기록하며 통과율, 정규화된 오차, 신호 대 잡음비(SNR)에서 앞섰습니다. 이 모델은 강한 절제 성능을 유지하면서 이진(binary) 과제에서 완벽한 내용 정확도(100%)를 달달한 유일한 모델이었습니다.
• 차별화 요소로서의 절제: 식별 불가능한 쿼리를 인식하는 능력은 주요 차별점이었습니다. 프런티어 모델(특히 GPT-5.5와 Claude)은 오픈 웨이트 모델(Gemma 4 26B의 경우 18.8%로 낮음)에 비해 현저히 높은 절제 통과율(최대 75%)을 보였습니다.
• 불확실성 정량화: 모든 모델이 과잉 확신(overconfidence)을 보였습니다. 명목상 95% ATE 구간의 경험적 커버리지는 20.0%에서 71.4% 사이로 무너졌으며, Claude Opus 4.8이 71.4%로 가장 우수한 성능을 보였습니다.
• 도구 사용 및 효율성: 프런티어 모델(Claude, GPT-5.5)은 적은 도구 호출(과제당 2.13.4회)과 낮은 토큰 사용량을 가진 "니어 원샷(near one-shot)" 전략을 사용한 반면, 오픈 웨이트 모델은 과도하게 반복(과제당 1118회 호출)하며 훨씬 더 많은 토큰을 소비했습니다.
• 관측 난이도: 가장 어려운 관측 변형(노이즈 섞인 프록시) 조건에서 성능이 저하되었으며, 특히 오픈 웨이트 모델에서 두드러졌습니다. GPT-5.5는 연속형 추정치 교정에서 가장 큰 하락(평균 정규화 오차가 3.10까지 상승)을 보인 반면, Claude Opus 4.8은 제어된 오차를 유지했습니다.

5. 의의 및 주장

본 논문은 CausalDS가 기호적 추론, 정량적 추정, 그리고 에이전트적 도구 사용을 하나의 현실적인 설정에 통합함으로써 벤치마킹의 필수적인 진화를 제공한다고 주장합니다. 주요 경험적 발견은 인과 데이터 과학 역량이 분해된다는 것입니다. 즉, 모델은 부분(구조 읽기, 추정치 생성)은 마스터할 수 있지만 전체(추정치의 품질이나 답변 가능 여부 판단)에는 실패할 수 있습니다.

저자들은 유능한 인과 데이터 과학 에이전트라면 다섯 가지 축을 동시에 통과해야 한다고 단언합니다. 이 벤치마크는 현재의 프런티어 모델들이 이 능력에 접근하고 있음을 드러내며, Claude Opus 4.8이 "잘 갖춰진 인과 데이터 과학 에이전트"에 가장 근접한 모델로 부상함을 보여줍니다. 반면 오픈 웨이트 모델과 소형 모델들은 인식적 축(절제 및 불확실성)과 도구 사용 효율성에서 상당한 어려움을 겪고 있습니다. 이 연구는 "언제 절제해야 하는지를 아는 것"이 환각에 빠지기 쉬운 에이전트와 견고한 에이전트를 구분 짓는 별도의 고급 기술임을 강조합니다.