기술 요약: ReplaySCM

문제 제기

현재 대규모 언어 모델 (LLM) 을 위한 인과 추론 벤치마크는 주로 특정 인과 질문에 대한 답변, 예측된 반사실적 값, 또는 개별 그래프 엣지와 같은 국소적 출력을 평가합니다. 이러한 작업은 유용하지만, 시스템이 새로운, 보지 못한 개입 하에서 일반화할 수 있는 재사용 가능하고 실행 가능한 인과 모델을 통합할 수 있는지 검증하지는 못합니다.

본 논문은 유한한 개입 증거로부터 실행 가능한 인과 메커니즘 유도를 평가하도록 설계된 ReplaySCM을 소개합니다. 핵심 과제는 학습 데이터와 보류된 (held-out) 개입 세계 모두에서 "재연 (replay)"되었을 때, 유도된 수식의 구문적 형태와 무관하게 기준 진실 (ground truth) 과 의미적으로 동일한 행동을 생성하는 구조적 인과 모델 (SCM) 을 유도하는 것입니다.

방법론

벤치마크 설계

ReplaySCM 은 작고 유한하며, 이진이고, 완전히 관측된 비순환 부울 SCM 에서 생성된 1,300 개의 항목으로 구성됩니다.

• 잠재 SCM: 각 문제는 관측된 루트와 다른 내생 변수에 대한 부울 표현식으로 정의된 내생 메커니즘을 갖는 잠재 SCM 에 기반합니다.
• 개입 세계: 벤치마크는 하드 개입 (변수를 특정 값으로 고정) 하에 잠재 SCM 을 실행하여 생성된 여러 학습 세계를 제공합니다. 평가용 보류된 세계 세트는 확보해 둡니다.
• 출력 형식: 모델은 not, and, or, xor, iff 연산자를 포함하는 제한된 부울 도메인 특정 언어 (DSL) 로 메커니즘 맵을 출력해야 합니다.
• 평가 프로토콜: 평가자는 제출물을 구문 분석하여 합법성과 비순환성을 확인한 후, 학습 및 보류된 세계에 제출된 SCM 을 재연합니다.
  • 점수 매기기: 점수는 문자열 매칭이 아닌 의미적 재연 행동에 따라 부여됩니다. 점수 매기기 세계에 대해 올바른 진리표를 유도하는 모든 실행 가능한 SCM 은 기준 표준과 구문적으로 다른 부울 수식을 갖더라도 정답으로 간주됩니다.

구조적 공개 계단

벤치마크는 특정 추론 능력을 분리하기 위해 모델에게 공개되는 구조적 정보를 변형합니다:

1. 순서형 (Ord-Full): 전체 위상적 순서를 공개합니다.
2. 블록 순서형: 거친 선행 블록을 공개하지만 블록 내 순서는 숨깁니다.
3. 숨겨진 순서형: 루트/내생 분할은 공개하지만 내생 순서는 숨깁니다.
4. 숨겨진 루트형: 순서와 루트 집합 모두를 숨겨, 모델이 먼저 루트 집합을 예측해야 합니다.

모호성 감소 및 지원 감사

유한 증거의 과소 제약 문제를 해결하기 위해 저자들은 3 단계 지원 감사 계단을 사용합니다:

• 원본: 표준 학습 세계.
• 추가 세계: 국소 선행자 패턴 커버리지를 (0.89 에서 ~0.98 로) 증가시키기 위해 34 개의 금표 시뮬레이션 학습 세계를 추가합니다.
• 반례 감사 (CEx): 국소 커버리지를 완전히 (1.0) 달성하고 발견된 의미적 대안들을 특히 대상으로 하는 세계를 추가로 포함합니다. CEx 에서는 LLM, 기호적 정밀 검색, 또는 bnlearn+DSL 검색에서 발견된 어떤 대안도 학습 세계와 일관성을 유지하지 못합니다.

보조 작업

• 대안-SCM: 유효한 참조 SCM 이 주어지면, 모델은 학습 세계에 부합하는 의미적으로 구별되는 대안을 찾아 분리 개입과 증인을 제공해야 합니다.
• 비-LLM 베이스라인: 작업 난이도를 보정하기 위해 bnlearn+DSL(구조 제안 + 정밀 부울 피팅) 과 기호적 정밀 검색(부울 메커니즘 직접 검색) 을 포함합니다.

주요 기여

1. 실행 가능한 SCM 유도 벤치마크: 국소적 답변 점수 매기기를 넘어 학습 및 보류된 세계에 대한 정밀 재연으로 평가되는 공개 벤치마크를 도입합니다.
2. 매칭된 공개 구조 계단: 동일한 잠재 SCM 에 대해 구조적 공개 (순서형 vs 숨겨진 순서형 vs 숨겨진 루트형) 의 영향을 분리하도록 벤치마크를 구성합니다.
3. 모호성 통제: 사소한 단축 경로를 필터링하고 지원 필터, 유계 감사, 그리고 3 단계 지원 감사 계단 (원본, 추가 세계, CEx) 을 통해 잔류 모호성을 추적하는 생성기를 구현합니다.
4. 종합적 평가: 공유 평가자와 비-LLM 베이스라인에 대한 최첨단 LLM 을 벤치마크하여 실행 가능한 메커니즘 유도의 난이도에 대한 보정된 관점을 제공합니다.

결과

실행 메커니즘 유도는 여전히 해결되지 않음

최첨단 LLM(예: GPT-5.4, Claude Opus 4.6, Gemini 3.1 Pro) 은 완벽한 정밀 재연에 훨씬 미치지 못합니다.

• TrainExact vs HeldoutExact: 일부 모델은 높은 유효성과 부분적 부모 구조 추론을 달성하지만, HeldoutExact(모든 보류된 세계에 대한 엄격한 재연) 는 특히 숨겨진 순서형 설정에서 여전히 낮습니다.
• "Train-Exact" 격차: 학습 세계에 적합하지 않은 응답은 거의 invariably 보류된 세계에서도 실패합니다. 그러나 TrainExact(모든 학습 세계에 정확히 적합) 인 응답조차도 보류된 세계에서는 종종 실패하여, 관측된 데이터에 적합하는 것이 올바른 기본 메커니즘을 보장하지 않음을 나타냅니다.

구조적 정보의 영향

구조적 정보가 숨겨질수록 성능이 크게 저하됩니다:

• 순서형 vs 숨겨진 순서형: 위상적 순서가 숨겨지면 성능이 크게 떨어집니다. 예를 들어, 숨겨진 순서형 풀에서 GPT-5.4 는 TrainExact가 0.628 이지만 HeldoutExact에서는 0.292 로 떨어집니다.
• 숨겨진 루트형: 모델이 루트 집합과 메커니즘을 동시에 예측해야 하므로 루트 집합이 숨겨지면 성능이 붕괴됩니다.

의미적 구조 vs 정밀 메커니즘

• 부분 추론: 모델은 종종 유익한 기능적 부모 관계를 추론 (높은 Parent F1) 하지만 완전한 재연에 필요한 정확한 부모 맵이나 국소 메커니즘을 일치시키지 못합니다.
• 대안-SCM: 유효한 참조 SCM 이 제공될 때, 처음부터 SCM 을 추론하는 것보다 의미적으로 구별되는 대안을 찾는 성능이 훨씬 더 높습니다. 이는 인과 객체의 국소 편집이 개입 데이터로부터의 전역 추론보다 쉽다는 것을 시사합니다.

지원 감사 결과

• 추가 세계: 학습 데이터를 늘리면 보류된 재연이 개선되고 학습 - 보류 격차가 줄어들지만, 순서형/숨겨진 순서형 성능 격차는 지속됩니다.
• 반례 감사 (CEx): LLM 과 기호적 검색에서 발견된 모든 대안을 제거하기 위해 세계를 추가한 후에도 숨겨진 순서형 설정은 순서형보다 여전히 어렵습니다. 이는 난이도가 유한 표본 모호성 때문만이 아니라 숨겨진 구조 추론의 근본적인 도전을 반영함을 나타냅니다.

중요성과 주장

이 논문은 ReplaySCM 이 기존 답변 수준 및 그래프 발견 벤치마크를 보완하여 실행 가능한 인과 객체의 일반화를 평가한다고 주장합니다.

• 역량의 분리: 벤치마크는 "인과 구조 설명"(종속성 추론) 과 "실행 가능한 인과 객체 구성"(일반화하는 메커니즘 통합) 사이의 명확한 분리를 보여줍니다. 모델은 그럴듯한 설명이나 엣지 집합을 생성할 수 있지만, 제안된 메커니즘이 새로운 개입 하에서 재연될 때 실패할 수 있습니다.
• 숨겨진 구조는 어렵다: 주요 실증적 발견은 숨겨진 구조 (순서 또는 루트) 를 추론하는 것이 유효한 답변 객체를 생성하거나 고립된 국소 메커니즘에 적합하는 것보다 훨씬 어렵다는 것입니다.
• 유일성 주장 없음: 저자들은 명시적으로 ReplaySCM 이 잠재 SCM 의 고유한 식별을 증명한다고 주장하지 않는다고 밝힙니다. 대신, 쉬운 유한 표본 단축 경로를 배제하기 위해 유계 모호성 감사를 사용하여 유한 개입 증거로부터의 실행 가능한 재연 일반화를 평가하기 위한 통제된 테스트베드를 제공합니다.

이 연구는 최첨단 LLM 이 부분적 종속 구조를 추론할 수는 있지만, 견고한 인과 시뮬레이션에 필요한 정확한 부모 맵과 부울 메커니즘을 조립하는 데 어려움을 겪으며, 이 격차는 더 강력한 증거와 구조적 사전 지식이 있더라도 지속된다고 시사합니다.