기술적 요약: CausaLab

문제 정의

인과 추론에 대한 대규모 언어 모델 (LLM) 의 현재 평가는 종종 기존 인과 그래프, 데이터셋 또는 내러티브에 기반하여 모델이 질문에 답하는 정적 벤치마크에 의존합니다. 저자들은 이러한 벤치마크가 진정한 인과 추론과 "인과적 앵무새 (causal parrot)" 현상을 구분하지 못한다고 주장합니다. 여기서 모델은 메커니즘을 발견하는 대신 기억된 인과적 사실이나 언어적 단서를 검색함으로써 성공합니다. 또한, 기존 상호작용 벤치마크는 종종 에이전트가 결과를 예측하거나 그래프 구조를 복원할 수 있는지 여부에만 초점을 맞추며, 에이전트의 내부 가설이 근본적인 구조 방정식에 대해 올바른지 검증하지는 않습니다. 에이전트가 처음부터 인과 메커니즘을 상호작용적으로 발견할 수 있는지, 그리고 그 내부 모델이 새로운, 보지 못한 사례로 전이되는지 평가하는 환경이 필요합니다.

방법론: CausaLab 환경

이 논문은 LLM 에이전트를 인과 발견자로 평가하기 위해 설계된 확장 가능한 상호작용 환경인 CausaLab을 소개합니다. 이 환경은 다음과 같은 핵심 구성 요소에 기반합니다:

1. 작업 구성

CausaLab 의 각 에피소드는 숨겨진 **구조적 인과 모델 (SCM)**에 의해 지배되는 전이 문제입니다. SCM 은 다음으로 구성됩니다:

• 물리적 속성 위의 방향성 비순환 그래프 (DAG).
• 변수들이 서로 어떻게 영향을 미치는지 정의하는 구조 방정식 (선형 또는 2 차).
• 계수와 외생 잡음 항.

에이전트는 동일한 숨겨진 SCM 에 의해 지배되지만 속성 값이 서로 다른 세 가지 고유한 개체를 제시받습니다:

1. 이전 측정 기록: 관찰 데이터의 배치.
2. 조작 결정석 (Manipulator Crystal): 에이전트가 비빈도 속성의 부분 집합에 대해 **개입 (interventions)**을 수행할 수 있는 제어 가능한 인스턴스.
3. 반응 결정석 (Reactor Crystal): 에이전트가 직접 개입 없이 관찰된 속성에 기반하여 공명 주파수를 예측해야 하는 홀드아웃 (held-out) 인스턴스.

에이전트는 제한된 개입 예산 하에서 작동합니다. 에이전트는 인과 그래프와 구조 방정식을 추론하여 반응 결정석의 주파수를 예측해야 합니다.

2. 상호작용 루프

에이전트는 가설 - 실험 루프에 참여합니다:

• 관찰: 에이전트는 이전 기록과 조작 결정석에 대한 개입 결과를 관찰합니다.
• 개입: 에이전트는 제어 가능한 속성에 개입하기로 선택합니다 (예: 온도를 특정 값으로 설정). 환경은 do(X=v)와 같은 단단한 연산 대신 **시프트 스타일 개입 (shift-style intervention)**을 적용합니다 (구조 방정식의 기본 항을 수정하되 부모 기여는 유지).
• 가설 생성: 모든 단계에서 에이전트는 도메인 특화 언어 (DSL) 기록을 발행합니다. 이 기록에는 다음이 포함됩니다:
  • 메모리: 영구 노트.
  • 사고: 증거에 대한 해석.
  • 과거 데이터: 축적된 관찰.
  • 가설: 현재 인과 그래프, 주파수에 대한 구조 방정식, 계수를 포함하는 구조화된 주장.
  • 실험: 계획된 다음 개입.

3. 평가 지표

CausaLab 은 작업 성공과 메커니즘 복원을 분리합니다:

• 작업 정확도: 에이전트가 반응 결정석의 홀드아웃 주파수를 올바르게 예측한 비율.
• 메커니즘 충실도: 에이전트의 DSL 가설을 파싱하여 다음을 사용하여 기준 SCM 과 비교합니다:
  • 그래프 지표: 정밀도, 재현율, F1, 구조적 해밍 거리 (SHD).
  • 정량적 지표: 계수 F1 (구조 방정식 가중치의 정확도).
  • 외생 변수 식별: 외생 변수를 올바르게 식별하는지 여부.

주요 기여

1. 확장 가능한 상호작용 벤치마크: CausaLab 은 정적 QA 를 넘어 동적이고 예산이 제한된 발견 설정으로 이동하며, 에피소드마다 기준 SCM 을 샘플링하여 암기 현상을 방지합니다.
2. 예측과 이해의 분리: 기준 진리에 대한 경로 수준의 DSL 가설을 점수화함으로써, 벤치마크는 높은 작업 정확도가 반드시 올바른 인과 이해를 의미하지는 않음을 보여줍니다.
3. 감시를 위한 도메인 특화 언어 (DSL): 파싱 가능한 DSL 의 사용은 에이전트의 진화하는 가설에 대한 세분화된 검사를 가능하게 하여, 에이전트가 데이터를 통해 모델을 검증하기 전에 탐색을 중단하는 "조기 고착 (premature commitment)"을 감지할 수 있게 합니다.
4. 상호작용 전략의 체계적 분석: 이 프레임워크는 순수 관찰, 순수 개입, 혼합 전략을 비교하고, 오프라인 대 온라인 개입 선택을 비교할 수 있도록 지원합니다.

실험 결과

저자들은 3~7 노드 그래프에 걸쳐 GPT-5-mini, GPT-5.2-high, Qwen3.5(사고 흔적 포함 및 미포함) 를 포함한 모델들을 평가했습니다.

• 예측과 메커니즘 간의 격차: 작업 정확도와 메커니즘 복원 사이에 지속적인 격차가 존재합니다. 예를 들어, 6 노드 순수 관찰 설정에서 GPT-5.2-high 는 92% 의 작업 정확도를 달성했으나 전체 엣지 F1 은 0.471에 불과했습니다. 에이전트는 종종 그럴듯한 부모를 찾지만 올바른 정량적 방정식을 복원하지 못합니다.
• 상호작용 전략:
  • 혼합 관찰 - 개입: 이 체제가 가장 좋은 균형을 제공했습니다. 6 노드 혼합 설정에서 GPT-5.2-high 는 작업 정확도와 전체 엣지 F1 에서 모두 **80%**를 달성했습니다.
  • 순수 관찰: 높은 정확도 (92%) 이지만 그래프 복원은 부진함 (0.47 F1).
  • 순수 개입: 두 축 모두에서 부진하게 수행되어, 에이전트가 개입이 효과적이기 전에 가설 공간을 좁히기 위해 관찰 데이터가 필요함을 시사합니다.
  • 오프라인 대 온라인: "황금 (최적)" 개입 흔적을 주입하면 작업 정확도가 향상되었습니다 (예: 4 노드 그래프에서 90% 로). 그러나 그래프 복원은 저하되었으며, 이는 개입을 선택하는 것이 단순히 개입 데이터를 수신하는 것과 구별됨을 나타냅니다.
• 모델 확장:
  • GPT-5.2-high 는 종단 정확도와 주파수 가중 F1 에서 특히 더 작은 모델들을 능가했습니다.
  • 그러나 확장이 모든 문제를 균일하게 해결한 것은 아닙니다. 7 노드 그래프에서 성능이 크게 저하되었습니다 (정확도 64%, SHD 4.761).
  • "사고" 흔적은 일반적으로 Qwen 모델의 구조 복원을 개선했으나, 가장 강력한 GPT 모델과의 격차를 해소하지는 못했습니다.
• 실패 모드: 실패의 주요 원인은 조기 중단입니다. 성공한 실행과 실패한 실행 모두 종종 개입 예산의 절반을 사용하지 않은 채 종료되었습니다. 실패한 실행은 종종 수집한 데이터와 일관되지 않은 가설로 끝났습니다. 단일 명시적 검증 단계 (데이터와 가설의 일관성 확인) 는 4 노드 정확도를 48% 에서 60% 로 향상시켰습니다.

중요성과 주장

이 논문은 CausaLab 을 실제 과학적 배포를 위한 준비된 에이전트에 대한 주장이 아니라, 상호작용적 인과 발견을 위한 "제어된 스트레스 테스트"로 위치시킵니다. 그 중요성은 다음과 같습니다:

• 한계 노출: 현재 LLM 에이전트가 결과를 정확하게 예측할 수 있더라도 낯선 환경을 탐색하고, 후보 메커니즘을 테스트하며, 인과적 규칙성을 향해 가설을 수정하는 데 어려움을 겪음을 보여줍니다.
• 평가 정제: 인과 추론을 평가하려면 예측 성공을 구조적 및 정량적 충실도에서 분리해야 한다고 주장합니다.
• 미래 에이전트 안내: 이 발견들은 미래의 AI 과학자들이 잘못된 모델에 대한 조기 고착을 피하기 위해 정보 제공 개입을 설계하는 더 나은 전략과 자기 검증 메커니즘이 필요함을 시사합니다.

저자들은 벤치마크가 제한된 함수 형태와 시프트 스타일 개입을 사용하는 합성 3~7 노드 SCM 을 사용하므로, 결과를 고위험 실제 세계 설정으로 과도하게 일반화해서는 안 된다고 명시적으로 밝힙니다.