Linear-LLM-SCM: Benchmarking LLMs for Coefficient Elicitation in Linear-Gaussian Causal Models

기술 요약: Linear-LLM-SCM

문제 정의
대규모 언어 모델(LLM)은 질적 인과 관계(Type 1 작업)를 식별하는 데 잠재력을 보여주었으나, 양적 인과 추론—특히 연속적인 도메인에서 함수적 관계를 매개변수화하는 효과 크기(effect size)를 추정하는 능력(Type 3 작업)—에 대해서는 아직 충분히 탐구되지 않았습니다. 기존 연구에 따르면 LLM은 데이터로부터 인과 구조를 발견하고 양적인 결과를 추정하는 데 어려움을 겪는 것으로 나타났습니다. 또한, 현재의 LLM 기반 인과 효과 추정 방식은 이산적인 도메인에 의존하거나, 수치적 관측 데이터를 필요로 하거나, 직접적인 구조적 매개변수를 이끌어내기보다는 조건부 분포를 샘플링하기 위한 특화된 아키텍처를 사용하는 경우가 많습니다. 본 논문은 LLM이 관측 데이터 없이 오직 인과 구조와 변수 의미론(semantics)만을 사용하여, 미리 지정된 구조적 인과 모델(SCM)에 대한 연속적 선형 인과 효과 매개변수를 직접 추정할 수 있는지 평가하는 간극을 다룹니다.

방법론: Linear-LLM-SCM 프레임워크
저자들은 Linear-Gaussian SCM 매개변수화에 대해 LLM을 벤치마킹하기 위해 설계된 플러그 앤 플레이(plug-and-play) 프레임워크인 Linear-LLM-SCM을 소개합니다. 이 프레임워크는 LLM이 SCM이나 선형 회귀로 정형화된 과학 문헌을 포함하여, 학습 코퍼스로부터 양적 또는 질적 정보를 학습했다는 가설 하에 작동합니다.

1. 입력 요구사항: 시스템은 유향 비순환 그래프(DAG) 구조($G$), 단위 및 짧은 텍스트를 포함한 변수 설명($D$), 그리고 변수 제약 조건($R$)(하한/상한)을 필요로 합니다. 평가를 위해 실제 정답(ground-truth) 효과 매개변수가 제공됩니다.
2. 분해 및 프롬프팅: 전체 DAG를 모델에 입력하는 대신, 프레임워크는 그래프를 국소적인 부모-자식 집합으로 분해합니다. 시스템은 위상 정렬 순서(topological order)에 따라 DAG를 순회합니다. 각 타겟 노드에 대해 LLM에는 다음이 프롬프트로 제공됩니다:
   • 도메인 전문가 페르소나 및 현상에 대한 요약.
   • 타겟 변수와 그 직계 부모들의 설명, 단위 및 범위.
   • 특정 문자열 형식으로 선형 구조 방정식(절편 및 베타 계수)을 출력하라는 지침.
3. 응답 파싱: 시스템은 LLM의 텍답 텍스트 출력에서 베타 계수를 추출하며, 선-형 방정식을 파싱하여 정답과 비교합니다.
4. 반복적 피드백: DAG 내의 전역적 일관성을 강제하기 위해, 프레임워크는 반복적인 피드백 메커니즘을 포함합니다. 시스템은 사전에 지정된 엄격한 제약 조건(예: 변수 범위)에 대해 분석적 건전성 검사(sanity check)를 수행하며, 제약 조건이 위반될 경우 다시 추출을 시도합니다.
5. 평가 지표: 프로토콜은 네 가지 지표를 사용하여 추출된 매개변수를 정답과 비교합니다:
   • M1–M3: 매개변수 벡터 간의 L2 노름 거리(다양한 집계 방법 사용). M2와 M3는 변수 범위 문제를 해결하기 위해 스케일 불변(scale-invariant) 또는 정규화되었습니다.
   • M4: 노드당 상대적 효과 크기 순위를 포착하는 지표입니다.

실험 설정

• 모델: 연구에서는 네 가지 범용 사전 학습된 LLM을 평가했습니다: Gemini 2.5 Flash (희소 Mixture-of-Experts), Llama 3.1 8B (dense), Llama 3.3 70B (dense), GPT-5.4.
• 데이터셋: BnRep 저장소에서 선택된 7개의 실제 DAG를 사용하였으며, 연속적 Linear-Gaussian 설정 및 최대 15개 노드로 필터링되었습니다.
• 조건:
  • 직접 추정(Direct Estimation): 정답에 대한 표준 매개변수화.
  • 적대적 조건 (RQ2):
    • 단위 수정(Unit Tweaking): 변수 단위(예: $\mu$M에서 nM로)를 변경하여 견고성 테스트.
    • DAG 오지정(DAG Misspecification): 모델링 오류나 관측 제한을 시뮬레이션하기 위해 DAG 구조에 가짜 엣지(spurious edges) 도입.
• 프로토콜: 각 조건은 무작위성을 최소화하기 위해 온도를 0으로 설정하여 25회 실행되었으며, 95% 신뢰 구간과 함께 평균값을 보고했습니다.

주요 결과

1. 직접 추정 (RQ1):
   • 성능은 DAG와 모델에 따라 크게 달랐습니다. 모든 지표와 모든 DAG에서 압도적인 성능을 보인 단일 모델은 없었습니다.
   • GPT-5.4와 Gemini 2.5 Flash는 일반적으로 M3(거리)와 M4(순위)에서 가장 좋은 성능을 보였습니다.
   • Llama 3.3 70B는 일반적으로 더 작은 Llama 3.1 8B보다 우수한 성능을 보였으며, 이는 이 작업에 있어 더 큰 파라미터 수가 이득이 됨을 시사합니다.
   • 소형 모델(Llama 3.1 8B)은 algal2 DAG에 대해 파싱 가능한 방정식을 생성하는 데 실패했습니다.
2. 확률성(Stochasticity): 온도가 0임에도 불구하고, 대형 모델들(Gemini 2.5 Flash, Llama 3.3 70B, GPT-5.4)은 실행 간에 상당한 변동성을 보였으며, 비가우스(non-Gaussian) 분포를 나타냈습니다. 이러한 비결정론적 특성은 안전이 중요한 애플리케이션에서의 핵심적인 실패 모드로 식별되었습니다.
3. 견고성 (RQ2):
   • 단위 민감도: 단위 변경이 때때로 역설적으로 지표를 개선했는데, 이는 텍스트 표현에서의 수치적 정밀도(예: $1 \to 1000$) 증가 때문일 가능성이 있습니다.
   • 구조적 섭동(Structural Perturbation): 가짜 엣지를 추가하는 것(DAG 오지정)은 일반적으로 성능을 저하시켰습니다. 대부분의 모델은 적대적 구조 조건 하에서 거리(M3)가 증가하고 순위 정확도(M4)가 감소하는 경향을 보였으며, 이는 구조적 불확실성에 대한 견고성이 제한적임을 나타냅니다.

핵-기여 사항

• 프레임워크 도입: 본 논문은 연속 도메인에서 관측 데이터 없이 양적 인과 매개변수화를 평가하기 위한 새로운 프레임워크인 Linear-LLM-SCM을 소개합니다.
• 오픈 소스 파이프라인: 저자들은 연구자들이 자신만의 DAG, 변수 메타데이터 및 LLM을 연결할 수 있도록 평가 파이프라인을 오픈 소스로 공개했습니다.
• 경험적 벤치마킹: 본 연구는 7개의 실제 DAG와 4개의 다양한 LLM 아키텍처를 통해 체계적인 벤치마크를 제공하며, 양적 인과 매개변수화에 대한 LLM의 현재 한계를 강조합니다.
• 실패 모드 분석: 계수 추정의 높은 변동성, 구조적 섭동에 대한 민감도, 복잡한 방정식을 일관되게 파싱하지 못하는 소형 모델의 능력 부족 등 구체적인 실패 모드를 식별했습니다.

의의 및 주장
본 논문은 양적 전문가 지식이 요구되는 의료와 같은 안전이 중요한 도메인에서 LLM의 능력과 한계를 이해하기 위한 필수적인 단계로서 자신의 작업을 위치시킵니다. 저자들은 관찰된 변동성과 견고성 부족을 근거로, 현재 LLM을 실제 의료나 임상 의사 결정 지원을 위한 양적 인과 효과 추정에 사용해서는 안 된다고 명시적으로 밝히고 있습니다.

그 의의는 다음과 같습니다:

1. 간극 강조: LLM이 질적 인과 지식은 인코딩할 수 있을지라도, 연속 선형 도메인에서의 양적 추론은 현재 신뢰할 수 없음을 입증했습니다.
2. 안전 영향: 관찰된 확률성과 구조적 노이즈에 대한 민감도는 안전이 중요한 애플리케이션에 위험을 초래하며, 배포 전 안전 테스트 및 완화 전략에 대한 추가 연구가 필요함을 시사합니다.
3. 커뮤니티 자원: 모듈형 프레임워크를 제공함으로써, 저자들은 특히 견고성을 개선하고 분산을 줄이는 데 초점을 맞춘 LLM 기반 인과 효과 추출에 관한 심층 연구를 장려하고자 합니다.

저자들은 향-후 연구가 비선형 함수 형태(non-linear functional forms)로 프레임워크를 확장하고, 구조적 노이즈를 완화하는 방법을 조사하며, LLM의 텍스트 불확실성 출력이 잘 교정(calibrated)되어 있는지 검토해야 한다고 결론짓습니다.