기술 요약: 카운터팩추얼 체인(Counterfactual Chains)과 인과 그래프를 이용한 LLM 설명 가능성

문제 정의

대규모 언어 모델(LLM)은 광범위한 능력을 보여주지만, 그 추론 메커니즘은 여전히 불투명하다. 결정 요인은 관찰 불가능하며, 생성된 설명은 종종 충실도(faithfulness)가 부족하여 의료나 법률과 같은 고위험 영역에서 위험을 초래할 수 있다. 기존의 해석 가능성 방법론(예: 어텐션 분석, 특성 기여도 분석)은 상관관계에 기반한 통찰을 제공하지만, 충실한 설명을 위해 필요한 인과적 증거를 제공하지는 못한다. 또한, 기계론적 해석 가능성(mechanistic interpretability)은 이해관계자들이 필요로 하는 고수준의 개념과 일치하지 않는 저수준 구성 요소(뉴런, 회로)에 집중한다.

현재 LLM에서의 인과적 접근 방식은 대개 실제 세계의 구조(예: 저자의 성별 변화가 예측에 미치는 영향)를 모델링하거나, 고정된 인과 그래프(개념 $\to$ 텍스트 $\to$ 예측)를 가정한다. 여기에는 LLM-추론 인과 그래프 자체를 복구하는 방법론에 대한 결정적인 공백이 존재한다. 즉, 특정 모델이 인간이 이해할 수 있는 개념을 어떻게 조직하여 입력 텍스트를 예측으로 환원하는지(텍스트 $\to$ 개념 $\to$ 예측)를 매핑하는 구조가 필요하다. 이 복구 과정의 주요 병목 현상은 데이터 커버리지이다. 신뢰할 수 있는 인과 발견(causal discovery)을 위해서는 개념 조합의 조밀한 샘플링이 필요하지만, 이는 실제 환경에서 불가능하거나 비윤리적일 수 있다.

방법론

저자들은 분류 작업을 위한 개념 수준의 인과 그래프를 구축하기 위해, 완전히 자동화된 모델 주도형 4단계 파이프라인을 제안한다. 이 방법은 대상 LLM 자체를 사용하여 개념을 추출하고, 데이터를 표현하며, 견고한 인과 발견에 필요한 카운터팩추얼(counterfactuals)을 생성한다.

1. 레이블 예측

데이터셋의 정답 레이블(ground-truth labels)을 대상 LLM의 자체 예측값($\hat{y}$)으로 대체한다. 이를 통해 결과적으로 도출되는 그래프가 데이터셋의 실제 정답이 아닌, 모델의 내부 추론 과정을 반영하도록 보장한다.

2. 판별적 개념 발견 및 주석 달기 (Discriminative Concept Discovery and Annotation)

프레임워크는 예측된 클래스들을 차별화하는 인간이 이해할 수 있는 개념($C$) 집합을 반복적으로 식별한다.

• 추출(Extraction): LLM은 텍스트 배치와 예측된 레이블을 바탕으로 후보 개념을 제안한다.
• 필터링(Filtering): 개념은 텍스트 내에 존재하면서 동시에 관련성(relevant, 텍스트에 존재함)과 판별력(discriminative, 모든 클래스가 아닌 특정 하위 집합의 클래스와 정렬됨)을 갖춘 경우에만 유지된다.
• 주석 달기(Annotation): 각 입력 텍스트는 개념 벡터 $\phi(x)$로 매핑되며, 여기서 각 개념 $c_i$는 해당 개념이 모델이 인지하는 어떤 클래스 집합을 지지하는지를 나타내는 범주형 값으로 할당된다.

3. MCMC 기반 데이터 확장

잠재적 개념 공간에서의 관측 데이터 희소성 문제를 해결하기 위해, 저자들은 마르코프 체인 몬테카를로(MCMC)에서 영감을 얻은 카운터팩추얼 증강 절차를 도입한다.

• 과정(Process): 원본 텍스트에서 시작하여, 알고리즘은 특정 개념의 정렬을 타겟 클래스 쪽으로 이동시키거나 멀어지게 하는 텍strual 섭동(textual perturbations)을 반복적으로 제안한다.
• 수용 기준(Acceptance Criteria): 제안된 카운터팩추얼은 의도한 개념적 변화(target alignment)를 달성하고, 비대상 개념에 대한 의도치 않은 변화(부수 효과)를 최소화하는 경우에만 수용된다.
• 정제(Refinement): 실패한 제안은 LLM이 특정 위반 사항을 수정하도록 유도하는 재귀적 정제 과정을 거친다.
• 결과(Outcome): 이를 통해 다양한 개념 상태의 조합을 포괄하는 더 조밀한 데이터셋($D_{mcmc}$)이 생성되어 안정적인 인과 발견을 가능하게 한다.

4. $\sigma$-CG를 통한 인과 발견

확장되고 주석이 달린 데이터셋은 이산 변수와 잠재적 순환 구조를 처리할 수 있는 인과 발견 알고리즘인 $\sigma$-CG에 입력된다. 결과로 도출된 유향 그래프 $G$는 텍스트가 루트(root)이고 예측이 싱크(sink)라는 제약 조건 하에, 입력 텍스트로부터 LLM이 인지하는 개념을 거쳐 최종 예측으로 이어지는 인과적 흐름을 포착한다.

주요 기여

1. 전역적 설명 가능성을 위한 인과 패러다임: 본 논문은 LLM의 추론을 인간이 이해할 수 있는 개념에 대한 인과 그래프로 매핑하는 프레임워크를 도입하여, 국소적이고 입력 중심적인 설명을 넘어 모델의 추론 메커니즘에 대한 전역적 설명을 제공한다.
2. MCMC 기반 데이터 증강: 잠재 개념 공간을 조밀하게 채우기 위해 카운터팩추얼을 생성하는 새로운 알고리즘을 제시하여, 블랙박스 모델의 인과 발견에 내재된 데이터 커버리지 병목 현상을 극복한다.
3. 평가 프로토콜: 정답 추론 그래프가 없는 상황에서 구조적 안정성과 예측 충실도를 평가하기 위한 엄격한 프로토콜을 제시하며, 발견된 인과적 부모(causal parents)가 대안적인 개념 집합보다 노드 예측에 있어 우월함을 입증한다.

결과

프레임워크는 세 가지 작업(합성 데이터 기반 질병 진단, IMDB 감성 분석, Reddit LLM-as-a-Judge)에 대해 세 가지 LLM(Gemini-2-Flash, Qwen3-14B, gpt-OSS-20B)을 대상으로 평가되었다.

• 예측 충실도(Predictive Fidelity): 모든 설정에서 인과 그래프의 부모 집합은 최종 레이블과 중간 개념 상태를 예측하는 데 있어 무작위 개념 집합보다 뛰어난 성능을 보였다. 대부분의 경우, 그래프 기반 부모는 상위 3위 이내의 예측자로 선정되었으며, 이는 발견된 구조가 의미 있는 의존성을 포착하고 있음을 확인시켜 준다.
• 모델별 추론(Model-Specific Reasoning): 합성 작업에서는 서로 다른 모델들이 유사한 설명적 개념(정답 변수 복구)으로 수렴했다. 그러나 자연스러운 데이터에서는 모델들이 서로 다른 잠재적 휴리스틱과 인과적 토폴로지를 발전시켰으며, 이는 모델 선택 시 성능뿐만 아니라 추론의 정렬(alignment)을 이해해야 함을 시사한다.
• 수렴 및 안정성: MCMC 확장은 완벽한 중첩(perfect overlap)이라는 이론적 하한선에 접근함에 따라 KL 발산(Kullback-Leibler divergence)이 안정화되는 분포적 수렴을 보여주었다. 구조적 안정성은 연속적인 그래프 토폴로지 간의 해밍 거리(Hamming distance)가 0으로 떨어짐으로써 확인되었다.
• 증강의 영향: 카운터팩추얼 확장은 원본 데이터만 사용했을 때보다 예측 정확도를 유의미하게 향상시켰으며, 이는 견고한 인과 발견을 위해 증강 단계가 필수적임을 입증한다.

의의 및 주장

본 논문은 이 연구가 LLM을 위한 "개념 수준의 설명 가능성"을 향한 기초적인 단계라고 위치시킨다. 저자들은 추론 과정을 인간이 이해할 수 있는 개념에 대한 인과 그래프로 모델링함으로써, 이 표현 방식이 개발자와 도메인 전문가 모두에게 더 접근 가능하고 실행 가능한 형태의 해석 가능성을 제공한다고 주장한다.

저자들은 이 작업이 프로세스 중심의 설명 방법론의 새로운 세대를 위한 기초를 제공한다고 겸손하게 주장한다. 그들은 자신들의 접근 방식이 MCMC에서 영의 확장 방식을 통해 잠재 공간의 데이터 희소성 문제를 해결함으로써, 이전에는 접근할 수 없었던 전역적 인과 구조의 복구를 가능하게 했다는 점을 강조한다. 이 연구는 모든 해석 가능성 문제를 해결한다고 주장하는 것이 아니라, 모델이 결정을 내리기 위해 개념을 어떻게 조직하는지를 발견하는 실행 가능한 파이프라인을 구축하며, 성능은 비슷할지라도 추론 방식은 다를 수 있는 모델 간의 차이를 구별해 낸다는 점을 명시한다.