기술 요약: 인과적 추상화가 어떻게 계산적 설명을 뒷받침하는가

1. 문제 제식

본 논문은 **계산적 구현(computational implementation)**이라는 근본적인 문제를 다룬다. 즉, 어떤 물리적 시스템(예: 뇌 또는 신경망)이 내부 표현에 대해 특정 계산 모델을 "구현한다"고 말하기 위해 충족해야 하는 조건은 무엇인가?

인지 과학에서는 흔-히 지능적 행동이 내부 표현에 대한 계산으로부터 발생한다고 가정하지만, 물리적 시스템이 그러한 계산을 실체화하기 위한 기준은 여전히 논쟁적이다. 단순한 상태 매핑(state-mapping)을 통해 구현을 정의하려 했던 초기 시도들은 "사소함의 논변(triviality arguments)"(예: Putnam, Searle)에 직면했다. 이는 제약 조건이 느슨할 경우 거의 모든 물리적 시스템이 모든 계산을 구현할 수 있다는 점을 시사한다. Chalmers의 조합 상태 오토마타(CSA)와 같은 더 엄격한 제안은 물리적 시스템의 인과 구조와 계산 모델 사이의 동형성(isomorphism)을 요구한다. 그러나 이러한 설명 방식은 정보가 분산되어 있고 표현이 즉각적으로 투명하지 않은 심층 신경망과 같은 현대적 시스템의 복잡성을 수용하는 데 어려움을 겪는 경우가 많다. 저자들은 기존의 프레임워크가 저수준의 물리적 역동성과 고수준의 알고리즘적 기술 사이의 관계, 특히 **표현(representation)**과 **일반화(generalization)**의 역할과 관련하여 정밀함이 부족하다고 주장한다.

2. 방법론

저자들은 **개입주의적 인과 모델링(interventionist causal modeling)**과 **인과적 추상화 이론(causal abstraction theory)**에 기반한 프레임워크를 사용한다.

• 인과 모델의 기초: 저자들은 물리적 시스템($L$)과 계산 모델($H$)을 모두 인과 모델로 취급한다. 인과 모델 $M$은 변수들의 집합 $V$와, 부모 변수에 기초하여 변수의 값을 결정하는 기능적 메커니즘들의 집합 $F$의 쌍 $\langle V, F \rangle$로 정의된다.
• 개입주의 프레임워크: Woodward(2003)를 따라, 인과성은 개입(interventions)을 통해 이해된다. 저자들은 **개입적 요소(interventionals)**를 모델에 대한 연산(예: 변수를 특정 값으로 고정하거나 메커니즘을 교체하는 강한 개입)으로 정의한다. 일련의 개입적 요소들이 모듈성 속성(예: 개입의 순서가 결과에 영향을 미치지 않고 수행될 수 있음)을 만족하면 **개입 대수(intervention algebra)**를 형성한다.
• 정확한 변환(Exact Transformation): 핵심적인 기술적 도구는 두 가지 맵 $(\tau, \omega)$의 쌍인 정확한 변환이다. 여기서 $\tau$는 저수준 변수 값을 고수준 값으로 매핑하고, $\omega$는 저수준 개입적 요소를 고수준 개입적 요소로 매핑한다. 정확한 변환은 저수준 시스템에 개입하고 그 결과를 번역한 결과가, 저수준 상태를 번역한 후 고수준 모델에 개입한 결과와 동일할 때 성립한다: $\tau(\text{Run}(L_i)) = \text{Run}(H_{\omega(i)})$.
• 추상화 유형:
  • 구성적 추상화(Constructive Abstraction): 저수준 변수들을 집합으로 분할하고 이를 고수준 변수로 매핑함으로써, 인과적 일관성을 유지하면서 특정 저수준 구분을 무시하는 모델이다.
  • 번역(Translation): 변수 공간을 재조각(re-carving)하는 단사적(bijective) 과정(예: 벡터 공간의 회전)으로, 인과 구조는 보존하지만 변수의 정의를 변경한다.
  • 번역 하의 추상화(Abstraction-Under-Translation): 저자들은 시스템 $L$이 계산 $H$를 구현한다는 것은, $H$가 $L$의 번역된 결과의 구성적 추상화일 때를 의미한다고 제안한다. 이를 통해 저수준 시스템이 고수준 알고리즘으로 추상화되기 전에 먼저 재해석(번역)될 수 있도록 한다.

3. 주요 기여

A. 구현에 대한 공식적 설명

본 논문은 **번역 하의 추상화를 통한 구현(Implementation as Abstraction-Under-Translation)**을 제안한다. 이 프레임워크는 어떤 시스템이 계산을 구현하기 위해서는, 계산 모델이 시스템의 인과 모델에 대한 번격(translation)의 구성적 추상화여야 한다고 상정한다. 이 공식화는:

• 비자명한 매핑(번역)을 허용함으로써 Chalmers의 CSA와 같은 기존의 동형성 기반 설명들을 일반화한다.
• 신경망에서 발견되는 분산되고 중첩된 인코딩을 수용할 수 있는, "인과 구조를 거울처럼 반영함"에 대한 엄격한 수학적 정의를 제공한다.

B. 표현과 인과성의 통합

저자들은 계산적 설명에서의 표상적 내용(representational content)이 추상화된 모델 내 변수들의 인과적 역할과 연결되어 있다고 주장한다.

• 그들은 고수준 인과 모델의 변수들에 표준적인 표현 기준(정보, 사용, 오표상)을 적용한다.
• 저자들은 '번역 하의 추상화' 하에서, 저수준 시스템의 표현 매개체(vehicles)가 개별 뉴런이나 단순한 클러스터가 아니라, 상태 공간의 복잡한 점들의 집합 또는 고수준 상태를 유도하는 특정 개입적 연산(예: 특정 함수 교체)이 될 수 있음을 보여준다.
• 이는 표현을 물리적 기질 자체의 고유한 속성이 아니라, 시스템과 알고리즘 사이의 매핑에 관한 속성으로 재정의한다.

C. 사소함과 일반화 문제 해결

본 논문은 허용된 번역의 클래스($C$)에 대한 제약이 없다면 모든 신경망이 모든 알고리즘을 구현할 수 있다는 최근의 "사소함" 결과(예: Sutter et al., 2025)를 다룬다.

• 저자들은 번역 $C$가 제약되지 않는다면 사소함이 성립한다는 점을 인정한다.
• 그러나 저자들은 구현에 대한 계산적 주장의 설명적 가치가 일반화 및 예측을 지원할 수 있는 능력에 달려 있다고 주장한다.
• 따라서 "게리맨더링(gerrymandered)"된 번역이 기술적으로는 구현의 정의를 만족할 수는 있지만, 분포 외 입력(out-of-distribution inputs)이나 새로운 작업 변형에 대해 행동을 예측할 수 없다면 좋은 설명이 될 수 없다고 주장한다.
• 그러므로 허용 가능한 번역($C$)의 선택은 단순히 특정 입출력 매핑을 맞추는 것이 아니라, 에이전트의 역량(competence)(일반화)을 설명하는 목표에 의해 제약되어야 한다.

4. 결과 및 예시

논문은 다음의 예시들을 통해 이러한 개념들을 설명한다:

• XNOR 회로: 단순한 논리 회로(고수준)가 작은 피드포워드 신경망(저수준)의 구성적 추상화임을 보여준다.
• 번역의 필요성: 저자들은 많은 신경망의 경우, 분산된 표현 때문에 직접적인 구성적 추상화가 불가능함을 보여준다. 그러나 선형 번역(예: 은닉 유닛의 벡터 공간 회전)을 적용하면 기저의 인과 구조가 드러나 고수준 알고리즘을 회복할 수 있다. 이는 메커니즘적 해석 가능성(mechanistic interpretability) 분야의 가설, 즉 선형 판독(linear readout)이 인과 변수를 식별하는 데 종종 충분하다는 점을 뒷받침한다.
• 계층적 동일성 과업: 두 객체 쌍이 동일한 관계(예: "같음" vs "다름")를 공유하는지 결정하는 과업을 논의한다. 저자들은 신경망이 이를 해결할 수 있지만, 심볼릭 알고리즘의 구현을 식별하기 위해서는 추상화 전에 번역을 허용해야 함을 보여준다.
• 오표상(Misrepresentation): 이 프레임워크는 오표상의 분석을 허용한다. 만약 저수준 시스템이 고수준 모델을 근사하지만 특정 입력에서 실패한다면, 추상이 시스템의 일반화 행동을 설명하기에 "적절(apt)"하다고 간주되는 한, 해당 시스템은 상대적인 오표상을 하고 있다고 말할 수 있다.

5. 의의 및 주장

저자들은 자신들의 프레임워크가 인지 과학과 머신러닝 모두에서 계산적 설명을 이해하기 위한 유익한 렌즈를 제공한다고 주장한다.

• 구현의 명료화: 본 논문은 "구현"이 이진적이고 절대적인 사실이 아니라, 선택된 번역 클래스와 설명적 목표에 따라 달라지는 관계라고 주장한다. 이는 마음의 철학의 고전적 요구사항인 "동형성"과 현대 딥러닝 해석 가능성의 "분산된 선형 구조" 발견 사이의 간극을 메운다.
• 일반화의 역할: 계산적 설명의 타당성은 일반화와 불가분하게 연결되어 있다는 것이 핵심 주장이다. 구현에 대한 주장은 에이전트가 새로운 작업이나 새로운 조건 하에서 어떻게 행동할지 예측할 수 있을 때 가장 "수익적(profitable)"이다. 만약 시스템에서 알고리즘으로의 매핑이 너무 복잡하거나 "게리맨더링"되어 이러한 예측을 지원할 수 없다면, 그것은 최소한의 구현 정의를 기술적으로는 만족할지라도 깊이 있는 설명으로서에는 실패한 것이다.
• 인과적 역할로서의 표현: 저자들은 표현적 내용이 고수준 추상화 내에서 변수가 수행하는 인과적 역할을 통해 가장 잘 이해될 수 있다고 제안한다. 그러나 이 역할은 추상이 고정된 데이터셋에 대한 성능뿐만 아니라 시스템의 일반화 능력을 포착할 때만 의미를 갖는다.

저자들은 인과적 추상화가 구현을 정의하기 위한 엄격한 토대를 제공하지만, 어떤 추상이 설명력이 있는지를 선택하는 것은 조사 대상 시스템(생물학적 또는 인공적)의 구체적인 학습 메커니즘 및 일반화 능력과 결부된 추가적인 제약이 필요하다고 결론짓는다. 그들은 표현의 문제를 완전히 해결했다고 주장하는 것이 아니라, 이러한 논쟁들이 생산적으로 지속될 수 있는 정밀한 인과적 프레임워크를 제시한다.