기술 요약: 언어 모델 내의 숨겨진 API (Hidden APIs)

1. 문제 정의

언어 모델(LM)의 내부 상태를 분석하는 현재의 방법들은 주로 현재 출력 토큰을 예측하기 위해 은닉 상태(hidden states)를 "프로빙(probing)"하는 데 의존한다. 그러나 동일한 현재 답변이라 할지라도, 근본적으로 서로 다른 미래 연산을 지원하는 은닉 상태로부터 발생할 수 있다. 결과적으로, 단일 답변에 대한 디코딩 가능한 방향(decodable direction)이 존재한다는 사실만으로는 재사용 가능한 내부 인터페이스를 확립할 수 없다. 본 논문이 다루는 핵심 질문은 반사실적(counterfactual)이다: 가능한 미래 연산들 사이에서 어떤 구별점들이 필수적으로 유지되는가? 본 논문은 언어 모델이 여러 다운스트림 연산이 재사용할 수 있는 압축되고 공유된 상태를 노출하는지, 아니면 연산별(Local), 게이팅 기반(Mixture), 또는 분산형(Distributed) 대안을 사용하는지를 결정하고자 한다.

2. 방법론

2.1 분기된 미래와 인과적 시그니처 (Forked Futures and Causal Signatures)

핵심 혁신은 **분기된 미래(forked futures)**의 정의이다. 주어진 접두사 상태 $h$에 대해, 연산 뱅크 $\mathcal{K}$는 상태가 형성된 이후에 유효한 연속(continuations)을 생성한다. 이러한 연산들에 대한 모델의 응답 분포는 미래 인과적 시그니처(future causal signature), $\Sigma_{\mathcal{K}}(h)$를 정의한다.

• 인과적 등가성(Causal Equivalence): 두 상태는 옌센-샤논 발산(Jensen-Shannon divergence) 하에서 미래 시그니처가 유사할 때 경험적으로 미래-동등(future-equivalent)하다고 간주된다(미래 시그니처 왜곡, FSD).
• 대조군(Controls): 본 방법론은 인터페이스가 현재의 답변이나 프롬프트 템플릿을 암기하는 것을 방지하기 위해 의미론적 충돌(semantic-collision, 동일한 현재 답변을 가지나 서로 다른 미래 전이를 가짐) 및 어휘적 안티-충돌(lexical anti-collision, 서로 다른 표층 형태를 가지나 동일한 미래 시그니처를 가짐) 대조군을 사용한다.

2.2 순차적 인과 MDL을 통한 아키텍처 경쟁

본 논문은 인터페이스 발견을 검증 가능한 아키텍처 선택 문제로 프레임화한다. 네 가지 경쟁 아키텍처를 평가한다:

1. 공유형(Shared): 하나의 연산 불가지론적 인코더 $E(h)$와 단일 병목 코드 $c$.
2. 지역형(Local): 각 연산에 대한 독립적인 인코더-재구성 쌍 $(E_k, R_k)$.
3. 혼합형(Mixture): 공유 및 지역 구성 요소를 보간하는 연산 조건부 게이트.
4. 분산형(Distributed): 특권적인 병목 없이 여러 구성 요소에 걸쳐 유지되는 정보.

선택 기준은 **순차적 인과 최소 기술 길이(Prequential Causal Minimum Description Length, MDL)**이다. 모델은 데이터 블록에 대해 순차적으로 학습되며, MDL은 이전 데이터를 바탕으로 홀드아웃(held-out) 블록의 미래 시그니처를 예측하는 데 필요한 코드 길이를 측정한다. **공유 이득(Sharedness Gain, SG)**은 엄격한 충실도 제약(평균, 최악-패밀리, 꼬리 FSD) 하에서, 최적의 비-공유(non-Shared) 대안 대비 Shared 아키텍처의 MDL 이점을 의미한다.

2.3 메커니즘 검증

선택된 인터페이스는 단순한 통계적 상관관계가 아니라 인과적 API로서 기능함을 증명하기 위해 엄격한 개입 테스트를 통과해야 한다:

• 이식(Transplantation): 도너(donor) 인터페이스 코드를 베이스 에피소드의 매칭된 프로듀서 역할에 삽니다. 성공 여부는 대상 정확도(Target Correctness, 도너 관계의 실현), 국소성(Locality, 비-대상 베이스 상태의 보존), 그리고 복사 보존(Copy Preservation, 도너 특유의 표층 내용 누출 방지)으로 측정된다.
• 매개(Mediation): 프로듀서와 컨슈머 사이의 "API 정렬된" 경로를 차단했을 때, 매칭된 널(null) 경로에 비해 타겟 효과가 유의미하게 감소해야 한다.
• 모델 생물(Model Organisms): 파이프라인은 알려진 그라운드 트루스 라우팅(Shared, Local, Mixture, Distributed)을 가진 합성 트랜스포머에서 테스트되어 오탐율과 회복 정확도를 측정한다.

3. 주요 결과

3.1 아키텍처 경쟁

Qwen2.5-1.5B 및 Llama-3-8B에 대한 평가 결과:

• Shared는 Local, Mixture, Distributed에 비해 가장 낮은 홀드아웃 순차적 MDL을 달성했다.
• 공유 이득 (SG):
  • Qwen2.5-1.5B: $SG = 0.216$ nats (95% CI: [0.161, 0.278]).
  • Llama-3-8B: $SG = 0.294$ nats (95% CI: [0.208, 0.391]).
• 충실도(Fidelity): Shared 아키텍처는 대안들보다 동등하거나 약간 더 나은 FSD(평균, 최악-패밀리, 꼬리)를 유지하였으며, 이는 이 이득이 예측적 우월성이 아닌 코딩 효율성(재사용)에서 기인함을 나타낸다.
• 강건성(Robustness): 5개의 백본(Qwen2.5-7B, Mistral-7B, Gemma-2-9B, Phi-3-3.8B 포함) 스윕에서도 양(+)의 방향성을 가진 공유 이득이 유지되었다.

3.2 메커니즘적 증거

• 이식(Transplantation): Shared 인터페이스는 대상 정확도, 국소성, 복사 보존에 대해 0.87의 최고 복합 점수를 기록하며, Local (0.70), Mixture (0.64), Distributed (0.46)를 유의미하게 능가했다.
• 매개(Mediation): API 정렬된 경로는 매칭된 널 경로(0.150)에 비해 타겟 효과의 0.749를 매개했다.
• 선택성(Selectivity): 인과 그래프는 희소했으며(sparsity $\approx 0.79$), 높은 교차 시드 안정성(Jaccard overlap 0.83)을 보였다. 64개 차원 중 7개만이 BH-FDR 보정을 통과하여 선택적 필연성을 나타냈다.

3.3 모델 생물 검증 (Falsification)

16개의 합성 생물(아키텍처 클래스당 4개)에 대한 블라인드 테스트 결과:

• 회복(Recovery): 16개 아키텍처 중 14개가 올바르게 식별되었다.
• 오탐율(False-Positive Rate): 12개의 비-Shared 생물 중 1개가 Shared로 잘못 분류되었다(8.3%의 false-Shared rate). 이는 완벽한 식별 가능성을 주장하는 것은 아니나, "항상 Shared"라는 가설을 기각할 수 있는 방법론의 능력을 뒷받ity한다.

4. 주장 및 의의

본 논문은 테스트된 연산 뱅크 내에서 경제적이고 재사용 가능한 인과적 인터페이스를 입증한다고 주장한다.

• 주정의 성격: 주장은 명시적으로 비교적이며 조건적이다. 이는 평가된 모델들에 대해, 정해진 계열의 미래 연산들에 대하여, 모델이 여러 다운스트림 연산이 특정 연산별 또는 분산형 대안보다 더 효율적으로 재사용할 수 있는 압축된 상태를 노출한다는 것을 단언한다.
• 범위 제한: 저자들은 이것이 모든 LM 연산을 위한 유일한 글로벌 워크스페이스를 식별하는 것이 아님을 명시한다. 결과는 후보 아키텍처, 개입, 그리고 홀드아웃된 미래들에 대해 조건적이다. 인터페이스는 정렬된 인과적 가족 내에서는 재사용 가능함을 보여주지만, 서로 다른 태스크 패밀리(예: 관계-세계에서 프로그램-상태로) 간의 전이는 더 약하게 나타난다.
• 메커니즘적 통찰: 결과는 언어 모델이 특정 인과적 역할을 위해 "Shared" 병목을 활용한다는 가설을 지지하며, 이는 더 짧은 기술 길이, 높은 국소성을 가진 성공적인 이식, 그리고 희소하고 안정적인 경로를 통한 매개를 통해 입증된다.

결론적으로, 본 논문은 "Shared" 아키텍처가 선언된 대안들 중 가장 우수한 테스트된 추상화임을 보여주며, 연구자가 지정한 잠재 레이블에 의존하지 않고 숨겨진 API를 발견할 수 있는 검증 가능한 프레임워크를 제공한다.