The Attribution Contract: Feature Attribution for Generative Language Models

기술적 요약: 귀속 계약 (Attribution Contract)

문제 제기
모델의 출력을 주도하는 입력 특징을 식별하도록 설계된 특징 귀속 (feature attribution) 방법은 생성형 언어 모델 (LM) 에 적용될 때 근본적인 개념적 모호성에 직면합니다. 고전적인 분류 설정에서는 입력 - 출력 스키마가 정적 ($x \to f(x)$) 이며, 특징은 명확하게 입력 구성 요소로 정의됩니다. 그러나 생성형 LM 은 이전 출력이 후속 예측의 입력이 되는 (자기회귀 모델에서) 또는 반복적 탈잡음 (diffusion) 을 통해 생성이 진행되는 (확산 모델에서) 동적 프로세스를 통해 작동합니다.

이러한 구조적 차이는 "귀속 모호성 (attribution ambiguity)"을 초래합니다. 즉, 무엇이 "특징"을 구성하는지 또는 어떤 구체적인 "출력"이 설명되고 있는지가 종종 불분명합니다. 예를 들어, 자기회귀 모델에서 이전에 생성된 토큰들은 모델의 출력이자 다음 예측의 입력이 됩니다. 결과적으로 동일한 귀속 알고리즘은 로컬 다음 토큰 예측을 설명하는 것인지, 아니면 원래 프롬프트가 전체 생성된 시퀀스에 미치는 영향을 설명하는 것인지에 따라 다른 결과를 산출할 수 있습니다. 이 논문은 생성형 모델의 특징 귀속과 관련하여 문헌에서 지각되는 많은 불일치들이 알고리즘 간의 충돌이 아니라, 명시되지 않거나 불일치하는 설명 계약 (explanatory contracts) 에서 비롯된 충돌이라고 주장합니다.

방법론: 귀속 계약
이 모호성을 해결하기 위해 저자들은 어떤 특징 귀속 주장의 설명 범위를 정의하는 형식적 명세 튜플 $A = (S, C, O, P, E)$인 **귀속 계약 (Attribution Contract)**을 도입합니다. 구성 요소는 다음과 같습니다:

• $S$ (Score): 귀속되는 특정 모델 양 (예: 로그잇, 확률, 손실, 또는 로그 가능도).
• $C$ (Conditioning): 귀속 계산 동안 고정되는 변수 (예: 생성된 접두사를 고정하고 프롬프트에만 귀속).
• $O$ (Output): 설명되는 특정 대상 (예: 단일 다음 토큰, 중간 확산 상태, 또는 전체 생성된 구간).
• $P$ (Process): 가정된 생성 프로세스 (예: 자기회귀 체인 $x \to y_1 \to \dots \to y_t$ 또는 확산 체인 $z_T \to \dots \to z_0 \to y$).
• $E$ (Eligible Features): 귀속을 받을 수 있는 특징의 집합 (예: 프롬프트 토큰만, 프롬프트 및 생성된 접두사, 또는 탈잡음 단계).

이 논문은 "귀속 계약" 프레임워크가 다양한 설정의 정밀한 인스턴스화를 가능하게 함을 보여줍니다. 기존 및 잠재적 설정을 다음과 같이 분류합니다:

1. 자기회귀 설정:
   • 로컬 다음 토큰: 프롬프트와 생성된 접두사 토큰 모두에 토큰 $y_t$의 예측을 귀속.
   • 프롬프트 조건부 토큰: 생성된 접두사를 고정하고 프롬프트 토큰에만 $y_t$를 귀속.
   • 구간 수준 프롬프트: 전체 생성된 구간 $y_{1:T}$의 확률을 프롬프트 토큰에 귀속하며, 구간을 고정.
2. 확산 설정:
   • 상태 수준: 중간 상태 $z_t$를 프롬프트 및 이전 상태에 귀속.
   • 탈잡음 단계: 최종 출력의 속성을 탈잡음 프로세스의 특정 단계에 귀속.
   • 프롬프트에서 출력으로: 탈잡음 체인을 프로세스로 간주하여 최종 출력 $y$를 프롬프트 토큰에 귀속.

주요 기여
이 논문은 네 가지 주요 기여를 합니다:

1. 계약 모호성 식별: 명시된 설명 설정의 부재로 인한 오해 해석을 초래하는 생성형 특징 귀속의 고유한 실패 모드인 "계약 모호성"을 식별합니다.
2. 귀속 계약 프레임워크: 어떤 주장에 대해서도 대상, 자격 있는 특징, 생성 프로세스, 조건부 체계, 그리고 귀속된 점수를 명시적으로 정의하기 위해 $(S, C, O, P, E)$ 튜플을 제안합니다.
3. 자기 귀속 오류 (Self-Attribution Fallacy): 생성된 접두사 토큰에 대한 귀속 (로컬 다음 토큰 계약 하에서 유효) 이 프롬프트 수준의 질문 (예: "소스 문서가 이 환각을 유발했는가?") 에 대한 답변으로 잘못 해석되는 특정 해석 오류를 정의합니다. 논문은 후자에 대한 답변은 접두사를 고정하는 프롬프트 조건부 계약이 필요함을 보여줍니다.
4. 방법 - 계약 평가: 생성형 LM 의 특징 귀속 방법은 문맥 없는 알고리즘이 아닌 **방법 - 계약 쌍 (method–contract pairs)**으로 평가되어야 한다고 주장합니다. 방법은 고립적으로 "좋다" 또는 "나쁘다"고 판단될 수 없으며, 그 유효성은 테스트 중인 특정 계약과 일치하는지에 달려 있습니다.

결과 및 분석
이 논문은 새로운 경험적 벤치마크나 새로운 알고리즘을 제시하지 않지만, 귀속 계약의 렌즈를 통해 기존 문헌에 대한 이론적 분석과 재평가를 제공합니다.

• 문헌의 조화: 저자들은 종종 경쟁하는 것으로 지각되는 방법들 (예: ContextCite 대 Inseq) 이 실제로는 서로 다른 계약에 의해 정의된 서로 다른 질문에 답변하고 있음을 보여줍니다. ContextCite는 프롬프트에서 출력으로의 계약 하에 작동하는 반면, Inseq는 일반적으로 로컬 다음 토큰 계약 하에 작동합니다.
• 평가 함의: 논문은 평가 지표가 계약에 따라 어떻게 변경되어야 하는지 상세히 설명합니다. 예를 들어, "구간 수준 프롬프트 귀속"을 평가하려면 프롬프트를 교란하고 원래 고정된 생성의 로그 확률 변화를 측정해야 하며, 새로운 시퀀스를 재생성해서는 안 됩니다. 시퀀스를 재생성하는 것은 다른 계약 (예: 프롬프트에서 출력으로) 을 테스트하는 것이 됩니다.
• 확산 특이점: 분석은 확산 모델이 자기회귀 모델에서 직접적인 유사체가 없는 중간 상태와 탈잡음 단계를 고려하는 계약이 필요함을 강조합니다.

의의 및 주장
이 논문은 귀속 계약이 생성형 모델링에서 특징 귀속에 엄밀함을 부여하는 데 필요하다고 주장합니다. 설명 설정을 명시적으로 함으로써, 이 프레임워크는 다음과 같은 효과를 가집니다:

• 동일한 귀속 방법이 인스턴스화에 따라 다른 매핑을 생성할 수 있는 이유를 명확히 합니다.
• "자기 귀속 오류"를 방지하여, 귀속이 실제로 모델의 이전 토큰에 의해 주도되었음에도 불구하고 생성의 원인을 프롬프트에 잘못 귀속하는 것을 방지합니다.
• 생성형 모델을 위한 단일 "좋은" 귀속 매핑은 없으며, 평가는 계약별로 이루어져야 함을 확립합니다.

저자들은 이 작업을 기존 귀속 알고리즘을 대체하는 것이 아니라, 이러한 방법들의 주장을 비교 가능하고 해석 가능하게 만들기 위한 필수 명세 계층으로 위치시킵니다. 그 의의는 알고리즘에 대한 논쟁을 넘어, 해당 알고리즘이 답변하도록 의도된 정확한 설명적 질문을 정의하는 것으로 담론을 전환하는 데 있습니다.