Probabilistic Attribution For Large Language Models

기술 요약: 대규모 언어 모델을 위한 확률적 귀속

문제 제기
대규모 언어 모델 (LLM) 의 생성적 특성은 이전 문맥을 기반으로 응답 토큰을 샘플링하기 위해 조건부 확률을 계산하는 데 의존합니다. 이러한 모델이 고위험 분야에서 점점 더 널리 배포되고 있지만, 그 "블랙박스"적 성질은 출력의 유효성, 불확실성, 그리고 입력 토큰이 생성된 응답에 미치는 구체적인 영향을 평가하는 것을 복잡하게 만듭니다. 기존 설명 가능한 AI(XAI) 방법들은 종종 두 가지 범주로 나뉩니다: 내부 구조에 대한 접근이 필요한 모델 특정적 접근법 (예: 기울기 기반 중요도 지도) 과 입력 - 출력 교란에 의존하지만 안정성이나 인과적 충실도가 부족할 수 있는 모델 무관적 접근법 (예: SHAP, LIME) 입니다. 토큰 민감도, 모델 안정성, 그리고 학습 수렴을 더 잘 이해하기 위해, 하부 계산 구조와 무관하게 통계적 첫 번째 원리 (statistical first principles) 의 관점에서 LLM 의 행동을 해석할 수 있는 방법이 필요합니다.

방법론
저자들은 LLM 추론을 확률 과정의 수학적 이론 안에 위치시킵니다. 이 프레임워크에서 LLM 은 모델의 학습 데이터로부터 구성된 확률 측도를 통해 토큰 시퀀스에 대한 확률 분포를 정의하는 것으로 간주됩니다. 방법론의 핵심은 생성된 응답이 주어졌을 때 프롬프트의 특정 토큰의 중요도를 정량화하도록 설계된 모델 무관적 지표인 **귀속 점수 (Attribution Score, AS)**입니다.

AS 는 베이즈 정리를 사용하여 다음 토큰 로그 확률을 역산함으로써 유도됩니다. 구체적으로, 프롬프트 $p$와 응답 $r$에 대해, 프롬프트의 $\mu$번째 토큰에 대한 귀속 점수 $A_\mu$는 두 확률의 로그 비율로 정의됩니다:

1. 전체 프롬프트 $p$가 주어졌을 때 응답 $r$의 확률.
2. $\mu$번째 토큰이 주변화 (marginalized) 된 프롬프트가 주어졌을 때 응답 $r$의 확률 (즉, $p_\mu$가 어휘의 모든 값을 가질 수 있도록 허용된 $p$).

수학적으로, $A_\mu = \log \frac{Pr(R=r | P=p)}{Pr(R=r | P - P_\mu = p - p_\mu)}$입니다.

LLM 은 비연속적이거나 주변화된 시퀀스에 대한 확률을 직접 출력하지 않기 때문에, 저자들은 모델이 방출하는 표준 조건부 확률만을 사용하여 분모를 재구성하는 방법을 유도했습니다 (식 4–9). 이는 주변화된 위치의 모든 가능한 어휘 토큰에 대해 나머지 문맥의 확률로 가중치를 둔 합계를 포함합니다.

AS 를 보완하여, 저자들은 문맥 엔트로피 측정을 도입했습니다:

• 프롬프트 전용 문맥 엔트로피 ($S^{(P)}$): 나머지 프롬프트 토큰에만 조건부인 특정 위치의 토큰 분포의 엔트로피.
• 프롬프트 + 응답 문맥 엔트로피 ($S^{(P+R)}$): 나머지 프롬프트와 생성된 응답 모두에 조건부인 엔트로피.
• KL 발산: 두 문맥 하의 토큰 분포 간의 발산으로, 응답이 프롬프트 토큰에 대한 모델의 불확실성을 현저히 변경하는 이상치를 감지하는 데 사용됩니다.

또한, 대체 엔트로피는 프롬프트 토큰을 상위 90% 후보 토큰으로 대체했을 때 정확한 응답 일치의 빈도 분포를 측정함으로써 계산되며, 응답 안정성에 대한 경험적 측도를 제공합니다.

주요 기여
이 논문은 네 가지 주요 기여를 제시합니다:

1. 모델 무관적 귀속: AS 는 내부 가중치나 기울기에 대한 접근 없이 방출된 로그 확률에만 의존하여, 어떤 LLM 에서나 텍스트 생성 작업에 적용 가능합니다.
2. 파라미터 없는 설계: 이 방법은 LIME 또는 ReAgent 와 달리 하이퍼파라미터가 필요하지 않아 재현성과 객관성을 향상시킵니다.
3. 안정성 및 수렴 지표: 문맥 및 대체 엔트로피 측정은 모델의 안정성과 모델이 학습 데이터 분포에 수렴한 정도를 나타내는 지표로 작용합니다.
4. 내재적 민감도: 이 방법이 통계적 첫 번째 원리에 기반하기 때문에, 귀속 점수는 설명 가능한 결과의 정확성을 핵심 방법론의 일부로 본질적으로 평가합니다.

실험 결과
저자들은 GPT-2, GPT-Neo, Llama, Qwen 변형을 포함한 137M 에서 1.7B 파라미터까지 다양한 8 개의 LLM 을 평가했습니다. 평가는 독해, 사실 검색, 기만적 쿼리 등 다양한 작업을 포함하는 7 개의 프롬프트에 걸쳐 수행되었습니다.

• 토큰 민감도: 높은 AS 값은 특정 응답에 결정적인 토큰에 해당했으며, 음의 AS 값은 응답 문맥을 고려할 때 모델이 대체하기를 원했던 토큰을 나타냈습니다.
• 모델 수렴: 문맥 엔트로피 분석은 GPT-2, GPT-Neo 와 같은 구형 모델이 Llama 3.1 과 같은 최신 지시 튜닝 모델에 비해 거의 0 에 가까운 AS 값에서 더 높은 엔트로피를 보임을 드러냈습니다. 저자들은 거의 0 에 가까운 AS 에서의 높은 엔트로피를 응답 확률에 거의 기여하지 않으면서도 문맥에 의해 구속받지 않는 "노이즈 토큰"으로 해석하며, 이는 구형 모델의 poorer 학습 수렴을 시사합니다.
• 이상치 감지: 이 프레임워크는 모델이 프롬프트의 재구성을 선호하는 경우 (예: 특정 질문에서 "?"보다 "in"을 선호) 나 응답 문맥이 토큰 분포를 예상치 못하게 확장시켜 엔트로피를 증가시키는 경우와 같은 특정 이상치를 성공적으로 식별했습니다.
• XAI 기준선 대비 평가: AS 는 Infidelity, Deletion/NAOPC, Comprehensiveness, Sufficiency 등의 지표를 사용하여 Input X Gradient, Gradient Shapley, LIME, Occlusion, ReAgent 와 비교되었습니다. AS 는 경쟁력 있는 성능을 보였으며, 종종 다른 방법들의 성능과 일치하거나 초과했습니다. 특히 아키텍처 특정적 튜닝 없이 다양한 모델에 걸쳐 견고함을 보였습니다.
• 계산 비용: 이 방법은 모든 가능한 대체 토큰에 대한 합계를 요구하므로 어휘 크기에 비례하는 GPU 시간이 필요하여 계산 집약적입니다. 그러나 저자들은 상위 확률 토큰으로 합계를 제한함으로써 최적화할 잠재력이 있음을 지적합니다.

의의 및 주장
이 논문은 LLM 을 확률 과정으로 프레임함으로써 내부 "지식 표현"에 대한 가정을 피하는 엄격하고 모델 무관적인 해석 가능성 프레임워크를 제공한다고 주장합니다. 그 의의는 다음과 같은 능력에 있습니다:

• 모델 내부에 접근하지 않고 프롬프트 토큰이 응답에 미치는 인과적 영향을 정량화합니다.
• 엔트로피 분석을 통해 모델 학습 품질 (수렴) 을 진단하고, poor 학습을 나타내는 "노이즈 토큰"을 식별합니다.
• 사용자를 생성의 불확실하거나 불안정한 부분으로 안내하여 해석 가능성을 향상시킵니다.
• 다른 더 빠른 XAI 방법들의 하이퍼파라미터 튜닝을 위한 파라미터 없는 기준선으로 작용합니다.

저자들은 이 접근법이 더 높은 계산 비용을 수반하지만, LLM 행동에 대한 더 깊고 통계적으로 근거 있는 이해를 제공하여 학습 결함을 식별하고 더 일관된 응답을 생성하도록 프롬프트를 엔지니어링할 수 있게 한다고 결론지었습니다.