기술 요약: 자기회귀 언어 모델의 문맥 의존성 및 신뢰성

문제 정의

자기회귀 대규모 언어 모델(LLM)은 중복된 지시사항, 반복되는 사실, 검색된 구절, 그리고 상호작용 이력 등 방대하고 구조화된 문맥에 조건화되어 출력을 생성합니다. 의료 또는 법률 도메인과 같은 중요한 응용 분야에서는 특정 문맥 요소가 출력에 실제로 책임을 지고 있는지를 식별하는 것이 필수적입니다. 그러나 어텐션 시각화, 그래디언트 살리언시(gradient saliency), 섭동 기반 제거(perturbation-based ablation)와 같은 표준 설명 방법들은 이러한 중복이 존재하는 환경에서 어려움을 겪습니다.

핵심 문제는 **문맥 중복성(context redundancy)**입니다. 여러 문맥 요소가 겹치거나 동일한 정보를 전달할 때, 기존 방법들은 중요도를 잘못 할당하는 경향이 있습니다. 이들은 중요도를 중복된 요소들에 균등하게 분배함으로써, 실제로는 하나만으로도 충분했음에도 불구하고 여러 독립적인 소스가 필요했던 것처럼 암시할 수 있습니다. 또한, 이러한 방법들은 **불안정성(instability)**을 보입니다. 입력 구조의 미세한 변화(예: 검색된 청크의 순서 변경 또는 지시사항의 패러프레이징)가 발생하면, 모델의 출력은 동일하더라도 속성 점수(attribution scores)가 예측 불가능하게 변할 수 있습니다. 이러한 민감성은 해석 가능성을 저해하며, 메모리나 문맥 내에 반복된 악의적인 지시사항이 영향력 있는 것으로 잘못 신용될 수 있는 프롬프트 인젝션 시나리오와 같은 보안 위험을 초래합니다.

본 논문은 근본적인 실패 모드가 의존성 인식(dependence awareness)의 결여에 있다고 주장합니다. 기존 방법들은 문맥의 고유한, 조건부 기여를 측정하기보다는 한계적인 중요성이나 표면적인 상관관계를 측정하는 경우가 많습니다.

방법론: RISE

이러한 과제를 해결하기 위해 저자들은 나머지 문맥을 조건으로 하여 각 입력 요소의 고유한 영향력을 정량화하도록 설계된 방법인 **RISE(Redundancy-Insensitive Scoring of Explanation, 중복에 무관한 설명 점수 산출)**를 제안합니다.

핵심 개념: 조건부 고유 의존성 (Conditional Unique Dependence, CUD)

RISE는 정보 이론에 기초합니다. RISE는 문맥 단위 $C_i$가 출력 $\hat{T}$와 얼마나 상관관계가 있는지를 측정하는 대신, **조건부 고요 의존성(CUD)**을 측정합니다:
$$\Delta_i \triangleq I(C_i; \hat{T} \mid C_{\setminus i})$$
여기서 $I(\cdot)$는 조건부 상호 정보량(conditional mutual information)을 나타내며, $C_i$는 특정 문맥 단위(예: 시스템 지시사항, 검색된 청크, 또는 대화 턴)이고, $C_{\setminus i}$는 나머지 모든 문맥 단위를 나타냅니다. 이 지표는 $C_i$가 나머지 문맥으로부터 복구할 수 없는, 생성에 대해 제공하는 정보를 정량화합니다.

RISE 점수

단위 간 비교를 가능하게 하기 위해, CUD 값은 다음과 같이 정규화되어 RISE 점수로 변환됩니다:
$$\text{RISE}(C_i) = \frac{\text{CUD}(C_i; \hat{T} \mid C_{\setminus i})}{\sum_{j=1}^m \text{CUD}(C_j; \hat{T} \mid C_{\setminus j}) + \epsilon}$$
이 공식은 다음을 보장합니다:

1. 중복 억제(Redundancy Suppression): 어떤 단위가 다른 단위의 복제본이거나(또는 나머지로부터 완전히 복구 가능한 경우), 해당 단위의 조건부 상호 정보량은 0이 되며 0의 속성을 받습니다.
2. 안정성(Stability): 중복된 문맥을 추가하더라도 원래의 정보성 단위들의 속성 점수는 변하지 않습니다.
3. 문맥 수준의 세밀도(Context-Level Granularity): RISE는 개별 토큰이 아닌 구조화된 문맥 단위(예: 프롬프트 세그먼트, RAG 청크)에서 작동하므로 복잡한 파이프라인을 감사하는 데 적합합니다.

구현 변형

논문은 이 원칙의 두 가지 구현을 설명합니다:

1. RISE-Lite: 모델을 수정하지 않고도 감사를 위해 의존성을 인식하는 점수를 계산하는 가볍고 모델 불가지론적인(model-agnostic) 스코어링 모듈입니다.
2. 통합 학습 선택기(Integrated Learned Selector): 추론 중에 의존성 인식 원칙을 사용하여 문맥 단위의 희소한 하위 집합(필수적인 최근 윈도우와 상위-$K$개의 고유 앵커 유지)을 선택하는 학습 가능한 게이팅 네트워크입니다. 이는 필수적인 정보를 보존하면서 입력 차원을 줄입니다.

주요 기여

1. 실패 모드로서의 중복성 식별: 저자들은 표준 설명 방법들이 필수적인 문맥과 단순한 반복을 구분하지 못하여, 방해 요소에 대한 "과잉 신용"과 패러프레이징 또는 재정렬에 따른 불안정성을 초래한다는 점을 식별했습니다.
2. 의존성 인식 속성 부여: 논문은 조건부 정보를 신뢰할 수 있는 속성 부여를 위한 원칙적인 토대로 제안하며, 고유한 기여를 기준으로 구조화된 문맥 단위의 중요도를 평가하기 위해 RISE를 도입합니다.
3. 실증적 검증: 중복 프롬프팅 및 검색 증강 생성(RAG)에 대한 통제된 실험을 통해, 저자들은 RISE가 전통적인 섭동 기반 방법들보다 훨씬 더 안정적이고 견고한 설명을 생성하며, 특히 중복성에 의한 중요도 팽창을 줄인다는 것을 입증했습니다.

실험 결과

저자들은 GPT-2와 오픈 웨이트 자기회귀 모델을 사용하여 SQuAD v1.1 데이터셋 및 합성 중복 테스트에서 RISE를 어텐션 기반 휴리스틱 및 섭동 기반 베이스라인(예: LOUO)과 비교 평가했습니다.

• 중복 민감도: 베이스라인 방법들은 높은 "Dup-Split"(중복 요소 간의 신용 파편화)과 표면 형태 변화에 대한 민감도를 보였습니다. 반면, RISE는 낮은 Dup-Split을 유지하며 중복된 단위에 대한 신용을 효과적으로 억제했습니다.
• 안정성 vs 충실도: 어텐션 방법은 (중복 요소로 인한 신용 확산 때문에) 높은 순위 안정성을 보였고, 섭동 방법은 (구조적으로 필수적인 '질문' 단위로 붕괴되는 경-향이 있어) 높은 안정성을 보였습니다. 그러나 RISE는 **중복 불변성(redundancy invariance)**을 우선시했습니다. RISE는 중복된 복사본으로부터 신용을 의도적으로 회수하여 고유하게 정보가 있는 단위로 재할당했습니다.
• 구조적 지배성: 섭동 기반 방법들은 질문 단위를 제거하는 것이 증거의 유무와 상관없이 생성을 방해하기 때문에 "질문" 단위로 붕괴되는 것으로 나타났습니다. RISE-Lite는 남은 문맥을 조건화함으로써 이를 피하고, 질문이 존재할 때도 유효한 증거를 정확하게 식별했습니다.
• 충실도(Faithfulness): 제거 테스트에서 RISE는 양(+)의 충실도 갭을 보여주었습니다. 이는 상위 순위 단위를 제거했을 때 정답 확률이 유의미하게 감소했음을 나타내며, 이는 어텐션 기반 방법들이 음(-)의 갭을 보인 것과 대조적입니다.

의의 및 주장

본 논문은 의존성 인식이 신뢰할 수 있는 AI 시스템을 구축하는 데 필수적이라고 주장합니다. 표면적인 연관성에서 진정한 조건부 의존성으로 속성 부여를 전환함으로써, RISE는 세 가지 구체적인 실패 모드를 해결합니다:

1. 방해 요소에 대한 과잉 신용: 정보가 단순히 중복된 것임에도 불구하고 여러 독립적인 소스가 일치한다고 믿는 착각을 방지합니다.
2. 불안정성: 문맥의 미세한 패러프레이징이나 재정렬에도 설명이 일관되게 유지되도록 합니다.
3. 조작 취약성: 주입되거나 반복된 악의적인 지시사항이 영향력 있는 것으로 잘못 신용될 위험을 줄입니다.

저자들은 RISE가 내부 모델 메커니즘(뉴런이나 어텐션 헤드 등)에 대한 접근을 요구하지 않으며, 오직 관찰 가능한 입출력 동작에만 의존한다는 점을 강조하며, 이는 에이전트 및 RAG 시스템의 실시간 모니터링, 감사 및 안전 개입에 적합하게 만듭니다. 결론적으로, 중복을 억제하는 것은 필수적인 정보를 제거하는 것이 아니라, 중요도가 빈도에 따라 커지는 것을 방지하여 단순한 빈도가 아닌 고유한 의존성을 반영하는 설명을 산출하는 것입니다.