Priors Persist Through Suppression: A Stroop Paradigm for Lexical Override

기술 요약: 억제 과정에서도 지속되는 사전 지식(Priors)

문제 정의
언어 모델(LM)은 종종 자신의 사전 학습된 어휘적 사전 지식(예: "port"를 "socket"으로 정의하는 용어 사전)을 일시적으로 무효화하는 로컬 정의를 따라야 하는 상황에 직면한다. 이러한 무효화는 성공하는 경우가 많지만, 의미의 깨끗한 대체로 이루어지지는 않는다. 대신, 사전 학습된 어휘적 사전 지식이 계속 작동하여, 로컬 규칙이 적용되는 중에도 익숙한 의미를 향한 잔여 편향을 생성한다. 이러한 "무효화 실패(override failure)"는 법률, 의료 또는 기술 문서와 같이 문서 특정적 정의를 엄격히 준야 하는 도메인에서 중요한 다음 토큰 확률에 대한 조용한 간섭으로 나타난다. 본 논문은 문맥적 무효화가 단순한 삭제가 아니라 사전 지식이 지속되는 경쟁 과정이라고 상정하며, 이 간섭을 정량화하고 그 기계적 근원을 찾는 것을 목표로 한다.

방법론
저자들은 아이템 단위로 어휘적 사전 간섭을 격리하기 위해 스트룹(Stroop) 스타일의 패러다임을 도입한다.

• 자극(Stimuli): 각 아이템에 대해, 쿼리 단어 $w$는 문맥적 타겟 $t$로 재매핑된다 (예: "doctor"는 "forest"를 의미함). 어휘적 사전 방해 요소 $d$ (예: "hospital")가 타겟과 경쟁한다.
• 대조군(Control): 매칭된 중립 대조군은 쿼리 단어 $w$를 의미적으로 약한 단어 $n$ (예: "class")으로 교체하면서 타겟 $t$와 방해 요소 $d$는 동일하게 유지한다. 이 설계는 쿼리 단어의 사전 지식에 의해 발생하는 간섭만을 격리한다.
• 행동 지표(Behavioral Metric): 간섭 효과($\Delta$)는 중립 프롬프트와 충돌 프롬프트 사이의 상대적 타겟 선호도 차이로 측정된다: $\Delta = E_n[S(x_{neutral})] - S(x_{conflict})$, 여기서 $S(x) = \log P(t|x) - \log P(d|x)$이다.
• 범위(Scope): 행동 분석은 1B에서 9B 파라미터에 이르는 11개의 오픈 웨이트 모델(Qwen, Gemma, OLMo, Mistral 제품군)을 다룬다. 기계적 분석은 TransformerLens를 이용한 활성화 패칭(activation patching)을 통해 5개의 정렬된 모델 하위 집합에 집중한다.

주요 결과

1. 사전 지식의 행동적 지속성:

   • 11개 모델 전체와 4가지 충돌 유형(반의어, 임의, 다의성, 도메인 정의)에 걸쳐 간섭 효과는 양수이며, 이는 어휘적 충돌이 문맥적 타겟에 대한 선호도를 감소시킨다는 것을 나타낸다.
   • 이 효과는 문서 관련 설정(임의, 다의성, 도메인 정의)에서 가장 두드러지며, 이는 표준적인 반의어 재매핑보다 2~4배 더 크다.
   • 예측 변수로서의 어휘적 사전 강도: 통제된 회귀 분석 결과, 방해 요소의 일반적인 어휘적 사전 강도(중립 문맥에서의 $\log P(d) - \log P(t)$로 측정됨)가 간섭의 크기를 양의 방향으로 예측한다 ($\beta \approx 0.114, p < 10^{-9}$). 이는 정답 사전 확률, 토큰 빈도, 토크나이제이션, 프롬프트 스타일 및 모델 규모를 통제한 후에도 유효하다. 사전 지식은 그 강도에 비례하여 무효화 과정을 통해 "누출"된다.

2. 활성화 패칭을 통한 기계적 국소화:

   • 소스 트리플릿(Source Triplet): 활성화 패칭은 (정의 대상, 정의 타겟, 쿼리 단어)라는 특정 소스-위치 트리플릿을 식별하였으며, 이는 깨끗한 실행(clean run)에서 오염된 실행(corrupted run)으로 패칭했을 때 충돌 효과를 거의 완전히 복구한다 (집계 복구율 $R \in [0.92, 1.06]$). 이 트리플릿은 그 어떤 소스-위치 쌍보다 성능이 뛰어나다.
   • 결합(Binding) vs. 동일성(Identity): "정의-타겟 스왑(definition-target swap)" 대조군(대상과 쿼리는 일치시키되 타겟 활성화를 도너 아이템으로 교체)은 복구율을 붕괴시킨다. 이는 해당 트리플릿이 단순한 동일성 매칭이 아니라 결합(특정 단어를 새로운 값과 연관시키는 것)을 수행함을 확인시켜 준다.
   • 로짓 분해(Logit Decomposition): 타겟-방해 요소 마진의 복구는 방해 요소의 억제가 아닌 타겟 보존에 의해 주도된다.
     • 매칭된 결합 하에서는 타겟 로짓은 보존되는 반면 방해 요소 로짓은 떨어진다.
     • 오염된 결합(스왑 또는 아이템 불일치 대조군) 하에서는 방해 요소 로짓이 매칭 조건과 유사하게 떨어지지만, 타겟 로짓이 붕괴된다.
     • 이는 방해 요소 억제가 소스-위치 섭동의 광범위한 효과인 반면, 결합의 구체적인 기여는 문맥적 타겟의 보존임을 나타낸다.

의의 및 주장
본 논문은 단일 "어휘적 사전 지식 채널"에 대한 행동적 및 기계적 증거의 수렴을 주장한다:

• 행동적으로: 어휘적 사전 지식의 강도는 어떤 아이템이 무효화에 저항하는지를 예측한다.
• 기계적으로: 동일한 채널(구체적으로 소스 트리플릿 내의 정의-타겟 위치)이 무효화 복구의 인과적 효과가 도달하는 곳이다.

저자들은 어휘적 무효화가 깨끗한 치환이 아니라, 사전 지식이 여전히 활성화되어 있는 부분적인 경쟁 과정이라고 주장한다. 본 연구는 이러한 간섭을 측정하기 위한 통제된 패러다임을 제공하며, 모델이 기존 토큰에 새로운 정의를 결합하는 방식에 대한 기계적 설명을 제공하여, 경쟁하는 사전 지식의 억제와 의도된 문맥적 의미의 보존을 구분한다.

한계점
저자들은 본 패러다임이 합성된 단문 자극과 영어 토큰을 사용한다는 점을 언급한다. 기계적 결과는 게임 규칙 래퍼(game-rule wrappers) 내의 반의어 재매핑을 기반으로 작은 모델(1B–2B)에서 확립되었다. 특정 소스-트리플릿 구조와 타겟 보존 및 방해 요소 억제 사이의 기능적 분리가 더 큰 모델(7B+), 다른 충돌 유형, 그리고 복잡하고 긴 형태의 문서 문맥으로 일반화될 수 있는지 여부는 여전히 미해결 과제로 남아 있다.