기술 요약: 작업 특화 지식 베이스로서의 언어 모델(LM): 해석 가능성 분석

문제 제기

언어 모델(LM)은 파라미터가 다양한 쿼리를 통해 접근 가능한 사실적 정보를 저장하는 지식 베이스로 자주 개념화됩니다. 잘 설계된 지식 베이스의 근본적인 속성은 **작업 불변성(task-invariance)**입니다. 즉, 동일한 사실에 대한 서로 다른 쿼리는 단일 진실 원천으로부터 일관된 결과를 반환해야 합니다. 예를 들어, 전통적인 데이터베이스는 "프랑스의 수도는 무엇인가요?"와 "프랑스의 수도는 ___이다."라는 두 질문 모두에 대해 "파리"를 반환해야 합니다.

본 논문은 언어 모델이 이러한 작업 불변성 속성을 충족하는지 조사합니다. 구체적으로, 사실적 지식이 작업 독립적인 방식으로 저장되는지, 아니면 모델의 내부 사실 표현이 해당 사실을 쿼리하는 데 사용되는 특정 작업 형식(예: 객관식 vs. 개방형 생성)과 뒤섞여 있는지 묻습니다. 만약 언어 모델이 작업 불변성을 결여하고 있다면, "지식 베이스"라는 비유는 훼손되며, 이는 이러한 시스템의 사실적 지식에 대한 신뢰성, 일관성 및 제어 가능성에 시사하는 바가 큽니다.

방법론

저자들은 행동 분석(훈련 중 지식 출현 추적)과 메커니즘 분석(특정 파라미터 부분 집합 국소화)을 결합한 이중 접근 방식을 채택합니다.

1. 행동 분석: 공동 출현 가설(Co-emergence Hypothesis)

저자들은 OLMo-3-7B IT 모델의 훈련 체크포인트에 따른 사실적 지식 습득을 추적합니다.

• 데이터: (주체, 관계, 객체) 삼중항으로 구성된 다섯 가지 관계형 데이터셋(예: 국가-수도, 랜드마크-국가).
• 작업: 여섯 가지의 뚜렷한 작업 형식: 다음 토큰 완성(COMPLETION), 빈칸 채우기(FITB), 개방형 질의응답(OPENQA), 4지 선다형 객관식 질의응답(MCQA), 부정형 MCQA, 이진 검증(Binary Verification).
• 가설: 만약 지식이 작업 불변적이라면, 한 작업에서 습득된 사실은 모델이 이미 능숙한 다른 작업에서도 공동 출현(동시에 나타남)해야 합니다. 형식적으로, 만약 사실 $f$가 체크포인트 $E(f, t)$에서 작업 $t$에 대해 출현하고, 모델이 작업 $t'$에 대해 능숙해지는 시점이 $E(\cdot, t')$라면, $E(f, t')$는 $\le \max(E(f, t), E(\cdot, t'))$여야 합니다.
• 통계적 검정: 저자들은 작업 불변성을 사실과 작업 사이의 조건부 독립성($P(\text{correct} | f, t) = P(\text{correct} | f) \cdot P(\text{correct} | t)$)으로 공식화하고, 로그 확률에 대한 이원 분산 분석(two-way ANOVA)을 사용하여 상호작용 항을 테스트합니다.

2. 메커니즘 분석: 파라미터 국소화(Parameter Localization)

서로 다른 작업이 동일한 사실을 위해 서로 다른 파라미터에 의존하는지 결정하기 위해, 저자들은 개별 (사실, 작업) 쌍에 특화된 희소한 파라미터 부분 집합(어텐션 헤드 및 MLP 뉴런)을 식별하기 위해 국소화 프레임워크(Bayazit et al., 2024)를 변형하여 적용합니다.

• 목적: 다음 네 가지 항을 최소화하는 손실 함수를 통해 모델 파라미터에 대한 이진 마스크 $m$을 학습합니다:
  • 필요성(Necessity): 마스킹된 파라미터를 제거했을 때 대상 (사실, 작업) 쌍의 성능이 저하되어야 함.
  • 충분성(Sufficiency): 마스킹된 파라미터의 활성화 값을 패칭(patching)했을 때, (주체가 플레이스홀더로 대체된) 오염된 프롬프트에 대한 성능을 회복할 수 있어야 함.
  • 특이성(Specificity): 이 파라미터들을 제거하거나 패칭했을 때, 다른 작업에서의 동일한 사실 또는 동일한 작업에서의 다른 사실에 미치는 영향이 최소화되어야 함.
  • 희소성(Sparsity): 마스크는 가능한 한 작아야 함.
• 모델: 실험은 OLMo-2-7B IT, OLMo-2-13B IT, Gemma-2-9B IT를 대상으로 수행되었습니다.

3. 교차 작업 얽힘(Cross-Task Entanglement) 및 CoT 분석

• 얽힘 지표: (사실, 작업) 인코딩을 제거했을 때 다른 쌍에 영향을 주지 않는 정도를 정량화하는 점수를 정의합니다.
• 생각의 사슬(Chain-of-Thought, CoT): 저자들은 CoT 추론이 평가 작업과 연결된 특정 파라미터를 넘어, 직접 답변으로는 접근할 수 없는 지식을 복구하는지 테스트합니다. 이를 위해 국소화된 파라미터의 제로-제거(zero-ablation) 상황에서 직접 답변 방식과 CoT 방식을 비교합니다.

주요 결과

1. 작업 불변성 위반 (행동적 측로)

• 제한된 공동 출현: 공동 출현 가설이 빈번하게 위반됩니다. (사실, 작업) 쌍의 **47.9%**에서, 모델이 해당 작업에 능숙하고 해당 사실이 다른 곳에서 출현했음에도 불구하고, 예상되는 단계까지 해당 작업에서 사실이 출현하지 않습니다.
• 통계적 기각: null 가설(사실과 작업 사이의 조건부 독립성, 즉 상호작용 없음)이 모든 훈련 체크포인트에서 기각됩니다 ($p \approx 0$). 상호작용 항은 최종 모델 분산의 최대 **23%**를 설명하며, 이는 지식 검색이 작업 형식에 크게 의존함을 나타냅니다.

2. 별도의 파라미터 부분 집합 (메커니즘적 측면)

• 작업 특화 인코딩: 국소화 실험을 통해 각 (사실, 작업) 쌍에 대한 별도의 희소한 파라미터 부분 집합을 성공적으로 식별했습니다.
• 필요성 및 특이성: 특정 (사실, 작업) 쌍에 대해 국소화된 파라미터를 제로-제거(zero-ablation)했을 때, 해당 쌍에서 유의미한 성능 저하(상대적 감소 폭 29%~89%)가 발생했습니다. 결정적으로, 다른 작업에서 평가된 동일한 사실 및 동일한 작업에서의 다른 사실에 대한 성능은 거의 영향을 받지 않았습니다 (감소 폭 $\le 8\%$).
• 충분성: 국소화된 활성화 값을 오염된 프롬프트에 다시 패칭했을 때, 대상 쌍에 대한 성능을 성공적으로 회복했습니다 (재구성률 69%~102%). 이는 이 파라미터들이 필요한 정보를 운반하고 있음을 확인해 줍니다.

3. 얽힘 패턴

• 생성 vs. 판별: 작업 형식은 얽힘의 지배적인 예측 변수입니다. 판별 작업(MCQA, 검증)은 생성 작업(OPENQA, FITB)보다 일관되게 다른 작업들과 더 많이 얽혀 있습니다.
• 비대칭성: 생성 작업을 통해 습득된 사실은 다른 작업으로 공동 출현하는 경향이 있지만, 판별 작업을 통해 습득된 사실은 생성 작업으로 공동 출현하는 경우가 드뭅로 합니다.

4. 생각의 사슬(CoT)의 역할

• 복구: 특정 작업의 국소화된 파라미터가 제거되었을 때, CoT 추론은 손실된 성능의 상당 부분을 복구합니다 (직접 답변의 경우 20%72% 하락하는 것에 비해 12%30%만 하락).
• 교차 작업 의존성: CoT는 직접 답변 방식보다 다른 작업의 인코딩이 제거되었을 때 더 많은 부수적 피해를 입습니다. 이는 CoT가 단순히 평가 작업의 특정 파라미터에만 의존하는 것이 아니라, 답을 재구성하기 위해 여러 작업 특화 인코딩을 거쳐 경로를 형성함을 시사합니다.

의의 및 주장

본 논문은 모델이 무엇을 알고 있는가와 어떻게 질문받는가가 파라미터 공간 내에서 서로 뒤섞여 있기 때문에, 언어 모델에 대한 "지식 베이스" 비유는 결함이 있다고 결론짓습니다.

• 신뢰성 및 제어 가능성: 작업 불변성의 결여는 단일 작업 형식을 대상으로 하는 지식 편집 또는 언러닝(unlearning) 개입이 다른 형식에서는 사실을 그대로 남겨둘 수 있음을 의미합니다. 역으로, 단일 작업 평가는 모델에 인코딩된 지식의 부분적인 모습만을 보여줄 뿐입니다.
• 추론 메커니즘: 본 연구는 왜 CoT 추론이 직접 답변으로는 접근할 수 없는 지식을 끌어내는지에 대한 메커니즘적 설명을 제공합니다. CoT는 단일한 작업 특화 인코딩의 한계를 우회하여 여러 작업 형식의 파라미터 인코딩을 활용함으로써 지식을 복구합니다.
• 향후 방향: 저자들은 작업 불변적인 사실 인코딩을 장려하는 훈련 방식(예: 훈련 과정 중 중간 추론 과정 포함)이 언어 모델의 신뢰성과 제어 가능성을 향상시킬 수 있다고 제안합니다.

저자들은 자신의 연구가 잘 알려진 관계적 지식을 주로 다루고 있으며, 이러한 패턴과 모델 규모 사이의 상호작용은 여전히 열린 문제라는 점을 언급하며 겸허한 태도를 유지합니다. 그들은 언어 모델이 공유된 지식을 전혀 가지고 있지 않다고 주장하는 것이 아니라, 적어도 지식의 저장이 작업 형식에 의해 조직된다는 점을 강조합니다.