기술 요약: 올바른 지식, 잘못된 답변: 오픈 웨이트 언어 모델의 시계열적 사실 충돌을 위한 테스트 타임 스티어링 (Right Knowledge, Wrong Answer: Test-Time Steering for Temporal Fact Conflicts in Open-Weight Language Models)

1. 문제 정의: 파라미터적 시계열 충돌 (Parametric Temporal Conflict, PTC)

여러 해에 걸친 코퍼스로 학습된 대규모 언어 모델(LLM)은 파라미터 메모리 내에 구버전의 사실과 이를 대체하는 최신 사실을 모두 인코딩하고 있는 경우가 많다. 이 과정에서 모델이 시간적 단서(temporal cues)를 통해 최신 사실을 내부적으로는 인지하고 있음에도 불구하고, 표준 프롬프팅 하에서는 구버전의 답변을 기본값으로 출력하는 독특한 실패 모드가 발생한다. 저자들은 이를 **파라미터적 시계열 충돌 (PTC)**로 정형화한다.

단순한 지식 부재(모델이 사실 자체를 모르는 경우)나 일반적인 시계열적 회상 저하와 달리, PTC는 다음 두 가지 조건을 만족하는 것으로 정의된다:

1. 구버전 선호 (Outdated Preference): 표준 프롬프팅 하에서 $P_\theta(a_{old} | q) > P_\theta(a_{new} | q)$가 성립한다.
2. 회복 가능성 (Recoverability): 시간적 단서(예: "2024년 기준으로...")가 제공될 때 $P_\theta(a_{new} | q, c_{temp}) \gg P_\theta(a_{old} | q, c_{temp})$가 성립한다.

연속 학습(가중치 업데이트)이나 검색 증강 생성(RAG)과 같은 기존 방식은 가중치를 수정하거나 외부 검색을 사용하지 않고 추론 시점에 공존하는 두 버전의 사실 중 하나를 선택하는 이 특정 상황을 해결하지 못한다.

2. 방법론: 시계열 어트랙터 스티어링 (Temporal Attractor Steering, TAS)

본 논문은 잔차 연결(residual-stream) 활성화 값을 조작하여 PTC를 탐지, 국소화 및 해결하기 위해 설계된 3단계의, 검색이 필요 없고(retrieval-free) 학습이 필요 없는(training-free) 추론 타임 프레임워크인 **시계열 어트랙터 스티어링 (TAS)**을 소개한다.

1단계: 탐지 (Detection)

경량 선형 프로브(linear probe)를 사용하여 쿼리가 PTC를 나타낼 가능성이 있는지 점수를 매긴다. 이 프로브는 검증된 PTC 양성 사례와 일치하는 비충돌 음성 사례를 바탕으로 학습된다. 점수가 임계값 $\tau$를 초 exceed하면 스티어링 단계로 진행하며, 그렇지 않으면 일반적인 쿼리에 대한 동작을 보존하기 위해 정상적으로 처리한다.

2단계: 충돌 국소화 (Conflict Localization)

인과적 활성화 패칭(causal activation patching)을 사용하여 충돌 결정적 레이어($\ell^*$)를 식별한다. "시간적 프롬프트"를 통한 순방향 패스(forward pass)의 은닉 상태를 "표준 프롬프트"를 통한 순방향 패스에 패칭함으로써, 저자들은 개입했을 때 **답변 반전율(Answer-Flip Rate, AFR)**을 최대화하는 레이어를 결정한다. 실험 결과, 모든 테스트된 모델에서 이 결정적 레이어는 네트워크의 상위 절반(예: 2832개 레이어 모델의 경우 2331번 레이어)에 위치한다.

3단계: 스티어링 (Steering)

식별된 레이어 $\ell^*$에서, 사전 계산된 스티어링 벡터 $\Delta$를 사용하여 은닉 상태를 새로운 사실의 표현 방향으로 섭동(perturb)시킨다:
$$h'_{\ell^*}(q) = h_{\ell^*}(q) + \alpha \cdot c \cdot \Delta$$
여기서 $\alpha$는 개입 강도를 제어하며, $c$는 탐지기 점수이다. 스티어링 벡터 $\Delta$는 시간적 단서가 있는 은닉 상태와 표준 프롬프트의 차이($h_{\ell^*}(q, c_{temp}) - h_{\ell^*}(q)$)를 평균 내어 구축된다. 저자들은 평균화의 세밀도에 대해 세 가지 변형(글로벌(V1), 관계별(V2), 도메인별(V3))을 제안한다. **V2 (관계별)**가 가장 효과적인 것으로 밝혀졌는데, 이는 "국가 원수"와 같이 강력한 신호를 가진 특정 관계가 노이즈가 많은 고용량 관계에 의해 희석되는 것을 방지하기 때문이다.

3. 주요 기여

1. 정형화 및 필터링: 본 논문은 PTC를 정의하고, 단순한 지식 부재와 진정한 충돌을 구분하기 위한 **지식 회복 필터(knowledge-recovery filter)**를 도입한다. 이를 통해 모델이 새로운 사실을 인지할 수 있음에도 기본적으로는 실패하는 경우에만 평가가 집중되도록 보장한다.
2. 시계열 어트랙터 스티어링 (TAS): 가중치를 재학습하거나 외부 검색을 사용하지 않고 잔차 연결 활성화를 조작하여 오래된 파라미터 지식을 선택적으로 덮어쓰는 새로운 프레임워크를 제시한다. 이론적 분석은 TAS가 선호도 부등식을 성공적으로 뒤집을 수 있는 충분 조건(국소 분리성, 유계 스티어링)을 제공한다.
3. 검증된 멀티 모델 평가: 저자들은 5개의 Wikidata 관계(예: CEO, 국가 원수)에 걸친 8,746개의 레코드 검증 벤치마크를 구축하고 4개의 오픈 웨이트 모델(Qwen-2.5-1.5B/7B, Mistral-7B-v0.3, Llama-3.1-8B)을 평가한다.

4. 실험 결과

평가는 3개의 모델 제품군에 걸친 8,746개의 레코드 벤치마크를 통해 수행되었다.

• PTC 유병률: 필터링된 PTC 비율은 모델 용량에 따라 단조 증가하며, Qwen-1.5B의 **4.1%**에서 Llama-3.1-8B의 **10.3%**까지 나타난다. 구버전 선호율(OPR)은 모델 제품군에 관계없이 일정하게 유지된다 (~53–54%).
• 국소화: 단일 레이어 활성화 패칭은 모든 모델에서 **0.85의 답변 반전율(AFR)**을 달야, 충돌 해결 회로가 특정 상위 레이어에 국한되어 있음을 확인시켜 준다.
• 엔드 투 엔드 성능: TAS는 검증된 PTC 사례의 **29–57%**를 회복하는 동시에, 비충돌 쿼리에 대해 85–99%의 정확도(보존 정확도)를 유지한다.
  • 최고 성능: Qwen-2.5-7B는 94.8%의 보존 정확도와 함께 56.9%의 회복률을 달성했다.
  • 베이스라인 비교: TAS는 네 가지 모델 중 세 가지 모델에서 매칭된 ITI (Inference-Time Intervention) 베이스라인보다 우수한 성능을 보였다. 특히, TAS는 일반적인 행동 대비(behavioral contrasts)가 아닌 검증된 충돌 사례로부터 스티어링 벡터를 구축했기 때문에 Qwen 모델에서 ITI 대비 +0.142 ~ +0.152의 회복 이득을 얻었다.
• 교차 모델 분석: PTC 사례들은 모델 간에 완벽하게 일치하지 않는다. 흥미롭게도, 서로 다른 제품군인 Mistral과 Llama 사이의 중첩이 동일한 제품군인 두 Qwen 모델 사이의 중첩보다 더 크게 나타났는데, 이는 훈련 데이터의 최신성이 건축적 계보보다 PTC 정렬의 더 강력한 예측 인자임을 시사한다.

5. 의의 및 주장

본 논문은 오래된 파라미터 지식이 추론 시점에 어떻게 선택적으로 덮어써질 수 있는지에 대한 메커니즘 중심의, 검색이 필요 없는 설명을 제공한다고 주장한다.

• 진단적 유용성: 지식 회복 필터는 개입을 시도하기 전에 모델이 회복 가능한 새로운 사실을 보유하고 있는지 판단할 수 있는 저렴한 진단 도구를 제공한다.
• 안정성: 충돌 결정적 레이어는 제품군마다 다르지만 안정적이어서, 특정 모델 제품군에 대해 한 번 식별되면 재사용할 수 있다.
• 개입 효능: 결과는 시계열적 충돌이 측정 가능하고, 국소화 가능하며, 해결 가능하다는 것을 입증한다. 저자들은 검증된 충돌 스티어링(TAS)이 일반적으로 행동 대비 스티어링(ITI)보다 우수하지만, 최적의 스티어링 벡터 구축 방식은 모델 아키텍처에 따라 다를 수 있다는 점을 겸허히 명시한다.

이 연구는 PTC가 지식 부재와 구별되는 별개의 실패 모드임을 확립하며, 타겟팅된 활성화 스티어링이 재학습의 비용이나 외부 검색의 지연 없이 이러한 충돌을 효과적으로 해결할 수 있음을 보여준다.