A Negative Result on Cross-Model Activation Transfer in a Pythia Multi-Hop Setting

기술 요약: Pythia 멀티홉(Multi-Hop) 환경에서의 교차 모델 활성화 전이에 관한 부정적 결과

문제 정의
최근 연구들은 언어 모델이 생성된 학습 데이터에 내재된 숨겨진 신호(hidden signals)를 통해 다른 모델로 행동적 특성(예: 선호도 또는 정렬 불량)을 전달할 수 있음을 보여주었다. 이는 "잠재적 학습(sublimineal learning)"이라 불리는 과정이다. 그러나 이러한 전이는 데이터 매개적이며, 파인튜닝을 통한 학습 과정 중에 발생하며, 수신 모델이 송신자의 분포에 적응하는 것에 의존한다. 본 논문은 이보다 더 엄격하고 직접적인 채널인 **추론 시점의 활성화 전이(inference-time activation transfer)**를 조사한다. 핵심 질문은 송신 모델이 자연어 토큰 병목 현상을 완전히 우회하여, 번역 및 주입된 숨겨진 활성화를 통해 유용한 인스턴스 수준의 중간 추론 상태를 수신 모델에 전달할 수 있는가 하는 점이다. 본 연구는 단일 추론 상태가 수신자의 어떠한 적응이나 파인튜닝 없이도 전이될 수 있는지 구체적으로 묻는다.

방법론
본 실험은 Pythia 제품군의 두 모델인 송신자(Pythia-160M)와 수신자(Pythia-410M)를 포함하는 통제된 환경을 활용한다. 두 모델은 동일한 GPT-NeoX 아키텍처와 토크나이저를 공유하지만, 은닉 차원(hidden dimensions)은 서로 다르다.

1. 태스크: 모델이 제공된 문맥을 바탕으로 질문에 답해야 하는 멀티홉(multi-hop) 추론. 평가 세트는 396개의 샘플로 구성된다.
2. 번역 메커니즘: 송신자의 160M 차원을 수신자의 410M 차원으로 매핑하는 선형 번역 레이어를 오프라인으로 학습시킨다. 학습 목적 함수는 정규화된 수신자 활성화에 대한 L2 오차를 최소화하는 것이다.
3. 주입 프로토콜:
   • 송신자: 태스크 프롬프트를 처리하고, 레이어 8에서 은닉 상태를 추출한다.
   • 수신자: 동일한 프롬프트를 처리한다. 레이어 16에서 수신자의 고유 은닉 상태를 다음 중 하나로 처리한다:
     • 교체(Replaced): 번역된 송신자 활성화로 완전히 대체한다.
     • 가산적 주입(Additively Injected): 번역된 작은 벡터를 고유 상태에 더한다.
     • 스케일 교정(Scale-Corrected): 번역된 벡터를 주입하기 전, 수신자의 고유 L2 노름(norm)에 맞게 재조정한다.
   • 베이스라인: "주입 없음(No Injection)" 베이스라인과 "자연어 릴레이(Natural-Language Relay)" 베이스라인(송신자가 텍xt를 생성하고 수신자가 이를 읽는 방식)을 포함한다.
4. 대조군: 연구는 실패 모드를 격리하기 위해 "B-to-B 자기 주입(B-to-B self-injection)"(훅 메커니즘 검증을 위해 수신자 자신의 상태를 주입), "동일 노름 랜덤(Same-norm random)"(올바른 크기의 무작위 벡터 주입), "셔플된 번역(Shuffled translation)"(잘못된 샘플로부터 번역된 상태 주입)을 포함한 엄격한 대조군을 사용한다.

주요 결과
본 논문은 **범위가 제한된 부정적 결과(scoped negative result)**를 보고한다. 즉, 번역 레이어가 높은 오프라인 정렬을 달성했음에도 불구하고, 전이된 활성화는 다운스트림 성능을 개선하는 데 실패했다.

• 오프라인 정렬 vs. 인과적 사용성: 선형 번역 레이어는 강력한 매핑을 성공적으로 학습하여, 여러 시드에 대해 정규화된 코사인 유사도 ~0.97 및 정규화된 $R^2$ ~0.88을 달성했다. 이러한 높은 표현적 정렬에도 불구하고, 이를 주입했을 때 "주입 없음" 베이스라인보다 성능이 개선되지 않았다.
• 성능 지표:
  • 가산적 주입: 평균 단어 경계 포함도(word-boundary containment)가 0.0926을 기록하여, 신뢰 구간이 0을 통과하는 "주입 없음" 베이스라인(0.0884)과 통계적으로 구별할 수 없는 수준이었다.
  • 교체 주입: 일관되게 파괴적이다. 수신자의 상태를 번역된 활성화로 교체하면 성능이 거의 0(0.0025)으로 떨어진다.
  • 스케일 교정: 번역된 벡터를 (미교정된 번역 벡터보다 약 2배 큰) 수신자의 고유 L2 노름에 맞춰 재조정해도 성능이 회복되지 않았다. 스케일 교정된 교체 방식 역시 베이스라인(0.0884)보다 현저히 낮은 0.0076을 기록했다.
• 실패 분석: 절제 실험(ablation chain)은 두 가지 실패 요인을 밝혀냈다:
  1. L2 노름 불일치: 미교정된 벡터는 너무 작아서(노름 ~0.85 vs. ~68.70) 파괴적인 간섭을 일으킨다.
  2. 잔여 방향/분포 오류: 노름을 교정한 후에도 성능이 베이스라인보다 훨씬 낮았다. 이는 번역된 상태가 통계적으로는 정렬되어 있을지라도, 그 방향이나 분포가 수신자의 인과적 계산과 근본적으로 호환되지 않음을 의미한다.
• 대조군 검증:
  • B-to-B 자기 주입: "주입 없음" 베이스라인과 정확히 일치하였으며, 이는 주입 훅 자체가 성능을 저하시키지 않음을 확인해 준다.
  • 셔플 대조군: 잘못된 샘플로부터 번역된 상태를 주입하는 것은 직접 교체하는 것만큼이나 파괴적이었으며, 이는 해당 신호가 일반적인 벡터 속성이 아니라 샘플의 정체성에 특화되어 있음을 증명한다.

핵심 기여

1. 정렬과 사용성의 분리: 본 연구의 주요 기여는 오프라인 표현 정렬(높은 코사인 유사도/$R^2$)이 수신자 측의 인과적 사용성(receiver-side causal usability)을 보장하기에는 충분하지 않음을 실증적으로 보여준 것이다. 벡터는 정규화된 공간에서 완벽하게 정렬될 수 있지만, 수신자의 내부 상태 궤적을 대체하기에는 부적합할 수 있다.
2. 실패 모드의 정량화: 연구는 실패를 크기 불일치(L2 노름)와 잔여 방향/분포 오류로 분해하여, 후자가 전이를 방해하는 지배적인 요인임을 식별했다.
3. 범위 정의: 본 논문은 "잠재적 학습"(데이터 매개, 학습 시간 전이)은 작동하지만, 추론 시점의 선형 활성화 주입이 자동으로 이러한 능력을 확장하지는 못함을 명확히 한다. 특히 수신자가 송신자의 분포에 적응하지 않은 경우 더욱 그러하다.

의의 및 주장
본 논문은 모델 간 활성화 통신이 성공하기 위해서는 설계 목표가 바뀌어야 한다고 결론짓는다. 송신자-수신자 간의 표현적 적합성(오프라인 정렬)만을 최적화하는 것으로는 불충분하다. 향 \후 연구는 주입된 상태를 수신자가 실제로 어떻게 활용하는지를 고려하는 학습 목적 함수를 필요로 할 가능성이 높다.

저자들은 이것이 하나의 모델 제품군, 하나의 태스크, 하나의 선형 번역 메커니즘에 국한된 범위가 제한된 부정적 결과임을 명시적으로 밝히고 있다. 이는 모든 형태의 활성화 스티어링(steering)이나 모델 스티칭(stitching)에 대한 일반적인 불가능성을 주장하는 것이 아니다. 그러나 본 연구는 분야에 엄격한 기준을 제시한다. 즉, 숨겨진 전이가 유용하기 위해서는 수신자가 삽입된 상태를 자신의 계산의 일부로 인과적으로 통합할 수 있어야 하며, 단순한 오프라인 선형 매핑은 이 설정에서 그 조건을 충족하지 못한다는 것이다.