REAL: Reading Out Transformer Activations for Precise Localization in Language Model Steering

기술 요약: REAL – 언어 모델 스티어링을 위한 정밀한 위치 파악를 위한 트랜스포머 활성화 값 판독

문제 정의
추론 시점의 스티어링(Inference-time steering)은 모델 파라미터를 수정하지 않고도 대규모 언어 모델(LLM)의 응답을 변경할 수 있는 메커니즘을 제공한다. 그러나 결정적인 병목 현상이 남아 있다: 특정 행동을 가장 강력하게 제어하는 구체적인 내부 모듈(예: 어텐션 헤드 또는 레이어)을 정확하게 식별하는 것이다. 기존 방식들은 이러한 모듈을 선택하기 위해 빈번하게 단순한 단서나 임의적인 휴리스틱에 의존한다. 결과적으로, 이러한 방법들은 종종 최적에 미치지 못하는 스티어링 성능을 보이거나 의도하지 않은 부작별 효과를 유발하며, 특정 행동 특성을 담당하는 신경 표현을 정밀하게 분리해 내는 데 실패한다.

방법론: REAL 프레임워크
위치 파악(localization) 문제를 해결하기 위해, 저자들은 트랜스포머 아키텍처 내에서 행동 관련 모듈을 체계적으로 식별하도록 설계된 REAL(Reading Out Transformer Activations for Precise Localization)을 소개한다. 이 방법론은 다음과 같은 기술적 단계를 거친다:

1. VQ-AE를 통한 활성화 분석: 각 후보 모듈(어텐션 헤드 또는 레이어)에 대해, 해당 모듈의 은닉 활성화 값(hidden activations)을 바탕으로 벡터 양자화 오토인코더(Vector-Quantized Autoencoder, VQ-AE)를 학습시킨다.
2. 공유 코드북 분할: 공유된 학습 가능 코드북(shared, learnable codebook)을 사용하여 모듈 전반에 걸쳐 VQ-AE의 잠재 공간(latent space)을 분할한다. 이 분할 과정은 잠재 표현을 행동 관련 부분 공간과 행동 무관 부분 공간의 두 가지 뚜렷한 부분 공간으로 분리한다.
3. 관련성 정량화: 본 프레임워크는 VQ-AE 인코딩의 변별력을 평가함으로써 모듈의 행동 관련성을 정량화한다. 구체적으로, 이진 분류 지표를 사용하여 인코딩이 행동 일치 응답과 행동 위반 응답을 얼마나 효과적으로 구분하는지 측정한다.
4. 스티어링 적용: 도출된 관련성 점수는 개입을 위한 가장 효과적인 모듈을 선택하고, 추론 중에 적용할 최적의 스티어링 강도를 결정하는 이중 목적을 수행한다.

주요 기여

• 새로운 위치 파악 프레임워크: REAL은 휴리스틱한 선택을 넘어, 행동 관련 모듈을 식별하기 위한 데이터 기반 접근 방식을 제공한다.
• VQ-AE 통합: 잠재 공간을 분할하기 위해 공유 코드북을 가진 벡터 양자화 오토인코더를 적용함으로써, 관련 있는 신경 신호와 관련 없는 신경 신호를 분리하는 구조화된 방법을 제시한다.
• 정량적 점수 산출: 모듈 관련성을 점수화하기 위해 이진 분류 지표를 도입함으로써 정밀한 모듈 선택 및 강도 보정(calibration)을 가능하게 한다.

실험 결과
저자들은 다음을 포함하는 포괄적인 벤치마크를 통해 REAL을 평가하였다:

• 모델: Llama 및 Qwen 제품군의 8개 LLM.
• 태스크: 진실성 향상, 지식 충돌 상황에서의 오픈 도메인 QA, 그리고 일반적인 정렬(alignment) 태스크를 다루는 9개의 데이터셋.

평가 결과는 다음과 같다:

• 성능 향상: REAL은 최신 기술인 ITI(Inference-Time Intervention) 방법과 비교하여 더 효과적인 추론 시점 개입을 입증했다. 진실성 스티어링 태스크에서 REAL은 평균 20%의 상대적 개선을 달es성했으며, 최대 개선 폭은 81.5%에 달했다.
• 일반화: REAL에 의해 선택된 모듈들은 강력한 제로샷 일반화 능력을 보여주었으며, 새로운 도메인에 대한 재학습 없이도 교차 도메인 진실성 스티어링 시나리오에서 효과를 유지했다.

의의
본 논문은 REAL이 LLM 스티어링의 핵심 과제인 모듈 식별 문제를 해결한다고 주장한다. 임의적인 휴리스틱을 대신하여 트랜스포머 활성화 값을 읽어내는 엄격하고 학습 가능한 프레임워크를 도입함으로써, REAL은 모델 행동에 대한 더욱 정밀하고 효과적인 제어를 가능하게 한다. 진실성 및 정렬 측면에서 입증된 개선 사항과 견고한 교차 도메인 일반화 능력은, 파라미터 수정 없는 변경이 요구되는 추론 시점 개입에 있어 REAL이 신뢰할 수 있는 토대를 제공함을 시사한다.