💬 NLP

RARE: Decoupling Representation Steering from Expert Routing in Mixture-of-Experts Language Models

이 논문은 행동적 섭동(behavioral perturbations)을 라우터의 영공간(null space)에 투영함으로써 표현 제어(representation steering)를 Mixture-of-Experts 모델의 전문가 라우팅으로부터 분리하여, 모델의 유용성을 유지하면서도 유해성, 진실성 및 사실 편집에 대한 제어 효과를 크게 향상시키는 라우터 불가지론적 프레임워크인 RARE를 소개한다.

원저자: Zhibo Zhang, Zhen Ouyang, Ling Shi, Kailong Wang

게시일 2026-08-24

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhibo Zhang, Zhen Ouyang, Ling Shi, Kailong Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

대규모 언어 모델은 현대 인공지능의 엔진으로서 이야기를 쓰고, 문제를 해결하며, 질문에 답하는 능력을 갖추고 있습니다. 이러한 거대한 시스템을 효율적으로 만들기 위해, 최근에는 많은 모델이 '전문가 혼합(mixture of experts)'이라 불리는 설계 방식을 사용하여 구축되고 있습니다. 모든 요청을 받는 매니저가 있고, 그 매니저가 어떤 특정 전문가가 해당 요청을 처리해야 할지 결정하는 큰 사무실을 상상해 보십시오. 이 모델들에서 '매니저'는 문장의 각 단어를 살펴보고 이를 컴퓨터 전체의 뇌를 사용하는 대신, 내부 프로세서의 작고 특화된 그룹인 '전문가'들에게 전달하는 라우팅 메커니즘입니다. 이를 통해 모델은 매우 크고 똑똑하면서도, 실행 시에는 매우 빠르고 경제적으로 운영될 수 있습니다.

연구자들은 오랫동안 모델을 특정 행동(예: 더 진실하거나 유해한 콘텐츠를 생성할 가능성이 낮아지도록)으로 유도하거나 '조종(steer)'하는 방법을 모색해 왔습니다. 한 가지 인기 있는 기술은 모델의 사고 과정 중에 모델의 내부 수학적 상태를 미세하게 조정하는 '넛지(nudge)' 방식인데, 이는 뇌의 모든 부분이 항상 활성화되어 있는 기존의 더 오래되고 단순한 모델에서는 잘 작동하는 방법입니다. 그러나 과학자들이 이 동일한 넛지 기술을 최신 전문가 혼합 모델에 적용하려 했을 때, 이는 종종 실패했습니다. 문제는 행동을 바꾸기 위해 의도된 넛지가 실수로 매니저를 혼란스럽게 하여, 요청을 잘못된 전문가에게 보내게 만들었다는 점이었습니다. 이러한 불일치는 모델의 자연스러운 흐름을 방해하여 좋지 않은 결과를 초래했습니다.

한 연구팀은 이제 RARE라는 새로운 프레임워크를 개발하여 이 수수께끼를 풀었습니다. 그들의 연구는 이 모델의 매니저가 모델이 보여주어야 할 구체적인 '행동'이 아니라, 요청의 '주제'에 주로 관심을 둔다는 결정적인 통찰을 밝혀냈습니다. 사용자가 코딩에 대해 질문하든 유해한 요청을 거부하도록 요청하든, 주제가 동일하다면 매니저는 동일한 전문가 집단으로 요청을 보내는 경향이 있습니다. 연구진은 기존의 방법들이 데이터가 지나가는 경로를 변경함으로써 행동을 바꾸려 했기 때문에 매니저를 혼란스럽게 했다는 사실을 발견했습니다. 대신, 그들의 새로운 접근 방식은 경로를 바꾸지 않고 행동을 바꿉니다.

RARE 프레임워크는 넛지를 적용하기 전에 이를 세심하게 필터링함으로써 작동합니다. 이 방식은 매니저가 사용할 전문가에 대한 생각을 바꾸게 만드는 지시 사항의 모든 부분을 제거합니다. 이렇게 함으로써 모델은 올바른 전문가에게 요청을 계속 보내되, 그 전문가들이 원하는 행동을 생성하도록 정보를 처리하게 만듭니다. 연구진은 이 방법을 6개의 서로 다른 대규모 모델과 3가지 별개의 작업(유해성 감소, 진실성 향상, 특정 지식 업데이트)에 대해 테스트했습니다.

결과는 놀라웠습니다. 모델이 유해한 지시를 따르지 못하게 하려 할 때, 이 새로운 방법은 일반 지식 테스트에 대한 정확도를 67.8%로 유지하면서도 53.3%의 성공률을 기록하며 이전의 시도들에 비해 유의미한 개선을 보였습니다. 진실성 테스트에서는 모델이 정답을 제시하는 능력이 41.0%에서 58.6%로 향상되었습니다. 아마도 가장 극적인 것은 특정 사실을 업데이트하도록 요청했을 때로, 성공률이 16.8%에서 96.3%로 급증했습니다. 이러한 수치는 모델의 내부 라우팅 시스템을 존중함으로써, 연구진이 근본적인 지능을 손상시키지 않고도 모델의 행동을 효과적으로 가이드할 수 있음을 시사합니다.

또한 이 연구는 필요한 넛지를 계산하는 다섯 가지 서로 다른 방법을 비교하여 어떤 것이 가장 잘 작동하는지 찾아냈습니다. 연구진은 단순히 평균적인 방향만을 분석하는 것이 아니라, 데이터의 형태와 퍼짐을 분석하는 데 기반한 방법이 모든 모델에 걸쳐 가장 일관되고 강력한 결과를 제공한다는 것을 발견했습니다. 이 발견은 내부 데이터의 기하학적 구조가 변화의 방향만큼이나 중요하다는 것을 시사합니다.

궁극적으로, 이 연구는 현대의 복잡한 AI 모델의 행동을 제어하는 데는 섬세한 균형이 필요하다는 것을 보여줍니다. 단순히 강제로 변화를 줄 수는 없으며, 모델의 기존 구조 내에서 움직여야 합니다. 모델이 주어진 주제에 대해 선택한 자연스러운 경로를 보존함으로써, 그 출력값을 안전, 진실 또는 정확성 쪽으로 유도하는 것이 가능합니다. 이 접근 방식은 모델의 일반적인 능력을 저해하지 않으면서도 특정 목적에 맞게 도구를 적응시킬 수 있는 신뢰할 수 있는 방법을 제공하며, 인공지능을 인간의 가치에 더 부합하도록 만드는 명확한 길을 제시합니다.

기술 요약: RARE – MoE 모델에서 표현 제어(Representation Steering)와 전문가 라우팅의 분리

문제 정의

대규모 언어 모델(LLM)은 추론 효율성을 유지하면서 용량을 확장하기 위해 혼합 전문가(Mixture-of-Experts, MoE) 아키텍처를 점점 더 많이 채택하고 있습니다. 그러나 중간 은닉 상태(hidden states)를 수정하여 모델의 행동을 제어하는 기술인 **표현 공학(Representation Engineering)**을 MoE 모델에 적용할 때는 결정적인 구조적 불일치가 발생합니다.

밀집(dense) 모델에서는 스티어링 벡터(steering vectors)를 은닉 상태에 더하여 행동을 변화시킵니다. 반면, MoE 모델에서는 라우터가 이러한 은닉 상태를 기반으로 어떤 전문가가 토큰을 처리할지 결정합니다. 스티어링 섭동(perturbations)을 직접 적용하면 라우터 로짓(logits)이 변경되어, 토큰이 깨끗한(clean) 추론 시와는 다른 전문가 집합으로 라우팅됩니다. 이러한 "라우팅 드리프트(routing drift)"는 모델의 고유한 조건부 계산 경로를 방해하여 스티어링 효율성을 크게 저하시킵니다. 최근의 MoE 특화 방법들은 라우터 로짓이나 전문가 활성화를 직접 조작하여 행동을 제어하려고 시도하지만, 이러한 접근 방식은 모델의 입력 조건부 계산 경로를 무효화하여 응답의 관련성이나 일반적인 능력을 저하시킬 가능성이 있습니다.

핵심 과제는 고유한 전문가 할당을 방해하지 않으면서 표현 수준의 제어를 조건부 라우팅 메커니즘과 어떻게 조율할 것인가 하는 점입니다.

방법론: RARE

저자들은 MoE 모델을 제어하면서도 고유한 라우팅 패턴을 보존하도록 설계된 프레임워크인 **RARE(Router-Agnostic Representation Engineering)**를 소개합니다. 이 방법론은 세 가지 주요 구성 요소로 이루어져 있습니다.

1. 경험적 동기 (Empirical Motivation)

통제된 프로브(probes)를 통해 저자들은 MoE 라우팅이 특정 응답 행동(예: 거절 vs 순응)이나 안전 의도보다는 입력 쿼리의 **의미적 내용(semantic content)**에 주로 민েন্ট하다는 것을 입증했습니다.

발견: 고정된 쿼리 주제 하에서 응답 행동(예: 순응에서 거절로의 변화)을 변경하더라도 라우터의 전문가 선택에는 최소한의 변화만 발생합니다.
시사점: 효과적인 스티어링은 라우터의 결정을 바꾸지 않으면서, 자연스럽게 선택된 전문가들에 의해 처리되는 은닉 표현을 수정해야 합니다.

2. 라우터 불가지론적 투영 (Router-Agnostic Projection)

RARE는 섭동을 라우터 행렬의 **영 공간(null space)**에 투영함으로써 행동 스티어링과 전문가 라우팅을 분리합니다.

영 공간 투영: 레이어 $\ell$ 에서의 라우터 가중치 행렬 $R_\ell$ 에 대해, 라우터는 로짓 $z_\ell = R_\ell h_\ell$ 를 계산합니다. 라우터 로짓이 변하지 않도록( $R_\ell \delta h_\ell = 0$ ) 하려면, 섭동 $\delta h_\ell$ 는 $R_\ell$ 의 영 공간에 존재해야 합니다.
메커니즘: 대조적 은닉 상태(contrastive hidden states)로부터 유도된 원시 섭동 벡터 $u_\ell$ 에 대해, RARE는 투영기 $\Pi^\perp_\ell = I - Q_\ell Q_\ell^\top$ 를 사용하여 이를 투영합니다 (여기서 $Q_\ell$ 는 $R_\ell$ 의 행 공간에 대한 직교 기저입니다). 결과물인 섭동은 라우터에 보이지 않으며, 원래의 전문가 선택을 보존합니다.

3. 다운스트림 라우팅 교정 (Downstream Routing Correction)

섭동은 비선형 트랜스포머 블록을 통해 전파되기 때문에, 주입 레이어에서의 국소적 불변성이 후속 라우터에서의 불변성을 보장하지는 않습니다.

런타임 교정: RARE는 선택된 다운스트림 "보호된(protected)" 레이어에서 교정을 적용합니다. 이는 현재 편집된 입력 $h'_\ell$ 를 참조용 깨끗한 입력 $h^0_\ell$ 와 비교하여 라우터에 보이는 편차를 제거함으로써, 해당 레이어의 라우터 로짓이 깨끗한 패스와 일관되게 유지되도록 보장합니다.

섭동 추정기 (Perturbation Estimators)

이 프레임워크는 원시 섭동이 어떻게 구성되는지에 대해 불가지론적입니다. 저자들은 다섯 가지 추정기를 평가했습니다:

MeanDiff: 클래스 중심 간의 1차 변환.
Probe: 선형 경계 법선.
LowRank: 주 성분 부공간으로의 투영.
LDA: 클래스 내 공분산을 고려한 선형 판별 분석.
AffineGaussian: 백색화-재채색(whitening-recoloring) 원리를 이용한 2차 정렬.

주요 기여

경험적 통찰: 본 논문은 MoE 라우팅이 응답 행동보다 쿼리의 의미론적 내용을 더 밀접하게 추적한다는 증거를 제시하며, 효과적인 스티어링을 위한 전제 조건으로서 고유 라우팅 보존의 필요성을 입증했습니다.
RARE 프레임워크: 행동 섭동을 라우터에 보이지 않는 부공간으로 투영하고 전파된 라우팅 드리프트를 교정함으로써, 전문가 할당을 방해하지 않고 표현 편집을 가능하게 하는 새로운 라우터 불가지론적 스티어링 방법을 제안했습니다.
포괄적 평가: 6개의 이질적인 오픈 웨이트 MoE 모델(DeepSeek, Mixtral, Phi-3.5, Phi-mini, Qwen3, GPT-oss)과 3가지 행동 제어 태스크에 대해 5가지 섭동 추정기를 체계적으로 연구했습니다.

실험 결과

평가는 세 가지 시나리오를 다루었습니다: 유해성 스티어링(탈옥), 진실성 스티어링, 사실 편집.

유해성 스티어링: RARE(AffineGaussian 추정기 사용)는 67.8%의 MMLU 정확도를 유지하면서 평균 **53.3%의 공격 성공률(ASR)**을 달려냈습니다. 이는 RepE(ASR 18.7%) 및 SteerMoE(ASR 46.3%이지만 유틸리티 유지력이 더 낮음)와 같은 베이스라인과 비교했을 때 훨씬 강력한 효능-유틸리티 트레이드오프를 보여줍니다.
진실성 스티어링: RARE는 평균 TruthfulQA MC1 정확도를 베이스라인인 41.0%에서 **58.6%**로 향상시켰습니다.
사실 편집: RARE는 CounterFact 효능을 16.8%에서 **96.3%**로 높였습니다.
추정기 성능: AffineGaussian이 모든 모델과 태스크에서 일관되게 가장 강력한 스티어링 성능을 보였습니다. LDA는 국소성(주변 지식 보존)을 고려할 때 더 나은 트레이드오프를 제공했습니다.
절제 실험(Ablation): 라우터 불가지론적 투영 파이프라인을 제거했을 때 평균 ASR이 53.3%에서 14.6%로 감소하여, 라우팅을 보존하는 것이 성능에 결정적임을 확인했습니다.

의의 및 주장

본 논문은 라우팅 일관성이 MoE 모델에 표현 공학을 적용할 때 고려해야 할 근본적인 아키텍처적 요소라고 주장합니다. RARE는 행동 제어와 전문가 라우팅을 분리함으로써, 모델의 고유한 계산 경로와 일반적인 능력을 유지하면서 내부 표현을 수정하여 모델의 행동을 바꿀 수 있음을 입증했습니다.

저자들은 RARE를 모델의 안전성이나 논리를 무력화하는 방법이 아니라, MoE 아키텍처를 존중하면서 행동을 유도하는 가볍고 효율적인 메커니즘으로 정의합니다. 결과는 향-표현 공학이 라우팅 드리프트로 인한 실패 모드를 피하기 위해 라우터의 의미론적 민감도를 반드시 고려해야 함을 시사합니다.