🤖 machine learning

Local Linearity of LLMs Enables Activation Steering via Model-Based Linear Optimal Control

이 논문은 LLM 의 계층별 역동성이 국소적으로 선형적이라는 사실을 규명하고, 이를 바탕으로 선형 2 차 조절기 (LQR) 를 적용하여 피드백 루프 기반의 활성화 조종 기법을 제안함으로써 기존 오픈루프 방식보다 정밀하고 강건한 모델 제어 성능을 달성함을 보여줍니다.

원저자: Julian Skifstad, Xinyue Annie Yang, Glen Chou

게시일 2026-04-22

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Julian Skifstad, Xinyue Annie Yang, Glen Chou

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 거대 언어 모델 (LLM, 예: 챗봇) 의 행동을 더 안전하고 정확하게 만들기 위해 개발된 새로운 기술인 **'A-LQR'**에 대해 설명합니다.

기존의 방법들은 모델을 다시 훈련시키거나, 단순히 말의 흐름을 강제로 바꾸는 식이었는데, 이 새로운 방법은 **"모델이 생각하는 과정 (뇌의 활동) 을 실시간으로 부드럽게 조종하는 것"**에 비유할 수 있습니다.

핵심 내용을 쉽게 풀어서 설명해 드릴게요.

1. 문제: 왜 모델은 때로 엉뚱한 말을 할까요?

거대 언어 모델은 방대한 데이터를 학습했지만, 때로는 독성 있는 말을 하거나 (욕설, 혐오 표현), 거짓말을 하거나, "그건 알려드릴 수 없습니다"라고 거절하는 등 우리가 원하지 않는 행동을 하기도 합니다.

기존 해결책은 두 가지였는데, 둘 다 단점이 있었습니다.

재학습 (Fine-tuning): 모델을 다시 교육시키는 건 비용이 많이 들고, 다른 일을 잘 못하게 될 수도 있습니다.
단순 교정 (Activation Steering): 모델을 생성할 때 중간에 "이런 말은 하지 마!"라고 강제로 끼워 넣는 건데, 마치 운전하면서 핸들을 갑자기 꺾는 것처럼 부자연스럽고 예측하지 못한 부작용을 낳기도 합니다.

2. 해결책: "A-LQR"이라는 새로운 조종법

이 논문은 **"모델의 두뇌 활동은 비록 복잡해 보이지만, 국소적으로는 매우 규칙적이고 선형적이다 (직선적이다)"**는 사실을 발견했습니다.

🚗 비유: 자율주행 자동차와 조종사

기존 방법들은 차가 앞으로 나가는 동안 핸들을 임의적으로 꺾는 방식이었습니다. 하지만 이 새로운 방법 (A-LQR) 은 고급 자율주행 시스템처럼 작동합니다.

예측 (Local Linearity): 차가 앞으로 1 초 뒤에 어디로 갈지, 도로가 어떻게 변할지 미리 계산합니다. (논문은 모델의 각 층 (Layer) 이 직선적인 움직임을 따른다는 걸 증명했습니다.)
최적 제어 (Optimal Control): "가장 적은 힘으로 핸들을 얼마나, 언제, 얼마나 꺾어야 목표 지점에 부드럽게 도착할까?"를 수학적으로 계산합니다.
실시간 피드백 (Closed-loop): 차가 조금이라도 빗나가면 즉시 감지하고, 다시 부드럽게 원래 길로 돌려놓습니다.

3. 어떻게 작동할까요? (3 단계)

① 목표 설정 (Semantic Setpoint)

우리가 원하는 목표 (예: "독성 없는 말", "진실한 답변") 를 모델이 이해하는 언어 (벡터) 로 변환합니다. 마치 **"내비게이션에 목적지를 입력하는 것"**과 같습니다.

② 실시간 조종 (Feedback Control)

모델이 단어를 하나씩 만들어갈 때, 매 순간 "지금 내가 만든 말이 목표와 얼마나 다를까?"를 계산합니다.

기존 방법: "독성 단어 나오면 바로 막아!" (강제적, 거침)
A-LQR: "지금 이 단어는 조금 독성이 있네. 다음 단어를 만들 때 아주 살짝만 방향을 틀어서 독성을 줄이자." (부드러운 교정)

③ 최소한의 간섭 (Minimal Overhead)

이 방법은 모델을 다시 학습시키지 않고, 생성하는 순간에만 아주 작은 수학적 보정을 가합니다. 그래서 속도가 느려지지 않고, 모델이 원래 가진 지능도 유지됩니다.

4. 어떤 성과를 냈나요?

이 기술은 여러 가지 실험에서 기존 방법들보다 훨씬 뛰어났습니다.

독성 제거 (Toxicity): 모델이 욕설이나 혐오 표현을 할 확률을 30 배~50 배나 줄였습니다. 중요한 건, 말의 흐름이 매끄럽고 지능이 떨어지지 않았다는 점입니다.
진실성 향상 (Truthfulness): 거짓말을 하거나 헛소리를 할 때, 사실에 기반한 답변을 하도록 유도했습니다.
원하는 개념 유도: "강아지"나 "축구" 같은 특정 주제를 이야기하게 만들 때, 훨씬 자연스럽게 그 개념을 녹여냈습니다.
보안 테스트 (Jailbreaking): 반대로, 해커가 모델을 속여서 나쁜 짓을 하도록 유도하는 '재일브레이킹' 테스트에서도 이 기술이 얼마나 강력한지 보여줬습니다. (이는 모델의 약점을 파악하고 방어하기 위한 연구입니다.)

5. 요약: 왜 이것이 중요한가요?

이 논문은 **"복잡한 AI 의 두뇌를 수학적으로 이해하고, 마치 정교한 조종사처럼 부드럽게 제어할 수 있다"**는 것을 증명했습니다.

기존: AI 를 다시 가르치거나, 무작정 막는 방식.
새로운 방식 (A-LQR): AI 가 생각할 때, 가장 적은 힘으로 가장 자연스럽게 올바른 방향으로 유도하는 방식.

이 기술은 앞으로 AI 가 더 안전하고, 신뢰할 수 있으며, 우리가 원하는 대로 정교하게 작동하도록 만드는 핵심 열쇠가 될 것입니다. 마치 운전자가 차를 부드럽게 조종하듯, AI 의 행동을 정밀하게 조율할 수 있게 된 것입니다.

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 의 안전성과 신뢰성을 보장하는 것은 여전히 중요한 과제입니다. 기존의 정렬 (Alignment) 방법 중 추론 시간 (Inference-time) 활성화 조정 (Activation Steering) 은 모델 가중치를 변경하지 않고 생성 중 활성화 (Activation) 를 직접 수정하여 행동을 제어하는 유망한 접근법입니다.

하지만 기존 방법들은 다음과 같은 한계를 가집니다:

비예측적 개입 (Non-anticipative Interventions): 트랜스포머 레이어를 통과하며 왜곡이 어떻게 전파되는지 고려하지 않음.
개루프 제어 (Open-loop Control): 온라인 오차 피드백을 활용하지 않아 최적의 제어가 어려움.
비효율성: 복잡한 강화학습 (RL) 기반 정책 학습이나 비용이 큰 오프라인 훈련이 필요함.

이 논문은 이러한 문제들을 해결하기 위해, 비선형적인 트랜스포머 구조 내부에서도 국소 선형성 (Local Linearity) 이 존재한다는 사실을 발견하고 이를 활용한 새로운 제어 프레임워크를 제안합니다.

2. 방법론 (Methodology)

저자들은 LLM 추론을 선형 시간 변동 (LTV, Linear Time-Varying) 동적 시스템으로 모델링하고, 고전적인 선형 2 차 조절기 (LQR, Linear Quadratic Regulator) 를 적용하여 활성화 조정을 수행합니다.

핵심 구성 요소:

국소 선형성 가정 및 검증:
- 트랜스포머 블록은 비선형적이지만, 특정 레이어 내에서 도달 가능한 다양한 활성화 지점들 간의 자코비안 (Jacobian) 은 서로 높은 상관관계를 가짐을 실험적으로 증명했습니다.
- 이를 통해 전체 LLM 을 레이어 단위로 국소 선형화하여 LTV 시스템으로 근사할 수 있음을 보였습니다.
선형 특징 설정점 (Linear Feature Setpoint, LFS):
- 원하는 의미적 특징 (예: 독성 감소, 진실성 증가) 을 달성하기 위한 목표 활성화 값 (Setpoint) 을 자동으로 생성하는 방법을 제안합니다.
- 대조적 데이터셋 (긍정적/부정적 예시) 을 통해 특징 방향 벡터 ( $v_k$ ) 를 추출하고, 레이어별 활성화 노름에 비례하도록 목표값 ( $\beta^*_k$ ) 을 동적으로 조정합니다.
활성화-LQR (A-LQR) 알고리즘:
- 폐루프 제어 (Closed-loop Control): 현재 활성화 상태 ( $z_k$ ) 와 목표 설정점 ( $\beta^*_k$ ) 간의 오차를 실시간으로 측정하여 조정 신호 ( $u_k$ ) 를 계산합니다.
- 피드백 게인 계산: 오프라인에서 레이어별 자코비안을 기반으로 리카티 (Riccati) 재귀식을 풀어 최적의 제어 게인 ( $K_k$ ) 을 미리 계산합니다.
- 실시간 적용: 추론 시에는 미리 계산된 게인을 사용하여 활성화에 개입하며, 모델의 원래 가중치는 변경되지 않습니다.
이론적 보장:
- 선형화 오차와 비선형 잔여항을 고려하여 폐루프 궤적 추적 오차와 특징 강도 추적 오차에 대한 최악의 경우 (Worst-case) 상한선을 이론적으로 유도했습니다.

3. 주요 기여 (Key Contributions)

국소 선형성 분석: 다양한 LLM 아키텍처와 규모에서 레이어별 자코비안이 도달 가능한 활성화 지점들 사이에서 강한 상관관계를 가진다는 사실을 발견하고, 이는 기계적 해석 가능성 (Mechanistic Interpretability) 에 중요한 통찰을 제공합니다.
A-LQR 알고리즘 제안: 훈련이 필요 없는 (Training-free) 새로운 활성화 조정 알고리즘을 제안했습니다. 이는 LQR 을 LLM 동역학에 적용하여 근사적으로 최적의 조정 정책을 합성합니다.
자동 설정점 생성 (LFS): LQR 추적을 위해 의미적 특징의 목표값을 적응적으로 생성하는 자동화 방법을 개발하여, 외부 교란에 대한 강인한 폐루프 제어를 가능하게 했습니다.
이론적 성능 한계 도출: 추론 오차에 대한 이론적 상한선을 제공하여 조정 성능에 대한 형식적 보장을 제시했습니다.

4. 실험 결과 (Results)

저자들은 다양한 모델 (Llama-3, Gemma-2, Qwen-2.5 등) 과 규모 (1B ~ 70B) 에서 A-LQR 을 평가했습니다.

독성 조절 (Toxicity Mitigation):
- 기존 방법 (ITI, ActAdd, PID-AcT 등) 대비 약 30 배에서 50 배 이상 독성 출력을 감소시켰습니다.
- 출력의 다양성 (Dist-1/2/3) 과 유창성 (Perplexity) 을 크게 저하시키지 않으면서 안전성을 확보했습니다.
진실성 향상 (Truthfulness):
- TruthfulQA 데이터셋에서 진실성 점수를 크게 향상시켰으며, 특히 ActAdd 와 같은 기존 방법들이 유창성을 희생하는 반면, A-LQR 은 정보성 (Informativeness) 을 유지하며 진실성을 높였습니다.
임의 개념 유도 (Concept Elicitation):
- "dog", "football" 등 임의의 개념을 생성물에 자연스럽게 포함시키는 데 성공했습니다.
자일브레이킹 (Jailbreaking):
- 모델의 거절 (Refusal) 행동을 우회하여 유해한 내용을 생성하도록 유도하는 테스트에서도 기존 방법 (AAS 등) 과 유사하거나 더 나은 성능을 보였습니다. 이는 A-LQR 이 모델의 내부 표현을 정밀하게 제어할 수 있음을 시사합니다.
계산 효율성:
- 오프라인에서 게인을 계산하므로, 추론 시 추가적인 계산 부하는 모델 가중치 수정 없이 행렬 곱셈만 수행하여 상대적으로 경미합니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 의 내부 동역학이 국소적으로 선형적이라는 발견을 바탕으로, 제어 이론의 강력한 도구인 LQR을 LLM 안전성 및 행동 제어에 성공적으로 적용했습니다.

효율성: 복잡한 오프라인 훈련이나 강화학습 없이도, 모델의 구조적 특성을 활용하여 정밀하고 강인한 제어가 가능합니다.
범용성: 다양한 모델 아키텍처와 규모, 그리고 다양한 작업 (안전성, 진실성, 개념 생성, 자일브레이킹) 에서 일관된 성능을 입증했습니다.
이론적 엄밀성: 단순한 휴리스틱이 아닌, 오차 상한선이 보장된 수학적 기반을 제공하여 신뢰할 수 있는 LLM 제어의 새로운 패러다임을 제시합니다.

결론적으로, A-LQR 은 추론 시간 LLM 정렬을 위한 표준적이고 확장 가능한 프레임워크로서, 안전하고 신뢰할 수 있는 AI 시스템 구축에 중요한 기여를 할 것으로 기대됩니다.