Forecasting Side Effects of Activation Steering

당신이 이야기를 쓰고, 수학 문제를 풀고, 심지어 조언까지 해줄 수 있는 거대하고 똑똑한 로봇 뇌를 가지고 있다고 상상해 보세요. 과학자들은 이 로봇을 처음부터 다시 만들지 않고도 로봇의 사고방식을 미세하게 조정할 수 있는 영리한 기술을 찾아냈습니다. 로봇의 뇌 전체를 다시 학습시키는 대신, 로봇의 마음속에 있는 특정 '사고 방향'을 살짝 밀어주는 것입니다. 이것은 마치 특정 성격 특성에 대한 볼륨 조절 노브(knob)와 같습니다. 로봇의 내부 신호에 아주 작은 수학적 압력을 가함으로써 '도움이 되는 정도'를 높이거나 '장황함'을 낮출 수 있습니다. 이것을 **활성화 스티어링(activation steering)**이라고 부릅니다. 마치 로봇의 성격을 조절하는 리모컨과 같습니다.

하지만 여기 함정이 있습니다. 한쪽 노브를 돌리면 예상치 못한 다른 것들이 변할 수도 있습니다. 만약 로봇을 더 간결하게 말하도록 만들면, 의도치 않게 예의가 없어질 수도 있습니다. 만약 로봇을 더 도움이 되게 만들면, 위험한 요청에 너무 쉽게 "예"라고 답하게 될 수도 있습니다. 이러한 원치 않는 변화를 **부작용(side effects)**이라고 부릅니다. 이 기술을 사용하는 사람들에게 중요한 질문은 이것입니다: 우리가 실제로 노브를 돌리기 전에 이러한 부작면을 예측할 수 있을까? 만약 우리가 예측할 수 없다면, 이 리모컨을 사용하는 것은 눈을 가리고 자동차를 운전하는 것과 같습니다. 원하는 곳에 도착할 수도 있지만, 다른 무언가와 충돌할 수도 있기 때문입니다.

이 논문은 바로 그 질문을 던집니다: 활성화 스티어링을 적용하기 전에 부작용을 예측할 수 있을까요? 연구진은 그렇다, 할 수 있다고 말합니다. 하지만 대부분의 사람들이 추측했던 방식과는 다릅니다. 그들은 부작용이 흔하고 때로는 까다롭지만, 지도로 그려낼 수 있는 숨겨진 패턴을 따르고 있다는 사실을 발견했습니다.

성격의 숨겨진 지도

연구진은 로봇의 뇌를 코딩, 유해한 요청 거부, 유머러스함, 공감 표현 등 특정 행동을 나타내는 67개의 서로 다른 '동네'로 이루어진 거대한 도시처럼 취급했습니다. 그들은 단 하나의 동네를 '스티어링(조정)'할 때 다른 모든 동네에 어떤 일이 일로 일어나는지 알고 싶어 했습니다.

그들은 모든 동네가 다른 동네를 건드렸을 때 어떻게 반응하는지를 보여주는 지도를 담은 거대한 **교차 효과 행렬(Cross-Effect Matrix)**을 구축했습니다. 이것은 도미노 게임과 같습니다. 다만 단순히 다음 도미노를 쓰러뜨리는 것이 아니라, 한 동네를 건드리면 도시 전체에 파동이 전달되는 방식입니다.

그들이 발견한 결과는 놀라웠습니다. 첫째, 부작용은 어디에나 있었습니다. 하나의 행동을 조정했을 때, 다른 행동의 약 33%에서 50%가 눈에 띄게 변했습니다. 이는 단순한 미세한 떨림이 아니었습니다. 때때로 그 변화는 매우 커서, 로봇의 '성격 점수'를 4점 척도에서 1점이나 변화시키기도 했습니다.

둘째, 변화는 **비대칭적(asymmetric)**입니다. 이것이 가장 중요한 부분입니다. 현실 세계에서는 문을 밀면 열립니다. 반대로 밀면 닫힙니다. 하지만 로봇의 뇌에서는 규칙이 더 기묘합니다. 만약 '철저함'을 조정하여 로봇을 더 주의 깊게 만든다면, 실수로 '불확실성'을 높일 수도 있습니다. 하지만 '불확실성'을 조정하여 로봇을 더 불확실하게 만든다면, 오히려 '철저함'이 줄어들 수도 있습니다. 이 관계는 단순한 거울 이미지처럼 대칭적이지 않습니다. 복잡한 일방통로와 같습니다.

왜 기존의 추측 게임은 실패했는가

이 논문 이전에는 사람들은 간단한 규칙을 사용하여 부작용을 예측하려고 했습니다: "만약 두 스티어링 방향이 비슷해 보인다면(즉, 두 벡터가 같은 방향을 가리킨다면), 그들은 유사한 변화를 일으킬 것이다." 이것은 두 노래가 모두 C 메이저 키라면 비슷한 느낌을 줄 것이라고 가정하는 것과 같습니다.

연구진은 이 아이디어를 테스트했고, 그것이 처참하게 실패했다는 것을 발견했습니다. 그들은 '조정 방향'의 유사성만으로는 실제로 일어나는 일의 약 23%만을 설명할 수 있다는 것을 보여주었습니다. 기존의 방법은 A를 조정하면 B가 도와주고, B를 조정하면 A가 방해되는 기묘한 일방향 관계를 예측하지 못했습니다. '유사성'을 통한 추측은 양말 색깔을 보고 날씨를 예측하려는 것과 같았습니다. 전혀 작동하지 않았습니다.

새로운 수정구슬: 전파 지도(Propagation Map)

그렇다면 기존의 방식이 실패했다면, 어떻게 미래를 예측했을까요? 그들은 **전파 지도(Propagation Map)**라는 새로운 예측 도구를 만들었습니다.

작동 방식은 다음과 같은 간단한 비유를 들어보겠습니다. 로봇의 뇌가 일련의 물 파이프라고 상상해 보세요.

1. 조정 (소스): 특정 지점(주입 레이어)에 물을 밀어 넣습니다.
2. 전파 (Propagation): 물은 로봇의 여러 층을 통과하며 구불구불하게 흐릅니다.
3. 센서 (타겟): 파이프 끝에는 특정 행동(예: 유머러스함)이 존재하는지 감지하는 센서가 있습니다.

기존의 방법은 단순히 밀어넣는 모양을 보고 끝에서 어떤 일이 일어날지 추측했습니다. 새로운 방법은 실제로 파이프 모델을 구축합니다. 그들은 파이프 시작점에서 밀어 넣은 힘이 로봇의 뇌 속 구불구불한 경로를 통해 어떻게 전달되어 끝에 도달하는지를 학습하는 시스템을 훈련시켰습니다.

그들은 이 지도를 사용하여 로봇을 실제로 조정하지 않고도 부작용을 예측했습니다. 그들은 단지 로봇의 정상적인, 조정되지 않은 생각들을 관찰하여 '파이프'가 어떻게 작동하는지 학습했습니다. 그런 다음 이렇게 물었습니다: "만약 우리가 이 특정 방향으로 밀어 넣는다면, 물은 어디로 흘러가서 어떤 센서들을 건드릴 것인가?"

결과: 한계가 있는 수정구슬

결과는 인상적이었습니다. 그들의 새로운 예측 방법은 주요 변화에 대해 부작용이 **증폭(amplify)**될지 혹은 **억제(suppress)**될지를 약 **68%에서 78%**의 정확도로 맞출 수 있었습니다. 이는 특정 예측에 대해 무작위 확률보다 겨우 나은 수준이었던 기존의 '유사성' 추측보다 훨씬 뛰어난 성과입니다.

하지만 논문은 자신들이 할 수 없는 부분에 대해서도 솔직하게 밝히고 있습니다.

• 방향은 예측하지만, 크기는 예측하지 못합니다: 이 도구는 특정 행동이 강해질지 약해질지는 잘 알려주지만, 정확히 '얼마나' 변할지는 완벽하게 알려주지 못합니다. 변화의 크기는 주로 조정하는 방향보다는 타겟이 되는 행동 자체에 달려 있습니다.
• 마법이 아닙니다: 예측은 데이터에서 발견된 패턴에 기반합니다. 이들은 완벽한 '실제 정답(ground truth)'이 아닌데, 여전히 행동을 측정하기 위해 AI 판별기에 의존하기 때문입니다.
• 특수성이 있습니다: 이 방식은 그들이 테스트한 특정 유형의 '선형(linear)' 조정에 작동합니다. 만약 미래에 누군가 완전히 다른 방식으로 로봇을 제어하는 방법을 발명한다면, 이 지도는 다시 그려져야 할 수도 있습니다.

이것이 왜 중요한가

이 논문은 AI를 제어하려는 모든 이들에게 게임의 규칙을 바꿉니다. 단순히 노브를 돌리며 행운을 빌거나, 무언가 잘못되었다는 것을 깨닫기 위해 로봇이 이상한 말을 할 때까지 기다리는 대신, 이제 실무자들은 먼저 지도를 볼 수 있습니다.

그들은 "내가 로봇을 더 간결하게 만들면, 안전성이 떨어질까?"라고 물을 수 있고, 코드를 건드리기도 전에 신뢰할 수 있는 답을 얻을 수 있습니다. 이것은 활성화 스티어링을 운에 맡기는 게임에서 예측 가능한 공학적 과제로 바꿔 놓습니다. 비록 모든 문제를 해결하지는 못하지만, 이 논문은 우리가 물보라를 일으키기 전에 로봇의 마음속에 생길 보이지 않는 파동을 미리 볼 수 있는 강력한 도구를 제공합니다.