Located but Not Releasable: Silent Gate Inversion and Bounded Linear Release

당신이 거대하고 매우 똑똑한 로봇 뇌 내부에서 미스터리를 풀려는 탐정이라고 상상해 보세요. 이 과학 분야는 "AI 해석 가능성(AI interpretability)"이라고 불리며, 디지털 뇌가 실제로 어떻게 생각하는지를 알아내는 것을 목표로 합니다. 오랫동안 연구자들은 로봇의 마음속에서 "단서"를 찾는 데 매우 뛰어난 성과를 보여왔습니다. 그들은 특정 지점을 가리키며 "보세요! 로봇이 여기에 답을 알고 있습니다. 단지 숨기고 있을 뿐이에요"라고 말할 수 있었습니다. 그들은 내부를 들여다보기 위한 손전등 같은 도구인 "프로브(probes)"나, 로봇의 생각을 새로운 방향으로 밀어붙이는 "스티어링 벡터(steering vectors)"와 같은 도구들을 사용했습니다. 큰 희망은 우리가 로봇이 진실을 어디에 숨겼는지 찾아내기만 하면, 스위치를 올리거나 살짝 밀어주는 것만으로도 로봇이 갑자기 올바르게 행동하게 만들 수 있을 것이라는 점이었습니다. 그것은 마치 단순한 공학적 문제처럼 보였습니다. 즉, 끊어진 전선을 찾아서 고치기만 하면 기계가 작동할 것이라는 생각이었죠.

하지만 만약 로봇이 단순히 답을 숨기고 있는 것이 아니라면 어떨까요? 만약 우리가 시도하는 "수정" 방식 자체가 근본적으로 잘못된 것이라면 어떨까요? 이것이 바로 이 논문이 던지는 질문입니다. 그것은 마치 보물 지도가 보물 상자로 이어지는 길을 알려주었지만, 정작 당신이 가진 열쇠가 자물쇠에 맞지 않거나, 혹은 자물쇠가 엉뚱한 문에 달려 있다는 사실을 깨닫게 되는 것과 같습니다. 연구자들은 로봇이 생각을 억제하고 있는 정확한 위치를 찾아낸다면, 실제로 그 생각을 사용하도록 강제할 수 있는지 알고 싶었습니다. 그들은 우리가 AI 모델을 제어할 수 있다는 것을 증명하기 위해 엄격하고 사전에 계획된 실험을 설정했습니다. 대신, 그들은 제어가 단순히 스위치를 찾는 것보다 훨씬 더 어렵고 복잡하다는 것을 시사하는 '이중 실패'를 발견했습니다.

---

침묵하는 문과 멈춰버린 레버의 이야기

2,570만 개의 부품으로 이루어진 작지만 강력한 로봇 뇌, C1을 만나보세요. C1은 까다로운 게임을 학습했습니다. 단서를 보고, 설령 단서가 오해를 불러일으킬지라도 사건의 실제 원인을 파악해야 하는 게임이었죠. 예를 들어, 똑똑한 탐정은 젖은 거리와 우산을 쓴 사람을 보고 우산이 젖음의 원인이거나(혹은 비가 왔거나)를 알지만, 혼란에 빠진 탐정은 보이는 것에 기반해 단순히 추측할 수도 있습니다. C1은 똑똑한 탐정이 되어야 했지만, 한 가지 결함이 있었습니다. 뇌 깊은 곳에 진짜 답을 알고 있음에도 불구하고, 계속해서 틀리고 "더 단순한" 답을 내놓는 것이었습니다. 이것을 **억제(suppression)**라고 부릅니다. 로봇은 지식을 가지고 있었지만, 그것을 사용하기를 거부하고 있었습니다.

연구자들은 C1을 고치기 위해 3단계 구조 작전을 시도하기로 했습니다:

1. 탐지(Detect): C1이 틀린 답을 내놓으려 할 때를 알 수 있는 센서를 구축한다.
2. 국소화(Localize): 로봇의 뇌 내부에서 "진짜" 지식이 숨겨져 있는 정확한 지점을 찾아낸다.
3. 해방(Release): 로봇에게 넛지(스티어링 벡터)를 주어 숨겨진 지식을 사용하도록 강제한다.

그들은 이 실험 전체를 엄격한 과학 박람회 프로젝트처럼 계획했습니다. 나중에 규칙을 변경할 수 없도록 모든 규칙과 숫자를 시작 전에 미리 적어두었습니다. 결과는 다음과 같았습니다.

1단계: 지도는 정확하다 (국소화 성공)

먼저, 그들은 "숨겨진 장소"를 찾는 시도를 했습니다. 그들은 "단순한" 로봇의 뇌 부품을 "똑똑한" 버전의 부품과 교체했습니다. 마치 고장 난 엔진 부품을 정상적인 부품으로 바꾸는 것과 같습니다.
결과: 완벽하게 작동했습니다! 뇌의 중간 계층(구체적으로 "관찰-증거" 채널)에서 부품을 교체했을 때, 로고는 갑자기 정답을 말하기 시작했습니다.
수치: 이것이 중요한 세계들에서 로봇의 행동은 0.563과 0.854(엄청난 상승)만큼 개선되었으며, 최적의 지점에서는 정답 행동의 **88.9%**를 회복했습니다.
의미: "보물 지도"는 맞았습니다. 로봇은 지식을 가지고 있으며, 우리는 그것이 어디에 있는지 정확히 알고 있습니다.

2단계: 침묵하는 문 (탐지기 실패)

다음으로, 그들은 자동화된 시스템을 구축하려고 했습니다. 로봇을 지켜보며 "이봐, 너 지금 실수하려고 해! 고칠 시간이야!"라고 말해줄 "문지기(탐지기)"가 필요했습니다. 그들은 연습 세트를 통해 문제를 포착하는 법을 배우도록 이 문지기를 훈련시켰습니다.
결과: 문지기는 아주 조용하게, 처참하게 실패했습니다.

• 로봇에게 실제로 도움이 필요했던 2,400개의 특정 테스트 케이스에서, 문지기는 단 한 번도(0번) "안 돼"라고 말하지 않았습니다. 완전히 침묵했습니다.
• 반면, 도움이 필요 없는 일반적이고 안전한 경우에 문지기는 **6.9%에서 7.3%**의 확률로 당황하며 무언가를 "고치려고" 시도했습니다.
  비유: 실제 불이 났을 때는 절대 울리지 않으면서, 누군가 빵을 토스트할 때마다 요란하게 울려대는 연기 감지기를 상상해 보세요. 불이 시작되었을 때 문지기가 소리를 내지 않았기 때문에 소방관은 도착하지 못했습니다. "게이트(gate)"가 적용된 시스템은 문이 열리지 않았기 때문에 고장 난 로봇과 똑같은 상태였습니다.

3단계: 멈춰버린 레버 (선형 해방 실패)

좋습니다, 문지기가 쓸모없어졌군요. 연구자들은 "문제없어! 그냥 문을 없애고 항상 로봇을 올바른 방향으로 밀어주자"라고 생각했습니다. 그들은 "넛지"(선형 방향 벡터)를 가져와서 허락을 구하지 않고 뇌에 주입했습니다.
결과: 로봇은 올바른 방향으로 움직였지만, 막혀버렸습니다.

• 넛지의 강도(용량)를 높일수록 로봇의 성능은 향상되었지만, 어느 지점까지만 그랬습니다. 성능이 정점에 도달하자 더 이상 좋아지지 않았습니다.
• 가장 강한 넛지를 가했을 때도 로봇의 답은 여전히 0.264만큼 차이가 났으며, 목표치는 0.08 이내였습니다.
• 그들은 매 질문마다 넛지를 다르게 적용하는 방식(개별 사례 적응성)을 통해 더 똑똑한 넛지를 시도했지만, 이는 ±0.03 미만의 거의 의미 없는 개선만을 가져왔습니다.
  비유: 그것은 무거운 바위를 언덕 위로 밀어 올리는 것과 같습니다. 힘껏 밀수록 바위는 조금씩 움직이지만, 어느 순간 평평한 고지에 도달합니다. 아무리 세게 밀어도 그 이상으로는 나아가지 못합니다. "넛지" 자체가 너무 약해서, 비록 올바른 방향으로 밀고 있더라도 일을 완수하기에는 역부로였습니다.

결론: 두 가지 다른 문제

이 논문의 핵심 발견은 문제를 찾는 것과 문제를 해결하는 것은 완전히 다른 과제라는 점입니다.

1. 지도는 실재한다: 우리는 로봇이 지식을 숨기는 곳을 성공적으로 찾아냈습니다. 그 부분은 작동합니다.
2. 해결책이 고장 났다:
   • 첫째, 우리의 자동 경보 시스템(게이트)은 거꾸로 되어 있습니다. 실제 비상 상황은 무시하고 아무것도 아닌 일에 패닉에 빠집니다.
   • 둘째, 설령 경보를 무시하고 그냥 로봇을 밀어붙인다 하더라도, "밀기"(선형 스티어링)는 일을 완수하기에 충분히 강력하지 않습니다. 그것은 한계에 부딪힙니다.

연구자들은 모든 것을 사전에 계획했고, 결과가 좋지 않다고 해서 규칙을 바꾸지 않았기 때문에 이 결과에 대해 매우 확신하고 있습니다. 그들은 단순히 "제안"하는 것이 아니라, 엄격한 수학적 측정으로 실패가 두 가지 독립적인 방식으로 발생했음을 보여주었습니다.

이것이 미래에 의미하는 바:
오랫동안 과학자들은 "구조를 찾을 수 있다면, 제어할 수 있다"라고 생각했습니다. 하지만 이 논문은 "잠깐만요"라고 말합니다. 로봇 내부에서 지식을 볼 수 있다고 해서, 그것을 쉽게 제어할 수 있다는 뜻은 아닙니다. "넛지"가 너무 단순하거나, 경보 시스템이 너무 혼란스러울 수 있습니다. 이 AI 뇌를 진정으로 제어하려면, 단순히 위치를 찾고 버튼을 누르는 것보다 훨씬 더 복합적인 도구가 필요할지도 모릅니다. "아는 것"과 "행하는 것" 사이의 간극은 실재하며, 그 간극을 메우는 것은 우리가 생각했던 것보다 훨씬 더 어려운 일입니다.