Where You Measure Decides What You Measure: Position Selection in Ablation-Based SAE Evaluation

당신이 거대하고 마법 같은 도서관이 어떻게 생각하는지 이해하려고 노력하고 있다고 상상해 보세요. 이 도서里的 '두뇌'는 수백만 개의 작고 빛나는 스위치로 이루어져 있습니다. 도서관이 이야기를 읽을 때, 특정 스위치들이 불을 밝혀 의미를 이해하는 데 도움을 줍니다. 과학자들은 이 빛나는 스위치들을 관찰하여 그들에게 '고양이 스위치'나 '미래 시제 스위치'와 같이 이름을 붙여주는 특별한 도구인 **희소 오토인코더(Sparse Autoencoder, SAE)**를 만들었습니다.

이 번역기가 스위치들에 이름을 붙이고 나면, 다음의 큰 질문이 생깁니다: 어떤 스위치가 실제로 중요한가? 이를 알아내기 위해 과학자들은 보통 "만약에"라는 게임을 합니다. 특정 이름을 가진 스위치를 골라, 그것을 꺼버리고 도서관의 이야기가 어떻게 변하는지 관찰하는 것입니다. 만약 이야기가 이상해진다면, 그 스위치는 중요했던 것입니다. 만약 이야기가 그대로라면, 아마 별로 하는 일이 없었을 것입니다. 이것을 **절제 실험(ablation test)**이라고 부릅니다. 이것은 도서관이 어떻게 작동하는지 알아내기 위한 표준적인 방법입니다. 하지만 여기에 까다로운 부분이 있습니다. 단 하나의 스위치가 단 한 번만 빛나는 것이 아니라, 이야기의 여러 곳에서 수천 번씩 빛난다는 점입니다. 그래서 스위치를 끄기로 결정했을 때, 어디에서 끌 것인가요? 처음 불이 들어왔을 때인가요? 마지막일까요? 아니면 가장 밝게 빛날 때일까요?

이 논문은 간단하지만 놀라운 질문을 던집니다: 스위치를 끄기로 선택한 위치가 정말로 중요한가? 저자는 그 답이 명백하게 "그렇다"라고 말하며, 과학자들이 수년 동안 이 테스트를 수행해 온 방식이 그들을 잘못된 결론으로 이끌고 있을 수도 있다고 지적합니다.

"가장 밝은 불꽃"의 함정

오랫동안 이 테스트의 표준 규칙은 "스위치가 가장 밝게 빛나는 순간에 꺼라"였습니다. 이는 매우 영리한 직관처럼 느껴집니다. 전구가 어떤 지점에서 매우 밝게 빛난다면, 아마 그곳에서 가장 중요한 일을 하고 있을 것이라고 생각하기 쉽기 때문입니다.

하지만 이 논문이 설명하듯, 문제는 "가장 밝게 빛나는 곳"이 도서관의 고정된 사실이 아니라, 당신이 사용하는 *번역기(SAE)*에 관한 사실이라는 점입니다. 똑같은 도서관을 바라보는 두 명의 서로 다른 번역가가 있다고 상상해 보세요. 두 번역기 모두 42번 스위치가 '고양이 스위치'라는 점에는 동의합니다. 하지만 번역기 A는 'kitty'라는 단어에서 고양이 스위치가 가장 밝게 빛난다고 생각하는 반면, 번역기 B는 'feline'이라는 단어에서 가장 밝게 빛난다고 생각합니다.

만약 당신이 표준 규칙을 따른다면, 번역기 A는 'kitty'에서 스위치를 끌 것이고, 번의 B는 'feline'에서 스위치를 끌 것입니다. 비록 두 번역기가 정확히 같은 개념을 테스트하고 있음에도 불구하고, 그들은 이야기 속의 완전히 다른 지점에서 테스트를 수행하게 됩니다. 논문은 이것이 사소한 디테일이 아니라, 거대한 혼란의 원인임을 보여줍니다.

위대한 스위치 끄기 실험

이를 증명하기 위해 연구자는 단순히 추측만 한 것이 아니라, 거대하고 통제된 실험을 수행했습니다. 연구자는 거의 쌍둥이 수준으로 닮은 여섯 개의 서로 다른 번역기(SAE)를 만들었습니다. 그들은 동일한 설계도와 동일한 데이터로 학습을 시작했으며, 아주 미세하고 무해한 설정값만 다르게 조정했습니다. 시작점이 같았기 때문에, 여섯 개의 번역기에 있는 모든 '42번 스위치'는 정확히 같은 것을 의미해야 했습니다.

그 후, 표준 테스트를 실행했습니다:

1. 기존 방식: 각 번역기가 자신의 "가장 밝은 지점"을 스스로 선택하여 스위치를 끄도록 했습니다.
2. 새로운 방식: 여섯 개의 번역기가 이야기 속의 정확히 같은 지점에서 스위치를 끄도록 강제했습니다.

결과는 충격적이었습니다.
기존 방식(각 번역기가 자신의 밝은 지점을 선택하게 함)을 사용했을 때, 결과는 제각각이었습니다. 번역기들은 해당 스위치가 얼마나 중요한지에 대해 격렬하게 의견이 엇갈리는 것처럼 보였습니다. 어떤 것은 매우 중요하다고 했고, 다른 것은 아무 일도 하지 않는다고 했습니다. 연구자가 계산한 결과, 번역기들 사이의 의견 불일치 중 약 **7.6%에서 11.9%**는 실제로 그들이 이야기의 서로 다른 지점을 보고 있었기 때문에 발생한 것이었습니다.

하지만 모두가 같은 지점을 보도록 강제하자, 불일치는 거의 사라졌습니다. 한 모델에서는 불일치가 거의 **0%**로 떨어졌고, 다른 모델에서는 **2.4%**로 떨어졌습니다.

결국, 과학자들이 번역기들이 스위치의 의미를 두고 논쟁하고 있다고 생각했던 대부분의 시간 동안, 그들은 사실 어디를 볼 것인가를 두고 논쟁하고 있었던 것입니다. "가장 밝은 지점" 규칙은 그들을 서로 다른 곳을 보게 만들어, 불일치라는 환상을 만들어냈습니다.

"어디"가 "무엇"보다 더 중요하다

이 논문은 숨겨진 진실을 드러냅니다: 측정하는 위치가 사용하는 사전보다 더 중요하다는 것입니다.

실제로 연구자는 "어디서" 측정하느냐로 인해 발생하는 "노이즈"가 엄청나다는 것을 발견했습니다. 데이터에 따르면, 측정 위치에 의해 발생하는 변동은 전체 차이의 **67.4%**를 차지했습니다. 이는 스위치를 끄는 지점을 바꾸면, 번역기 자체를 바꾸는 것보다 더 큰 답의 변화를 가져온다는 뜻입니다.

이 점은 도서관이 커질수록 더욱 흥anche해집니다. 번역기가 읽을 텍스트 양을 늘려주면 서로 더 잘 합의할 것이라고 생각할 수도 있습니다. 하지만 정반대의 결과가 나타났습니다. 텍스트의 양이 증가할수록, 번역기들은 "가장 밝은 지점"이 어디인지에 대해 더 많이 의견이 갈렸습니다. 텍스트가 많아질수록 번역기들이 서로 다른 지점을 선택할 가능성이 높아져, 문제가 해결되는 것이 아니라 오히려 악화되었습니다.

이것이 모든 것을 바꾸는 이유

저자는 이 방법을 사용하여 이미 결과를 발표한 다섯 개의 주요 논문을 검토했습니다. 그리고 그들 중 어느 곳에서도 측정 위치를 보고하지 않았다는 사실을 발견했습니다. 그들은 그저 "가장 밝은 지점에서 스위치를 껐다"라고만 말했습니다.

이것은 마치 과학자가 "우리는 완벽한 온도에서 약을 테스트했다"라고 말하면서, 정작 그 온도가 몇 도였는지는 전혀 알려주지 않는 것과 같습니다. 두 과학자가 같은 약을 테스트하더라도, 한 명은 98°F에서 테스트하고 다른 한 명은 102°F에서 테스트한다면, 그들은 결과가 다르다는 이유로 그 약이 신뢰할 수 없다고 생각할 수 있습니다. 하지만 실제로는 단지 서로 다른 온도에서 측정했을 뿐입니다.

논문은 결과가 신뢰할 수 있고 여러 연구 간에 비교 가능하려면, 과학자들이 스위치를 끄기 위해 사용한 **정확한 토큰(단어)**을 보고해야 한다고 결론짓습니다. 또한, 수학적 오류를 일으킬 수 있는 문장의 첫 단어와 같은 특수 사례를 어떻게 처리했는지도 보고해야 합니다.

해결책은 간단합니다

좋은 소식은, 이를 고치기 위해 새로운 도서관을 만들거나 새로운 번역기를 훈련시킬 필요가 없다는 것입니다. 저자는 해결책이 단 한 줄의 코드라고 말합니다. 번역기가 측정 지점을 스스로 결정하게 하는 대신, 연구자들은 측정할 지점의 공유된 목록을 합의하거나, 적어도 자신이 선택한 지점을 정확히 보고해야 합니다.

이렇게 함으로써 "노이즈"는 사라지고, 우리는 도서관의 두뇌 속에서 어떤 스위치가 진정으로 중요한지, 그리고 어떤 스위치가 단지 우리가 우연히 바라본 곳 때문에 밝게 빛났을 뿐인지를 비로소 명확하게 볼 수 있게 됩니다. 이 논문은 AI의 모든 미스터리를 해결했다고 주장하는 것이 아니라, 우리가 진실을 명확히 보는 것을 가로막고 있던 거대하고 보이지 않는 벽을 제거했다는 것을 의미합니다.