Discovering Cross-Language Reasoning Invariance in LLMs with Geometry-Invariant Sparse Autoencoders

대규모 언어 모델은 오늘날 가장 진보된 인공지능 도구들의 엔진이며, 수십 개의 언어로 읽고, 쓰고, 문제를 해결할 수 있는 능력을 갖추고 있습니다. 수년 동안 연구자들은 이 시스템들이 다국어의 복잡성을 어떻게 처리하는지 궁금해해 왔습니다. 만약 모델이 영어로 수학 문제를 풀고 나서 똑같은 문제를 중국어로 푼다면, 모델은 두 언어 모두에 대해 동일한 내부적 사고 기제를 사용하는 것일까요, 아니면 각 언어에 대해 완전히 다른 규칙 세트로 전환하는 것일까요? 이 질문이 중요한 이유는, 만약 모델이 추론을 위한 공유된 내부 언어를 사용한다면, 우리는 그 논리를 한 번만 이해함으로써 모델이 구사하는 모든 언어에 적용할 수 있기 때문입니다. 반대로, 만약 모델이 별도의 언어별 경로에 의존한다면, 모델의 한 버전을 이해하는 것이 다른 버전들에 대해서는 거의 아무것도 알려주지 못하게 됩니다. 기계론적 해석 가능성(mechanistic interpretability) 분야는 이러한 모델의 내부를 들여다보고, 그 내부 상태를 지도화하고 이해할 수 있는 복잡한 회로 기판처럼 취급하여 모델이 어떻게 작동하는지 파악하고자 합니다.

한 연구팀은 다섯 가지 서로 다른 대규모 언어 모델의 내부 작동 방식을 들여다봄으로써 이 질문에 답하기 위해 나섰습니다. 그들은 특정 작업에 집중했습니다: 초등학교 수준의 수학 문제 풀기. 그들은 250개의 수학 문제 데이터셋을 가져와 각 모델에게 여섯 가지 다른 언어(영어, 독일어, 프랑스어, 스페인어, 러시아어, 중국어)로 문제를 풀도록 요청했습니다. '사과와 사과'를 비교하는 것과 같이 공정한 비교를 보장하기 위해, 그들은 모델이 모든 언어에서 정답을 맞히고 명확한 단계별 추론 경로를 생성한 문제들만을 선별했습니다. 그런 다음 연구진은 모델의 내부 활동을 다양한 단계에서 기록하여, 모델이 해결책을 생각하며 컴퓨터 내부에서 발생시킨 전기적 신호와 같은 특정한 패턴들을 포착했습니다.

이 복잡한 신호들을 이해하기 위해 연구진은 희소 오토인코더(sparse autoencoder)라고 불리는 도구를 사용했습니다. 이것은 모델의 혼란스러운 내부 노이즈를 구별 가능하고 이해할 수 있는 개념의 목록으로 번역하는 방법이라고 생각하면 됩니다. 마치 사람이 하늘, 나무, 개, 자동차와 같이 핵심 요소를 나열하여 장면을 묘사하는 것처럼, 오토인코더는 모델의 활동을 일련의 활성화된 특징(features)들로 분해합니다. 연구진은 각 모델의 각 층(layer)에 대해 두 가지 버전의 이 도구를 훈련시켰습니다. 첫 번째 버전은 단순히 자신이 본 것을 한 가지 언어로 설명하는 법을 배웠습니다. 두 번째 버전은 특별한 지침을 가지고 훈련되었습니다: 즉, 문제가 영어로 제시되든 중국어로 제시되든 상관없이 동일한 특징들을 사용하여 동일한 수학 문제를 설명해야 한다는 것이었습니다. 이 두 번째 버전은 모델이 공통의 접점, 즉 추론을 위한 공유된 내부 언어를 찾도록 강제하기 위해 설계되었습니다.

결과는 모델이 어떻게 생각하는지에 대한 놀라운 현실을 드러냈습니다. 연구진은 단순히 내부적인 묘사들을 기하학적으로 더 유사하게 만드는 것이 모델이 실제로 동일한 논리를 사용한다는 것을 보장하지 않는다는 사실을 발견했습니다. 어떤 모델에서는 내부 특징들을 언어 간에 정렬하도록 강제했을 때 모델의 추론이 더 견고해지고 상호 교환 가능해졌습니다. 그러나 다른 모델들에서는 그것이 아무런 차이를 만들지 못했고, 한 경우에는 한 언어의 추론 부분을 다른 언어로 교체하려고 시도했을 때 오히려 모델의 성능을 저하시키기도 했습니다. 이는 모델들이 이미 매우 서로 다른 습관을 형성했기 때문에 발생했습니다. 한 계열의 모델들은 문제를 진행함에 따라 자연스럽게 공유된 사고 방식을 발달시켜 새로운 훈련이 공유된 경로를 정교화하는 데 도움을 주었습니다. 또 다른 계열은 이미 매우 강력한 공유 구조를 구축했기에 새로운 훈련이 더 보탤 것이 없었습니다. 세 번째 계열은 언어를 엄격하게 분리하여 유지했기에, 이들을 하나로 합치려는 시도가 명확함 대신 혼란을 야기했습니다.

이 연구는 17억 개에서 40억 개의 파라미터 규모에 이르는 네 가지 계열의 다섯 가지 특정 모델을 조사했습니다. 연구진은 공유된 추론 언어를 만드는 성공 여부가 모델의 기존 아키텍처에 전적으로 달려 있다는 것을 발견했습니다. 공유된 특징이 문제를 처리함에 따라 더 강해지는 '수렴적(convergent)' 패턴을 보이는 모델들에서는, 새로운 훈련 방식이 완벽하게 작동하여 테스트한 모든 층에서 언어 간 추론 능력을 향상시켰습니다. 이미 공유된 특징들로 '포화(saturated)'된 모델들에서는 새로운 훈련이 이득을 주지 못했고 때로는 모델의 자연스러운 흐름을 방해했습니다. 언어가 대부분 분리된 채로 남아있는 '낮은 공유(low-sharing)' 모델들에서는, 비록 내부 신호들이 서류상으로는 더 유사해 보일지라도 새로운 훈련이 기능적인 가교를 만드는 데 실패했습니다.

이 작업은 해당 분야의 흔한 가정, 즉 두 대상이 그래프상에서 유사해 보인다면 반드시 동일하게 기능할 것이라는 가정에 도전합니다. 연구진은 모델이 언어 간에 기하학적으로 정렬된 특징을 가질 수 있지만 여에도 여전히 상호 교환 가능하게 작동하지 못할 수 있음을 증명했습니다. 그들은 다국어 모델을 이해하는 경로가 만능 해결책(one-size-fits-all)이 아님을 보여주었습니다. 대신, 모델의 내부 논리는 각 모델의 특정 설계와 깊게 연결되어 있습니다. 어떤 모델은 자연스럽게 보편적인 추론 엔진을 구축하는 반면, 어떤 모델은 언어를 별개의 방에 격리해 둡니다. 연구진은 인공지능이 언어를 가로질러 어떻게 생각하는지를 진정으로 이해하기 위해서는, 그들이 모두 동일한 숨겨진 규칙을 따를 것이라고 가정하기보다 각 모델의 구체적인 아키텍처를 살펴보아야 한다고 결론지었습니다.