Mechanistic Interpretability of Discrete Logarithm Grokking: How Representation Determines the Internal Algorithm
이 논문은 이산 로그 문제의 입력 표현이 신경망이 발견하는 내부 알고리즘을 근본적으로 결정한다는 것을 입증하며, 문제의 진정한 인수분해와 대수적 정렬이 빠른 일반화(grokking)를 위한 전제 조건이고, 필요한 상호작용이 풍부한 계산 구조는 성능이 향상되기 훨씬 전인 암기 단계 동안 형성된다는 것을 밝힌다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
컴퓨터 과학의 조용한 구석에서, 연구자들은 인공지능이 실제로 어떻게 생각하는지를 이해하기 위해 노력하고 있습니다. 수년 동안 우리는 이러한 시스템이 복잡한 퍼즐을 푸는 법을 배울 수 있다는 것을 알고 있었지만, 그 과정은 종종 마법처럼 보입니다. 모델은 오랫동안 반복적으로 실패하다가, 갑자기 정답을 암기하고, 그 후 기묘한 휴지기를 거친 뒤에야 비로소 처음 보는 새로운 문제들을 해결하며 일반화하기 시작합니다. 기계가 단순히 데이터를 암기한 지 한참이 지난 후에야 어떤 개념을 '그로킹(grok, 완전히 이해)'하는 것처럼 보이는 이 현상은 핵심적인 미스터리가 되었습니다. 이 코드를 풀기 위해 과학자들은 흔히 특정 열쇠가 있는 자물쇠처럼 명확하고 숨겨진 구조를 가진 수학적 문제를 사용합니다. 그중 하나인 이산 로그(discrete logarithm) 문제는 컴퓨터에게 곱셈 과정을 역추적하여 숨겨진 숫자를 찾아내라고 요구하는 과제입니다. 이것이 추상적으로 들릴 수도 있지만, 이는 신경망의 내부 메커니즘을 드러내는 논리적 퍼즐의 일종입니다. 컴퓨터가 이 특정한 수수께끼를 푸는 법을 배우는 과정을 관찰함으로써, 연구자들은 기계가 어떤 내부 전략을 발명하는지, 그리고 우리가 문제를 제시하는 방식이 기계가 찾아낸 해법을 바꾸는지 확인할 수 있습니다.
데이비드 베스테를룬드(David Vesterlund)의 새로운 연구는 이 조사를 한 단계 더 발전시켜, 정보를 컴퓨터에 제시하는 방식이 컴퓨터의 사고 방식을 바꾸는지라는 단순하지만 심오한 질문을 던집니다. 이를 알아보기 위해, 연구자는 인공지능 모델이 두 가지 매우 다른 데이터 제시 방식을 사용하여 이산 로그 문제를 해결하도록 훈련시켰습니다. 첫 번째 방법에서 모델은 마치 인간이 페이지 위에서 보는 것처럼, 기저에 깔린 구조에 대한 특별한 힌트 없이 가공되지 않은 숫자들을 그대로 받았습니다. 두 번째 방법에서 연구자는 모델에게 보여주기 전에 문제를 자연스러운 수학적 부분들로 분해하여, 사실상 컴퓨터에게 미리 분류된 도구 상자를 건네주었습니다. 결과는 이 두 가지 접근 방식이 모델로 하여금 완전히 다른 내부 알고리즘을 발견하게 했음을 보여주었습니다. 가공되지 않은 데이터로 훈련된 모델은 문제의 서로 다른 부분들이 깊게 얽혀 있는 복잡하고 뒤엉킨 연결망을 발달시켰습니다. 반면, 미리 분류된 구조적 데이터를 받은 모델은 문제의 각 부분이 독립적으로 처리되는 깔끔하고 분리된 조직 체계를 발달시켰습니다.
아마도 가장 놀라운 발견은 학습의 시점에 관한 것이었을 것입니다. 연구자들은 가공되지 않은 데이터 모델의 복잡하고 뒤엉킨 구조가 모델이 실제로 정답을 맞히기 시작하기 훨씬 전부터 형성되기 시작했다는 것을 발견했습니다. 수천 단계 동안 모델의 내부 연결들은 낮은 점수에 머물러 있는 동안에도 정교한 패턴으로 재배열되고 있었습니다. 이후 내부 구조가 완전히 구축된 후에야, 모델은 갑자기 '클릭'하듯 깨달으며 문제를 올바르게 풀기 시작했습니다. 이는 기계가 이해를 입증할 수 있기 훨씬 전부터 이해에 필요한 기계 장치를 구축하고 있었음을 시사합니다. 또한 이 연구는 이러한 내부 아키텍처가 단순한 부수 효과가 아니라 과제를 수행하는 데 필수적이라는 점을 보여주었습니다. 연구자들이 모델의 내부 수학 중 특정 부분을 정교하게 제거했을 때 시스템은 완전히 실패했으며, 이는 해당 특정 패턴들이 해법을 구동하는 실제 엔진임을 증证明했습니다.
이 연구는 또한 이러한 모델을 테스트하는 방식에 관한 기존 연구의 오해를 바로잡았습니다. 흔히 사용되는 기법은 모델이 숫자의 특정 순서에 의존하는지 확인하기 위해 데이터의 레이블을 뒤섞는 것이었습니다. 새로운 분석에 따르면 이 혼합 방식은 사실 속임수였습니다. 모델은 자신만의 기호 사전을 학습하기 때문에, 단순히 숫자의 이름을 바꾸는 것은 기저에 깔린 수학적 구조를 실제로 바꾸지 못했기 때문입니다. 모델은 여전히 동일한 구조적 문제를 풀고 있었으며, 단지 이름만 바뀐 것뿐이었습니다. 이 발견은 더 정직한 테스트를 위한 길을 열어주었다는 점에서 매우 중요했습니다. 연구자들은 수학적 구조를 유지하는 테스트와 이를 의도적으로 깨뜨리는 테스트를 포함한 새로운 계층적 테스트들을 만들었습니다. 그들은 입력값이 문제의 진정한 수학적 '분할(partition)'을 보존할 때만 모델이 문제를 빠르게 풀 수 있다는 것을 발견했습니다. 만약 입력값이 방정식의 구성 요소들 사이의 관계를 뒤섞는다면, 모델은 훈련 데이터를 완벽하게 암기할 수는 있겠지만, 아주 오랫동안 훈련하더라도 결코 새로운 문제를 해결하는 법을 배우지 못할 것이었습니다.
궁극적으로 이 작업은 입력 표현이 단순히 학습 속도를 높이거나 늦추는 것이 아니라, 기계가 발견하는 알고리즘을 근본적으로 결정한다는 것을 시사합니다. 문제가 자연스러운 수학적 구분 방식을 존중하는 방식으로 제시될 때, 기계는 해결책에 도달하는 단순하고 효율적인 경로를 찾습니다. 반면 문제가 가공되지 않은 비구조적인 방식으로 제시될 때, 기계는 그 간극을 메우기 위해 훨씬 더 복잡한 내부 세계를 구축해야 하며, 그 복잡성을 사용하는 법을 깨닫는 데 훨씬 더 오랜 시간이 걸립니다. 이 연구는 이러한 인공 시스템에 있어, 이해로 가는 길은 그들이 받는 정보의 구조에 의해 닦여진다는 점을 확인해 줍니다. 그것은 단순히 얼마나 많은 데이터를 보느냐의 문제가 아니라, 그 데이터가 어떻게 배열되어 있느냐의 문제입니다. 기계는 단순히 답을 배우는 것이 아니라, 질문 자체의 형태에 의해 규정되는 특정한 사고 방식을 배우는 것입니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.