Mechanistic Interpretability of Discrete Logarithm Grokking: How Representation Determines the Internal Algorithm
이 논문은 이산 로그 문제의 입력 표현이 신경망이 발견하는 내부 알고리즘을 근본적으로 결정한다는 것을 입증하며, 문제의 진정한 인수분해와 대수적 정렬이 빠른 일반화(grokking)를 위한 전제 조건이고, 필요한 상호작용이 풍부한 계산 구조는 성능이 향상되기 훨씬 전인 암기 단계 동안 형성된다는 것을 밝힌다.