🤖 machine learning

Transformers Learn the Mestre-Nagao Heuristic

이 논문은 유리수 타원 곡선의 프로베니우스 트레이스(Frobenius traces)로 학습된 2층 트랜스포머가 해당 곡선들의 계수(rank)를 예측하는 데 있어 완벽에 가까운 정확도를 달착할 뿐만 아니라, 모델의 내부 회로와 어텐션 메커니즘이 입력값에 명시적인 정수론적 특징이 부재함에도 불구하고 $\log L(E,1)$ 과 같은 심오한 수학적 성질을 효과적으로 인코딩함으로써 해석적 정수론의 메스트레-나가오(Mestre-Nagao) 휴리스틱을 기계적으로 학습한다는 것을 입증한다.

원저자: Pranav Venkata Konda

게시일 2026-06-16

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Pranav Venkata Konda

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거대하고 신비로운 숫자의 도서관을 가지고 있다고 상상해 보세요. 이 도서관 안에는 수천 개의 "타원 곡선(elliptic curves)"이 들어 있습니다. 이들은 수학적인 형태를 띠고 있으며 일종의 비밀 코드처럼 작동합니다. 수학자들에게는 큰 질문이 하나 있습니다. 이 모양들이 "평평한가(Rank 0)" 아니면 "뒤틀려 있는가(Rank 1)" 하는 것입니다.

수십 년 동안, 이것을 알아내는 것은 마치 허리케인 속에서 속삭임을 들으려고 애쓰는 것과 같았습니다. 단서는 "프로베니우스 트레이스(Frobenius traces)"라고 불리는 긴 숫자 목록 속에 숨겨져 있습니다.

이 논문은 연구진이 컴퓨터(AI의 한 종류인 "트랜스포머")에게 이 속삭임을 듣고 랭크(rank)를 추측하는 법을 가르친 내용에 관한 것입니다. 하지만 그들은 단순히 컴퓨터가 정답을 맞히는 것에 그치지 않고, 컴퓨터의 뇌 내부를 들여다보며 그것이 어떻게 답을 찾아냈는지 알고 싶어 했습니다.

연구진이 발견한 내용을 알기 쉽게 설명하면 다음과 같습니다.

1. 우등생

연구진은 6만 개의 곡선을 사용하여 2개의 층으로 구성된 작은 AI 뇌를 훈련시켰습니다. 그들은 각 곡선의 비밀 코드 중 첫 128개의 숫자를 AI에게 주었습니다.

결과: AI는 천재가 되었습니다. 99% 이상의 정확도를 기록했습니다.
놀라운 점: AI는 단순히 답을 암기한 것이 아니었습니다. 학습한 적이 없거나 학습 데이터와 전혀 다르게 생긴 새로운 곡선들을 테스트했을 때도 여전히 정답을 맞혔습니다. 이는 AI가 단순한 요령이 아니라 실제로 '규칙'을 배웠음을 의미합니다.

2. "소수(Prime)" 탐정

연구진이 AI가 어떤 숫자에 주목했는지 살펴보았을 때, 마법 같은 일이 일了어났습니다.

AI는 대부분의 숫자를 무시했습니다.
대신 AI는 소수(Prime Numbers)(2, 3, 5, 7, 11처럼 다른 수로 나누어지지 않는 숫자들)에 강렬하게 집중했습니다.
비유: 범죄 현장을 조사하는 탐정을 상상해 보세요. 탐정은 모든 발자국을 다 보는 대신, 특정 신발을 신은 용의자의 발자국만을 골라 봅니다. AI는 "소수"의 발자국이 모든 단서를 쥐고 있으며, "합성수(Composite)"의 발자국은 그저 소음일 뿐이라는 사실을 깨달은 것입니다.

3. 기계 속의 "유령" (진정한 발견)

이 부분이 가장 흥식한 부분입니다. 연구진은 AI의 논리를 역설계하기 위해 특별한 도구를 사용했습니다. 그들은 알고 싶었습니다. AI는 어떤 공식을 만들어냈는가?

그 결과, AI가 40년 된 유명한 수학적 규칙인 **메스트레-나가오 휴리스틱(Mestre-Nagao Heuristic)**을 독립적으로 재발견했다는 것을 발견했습니다.

규칙: 이 규칙은 소수들을 조합하여 랭크를 추측하는 특정한 레시피입니다. 이 규칙은 다음과 같이 말합니다. "소수들을 가져와서, 로그(log)를 포함한 특정 공식으로 무게를 달고, 그것들을 모두 더하라."
기적: AI는 아무도 이 공식의 존재를 알려주지 않았음에도 불구하고, 오로지 가공되지 않은 데이터(raw data)만을 통해 이 복잡하고 추상적인 수학 공식을 스스로 학습했습니다. 이는 마치 아이에게 재료를 주며 요리를 가르쳤더니, 아이가 스스로 유명한 프랑스 레시피를 발명해 낸 것과 같습니다.

4. 뇌가 작동하는 방식: "밀고 당기는" 팀

AI 내부에는 512개의 작은 "뉴런"(작은 일꾼이라고 생각하세요)이 있습니다. 연구진은 이 중 단 20개의 일꾼만이 핵심적인 역할을 수행한다는 것을 발견했습니다.

팀 구성: 17명의 일꾼은 "Rank 0 탐정"이었습니다. 이들은 숫자가 조건에 맞으면 "이것은 Rank 0이다!"라고 외칩니다.
반전: 나머지 3명의 일꾼은 "Rank 1 탐정"이었지만, 조금 이상했습니다. 이들은 "Rank 1이다!"라고 좀처럼 외치지 않았습니다.
비유: 투표 시스템을 상상해 보세요.
- 만약 "Rank 0" 팀이 강하게 밀어붙이면, 결과는 "Rank 0"이 됩니다.
- 만약 "Rank 0" 팀이 침묵하고 아무것도 하지 않으면, 결과는 자동으로 "Rank 1"이 됩니다.
- AI는 능동적으로 Rank 1을 향해 끌어당기는 것이 아니라, 단지 Rank 0 팀이 밀어붙이는 것을 멈출 때까지 기다리는 것입니다.

5. "읽기(Readout)"의 결함

연구진은 재미있는 결함도 발견했습니다.

20명의 똑똑한 일꾼들은 정답을 완벽하게 알고 있었습니다(99% 정확도).
하지만 그들의 투표를 읽어들이는 "매니저" 뉴런은 다소 서툴렀습니다. 매니저는 가장 똑똑한 일꾼들의 말을 완벽하게 듣지 못했습니다. 마치 최고의 직원들을 무시하고 그냥 주변에 서 있는 사람들의 말에 귀를 기울이는 매니저와 같았습니다.
이 때문에 최종 점수는 똑똑한 일꾼들이 단독으로 달성할 수 있었던 성적보다 약간 낮은 95%에 머물렀습니다. AI는 답을 알고 있었지만, 그 "목소리"가 약간 뭉개져 있었던 것입니다.

6. "주의(Attention)"와 "실제 작용(Action)"의 불일치

연구진은 또한 AI가 데이터를 어떻게 "바라보는지"에 대해 이상한 점을 발견했습니다.

AI가 바라보는 것: AI의 "시선(attention)"은 11이나 13 같은 작은 소수들에 가장 강하게 머물렀습니다.
실제로 중요한 것: 어떤 숫자가 실제로 답을 바꾸는지 테스트했을 때, 가장 중요한 숫자는 (11, 13과는) 다른 숫자들(예: 31, 13 등)이었습니다.
교훈: AI가 무언가를 뚫어지게 쳐다보고 있다고 해서 그것이 반드시 가장 중요한 것은 아닙니다. 이는 운전자가 백미러를 응시하고 있지만(주의), 실제 위험은 사이드 미러 쪽에 있는 것(인과적 중요성)과 같습니다.

요 요약

이 논문은 단순한 AI가 가공되지 않은 숫자만을 입력받아, 어떻게 깊고 복적인 수학적 비밀(메스트레-나가오 휴리스틱)을 스스로 알아냈는지를 보여줍니다. AI는 이 퍼즐을 풀기 위해 20명의 아주 효율적인 "탐정" 팀을 구축했습니다. AI의 "매니저"는 다소 서툴렀을지라도, 그 핵심 논리는 고전적인 수학 정리의 완벽하고 독립적인 재발견이었습니다.

요컨대: AI는 단순히 추측한 것이 아닙니다. AI는 숫자의 언어를 배웠고, 수학자들이 수십 년 전에 써 내려간 정리를 스스로 말할 수 있게 된 것입니다.

기술 요약: 트랜스포머는 메스트레-나가오 휴리스틱을 학습한다

문제 정의
본 논문은 유리수체 상의 타원 곡선 $E/\mathbb{Q}$ 의 정규화된 프로베니우스 트레이스(Frobenius traces) 수열 $\{a_n\}$ 으로부터 해석적 계수(analytic rank)를 예측하는 과제를 다룬다. 버치와 스위너튼-다이어(BSD) 추측에 따르면, 계수는 $L$ -함수 $L(E, s)$ 의 $s=1$ 에서의 소멸 차수(order of vanishing)에 대응한다. 이론적으로는 트레이스 수열에 의해 결정되지만, 근사 함수 방정식(approximate functional equation)의 수렴 속도가 느리기 때문에, 특히 컨덕터(conductor)가 큰 곡선들에 대해 수치적으로 $L(E, 1)$ 의 소멸을 탐지하는 것은 매우 어렵다. 기존의 머신러닝 연구는 계수 예측에서 높은 정확도를 보여주었으나, 모델이 발견한 내부 알고리즘을 명확히 밝혀내지는 못했다. 본 연구는 이 과업을 수행하도록 훈련된 트랜스포머 인코더가 학습한 특정 알고리즘을 기계론적 해석 가능성(mechanistic interpretability)을 통해 역공학하는 것을 목표로 한다.

방법론
저자들은 컨덕터가 10,000 이하인 타원 곡선을 계수 0 또는 1로 분류하기 위해 2개 층의 트랜스포머 인코더(4개의 어텐션 헤드 및 각 층당 512개의 뉴런 보유)를 훈련시켰다. 입력값은 처음 128개의 정규화된 프로베니우스 트레이스( $\tilde{a}_n = a_n / 2\sqrt{n}$ )로 구성되었다. 데이터셋은 LMFDB에서 추출한 62,298개의 곡선으로 구성되었으며, 80/20 비율로 훈련 및 테스트 세트로 분할되었다. 모델이 데이터셋의 인위적인 특성이 아닌 내재적인 산술적 성질을 학습했음을 보장하기 위해, 저자들은 훈련 세트에 동종 사상(isogeny)이나 이차 휨(quadratic-twist) 관계가 없는 테스트 곡선에 대해서도 성능을 검증하였다.

학습된 알고리즘을 밝히기 위해 저자들은 다음과 같은 일련의 기계론적 해석 가능성 기법을 사용하였다:

솔루션 공간 분석: 50개의 독립적으로 훈련된 모델을 가중치 공간(weight space)과 함수 공간(function space)에서 비교하여, 모델들이 단일한 기능적 솔루션으로 수렴하는지 확인하였다.
어텐션 분석: CLS 토큰의 어텐션 가중치를 조사하여 모델이 어떤 입력 위치(소수 vs 합성수)를 우선시하는지 식별하였다.
액티베이션 패칭(Activation Patching): 특정 위치에 인과적 개입을 수행하여, 어떤 입력이 올바른 계수 예측에 필수적인지 파악하고, 어텐션 집중도와 인과적 정보 흐름을 구분하였다.
선형 프로빙 및 회로 분석: Layer-1 MLP에서 계수 예측에 충분한 정보를 포함하는 희소한 뉴런 부분 집합을 식별하고, 이들의 입력 가중치와 발화 패턴을 분석하였다.
로짓 속성(Logit Attribution): 출력 로짓을 분해하여 서로 다른 구성 요소(어텐션 헤드 vs MLP 뉴런)가 최종 결정에 어떻게 기여하는지 이해하였다.

주요 결과

성능: 모델은 두 계수 클래스 모두에서 99% 이상의 정확도를 달-성하였다. 결정적으로, 훈련 세트에 동종 사상이나 휨 관계의 친척이 없는 테스트 곡선에 대해서도 성능이 안정적으로 유지되었으며, 이를 통해 정확도의 원인이 "휨 중복성(twist-redundancy)"이 아님을 입증하였다.
함수 공간 수렴: 가중치 공간에서의 큰 장벽(모델들이 선형적으로 연결되어 있지 않음)에도 불구하고, 훈련된 50개의 모델은 98.8% 이상의 쌍별 일치도를 보이며 함수 공간에서 단일 클러스터를 형성하였다. 이는 모델들이 동일한 기저 함수를 학습하고 있음을 나타낸다.
어텐션 vs 인과성: Layer-0 어텐션은 (오일러 곱 구조와 일치하게) 소수 위치에 집중되어 있으나, 액티베이션 패칭 결과 이들 사이의 괴리가 드러났다. 즉, 가장 인과적으로 중요한 소수(예: $p=31$ )는 가장 많은 어텐션을 받는 소수(예: $p=11, 13$ )와 달랐다.
희소 회로 발견: Layer-1 MLP의 512개 뉴런 중 단 20개에 대한 선형 프로빙만으로 0.992의 AUROC를 달성하였다. 이 뉴런들은 "푸시-풀(push-pull)" 구조를 형성하는데, 17개는 계수 0 탐지기로, 3개는 계수 1 탐지기로 작동한다.
메스트레-나가오 휴리스틱: 상위 변별 뉴런(특히 계수 0 탐지기)의 입력 가중치는 메스트레-나가오 합 가중치 $w_p = \frac{\log p}{p \cdot \log B}$ 와 스피어먼 상관계수 $r=0.997$ , 피어슨 상관계수 $r=0.952$ 로 일치하였다. 모델은 가공되지 않은 트레이스 데이터로부터 이 고전적인 해석적 정수론 결과를 독립적으로 재발견하였다.
리드아웃(Readout)의 부적절성: 모델의 내부 리드아웃 가중치는 최적이 아니다. 20개 뉴런의 회로는 높은 충실도(AUROC 0.992)를 가지지만, 모델 자체의 리드아웃 가중치는 동일한 뉴런으로부터 AUROC 0.956만을 추출해내며, 이는 변별적 회로와 리드아웃 경로 사이의 불일치를 시사한다.
L-값 인코딩: CLS 임베딩은 (컨덕터를 통제한 후) $\log L(E, 1)$ 을 $R^2 \approx 0.962$ 로 인코딩하며, 이는 분류 작업이 암묵적으로 $L$ -값을 최적화하고 있음을 시사한다.

의의 및 주장
본 논문은 트랜스포드 신경망이 감독(supervision) 없이 순수하게 수론 데이터를 통해 이름 있는 수학적 결과(메스트레-나가오 휴리스틱)를 학습하는 것을 기계론적으로 규명한 첫 사례라고 주장한다. 본 연구는 다음을 입증한다:

트랜스포머는 가공되지 않은 데이터로부터 복잡한 해석적 정수론 휴리스틱을 직접 학습할 수 있다.
학습된 알고리즘은 $L$ -값의 임계값 추정치(thresholded estimator)로 기능하는 희소하고 해석 가능한 뉴런 회로를 통해 구현된다.
모델의 어텐션 메커니즘은 인과적 중요성에 대해 오해의 소지가 있을 수 있으며, 가장 많이 주목받는 위치가 반드시 가장 인과적으로 영향력 있는 위치는 아니다.
매우 높은 정확도를 가진 모델이라 할지라도, 내부 표현이 최종 분류 헤드가 활용하는 것보다 더 변별력이 높은 경우와 같이 부적절한 리드아웃 메커니즘을 가질 수 있다.

저자들은 모델이 효과적으로 "푸시-풀" 탐지기를 구현하고 있다고 결론지었다. 즉, 계수 1은 직접적인 음의 '풀(pull)'이 아니라 계수 0의 '푸시(push)'가 부재함에 의해 신호되며, 이러한 희소한 탐지기들의 앙상블이 모델의 잠재 공간에서 $L$ -값을 거의 완벽하게 인코딩하는 과정을 설명한다.