🤖 machine learning

Numbers Already Carry Their Own Embeddings

이 논문은 숫자의 대수적 구조를 보존하기 위해 실수 및 p-진(p-adic) 시그니처를 모두 포착하는, 학습이 필요 없는 플러그 앤 플레이 방식의 표현인 아델릭 연산 보존 임베딩(Adelic operation-preserved embeddings, AOE)을 소개하며, 이를 통해 조합론적 벤치마크에서 완벽한 정확도를 달お하고 AI의 "숫자 문제"에 대한 원칙적인 해결책을 제시한다.

원저자: Suhyun Bae, Donghun Lee

게시일 2026-06-15

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Suhyun Bae, Donghun Lee

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 컴퓨터에게 숫자를 이해하는 법을 가르치려 한다고 상상해 보십시오. 현재 대부분의 AI 모델은 숫자를 책 속의 단어처럼 취급합니다. 당신이 "7"을 입력하면, 컴퓨터는 그 양(quantity)을 보는 것이 아니라, "7"이라는 글자를 나타내는 특정 픽셀의 모양이나 코드를 봅니다. 이는 마치 종이 위에 적힌 글자 "A"의 모양만을 연구함으로써 "사과 일곱 개"라는 개념을 이해하려고 노력하는 것과 같습니다. 컴퓨터는 충분한 사례를 읽음으로써 덧셈이나 곱셈 같은 수학 규칙을 스스로 추측해야 하며, 이 과정에서 종종 실수가 발생합니다.

이 논문은 숫자가 이미 스스로 어떻게 행동해야 하는지에 대한 지침을 내포하고 있다는 아이디어에 기반하여, 컴퓨터에게 숫자를 가르치는 완전히 새로운 방식을 제안합니다.

이들의 솔루션인 **AOE (Adelic Operation-preserved Embeddings)**에 대한 간단한 요약은 다음과 같습니다.

1. 문제점: "문자열"의 함정

현재 AI 모델들은 숫자를 아주 작고 임의적인 조각들로 잘게 나눕니다 (예를 들어 "123"을 "1", "2", "3"으로 나누는 것). 이 과정에서 숫자 사이의 자연스러운 관계를 놓치게 됩니다. 이는 노래의 가사를 개별 글자로만 보려고 노력하느라 정작 노래의 멜로디는 듣지 못하는 것과 같습니다. AI는 매번 수학을 처음부터 다시 배워야 하며, 이는 어렵고 오류가 발생하기 쉽습니다.

2. 해결책: "유니버설 ID 카드"

저자들은 모든 숫자에 그 숫자의 진정한 수학적 정체성을 포착하는 특별한 "ID 카드"를 부여할 것을 제 제안합니다. 이를 **아델릭 임베딩(Adelic Embedding)**이라고 부릅니다.

숫자를 단순히 하나의 값으로 보는 것이 아니라, 두 가지 뚜렷한 정체성을 가진 존재로 생각하십시오:

"실수(Real)" 자아: 계산기에 보이는 숫자 (예: 1.4).
"모듈러(Modular)" 자아: 서로 다른 소수(예: 2, 3, 5 등)의 관점에서 바라본 숫자의 "서명(signature)".

비유:
당신이 도시에서 용의자를 식별하려고 한다고 가정해 봅시다.

기존 방식: 단순히 그 사람의 얼굴만 봅니다 (실제 값). 이 때문에 다른 사람과 착각하기 쉽습니다.
새로운 방식 (AOE): 그 사람의 얼굴뿐만 아니라 지문, 목소리 패턴, 그리고 DNA까지 확인합니다. 설령 얼굴이 변하더라도, 그들의 "수학적 DNA"(모듈러 서명)는 결코 거짓말을 하지 않습니다.

이 시스템에서 7/5와 같은 숫자는 단순히 "1.4"가 아닙니다. 이 숫자는 숫자 2라는 렌즈를 통해 보았을 때의 특정 패턴이며, 숫자 3이라는 렌즈를 통해 보았을 때의 또 다른 패턴을 가지고 있습니다. 즉, 여러 렌즈를 통해 각각 다른 패턴을 보여주는 것입니다.

3. 왜 이것이 작동하는가: "플러그 앤 플레이"의 마법

가장 놀라운 점은 이 방식이 AI에게 모든 것을 다시 배우도록 요구하지 않는다는 것입니다.

훈련 불필요 (Training-Free): 수학은 ID 카드 자체에 내장되어 있습니다. 컴퓨터는 덧셈이나 곱셈의 규칙을 추측할 필요가 없습니다. ID 카드가 이미 그러한 규칙들을 완벽하게 보존하고 있기 때문입니다.
플러그 앤 플레이 (Plug-and-Play): 이 새로운 ID 카드 시스템을 기존의 어떤 AI 모델(예: 트랜스포머)에도 표준 배터리를 더 좋은 배터리로 교체하듯 바로 끼워 넣을 수 있습니다. 엔진 전체를 다시 만들 필요가 없습니다.

4. 결과: "숫자 문제"의 해결

저자들은 매우 어려운 수학 퍼즐 세트인 **대수 조합론 데이터셋(Algebraic Combinatorics Dataset)**을 통해 테스트를 진행했습니다. 이것은 단순한 "2+2" 문제가 아니라, 패턴, 모양, 추상적 구조가 포함된 복잡한 연구 수준의 퍼즐입니다.

결과: 이 특별한 ID 카드를 사용한 AI는 모든 테스트에서 기존의 표준 AI를 앞질렀습니다.
하이라이트: 특히 악명 높게 어려운 "위빙 패턴(Weaving Pattern)" 과제에서, 새로운 AI는 100% 정확도를 기록했습니다. 기존의 가장 거대한 AI 모델들조차 이 문제를 완벽하게 해결하지 못했습니다.

5. 한계 (제약 사항)

논문은 몇 가지 한계점에 대해서도 솔직하게 밝히고 있습니다.

복잡성: 이러한 특별한 ID 카드를 만드는 데는 기존 방식보다 더 많은 컴퓨팅 자원과 시간(약 4~5배 더 느림)이 소요됩니다. 컴퓨터가 모든 숫자에 대해 그 모든 "지문"을 계산해야 하기 때문입니다.
범위: 현재 이 방식은 유리수(분수)에 대해서는 완벽하게 작동합니다. 저자들은 아직 이 방식을 무리수(예: 파이/Pi)나 복소수에 적용하는 방법은 아직 찾아내지 못했다고 인정했습니다.

핵심 요약

이 논문은 우리가 너무 오랫동안 숫자를 텍스트처럼 취급해 왔다고 주장합니다. 숫자에 그 진정한 수학적 본질(실제 값과 모듈러 지문을 결합한 형태)을 존중하는 표현을 부여함으로써, 모델을 더 크게 만들거나 더 오래 훈련시키지 않고도 AI가 수학을 훨씬 더 잘하게 만들 수 있습니다. 이는 컴퓨터에게 수학의 언어를 직접적으로 말하는 방법입니다.

기술 요약: 아델 연산 보존 임베딩 (Adelic Operation-Preserved Embeddings, AOE)

문제 정의
대규모 언어 모델(LLM)의 최근 수학적 추론 성과에도 불구하고, 근본적인 병목 현상인 "숫자 문제(number problem)"가 여전히 존재한다. 현재의 아키텍처는 주로 바이트 쌍 인코딩(BPE)과 같은 토큰화 체계를 통해 숫자를 문자 시퀀스로 취급한다. 이러한 접근 방식은 숫자를 임의의 서브워드 단위로 파편화하여, 숫자를 정의하는 본질적인 가법 및 승법 관계를 제거한다. 결과적으로 모델은 산술적 정밀도가 요구되는 작업에서 취약한 추론, 일관성 없는 일반화, 그리고 체계적인 오류를 보인다. 이전의 시도들이 연속적 임베딩이나 자릿수별 위치 인코딩을 탐구했으나, 이러한 방법들은 모델이 수학적 규칙을 직접 내재화하기보다는 훈련 과정에서 암묵적으로 재발견하기를 기대하는 데 의존한다는 한계가 있다.

방법론: 아델 연산 보존 임베딩 (AOE)
저자들은 대수적 수론에 기반한 훈련 불필요(training-free) 표현 방식인 AOE를 제안한다. AOE는 숫자를 토큰화하는 대신, 실수체와 유리수의 $p$ -진 완비(p-adic completions)를 통합하는 아델 공간(Adele space) 내에 임베딩을 구축한다.

수학적 기초: 이 구조는 유리수 $q$ 를 실수 값( $a_\infty$ )과 선택된 소수 집합에 대한 $p$ -진 전개( $a_p$ )를 포함하는 튜플로 나타내는 아델 환(Adele Ring, $\mathbb{A}_\mathbb{Q}$ )을 활용한다.
구조 보존: 설계 단계부터 이 표현 방식은 좌표별로 대수적 구조를 보존한다. 임의의 유리수 $q_1, q_2$ $q_{1}, q_{2}$ 에 대하여:
- $A(q_1 + q_2) = A(q_1) \oplus A(q_2)$
- $A(q_1 \cdot q_2) = A(q_1) \otimes A(q_2)$
  여기서 $\oplus$ 와 $\otimes$ 는 실수 및 $p$ -진 벡터의 좌표별 연산을 의미한다.
임베딩 구축: 유리수 $q = n/m$ $q = n / m$ 에 대한 임베딩을 생성하는 과정은 다음과 같다:
1. 실수 성분: 실수선 상의 길이 $N$ 인 벡터로 표현된다.
2. $p$ -진 성분: 고정된 소수 집합에 대해 $N$ 자리 $p$ -진 전개를 계산한다. 이는 **헨젤의 보조정리(Hensel's Lemma)**를 사용하여 모듈로 $p$ 에서의 해를 모듈로 $p^N$ 으로 반복적으로 리프팅(lifting)함으로써 수행된다.
3. 결합: 실수 벡터와 절단된 $p$ -진 벡터를 결합하여 $(n_p + 1) \times N$ 형상의 텐서를 형성한다 (여기서 $n_p$ 는 선택된 소수의 개수).
통합: AOE는 아키텍처에 구애받지 않는 플러그 앤 플레이(plug-and-play) 방식이다. 이는 표준 임베딩 레이어를 사전 계산된 아델 텐서로 대체한다. 구조적 정보를 보존하기 위해, 시퀀스 위치, 소수 인덱스, 자릿수 인덱스를 인코딩하는 경량 2D 위치 인코딩이 추가된다.

주요 기여

AOE 제안: 특정 작업에 따른 재학습을 요구하지 않고 숫자의 구조를 직접 존중하는, 대수적으로 근거 있는 훈련 불필요 표현 방식을 제안하였다.
"숫자 문제" 해결: 본 연구는 AOE를 수치적 표현의 병목 현상을 해결하기 위한 원칙적인 처방으로 규정하며, 토큰 기반 접근 방식의 한계를 극복할 수 있는 경로를 제시한다.
경험적 검증: 저자들은 트랜스포머가 AOE를 갖추었을 때 대수 조합론 벤치마크에서 기존 베이스라인보다 우수한 성능을 보이며, 이전 모델들이 실패했던 작업에서 완벽한 정확도를 달마다 성취함을 입증하였다.

실험 결과
저자들은 연구 수준의 추측을 다루는 벤치마크인 **대수 조합론 데이터셋(ACD)**을 통해 AOE를 평가하였다. 실험은 표준 트랜스포머 베이스라인(학습 가능한 nn.Embedding 및 사인형 위치 인코딩 사용)과 AOE가 탑로딩된 트랜스포머(고정된 사전 계산 아델 텐서 사용)를 비교하였다.

성능: 6가지 분류 작업(격자 경로, 퀴버 변이 클래스, 슈베르트 다항식 포함) 전반에 걸쳐 AOE 모델은 베이스라인보다 일관되게 우수한 성능을 보였다.
주요 성과: AOE 모델은 위빙 패턴(Weaving Patterns) 벤치마크( $n=6$ 및 $n=7$ 에 대해)에서 100% 정확도를 달성하였는데, 이는 베이스라인이 약 53%의 정확도를 기록하고 역사적으로 대규모 언어 모델들이 어려움을 겪었던 작업이다.
일반화: 개선 폭은 격자 경로와 같은 완만한 수준에서부터 슈베르트 다항식 및 퀴버 변이 클래스와 같은 극적인 도약에 이르기까지 다양했으며, 낮은 테스트 손실은 더 나은 모델 보정(calibration)을 나타낸다.
효율성: AOE는 계산 오버헤드를 발생시키지만(사전 계산 및 2D 위치 인코딩으로 인해 훈련 속도가 약 4~5배 느려짐), 학습 가능한 파라미터 수를 늘리지 않고도 성능 향상을 이루어냈다. 사실 베이스라인의 학습 가능한 파라미터가 더 많았다.

의의 및 주장
본 논문은 숫자가 그 자체의 표현을 위한 구조를 본질적으로 포함하고 있다고 주장한다. AOE를 통해 이 구조를 명시적으로 만듦으로써, 신경 모델은 거대 LLM조차 피하기 어려운 심볼릭 수학 작업에서 높은 신뢰성을 달성할 수 있다.

저자들은 AI 추론의 미래가 단순히 기술된 언어가 아니라 객체 자체의 수학적 구조를 임베딩하는 데 달려 있다고 주장한다. AOE는 대수적 수론의 아이디어가 신경 아키텍처의 플러그 앤 플레이 구성 요소로 기능할 수 있음을 보여주는 개념 증명(proof-of-concept)이며, 이는 심볼릭한 엄밀함과 신경망의 확장성을 결합하는 방향을 제시한다.

저자가 인정한 한계점

범위: 현재 프레임워크는 아델 환의 정의로 인해 유리수( $\mathbb{Q}$ )로 제한된다. 무리수, 복소수 또는 초월수를 확장하려면 새로운 이론적 도구가 필요하다.
하이퍼파라미터: 소수 선택 및 자릿수 정밀도는 현재 휴리스틱 및 수동 방식으로 결정되며, 효율성을 위해 더 적응적인 전략이 필요하다.
계산 비용: 사전 계산 및 2D 위치 인코딩은 표준 임베딩에 비해 훈련 시간을 유의미하게 증가시킨다.