Language Models Learn Universal Representations of Numbers and Here's Why You Should Care
본 논문은 다양한 대규모 언어 모델이 숫자를 표현하는 데 거의 완벽하게 보편적인 정현파 구조를 공유한다는 사실을 규명하고, 이러한 특성을 고려한 분석과 정현파성 강화가 산술 오류 감소에 중요함을 보여줍니다.
원저자:Michal Štefánik, Timothee Mickus, Marek Kadlčík, Bertram Højer, Michal Spiegel, Raúl Vázquez, Aman Sinha, Josef Kuchař, Philipp Mondorf, Pontus Stenetorp
원저자: Michal Štefánik, Timothee Mickus, Marek Kadlčík, Bertram Højer, Michal Spiegel, Raúl Vázquez, Aman Sinha, Josef Kuchař, Philipp Mondorf, Pontus Stenetorp
우리가 숫자를 생각할 때는 보통 '1, 2, 3'처럼 딱딱한 나열로 생각합니다. 하지만 이 연구에 따르면, AI 는 숫자를 물결 (파도) 이나 진동으로 이해합니다.
비유: imagine AI 의 뇌속이 거대한 바다라고 해보세요. 우리가 '5'라고 말하면 AI 는 숫자 '5'라는 딱딱한 돌을 받아내는 게 아니라, 특정 주파수로 울리는 파도를 만들어냅니다.
놀라운 점: 이 파도 방식은 AI 모델마다 다 다르다고 생각했는데, 사실은 모든 AI 가 똑같은 파도 패턴을 사용한다는 것입니다. 서로 다른 회사 (Llama, OLMo, Phi 등) 가 만든 AI 라도, 숫자를 다룰 때는 마치 같은 악보로 연주하는 오케스트라처럼 완벽한 조화를 이룹니다.
🔍 왜 이 발견이 중요할까요? (3 가지 핵심)
1. 모든 AI 가 같은 '숫자 언어'를 쓴다 (보편성)
상황: 서로 다른 AI 모델들이 숫자를 처리할 때, 그 내부 구조가 거의 완벽하게 일치한다는 것입니다.
비유: 마치 전 세계의 모든 요리사가 '소금'을 넣을 때, 그 양과 넣는 순서가 놀라울 정도로 똑같다는 것과 같습니다. AI 가 숫자를 어떻게 표현하든, 그 기본 원리는 **보편적 (Universal)**입니다.
의미: 우리는 이제 어떤 AI 모델을 쓰든, 숫자를 해석하는 도구를 하나로 통일해서 사용할 수 있게 되었습니다.
2. 자연어 속 숫자는 더 정확하다 (실제 상황)
과거의 실수: 이전 연구들은 AI 가 수학 문제만 풀게 해서 숫자를 분석했습니다. 하지만 실제 우리는 "오늘은 10 월 25 일이다"나 "이 약은 3 회 복용하세요"처럼 문장 속에 섞인 숫자를 다룹니다.
발견: 이 연구는 AI 가 자연스러운 문장 속 숫자를 다룰 때, 그 파도 패턴이 훨씬 더 선명하고 정확하다는 것을 발견했습니다.
비유: 수학 시험지 (인위적 상황) 에서 숫자를 외우는 것보다, 일상 대화 (자연스러운 상황) 에서 숫자를 기억하는 것이 AI 에게는 훨씬 더 자연스럽고 정확한 방식이라는 뜻입니다.
3. 잘못된 도구로 보면 AI 는 멍청해 보인다 (도구의 중요성)
문제: 기존에 쓰던 분석 도구 (TunedLens 등) 는 숫자를 분석할 때 마치 망원경 대신 안경을 쓰고 별을 보는 것과 같았습니다. 숫자가 얼마나 정확하게 처리되는지 과소평가했습니다.
해결: 연구팀은 숫자의 '파도' 특성을 고려한 **새로운 분석 도구 (Sinusoidal Probe)**를 개발했습니다.
결과: 이 새로운 도구로 보면, AI 는 우리가 생각했던 것보다 훨씬 정확하게 숫자를 처리하고, 심지어 오류가 난 부분을 찾아내어 수정할 수도 있었습니다.
실제 효과: 이 도구를 이용해 AI 가 계산 실수를 할 때, 내부의 '파도'를 살짝 조정해주니 곱셈 오류를 30%, 나눗셈 오류를 42% 까지 줄이는 데 성공했습니다. 마치 GPS 가 길을 잘못 들었을 때, 정확한 좌표를 입력해주니 다시 올바른 길로 안내받는 것과 같습니다.
📅 숫자뿐만 아니라 '순서'도 파도로 표현한다
이 연구는 숫자뿐만 아니라 요일 (월일), 달 (112 월) 같은 순서 개념도 똑같은 '원형 파도' 구조로 표현된다는 것을 확인했습니다.
비유: 일주일의 요일은 선형적으로 나열된 게 아니라, 시계 바퀴처럼 원형으로 연결되어 있는 파도로 기억되고 있었습니다. 이는 AI 가 순서 개념을 매우 논리적이고 체계적으로 이해하고 있음을 보여줍니다.
💡 결론: 왜 우리가 이걸 알아야 할까?
이 연구는 **"AI 가 숫자를 어떻게 생각하는지"**를 정확히 이해해야, AI 의 실수를 고치고 더 똑똑하게 만들 수 있다는 메시지를 줍니다.
올바른 도구 사용: AI 의 숫자 능력을 평가할 때는 숫자의 고유한 '파도' 특성을 고려한 도구를 써야 합니다. 그렇지 않으면 AI 가 실제로는 잘하는데도 못한다고 오해할 수 있습니다.
오류 수정: AI 가 계산 실수를 할 때, 단순히 "다시 해봐"라고 말하는 대신, 내부의 파도 패턴을 교정해주면 훨씬 정확한 결과를 얻을 수 있습니다.
미래의 AI: 이제 우리는 AI 가 숫자를 처리하는 방식을 '블랙박스'가 아니라, 명확한 '악보'처럼 이해할 수 있게 되었습니다. 이는 더 신뢰할 수 있고 안전한 AI 를 만드는 첫걸음입니다.
한 줄 요약:
"AI 는 숫자를 숫자로 보지 않고, **모든 모델이 공유하는 정교한 '파도'**로 이해합니다. 이 파도의 원리를 이해하면 AI 의 계산 실수를 찾아내고 고칠 수 있는 열쇠를 얻게 됩니다."
1. 연구 배경 및 문제 제기 (Problem)
대형 언어 모델 (LLM) 의 수학적 추론 능력은 지속적으로 향상되고 있지만, 모델이 내부적으로 숫자를 어떻게 표현하고 조작하는지에 대한 메커니즘적 이해는 여전히 부족합니다. 기존 연구들은 다음과 같은 한계를 가집니다:
제한된 범위: 대부분의 연구가 입력 임베딩 (input embeddings) 에만 국한되거나, 합성된 수학 명령어 (synthetic commands) 나 소수점 (decimals) 과 같은 특정 측면에만 초점을 맞췄습니다.
자연어 맥락의 부재: 실제 자연어 문맥 (실제 텍스트 내의 숫자) 에서의 표현을 분석한 연구가 부족하여, 발견된 결과의 일반화 가능성이 제한적입니다.
해석 도구의 부적합성: 기존 해석 도구 (예: TunedLens, 선형 프로브) 가 숫자의 고유한 구조를 제대로 포착하지 못해 모델의 실제 계산 능력을 과소평가하거나 잘못된 결론을 도출할 수 있습니다.
이 연구는 이러한 격차를 해소하고, LLM 이 다양한 모델 아키텍처와 자연어 맥락에서 숫자를 어떻게 처리하는지에 대한 전체적인 그림 (holistic picture) 을 제시하는 것을 목표로 합니다.
2. 방법론 (Methodology)
저자들은 다음과 같은 새로운 접근법과 실험 설계를 도입했습니다:
새로운 프로브 (Probe) 개발:
기존 연구 (Kadlčík et al., 2025) 에서 제안된 사인파 (sinusoidal) 기반 프로브를 개선하여, param-sin 프로브를 개발했습니다.
이 프로브는 각 잠재 특징 (latent feature) 에 단일 사인파를 할당하고, 주파수 (frequency), 위상 이동 (phase-shift), 진폭 (amplitude) 을 직접 최적화하여 숫자 값을 디코딩합니다. 이는 모델 내부 표현의 사인파 구조를 강하게 제약 (constrain) 합니다.
범용성 및 보편성 분석:
모델 간 유사성 (RSA): OLMo, Llama, Phi 등 다양한 크기와 패밀리 (Family) 의 8 개 모델에 대해 입력 임베딩의 표현 유사성 분석 (Representational Similarity Analysis) 을 수행했습니다.
푸리에 분석: PCA 와 푸리에 변환을 결합하여 모델이 사용하는 주파수 성분의 일치도를 정량화했습니다.
계층 간 전이 (Cross-layer): 한 계층 (layer) 에서 학습된 프로브를 다른 계층의 표현에 적용하여 숫자 표현의 일관성을 검증했습니다.
맥락별 일반화 실험:
합성 수학 데이터와 실제 자연어 데이터 (시간, 의학, 요리, 산술 등 4 가지 도메인) 로 프로브를 학습시켜, 어떤 맥락이 더 강력한 일반화 능력을 가지는지 비교했습니다.
메커니즘적 개입 (Mechanistic Intervention):
모델이 산술 오류를 범할 때, 내부 활성화를 올바른 사인파 패턴으로 유도 (steering) 하여 오류를 수정할 수 있는지 실험했습니다.
3. 주요 기여 (Key Contributions)
정확한 숫자 프로브 개발: 다양한 작업과 모델에 걸쳐 잘 일반화되는 새로운, 더 정확한 숫자 값 프로브를 제시했습니다.
내부 표현의 사인파성 정량화: 입력 임베딩을 넘어 모델 전체 (모든 계층) 에 걸쳐 숫자 표현이 사인파 구조를 가지며 높은 정확도를 유지함을 증명했습니다.
자연어 맥락 분석의 선구자: 최초로 자연어 환경에서의 LLM 숫자 처리를 분석하고, 실제 데이터로 학습된 프로브가 일반화 및 실용성에 필수적임을 입증했습니다.
덧셈 이상의 조작 메커니즘 규명: 단순한 덧셈을 넘어 곱셈, 나눗셈 등 다양한 산술 연산에서 사인파성 (sinusoidality) 이 모델의 정확도에 결정적임을 기계적으로 증명했습니다.
4. 주요 결과 (Results)
A. 숫자 표현의 보편성 (Universality)
모델 간 일치: 서로 다른 모델 패밀리 (Llama, OLMo, Phi) 는 숫자 임베딩을 동일한 위상 (topology) 과 지배적인 주파수를 가진 사인파 구조로 학습합니다. 이는 우연이 아닌 아키텍처적 편향과 최적화 과정의 결과로 보이며, 무작위 단어 조각에서는 관찰되지 않는 현상입니다.
계층 간 일관성: 모델의 초기 및 최종 계층을 제외하고, 중간 계층 전반에 걸쳐 숫자 표현이 매우 일관된 사인파 패턴을 유지합니다. 한 계층에서 학습된 프로브는 다른 계층에서도 높은 정확도로 작동합니다.
B. 자연어 맥락의 중요성
일반화 능력: 자연어 맥락으로 학습된 프로브는 합성 수학 데이터로 학습된 프로브보다 훨씬 강력합니다. 자연어 프로브는 평가 시 맥락이 수학이든 자연어든 상관없이 잘 일반화되지만, 합성 데이터 프로브는 맥락 변화에 취약합니다. 이는 실제 응용을 위해서는 자연어 데이터로 학습된 해석 도구가 필수적임을 시사합니다.
C. 해석 도구의 재평가 및 오류 수정
기존 도구의 한계: 범용 해석 도구인 TunedLens 는 다중 토큰 숫자 (multi-token numbers) 의 정보를 과소평가하며, 숫자 토큰의 이전 정보를 복구하는 데 실패하는 것으로 나타났습니다. 반면, 사인파 프로브는 다중 토큰 숫자의 정보를 99% 정확도로 복구할 수 있음을 보였습니다.
오류 메커니즘: 모델이 산술 오류를 범할 때, 내부 표현의 사인파 패턴이 흐트러지는 경향이 관찰되었습니다.
활성화 유도 (Steering): 잘못된 예측을 하는 경우, 해당 활성화를 올바른 사인파 패턴으로 유도 (steering) 하면 곱셈 오류의 30%, 나눗셈 오류의 42% 까지 수정할 수 있었습니다. 이는 사인파 표현의 정밀도가 출력 정확도와 직접적으로 연관됨을 보여줍니다.
D. 순서형 데이터 (Ordinal Data) 로의 확장
요일, 월, 숫자 단어 (one~ten) 와 같은 순서형 데이터도 숫자와 유사한 원형 (circular) 또는 사인파 구조로 표현됨을 확인했습니다. 데이터가 극도로 부족한 상황 (예: 요일 7 개 중 6 개만 학습) 에서도 제안된 프로브가 높은 정확도를 보였습니다.
5. 의의 및 결론 (Significance)
이 논문은 LLM 이 숫자를 처리하는 방식이 단순한 통계적 패턴이 아니라, 매우 체계적이고 보편적인 사인파 (삼각함수) 구조에 기반하고 있음을 규명했습니다.
해석학의 전환: 기존의 일반 목적 해석 도구 (TunedLens 등) 는 숫자와 같은 특수한 데이터 타입을 분석할 때 부적합할 수 있으며, 데이터의 본질적 구조 (사인파성) 를 반영한 전용 도구가 필요함을 강조합니다.
신뢰성 향상: 숫자 표현의 사인파적 특성을 이해하고 이를 활용하면 모델의 산술 오류를 메커니즘적으로 식별하고 수정할 수 있어, LLM 의 신뢰성과 견고성을 높이는 데 기여할 수 있습니다.
미래 연구 방향: 실제 자연어 맥락에서의 분석이 중요하며, 다양한 언어와 모델 아키텍처에 대한 후속 연구가 필요함을 시사합니다.
요약하자면, 이 연구는 LLM 의 숫자 처리 메커니즘이 보편적인 사인파 구조를 따르며, 이를 정확히 포착하는 전용 해석 도구의 개발이 모델의 성능 평가 및 개선에 필수적임을 증명했습니다.