CONE: Embeddings for Complex Numerical Data Preserving Unit and Variable Semantics

이 논문은 숫자, 범위, 가우시안 분포와 그 단위 및 속성 이름을 통합하여 복잡한 수치 데이터의 의미와 거리를 보존하는 하이브리드 트랜스포머 인코더 'CONE'을 제안하고, 다양한 도메인에서 기존 최첨단 모델보다 뛰어난 수치 추론 능력을 입증했습니다.

핵심

🌟 핵심 비유: "숫자는 글자가 아니라, '의미 있는 정보'다"

1. 기존 AI 의 문제점: "눈이 먼 번역가"

기존 AI 는 숫자를 볼 때 마치 눈이 먼 번역가처럼 행동합니다.

• 상황: "5"라는 숫자가 나옵니다.
• 기존 AI 의 생각: "아, '5'라는 글자구나. 'apple(사과)'이나 'cat(고양이)'처럼 그냥 단어 하나겠지."
• 실제 상황: "5"는 **5 킬로그램 (무게)**일 수도 있고, **5 미터 (길이)**일 수도 있으며, **5 년 (시간)**일 수도 있습니다.
• 결과: 기존 AI 는 "5kg"과 "5m"를 똑같은 것으로 여겨 혼란을 겪습니다. 마치 "100 원"과 "100 달러"를 똑같은 돈으로 착각하는 것과 같습니다.

2. CONE 의 해결책: "세부 사항을 모두 챙기는 전문가"

이 논문에서 만든 CONE은 숫자를 볼 때 단순히 "5"라고만 보지 않습니다. 대신 3 가지 요소를 묶어서 봅니다.

• 숫자 (Value): 5
• 단위 (Unit): kg, m, 년
• 속성 (Attribute): 무게, 길이, 나이

🍎 비유: "과일 바구니"

• 기존 AI: 바구니에 "사과"와 "오렌지"를 섞어 넣습니다. 둘 다 둥글고 빨간색/주황색이라 비슷해 보입니다.
• CONE: "사과 (과일)"와 "오렌지 (과일)"는 구분하되, **"사과 (무게 1kg)"**와 **"사과 (무게 5kg)"**도 구분합니다. 심지어 **"사과 (무게 1kg)"**와 **"돌 (무게 1kg)"**은 완전히 다른 바구니에 넣습니다.

CONE 은 숫자 뒤에 숨겨진 **'무엇의 5 인가?'**를 정확히 파악해서, 숫자끼리 거리를 두거나 가깝게 배치합니다.

---

🚀 CONE 가 어떻게 작동할까요? (3 단계 과정)

1. 숫자를 조각내지 않고 통째로 봅니다 (Tokenization)

기존 AI 는 "28,600"이라는 숫자를 "28"과 "600"으로 잘라내서 의미를 망칩니다. (예: "28"은 28 일, "600"은 600 원으로 오해할 수 있음)

• CONE: "28,600"이라는 숫자를 한 덩어리로 인식합니다. 마치 전화번호를 한 번에 외우는 것처럼요.

2. 숫자의 '크기'와 '거리'를 이해합니다 (Magnitude)

숫자 1 과 100 은 거리가 멀고, 10 과 11 은 가깝습니다.

• 기존 AI: 1 과 100 의 거리가 1 과 11 의 거리와 비슷할 수 있습니다.
• CONE: 수학적인 거리를 정확히 계산합니다. 100 은 1 보다 훨씬 멀리 있고, 11 은 10 과 아주 가깝다는 것을 벡터 (숫자 좌표) 상에서 정확히 표현합니다.

3. 복잡한 숫자도 처리합니다 (Ranges & Gaussians)

실제 데이터에는 "10~20 세"나 "1302±0.25" 같은 복잡한 숫자도 있습니다.

• CONE: "10~20"이라는 범위를 단순히 글자로 보지 않고, **중심값 (15)**과 **범위 길이 (10)**로 나누어 의미를 파악합니다. "±0.25"처럼 오차 범위가 있는 숫자도 정확히 이해합니다.

---

🏆 왜 이것이 중요한가요? (실제 효과)

이 모델을 실험해 보니 놀라운 결과가 나왔습니다.

1. 수학 문제 해결 능력 향상:
   • "A 는 5 살이고 B 는 10 살이다. 둘의 나이를 더하면?" 같은 문제를 기존 AI 는 잘 못 풀었습니다. 하지만 CONE 는 **87.28%**의 정확도로 정답을 맞췄습니다. (기존 최고 수준보다 9% 이상 향상)
2. 데이터 검색 능력 향상:
   • "혈액량 (Blood loss)"과 "추적 기간 (Follow-up)"은 숫자 분포가 비슷해서 기존 AI 는 둘을 혼동했습니다. 하지만 CONE 는 **단위 (mL vs 개월)**를 보고 "아, 이건 완전히 다른 것이구나!"라고 구분해 냈습니다.
   • 관련 데이터를 찾을 때, 기존 모델보다 25% 더 정확하게 찾아냈습니다.

---

💡 요약: CONE 의 핵심 메시지

"숫자는 글자가 아니다. 숫자는 '무엇의 얼마'인지에 따라 의미가 완전히 달라진다."

기존 AI 는 숫자를 글자처럼 대우했지만, CONE은 숫자를 실제 세계의 측정값처럼 대우합니다.

• 5kg과 5m는 다릅니다.
• 10~20 세와 10~20 달러는 다릅니다.

이 연구는 AI 가 이제부터 숫자의 세계에서도 인간처럼 정교하게 생각할 수 있게 했다는 점에서 매우 중요합니다. 앞으로 의료 기록 분석, 금융 데이터 처리, 과학 연구 등 숫자가 중요한 모든 분야에서 AI 의 실수가 크게 줄어들 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem Statement)

대규모 사전 훈련된 언어 모델 (LM) 과 대규모 언어 모델 (LLM) 은 언어의 의미와 문맥적 관계를 포착하는 데 탁월한 성능을 보이지만, **수치 데이터 (Numerical Data)**가 포함된 작업에서는 한계를 드러냅니다.

• 토큰화 (Tokenization) 의 한계: 기존 모델 (BERT 등) 은 숫자를 단어와 동일하게 취급하여 서브워드 (subword) 단위로 분할합니다. 예를 들어, '28,600'을 '28'과 '-600'으로 나누어 원래의 수치적 의미를 왜곡시킵니다.
• 단위와 속성 (Unit & Attribute) 의 부재: 수치 값은 속성 (예: 나이, 체중) 과 단위 (예: 년, kg) 에 따라 의미가 완전히 달라집니다. (예: '50'이라는 숫자가 '50 세'인지 '50kg'인지 구분하지 못함). 기존 임베딩은 이러한 차이를 반영하지 못해, 수치 분포가 유사하지만 의미가 다른 열 (예: '나이'와 '추적 기간') 을 서로 매우 유사하게 매핑하는 오류를 범합니다.
• 복잡한 수치 표현의 부재: 단순한 스칼라 값뿐만 아니라 **범위 (Ranges, 예: 10-20)**나 **가우시안 분포 (Gaussians, 예: 1302±0.25)**와 같은 복잡한 수치 구조를 의미 있게 인코딩하는 방법이 부족합니다.

2. 방법론 (Methodology)

저자들은 **CONE (Complex Numerical Data Embeddings)**이라는 새로운 하이브리드 트랜스포머 인코더 모델을 제안합니다. 이 모델은 수치 값, 단위, 속성 이름, 그리고 수치적 구조 (범위, 가우시안) 를 통합하여 거리 보존 (distance-preserving) 임베딩 벡터 공간을 생성합니다.

핵심 아키텍처 및 기술

1. 복합 임베딩 구조 (Composite Embedding Structure):

   • 단일 임베딩이 아닌, 속성 (Attribute), 수치 값 (Value), **단위 (Unit)**를 결합한 복합 구조를 사용합니다.
   • 범위 (Range) 처리: 범위를 중심값 (Center) 과 길이 (Length) 로 분해하여 직교적인 표현을 생성합니다.
   • 가우시안 (Gaussian) 처리: 평균 (Mean) 과 표준편차 (SD) 를 포함하여 Mean-SD, Mean, Mean+SD로 분해하여 임베딩합니다.
   • 슬롯 기반 연결 (Slot-based Concatenation): 구성 요소가 누락된 경우를 처리하기 위해 고정된 슬롯 수 (5 개) 를 사용하며, 누락된 부분은 0 패딩 (Zero-padding) 하고 마스크를 적용합니다. 이후 선형 오토인코더를 통해 고정된 차원 (768) 의 벡터로 투영합니다.

2. 수치 인식 인코더 (Numerical-Aware Encoder):

   • BioBERT 를 기반으로 하되, 숫자 토큰에 대해 기존 서브워드 분할을 방지하고 하나의 토큰으로 처리합니다.
   • 수치 융합 임베딩 (Numerical Fusion Embeddings): 컨텍스트 임베딩 (텍스트 정보) 과 수치 값 임베딩 (DICE 등 기존 방법 활용) 을 요소별 합산 (Element-wise summation) 하여 결합한 후, 경량 트랜스포머 블록을 통과시켜 수치 추론 능력을 강화합니다.

3. 학습 전략 (Training Strategy):

   • 마스킹 숫자 예측 (Masked Numeral Prediction): 입력의 숫자를 마스킹하고 예측하도록 훈련합니다.
   • 손실 함수: 수치 크기의 회귀 손실 (Magnitude Regression) 과 클래스 분류 손실 (Cross-Entropy) 을 결합하여 훈련합니다. 이를 통해 모델이 숫자의 절대적 크기와 문맥적 역할을 동시에 학습하도록 유도합니다.

4. 직렬화 (Serialization):

   • 열 (Column) 단위로 [CLS] 속성명 [SEP] 값 1 [SEP] 값 2 ... 형태로, 행 (Tuple) 단위로 [CLS] 속성 1 값 1 [SEP] 속성 2 값 2 ... 형태로 데이터를 시퀀스화하여 인코더에 입력합니다.

3. 주요 기여 (Key Contributions)

1. 복합 임베딩 구조: 수치 값, 단위, 속성을 통합하여 복잡한 수치 데이터의 의미를 정밀하게 인코딩하는 새로운 구조를 제안했습니다. 이를 통해 동일한 숫자라도 단위나 속성이 다르면 서로 다른 벡터로 표현되도록 합니다.
2. 범위 및 가우시안 전용 임베딩: 단순 숫자뿐만 아니라 수치 범위와 가우시안 분포의 의미 (위치, 스케일, 분산) 를 보존하는 특수 임베딩을 개발했습니다.
3. 새로운 알고리즘: 임베딩 벡터 구성 요소의 사전 계산 (Algorithm 1) 과 완전한 임베딩 벡터 조립 (Algorithm 2) 을 위한 두 가지 알고리즘을 제안했습니다.
4. 광범위한 실험 평가: 웹, 의료, 금융, 정부 등 다양한 도메인의 대규모 데이터셋을 통해 모델의 성능을 검증했습니다.

4. 실험 결과 (Results)

CONE 은 다양한 벤치마크와 하위 작업에서 기존 SOTA(State-of-the-Art) 모델들을 압도하는 성능을 보였습니다.

• 수치 추론 능력 (Numerical Reasoning):

  • DROP 벤치마크: F1 점수 **87.28%**를 기록하여 기존 최상위 모델 (NumNet, NC-BERT 등) 보다 최대 9.37%p 향상되었습니다.
  • 기본 수치 작업: 리스트 최대값 찾기, 디코딩, 덧셈 작업에서 BioBERT 및 DICE 등 기존 모델 대비 높은 정확도와 낮은 RMSE 를 보였습니다. 특히 큰 범위의 숫자 (0~10^6) 에서도 성능 저하가 없었습니다.

• 구조화된 데이터 매칭 (Structured Data Matching):

  • 열 및 튜플 매칭 (Column/Tuple Matching): CancerKG, WebTables 등 5 개 대규모 데이터셋에서 Recall@10이 기존 모델 (TAPAS, NumNet, NC-BERT 등) 보다 최대 25%p 향상되었습니다.
  • 의미적 구분 능력: BioBERT 는 '나이 (Age)'와 '추적 기간 (Follow-up)'을 수치 분포가 유사하여 0.9998 의 높은 유사도로 잘못 매핑했으나, CONE 은 이를 0.82 로 구분하여 의미적 차이를 정확히 반영했습니다.
  • 스키마 매칭 (Schema Matching): GDC, Magellan 등 6 개 데이터셋에서 Magneto 등 최신 모델과 비교하여 Recall 및 MRR 측면에서 우수한 성능을 보였습니다.

• 거리 분석 (Distance Analysis):

  • 임베딩 공간에서의 거리와 실제 수치적 거리 (절대 차이, 유클리드 거리, 2-Wasserstein 거리 등) 간의 상관관계가 매우 높았습니다 (수치: r=0.989, 범위: r=0.997). 이는 CONE 이 수치적 크기와 구조적 관계를 잘 보존함을 의미합니다.

5. 의의 및 결론 (Significance)

이 논문은 자연어 처리 모델이 수치 데이터를 다룰 때 겪는 근본적인 한계 (단위 무시, 토큰화 왜곡, 구조적 의미 부재) 를 해결했습니다.

• 단위와 속성 인식: 숫자 자체뿐만 아니라 그 숫자가 속한 단위와 속성을 임베딩에 명시적으로 포함시킴으로써, "50 년"과 "50kg"을 명확히 구분할 수 있게 되었습니다.
• 복잡한 수치 표현 지원: 범위와 가우시안 분포와 같은 과학/공학/의료 데이터에서 흔히 발생하는 복잡한 수치 형태를 자연스럽게 인코딩할 수 있는 첫 번째 모델 중 하나입니다.
• 실용적 가치: 의료 기록 분석, 금융 데이터 마이닝, 과학 논문 구조화 등 수치 데이터가 핵심인 다양한 분야에서 데이터 검색, 매칭, 추론 작업의 정확도를 획기적으로 높일 수 있습니다.

결론적으로, CONE 은 텍스트와 수치 데이터를 통합적으로 이해하는 차세대 임베딩 모델로서, 구조화된 데이터 처리 분야에서 새로운 표준을 제시합니다.