🤖 AI

Toten: Knowledge-Based Ontological Tokenization Of Physical Quantities And Technical Notation In Brazilian Portuguese

본 논문은 통계적으로 유도된 서브워드(subword)를 물리량과 기술적 표기법의 의미론적 및 구조적 무결성을 보존하기 위한 선언적이고 온톨로지 기반인 접근 방식으로 대체함으로써, 브라질 포르투갈어를 위한 지식 기반 온톨로지 토큰화 프레임워크인 TOTEN을 소개하며, 단위 원자성 및 수치 재구성 측면에서 최신 베이스라인 모델들보다 우수한 성능을 입증한다.

원저자: Antonio de Sousa Leitão Filho; Allan Kardec Duailibe Barros Filho; Fabrício Saul Lima; Selby Mykael Lima dos Santos; Rejani Bandeira Vieira Sousa

게시일 2026-06-19

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Antonio de Sousa Leitão Filho; Allan Kardec Duailibe Barros Filho; Fabrício Saul Lima; Selby Mykael Lima dos Santos; Rejani Bandeira Vieira Sousa

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 브라질 포르투갈어로 작성된 복잡한 공학 매뉴얼을 컴퓨터에게 읽는 법을 가르치려 한다고 상상해 보십시오. 이 매뉴얼에는 "5.2 kN/m²"(제곱미터당 킬로뉴턴) 또는 "1.5 × 10⁻³ m"와 같은 정밀한 측정값이 가득합니다.

문제점: "픽셀화된" 번역기
대부분의 현대 AI 모델은 텍스트를 읽기 위해 **바이트 쌍 인코딩(Byte-Pair Encoding, BPE)**이라는 방식을 사용합니다. 이것을 아주 작고 파편화된 조각들로만 말하는 번역가라고 생각해 보십시오. 공간을 절약하기 위해, 이 번역가는 일반적인 책들에 자주 등장하는 빈도에 따라 단어를 임의의 조각들로 잘게 쪼갭니다.

만약 텍스트에 "5.2 kN/m²"라고 적혀 있다면, 표준 BPE 토크나이저는 이를 다음과 같이 쪼갤 수 있습니다: 5, ., 2, k, N, /, m, ².
컴퓨터에게 "5.2 kN/m²"는 하나의 개념이 아니라, 그저 여덟 개의 별개 퍼즐 조각이 무작위로 모인 덩어리일 뿐입니다. 컴퓨터는 나중에 이 조각들을 어떻게 다시 합쳐서 그것이 특정한 물리적 힘이라는 것을 이해할지 추측해야 합니다. 이것은 마치 글자 자체를 보는 것이 아니라 글자의 개별 픽셀 하나하나를 보면서 문장을 이해하려는 것과 같습니다.

해결책: TOTEN (스마트한 사서)
저자들은 TOTEN이라는 새로운 시스템을 만들었습니다. TOTEN은 통계에 기반하여 단어를 어떻게 쪼갤지 추측하는 대신, 공학 용어가 실제로 무엇인지에 대한 엄격하고 공식적인 규칙(온톨로지)을 가진 지식 기반의 사서처럼 행동합니다.

TOTEN이 어떻게 작동하는지 쉬운 비유를 통해 설명하겠습니다:

규칙집 (온톨로지): 단 한 단어를 읽기 전부터, TOTEN은 공학 규칙이 담긴 미리 작성된 사전집을 가지고 있습니다. 이는 "kN"이 힘의 단위이고, "m²"는 면적이며, "5.2"는 숫자라는 것을 알고 있습니다. 이는 추측하는 것이 아니라, 정의를 이미 숙지하고 있는 것입니다.
세 명의 전문가 조수 (오라클): TOTEN은 모든 가능한 오타나 기호를 암기하려고 애쓰지 않습니다. 대신, 세 명의 신뢰할 수 있는 전문가에게 도움을 요청합니다.
- Pint: 단위 측정 전문가 (정확히 "킬로와트"가 무엇인지 압니다).
- Unicode Database: 기호 및 폰트 전문가 (위첨자 "2"가 단순한 숫자가 아니라 제곱임을 압니다).
- RSLP: 포르투갈어 문법 전문가 (기술적 맥락에서 "potências"가 "거듭제곱"을 의미함을 압니다).
분류 과정: TOTEN이 "5.2 kN/m²"라는 텍스트를 보면, 이를 쪼개지 않습니다. 대신 자신의 규칙집과 전문가들을 살펴보고 이렇게 말합니다: "아, 이 전체는 '물리량(Physical Quantity)'이라는 하나의 원자적 블록이구나." 그리고는 이 전체 구절을 하나의 라벨이 붙은 태그로 감싸서, 정확한 의미를 보존합니다.

결과: 이것이 중요한 이유
저자들은 800개의 공학 사례와 4개의 다른 실제 포르투갈어 텍스트 컬렉션을 사용하여 TOTEN을 8개의 다른 최상위 시스템(표준적인 "픽셀화된" 번역기 및 기타 숫자 탐색 도구 포함)과 비교 테스트했습니다.

원자성 (전체를 온전하게 유지하기): TOTEN은 물리량을 단일하고 끊어지지 않는 단위로 유지하는 데 완벽했습니다. 다른 시스템들은 이를 자주 분해했습니다.
재구성 (다시 합치기): 나중에 컴퓨터가 실제 숫자와 단위를 추출해야 할 때, TOTEN은 이를 **78%에서 90%**까지 정확하게 수행할 수 있었습니다. 가장 뛰어났던 경쟁 시스템은 약 **63%에서 70%**만을 달성했습니다.
정확도: 차이는 단순히 조금 더 나은 수준이 아니었습니다. 통계적으로 유의미했습니다. TOTEN은 단순히 추측한 것이 아니라, 규칙집을 사용하여 일관되게 정답을 찾아냈습니다.

핵심 요약
TOTEN은 기술적, 과학적 텍스트의 경우, (일상적인 대화에는 잘 작동하지만 공학에서는 실패하는) "통계적 추측"에 의존하는 대신, 기술 용어를 완전하고 의미 있는 객체로 취급하는 구조화된 규칙 기반 접근 방식을 사용하는 것이 필요함을 입증합니다.

이 논문은 이 방법이 컴퓨터로 하여금 숫자의 구조와 단위를 공학자들이 의도한 그대로 정확하게 "보게" 만들어 주며, 혼란스러운 문자 조각들로 부서지지 않도록 한다는 점을 주장합니다. 이는 브라질 포르투갈어 기술 텍스트를 기계가 읽을 수 있도록 만들기 위해 설계된 특화된 도구이며, "5.2 kN/m²"가 혼란스러운 문자의 덩어리가 아닌 하나의 일관된 아이디어로 처리되도록 보장합니다.

기술 요약: TOTEN – 브라질 포르투갈어 물리량의 지식 기반 온톨로지 토큰화

1. 문제 정의

현재 대규모 언어 모델(LLM) 전처리를 지배하고 있는 통계적 토큰화 알고리즘(예: Byte-Pair Encoding, WordPiece, SentencePiece)은 어휘 압축에는 최적화되어 있으나 의미론적 보존에는 최적화되어 있지 않다. 브라질 포르투갈어(PT-BR)의 기술 텍스트에 적용될 때, 이러한 방식은 물리량, 지역 특화 숫자, 복합 차원 단위, 기호 표현과 같은 의미론적으로 원자적인 엔티티를 임의의 서브워드 시퀀스로 파편화한다. 이러한 파편화는 다운스트림 모델이 사후적으로(a posteriori) 원래의 의미 구조를 재구성하도록 강요하며, 이는 경험적 연구를 통해 수치 추론 및 산술 정확도를 저하시키는 것으로 나타났다. 또한, 영어에 특화된 기존의 정량적 추출 도구들은 PT-BR의 특정 기술 어휘와 규범 식별자(예: NBR, ABNT)를 적절히 모델링하지 못하며, 일반적인 개체명 인식(NER) 모델은 기술-과학적 범주를 무시한다.

2. 방법론

본 논문은 통계적 유도 대신 형식적 온톨로지에 근거한 선언적 분류를 제안하는 TOTEN(Typed Ontological Tokenization) 프레임워크를 제안한다.

2.1 형식화

TOTEN은 트리플 $\langle O, \text{classify}, \{inst_\tau\} \rangle$ 로 형식화된다:

$O$ (공학 엔티티 온톨로지 - OEE): 기본 유형( $T$ ), 구조적 원리( $P$ ), 구성 관계( $R$ ), 불변량( $I$ )을 포함하는 공식 온톨로지이다. 유형에는 물리량, 기술 식별자, 형식 연산자, 계층적 참조가 포함된다. 온톨로지는 여덟 가지 공리(예: 내재성, 매개된 구성, 범주 오류)에 의해 제어되며, 이는 유형이 코퍼스 빈도가 아닌 내재적 속성에 의해 정의됨을 보장한다.
$\text{classify}$ : 원시 텍스트( $\Sigma^*$ )를 타입이 지정된 영역 $R_\Sigma$ 로 매핑하여, 텍스트 스팬을 식별하고 온톨로지에 따라 유형을 할당하는 함수이다.
$\{inst_\tau\}$ : 분류된 영역을 구조화된 출력 언어 $M$ 으로 매핑하는 인덱스된 인스태시에이터(instantiator) 제품군이다. 이 레이어는 "단일 권위(single authority)" 원칙을 준수하며, 유형을 재결정하지 않고 데이터를 포맷팅한다.

2.2 아키텍처 및 외부 오라클

프레임워크는 수동 열거 없이 견고성을 확보하기 위해 OEE를 세 가지 통합된 외부 오라클과 결합한다:

Pint: 측정 단위 및 SI 접두사에 대한 차원 권위를 제공한다.
Unicode Character Database (UCD): 문자별 열거 대신 문자 속성을 통해 타이포그래피 마커(위첨자, 아래첨자, 수학 연산자)를 처리한다.
RSLP: 단일 문자로 된 단위(예: "temperatura"의 "K"와 "Kelvin"의 "K"를 구분)의 모호성을 해소하기 위해, 형태소적 굴절을 표제어 루트로 축소하는 표준 포르투갈어 형태론 알고리즘이다.

2.3 출력 언어

출력은 타입이 지정된 태그와 분류되지 않은 잔여 텍스트가 교차된 구조화된 시퀀스이다. 각 태그는 유형 식별자와 속성(예: value, unit, dim, locale)을 포함한다. 결정적으로, 시스템은 타입이 지정된 영역 외의 소스 텍스트의 리터럴 형태를 보존하여, 수치 표현(지역, 구분자, 과학적 표기법)이 다운스트림 처리를 위해 온전하게 유지되도록 한다.

3. 주요 기여

본 논문은 세 가지 주요 과학적 기여를 식별한다:

(C1) 온톨로지 기반 토큰화의 형식화: 토큰화를 통계적 서브워드 토큰화와 범주적으로 구분되는, 구현 독립적이며 검증 가능한 속성을 통해 평가 가능한 트리플 $\langle O, \text{classify}, \{inst_\tau\} \rangle$ 로 정의한다.
(C2) OEE 온톨로지: 내재적 속성에 의해 정의되는 기본 유형, 8가지 구조적 공리, 선언된 구성 관계를 갖춘 공학 엔티티의 공식 온톨로지이며, "확장에 열려 있고 수정에는 닫힌(open-for-extension, closed-for-modification)" 원칙에 따라 확장 가능하도록 설계되었다.
(C3) 내재적 평가 프로토콜: 구성에 의해 검증 가능한 네 가지 속성을 기반으로 한 계산 비용이 낮은 평가 방식이다:
1. 온톨로지 원자성(Ontological Atomicity): 엔티티가 올바른 유형을 가진 단일하고 분할 불가능한 태그로 방출된다.
2. 차원 등가성(Dimensional Equivalence): 동등한 양의 차원 벡터가 일치한다.
3. 타이포그래피 견고성(Typographic Robustness): 의미론적으로 동등한 표기 변형들이 동일한 유형을 받는다.
4. 수치 재구성(Numerical Reconstruction): 높은 충실도로 값과 단위를 프로그래밍 방식으로 추출할 수 있는 능력.

4. 실험 결과

평가는 내부적으로 생성된 물리적으로 검증된 벤치마크(EngQuant, $N=800$ )와 네 개의 외부 PT-BR 코퍼스(MMMLU PT_BR, BLUEX, ENEM Maritaca, Alvorada-Bench; 총 $N=1,771$ 개의 적격 사례)를 활용하였다. TOTEN은 BPE 변형을 포함한 8개의 최신 시스템(통계적 토크나이저, 전문 추출기인 Quantulum3, CQE, GLiNER, 차원 라이브러리인 Pint, udunits-2, 일반 NER인 spaCy)과 비교되었다.

온톨로지 원자성: TOTEN은 내부 벤치마크에서 1.000의 단위 원자성을 달성하여, 최상의 베이스라인(Quantulum3, 0.297)과 통계적 토크나이저(약 0.48)를 크게 앞질렀다.
수치 재구성:
- 내부 벤치마크: TOTEN은 0.780을 기록하여, 최상의 베이스라인인 CQE(0.340)와 Quantulum3(0.220)보다 현저히 높았다.
- 외부 코퍼스: TOTEN은 네 가지 외부 데이터셋 모두에서 리더십을 유지하며 0.775에서 0.904 사이의 점수를 기록했다. 반면, 최상의 베이스라인(Quantulum3)은 0.627에서 0.703 범위에 머물렀다.
- 통계적 유의성은 Holm 보정을 적용한 McNemar 테스트를 통해 확인되었다 ( $p < 0.001$ ).
차원 등가성: TOTEN은 0.968의 조건부 정확도를 달성하였으며, 이는 Pint 오라클(0.985)과 통계적 동등성을 보여준다. 이는 시스템이 왜곡 없이 차원 권위를 상속받음을 확인시켜 준다.
타이포그래피 견고성: TOTEN은 글로벌 기준 0.326, 스코프 기준 0.325를 달성하여, 예상치 못한 표기 변형을 만났을 때 엔티티를 파편화하는 다른 시스템들을 능가했다.
어블레이션 연구(Ablation Studies): Pint 오라클을 제거했을 때 재현율과 차원 정확도가 크게 하락하여, 차원 권위로서의 역할을 확인했다. UCD 또는 RSLP를 제거했을 때는 사용된 특정 공학 벤치마크에 미치는 영향이 미미하여, 각각 타이포그래피 및 형태론적 모호성에 대한 타겟 유용성을 입증했다.
동시 타당성(Concurrent Validity): 내부 및 외부 코퍼스 순위 간의 강한 Spearman 순위 상관관계( $\rho \geq 0.856$ )는 EngQuant 벤치마크가 실제 세계의 성능을 충실히 반영하는 대리 지표임을 확인시켜 주었다.

5. 의의 및 주장

본 논문은 TOTEN이 기술적 엔티티의 의미 구조를 소비자 모델에 도달하기 전에 보존함으로써 통계적 토큰화에 대해 범주적 우위를 제공한다고 주장한다. 분포적 특성에 의존하는 통계적 방법과 달리, TOTEN은 OEE에 의해 정의된 도메인의 개념화에 의미론적으로 전념한다.

주요 주장 사항은 다음과 같다:

내재적 속성의 회복: 본 프레임워크는 순수 통계적 파이프라인이 체계적으로 상실하는 속성(수치 구조, 지역, 차원 벡터)을 회복한다.
뉴로심볼릭 호환성: TOTEN은 뉴로심볼릭 아키텍처와 호환되는 심볼릭 전처리 레이어로 자리매김하며, 통계적 모델과 심볼릭 에이전트 모두가 소비할 수 있는 도메인-의미론적으로 전념된 표현을 생성한다.
제한된 범위: 저자들은 이러한 표현이 소비자 모델의 성능(예: 산술 정확도 향상)에 미치는 다운스트림 효과는 본 연구의 범위를 벗어나며 향후 과제로 남겨둔다고 명시했다. 평가는 엄격히 내재적이며, 입력 표현 자체의 품질에 집중한다.
한계점: 시스템은 타이포그래피적으로 저하된 표기를 능동적으로 정규화하지 않고(리터럴 형태를 보존함), 어휘적 충돌을 피하기 위해 설계상 무차원 단위에 대한 부분적 커버리지만 갖는다.

결론적으로, 본 논문은 지식 기반의 온톨로지적 토큰화 접근 방식이 높은 의미적 충실도를 요구하는 브라질 포르투갈어 기술 텍스트에 대해 원자성과 수치 재구성 측면에서 통계적으로 유의미한 개선을 달성할 수 있음을 입증하며, 통계적 압축 방식에 대한 강력한 대안을 제시한다.